(57)【要約】      （修正有）【課題】視点基盤のオブジェクトピッキングシステム及びこれらによる視点基盤のオブジェクトピッキング方法を提供する。【解決手段】オブジェクトピッキングシステムは、オリジナル映像からオブジェクトを含むオブジェクト領域を抽出し、抽出されたオブジェクト領域のオブジェクトマスキングイメージ及びオリジナル映像を伝送するように構成された伝送装置、及び伝送装置からオブジェクトマスキングイメージ及びオリジナル映像を受信し、オリジナル映像を表示し、オリジナル映像を眺めるユーザの視点に基づいて表示されるオリジナル映像内のオブジェクトをピッキングするように構成された再生装置、を含む。【選択図】図１
2019004441.tif 000002
【特許請求の範囲】
【請求項１】
オリジナル映像からオブジェクトを含むオブジェクト領域を抽出し、抽出されたオブジェクト領域のオブジェクトマスキングイメージ及び前記オリジナル映像を伝送するように構成された伝送装置、及び
前記伝送装置から前記オブジェクトマスキングイメージ及び前記オリジナル映像を受信し、前記オリジナル映像を表示し、前記オリジナル映像を眺めるユーザの視点に基づいて表示されるオリジナル映像内のオブジェクトをピッキングするように構成された再生装置、を含む、視点基盤のオブジェクトピッキングシステム。
【請求項２】
前記伝送装置は、前記オリジナル映像内の前記オブジェクト領域の座標情報をさらに抽出するように構成され、
前記再生装置は、前記伝送装置から前記座標情報を受信し、前記ユーザの視点と前記座標情報に基づいて表示されるオリジナル映像内のオブジェクトをピッキングするように構成されることを特徴とする、請求項１に記載の視点基盤のオブジェクトピッキングシステム。
【請求項３】
前記オブジェクトマスキングイメージは、
背景からオブジェクトが分離され、前記オリジナル映像よりも解像度が低いイメージであることを特徴とする、請求項１に記載の視点基盤のオブジェクトピッキングシステム。
【請求項４】
オリジナル映像からオブジェクトを含むオブジェクト領域を抽出し、抽出されたオブジェクト領域のオブジェクトマスキングイメージを生成するオブジェクトマスキングイメージ生成部と、
前記オリジナル映像内の前記オブジェクト領域の座標情報を抽出するように構成された座標情報抽出部、及び
前記オリジナル映像、前記オブジェクトマスキングイメージ及び前記座標情報を再生装置に提供するように構成された伝送部と、を含む、視点基盤のオブジェクトピッキングが可能な映像伝送装置。
【請求項５】
１）オリジナル映像に含まれるオブジェクトマスキングイメージが複数個である場合、少なくとも２つ以上のオブジェクトマスキングイメージが結合されたスプライトイメージを生成するか、２）オリジナル映像が連続する複数個の映像である場合、各オリジナル映像に含まれる同一のオブジェクトに対するオブジェクトマスキングイメージが結合されたスプライトイメージを生成するように構成されたスプライトイメージ生成部をさらに含み、
前記伝送部は、前記スプライトイメージを前記再生装置に提供することを特徴とする、請求項４に記載の視点基盤のオブジェクトピッキングが可能な映像伝送装置。
【請求項６】
前記オブジェクトマスキングイメージは、
背景からオブジェクトが分離され、前記オリジナル映像よりも解像度が低いイメージであることを特徴とする、請求項４に記載の視点基盤のオブジェクトピッキングが可能な映像伝送装置。
【請求項７】
以前フレームのオリジナル映像と現在フレームのオリジナル映像とを比べることで、現在のオリジナル映像内のオブジェクト領域の変化値を計算するように構成された計算部をさらに含み、
前記伝送部は、前記座標情報に代えてまたは一緒に前記変化値を前記再生装置へ伝送し、
前記変化値は、オブジェクト領域の移動、大きさの変化、及び回転の少なくとも１つに関連付けられたものであることを特徴とする、請求項４に記載の視点基盤のオブジェクトピッキングが可能な映像伝送装置。
【請求項８】
オリジナル映像、前記オリジナル映像に含まれる少なくとも１つのオブジェクト領域に対するオブジェクトマスキングイメージ及び前記オリジナル映像内の前記オブジェクト領域の座標情報を受信するように構成された受信部と、
受信したオリジナル映像を表示するように構成された表示部と、
表示されるオリジナル映像を眺めるユーザの視点を検出するように構成された視点検出部、及び
検出されたユーザの視点、前記座標情報及び前記オブジェクトマスキングイメージに基づいて表示されるオリジナル映像内のオブジェクトをピッキングするように構成されたオブジェクトピッキング部と、を含む、視点基盤のオブジェクトピッキングが可能な映像再生装置。
【請求項９】
前記オブジェクトピッキング部は、
検出されたユーザの視点が表示されるオリジナル映像内のオブジェクトまたはその周辺部に向かう場合、ユーザの視点が向かうオブジェクトとオブジェクトマスキングイメージとを比べてオブジェクトをピッキングすることを特徴とする、請求項８に記載の視点基盤のオブジェクトピッキングが可能な映像再生装置。
【請求項１０】
前記オブジェクトピッキング部は、
前記座標情報に基づいて前記オリジナル映像に対応する仮想空間上の座標系上での前記オブジェクト領域のテクスチャー座標情報を計算し、計算されたテクスチャー座標情報に基づいてオブジェクトをピッキングするように構成されたことを特徴とする、請求項８に記載の視点基盤のオブジェクトピッキングが可能な映像再生装置。
【請求項１１】
以前フレームのオリジナル映像と現在フレームのオリジナル映像とを比べることで、現在のオリジナル映像内のオブジェクト領域の変化値を計算するように構成された計算部をさらに含み、前記変化値は、オブジェクト領域の移動、大きさの変化、及び回転の少なくとも１つに関連付けられたものであり、
前記オブジェクトピッキング部は、前記変化値に基づいてオブジェクト領域の座標情報を補正することを特徴とする、請求項８に記載の視点基盤のオブジェクトピッキングが可能な映像再生装置。
【請求項１２】
前記オブジェクトピッキング部は、
検出されたユーザの視点が前記オブジェクト領域内またはそれから所定の範囲内に位置する場合、前記オブジェクト領域を分割し、分割されたオブジェクト領域と受信したオブジェクトマスキングイメージに基づいてオブジェクトを検出することを特徴とする、請求項９に記載の視点基盤のオブジェクトピッキングが可能な映像再生装置。
【請求項１３】
１）オリジナル映像に含まれるオブジェクトマスキングイメージが複数個である場合、少なくとも２つ以上のオブジェクトマスキングイメージは結合されてスプライトイメージとして前記受信部に受信されるか、２）オリジナル映像が連続する複数個の映像である場合、各オリジナル映像に含まれる同一のオブジェクトに対するオブジェクトマスキングイメージが結合されたスプライトイメージが前記受信部に受信されることを特徴とする、請求項８に記載の視点基盤のオブジェクトピッキングが可能な映像再生装置。
【請求項１４】
伝送装置が、オリジナル映像からオブジェクトを含むオブジェクト領域を抽出するステップ、
伝送装置が、抽出されたオブジェクト領域のオブジェクトマスキングイメージを生成するステップ、
伝送装置が、前記オリジナル映像内の前記オブジェクト領域の座標情報を抽出するステップ、
伝送装置が、前記オリジナル映像、前記オブジェクトマスキングイメージ及び前記座標情報を再生装置に提供するステップ、を含む、視点基盤のオブジェクトピッキングが可能な映像伝送方法。
【請求項１５】
伝送装置が、１）オリジナル映像に含まれる前記オブジェクトマスキングイメージが複数個である場合、少なくとも２つ以上のオブジェクトマスキングイメージが結合されたスプライトイメージを生成するか、２）オリジナル映像が連続する複数個の映像である場合、各オリジナル映像に含まれる同一のオブジェクトに対するオブジェクトマスキングイメージが結合されたスプライトイメージを生成するステップ、及び
前記スプライトイメージを前記再生装置に提供するステップ、をさらに含むことを特徴とする、請求項１４に記載の視点基盤のオブジェクトピッキングが可能な映像伝送方法。
【請求項１６】
前記オブジェクトマスキングイメージは、
背景からオブジェクトが分離され、前記オリジナル映像よりも解像度が低いイメージであることを特徴とする、請求項１４に記載の視点基盤のオブジェクトピッキングが可能な映像伝送方法。
【請求項１７】
映像再生装置が、オリジナル映像、前記オリジナル映像に含まれる少なくとも１つのオブジェクト領域に対するオブジェクトマスキングイメージ及び前記オリジナル映像内の前記オブジェクト領域の座標情報を受信するステップ、
映像再生装置が、受信したオリジナル映像を表示するステップ、
映像再生装置が、表示されるオリジナル映像を眺めるユーザの視点を検出するステップ、及び
映像再生装置が、検出されたユーザの視点、前記座標情報、及び前記オブジェクトマスキングイメージに基づいて表示されるオリジナル映像内のオブジェクトをピッキングするステップ、を含む、視点基盤のオブジェクトピッキングが可能な映像再生方法。
【請求項１８】
前記ピッキングするステップは、
検出されたユーザの視点が表示されるオリジナル映像内のオブジェクトまたはその周辺部に向かう場合、ユーザの視点が向かうオブジェクトとオブジェクトマスキングイメージとを比べてオブジェクトをピッキングすることを特徴とする、請求項１７に記載の視点基盤のオブジェクトピッキングが可能な映像再生方法。
【請求項１９】
映像再生装置が、以前フレームのオリジナル映像と現在フレームのオリジナル映像とを比べることで、現在のオリジナル映像内のオブジェクト領域の変化値を計算するステップをさらに含み、前記変化値は、オブジェクト領域の移動、大きさの変化、及び回転の少なくとも１つに関連付けられたものであり、
前記ピッキングするステップは、前記変化値に基づいてオブジェクト領域の座標情報を補正することを特徴とする、請求項１７に記載の視点基盤のオブジェクトピッキングが可能な映像再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
実施例は、映像内のオブジェクトをピッキングするシステム及び方法に係り、より具体的には、ユーザの視点を基盤としたピッキングシステム及び方法に関する。
【背景技術】
【０００２】
近年、各種の映像機器の発達に伴い、ユーザらから映像機器を介して一層動感や立体感が加味された映像を鑑賞したいというニーズが増大されつつある。映像機器メーカでは、このようなニーズに歩調をあわせて、映像コンテンツの処理方式を変形して立体感のある映像を提供したり、映像提供機器に多様な付加手段を接続してユーザをして現実と仮想とを区分し難い程度の映像を提供している。例えば、両眼の視覚差を利用して互いに異なる角度から撮影された映像をディスプレイに同時に表示することで立体感のある映像を提供したり、ユーザの視野角度を映像全体で覆ってパノラマ（ｐａｎｏｒａｍａ）の形態で提供したりすることで、ユーザが現実映像の環境に参加したような効果を提供する技術などがある。
【０００３】
さらに、撮影された映像を表示すると同時に映像内のオブジェクトをピッキングしてユーザがオブジェクトを確認し制御することができる技術が利用されている。しかし、従来のオブジェクトピッキングでは、オリジナル映像それ自体からオブジェクトを識別しピッキングすることで映像処理に大きな負担になるという問題がある。
【０００４】
特に、現在商用のＶＲ機器は、大半がスマートフォン（ｓｍａｒｔｐｈｏｎｅ）のようなモバイル機器を活用した形態であって、ＶＲ機器でハードウェアアクセラレーション によって復号（ｄｅｃｏｄｉｎｇ）可能な最大の解像度が４ｋ水準であるが、４ｋの映像を再生しながらピッキングを行うと映像の途切れが非常にひどくなり、映像の画質を下げなければならないという問題があった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国登録特許 ９５７６３６３ Ｂ２
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前記したような問題を解決するために、オリジナル映像に比べて低画質のオブジェクトに対するマスキングイメージを利用してオブジェクトピッキングを実現するシステム、装置、及び方法が要求される。
【０００７】
なお、本発明の技術的課題は上述したものなどに限られず、言及していない他の技術的課題は以下の記載から当業者にとって明確に理解できるであろう。
【課題を解決するための手段】
【０００８】
本発明の一実施例に係る視点基盤のオブジェクトピッキングシステムは、オリジナル映像からオブジェクトを含むオブジェクト領域を抽出し、抽出されたオブジェクト領域のオブジェクトマスキングイメージ及び前記オリジナル映像を伝送するように構成された伝送装置、及び前記伝送装置から前記オブジェクトマスキングイメージ及び前記オリジナル映像を受信し、前記オリジナル映像を表示し、前記オリジナル映像を眺めるユーザの視点に基づいて表示されるオリジナル映像内のオブジェクトをピッキングするように構成された再生装置、を含む。
【０００９】
一実施例において、前記伝送装置は、前記オリジナル映像内の前記オブジェクト領域の座標情報をさらに抽出するように構成され、前記再生装置は、前記伝送装置から前記座標情報を受信し、前記ユーザの視点と前記座標情報に基づいて表示されるオリジナル映像内のオブジェクトをピッキングするように構成されていてよい。
【００１０】
一実施例において、前記オブジェクトマスキングイメージは、背景からオブジェクトが分離され、前記オリジナル映像よりも解像度が低いイメージであってよい。
【００１１】
本発明の一実施例に係る視点基盤のオブジェクトピッキングが可能な映像伝送装置は、オリジナル映像からオブジェクトを含むオブジェクト領域を抽出し、抽出されたオブジェクト領域のオブジェクトマスキングイメージを生成するオブジェクトマスキングイメージ生成部と、前記オリジナル映像内の前記オブジェクト領域の座標情報を抽出するように構成された座標情報抽出部、及び前記オリジナル映像、前記オブジェクトマスキングイメージ及び前記座標情報を再生装置に提供するように構成された伝送部と、を含む。
【００１２】
一実施例において、１）オリジナル映像に含まれるオブジェクトマスキングイメージが複数個である場合、少なくとも２つ以上のオブジェクトマスキングイメージが結合されたスプライトイメージを生成するか、２）オリジナル映像が連続する複数個の映像である場合、各オリジナル映像に含まれる同一のオブジェクトに対するオブジェクトマスキングイメージが結合されたスプライトイメージを生成するように構成されたスプライトイメージ生成部をさらに含み、前記伝送部は、前記スプライトイメージを前記再生装置に提供していてよい。
【００１３】
一実施例において、前記オブジェクトマスキングイメージは、背景からオブジェクトが分離され、前記オリジナル映像よりも解像度が低いイメージであってよい。
【００１４】
一実施例において、以前フレームのオリジナル映像と現在フレームのオリジナル映像とを比べることで、現在のオリジナル映像内のオブジェクト領域の変化値を計算するように構成された計算部をさらに含み、前記伝送部は、前記座標情報に代えてまたは一緒に前記変化値を前記再生装置へ伝送し、前記変化値は、オブジェクト領域の移動、大きさの変化、及び回転の少なくとも１つに関連付けられたものであってよい。
【００１５】
本発明の一実施例に係る視点基盤のオブジェクトピッキングが可能な映像再生装置は、オリジナル映像、前記オリジナル映像に含まれる少なくとも１つのオブジェクト領域に対するオブジェクトマスキングイメージ及び前記オリジナル映像内の前記オブジェクト領域の座標情報を受信するように構成された受信部と、受信したオリジナル映像を表示するように構成された表示部と、表示されるオリジナル映像を眺めるユーザの視点を検出するように構成された視点検出部、及び検出されたユーザの視点、前記座標情報及び前記オブジェクトマスキングイメージに基づいて表示されるオリジナル映像内のオブジェクトをピッキングするように構成されたオブジェクトピッキング部と、を含む。
【００１６】
一実施例において、前記オブジェクトピッキング部は、検出されたユーザの視点が表示されるオリジナル映像内のオブジェクトまたはその周辺部に向かう場合、ユーザの視点が向かうオブジェクトとオブジェクトマスキングイメージとを比べてオブジェクトをピッキングしていてよい。
【００１７】
一実施例において、前記オブジェクトピッキング部は、前記座標情報に基づいて前記オリジナル映像に対応する仮想空間上の座標系上での前記オブジェクト領域のテクスチャー座標情報を計算し、計算されたテクスチャー座標情報に基づいてオブジェクトをピッキングするように構成されていてよい。
【００１８】
一実施例において、以前フレームのオリジナル映像と現在フレームのオリジナル映像とを比べることで、現在のオリジナル映像内のオブジェクト領域の変化値を計算するように構成された計算部をさらに含み、前記変化値は、オブジェクト領域の移動、大きさの変化、及び回転の少なくとも１つに関連付けられたものであり、前記オブジェクトピッキング部は、前記変化値に基づいてオブジェクト領域の座標情報を補正していてよい。
【００１９】
一実施例において、前記オリジナル映像と前記オブジェクトマスキングイメージとは時間同期されたものであってよい。
【００２０】
一実施例において、前記オブジェクトピッキング部は、検出されたユーザの視点が前記オブジェクト領域内またはそれから所定の範囲内に位置する場合、前記オブジェクト領域を分割し、分割されたオブジェクト領域と受信したオブジェクトマスキングイメージに基づいてオブジェクトを検出していてよい。
【００２１】
一実施例において、１）オリジナル映像に含まれるオブジェクトマスキングイメージが複数個である場合、少なくとも２つ以上のオブジェクトマスキングイメージは結合されてスプライトイメージとして前記受信部に受信されるか、２）オリジナル映像が連続する複数個の映像である場合、各オリジナル映像に含まれる同一のオブジェクトに対するオブジェクトマスキングイメージが結合されたスプライトイメージが前記受信部に受信されていてよい。
【００２２】
本発明の一実施例に係る視点基盤のオブジェクトピッキングが可能な映像伝送方法は、伝送装置が、オリジナル映像からオブジェクトを含むオブジェクト領域を抽出するステップ、伝送装置が、抽出されたオブジェクト領域のオブジェクトマスキングイメージを生成するステップ、伝送装置が、前記オリジナル映像内の前記オブジェクト領域の座標情報を抽出するステップ、伝送装置が、前記オリジナル映像、前記オブジェクトマスキングイメージ及び前記座標情報を再生装置に提供するステップ、を含む。
【００２３】
一実施例において、
伝送装置が、１）オリジナル映像に含まれる前記オブジェクトマスキングイメージが複数個である場合、少なくとも２つ以上のオブジェクトマスキングイメージが結合されたスプライトイメージを生成するか、２）オリジナル映像が連続する複数個の映像である場合、各オリジナル映像に含まれる同一のオブジェクトに対するオブジェクトマスキングイメージが結合されたスプライトイメージを生成するステップ及び前記スプライトイメージを前記再生装置に提供するステップをさらに含んでいてよい。
【００２４】
一実施例において、前記オブジェクトマスキングイメージは、背景からオブジェクトが分離され、前記オリジナル映像よりも解像度が低いイメージであってよい。
【００２５】
本発明の一実施例に係る視点基盤のオブジェクトピッキングが可能な映像再生方法は、映像再生装置が、オリジナル映像、前記オリジナル映像に含まれる少なくとも１つのオブジェクト領域に対するオブジェクトマスキングイメージ及び前記オリジナル映像内の前記オブジェクト領域の座標情報を受信するステップ、映像再生装置が、受信したオリジナル映像を表示するステップ、映像再生装置が、表示されるオリジナル映像を眺めるユーザの視点を検出するステップ、及び映像再生装置が、検出されたユーザの視点、前記座標情報、及び前記オブジェクトマスキングイメージに基づいて表示されるオリジナル映像内のオブジェクトをピッキングするステップ、を含む。
【００２６】
一実施例において、前記ピッキングするステップは、検出されたユーザの視点が表示されるオリジナル映像内のオブジェクトまたはその周辺部に向かう場合、ユーザの視点が向かうオブジェクトとオブジェクトマスキングイメージとを比べてオブジェクトをピッキングしていてよい。
【００２７】
一実施例において、映像再生装置が、以前フレームのオリジナル映像と現在フレームのオリジナル映像とを比べることで、現在のオリジナル映像内のオブジェクト領域の変化値を計算するステップをさらに含み、前記変化値は、オブジェクト領域の移動、大きさの変化、及び回転の少なくとも１つに関連付けられたものであり、前記ピッキングするステップは、前記変化値に基づいてオブジェクト領域の座標情報を補正していてよい。
【発明の効果】
【００２８】
本発明の一側面によれば、オリジナル映像に比べて処理量が少ない低画質のマスキングイメージを利用することで高画質の光視野角映像を順調に再生し、該映像内に含まれたオブジェクトをピッキングすることができる。
【００２９】
なお、本発明の効果は上述したものに限られず、言及していない他の効果は請求の範囲の記載から当業者にとって明確に理解できるであろう。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施例に係る視点基盤のオブジェクトピッキングシステムのブロック図である。
【図２】本発明の一実施例に係るオリジナル映像を示す図である。
【図３ａ】及び
【図３ｂ】本発明の一実施例に従って生成されたオブジェクトマスキングイメージを示す図である。
【図４】本発明の一実施例に係る再生装置２０で表示されるオリジナル映像１００’とユーザ視点ａ１、ａ２を示す図である。
【図５】本発明の一実施例に係る視点基盤のオブジェクトピッキングが可能な映像伝送方法のフロー図である。
【図６】本発明の一実施例に係る視点基盤のオブジェクトピッキングが可能な映像再生方法のフロー図である。
【発明を実施するための形態】
【００３１】
以下、図面を参照して本発明の実施例について詳述する。
【００３２】
図１は、本発明の一実施例に係る視点基盤のオブジェクトピッキングシステムのブロック図である。
【００３３】
図１を参照すると、本実施例に係る視点基盤のオブジェクトピッキングシステムは、オリジナル映像からオブジェクトを含むオブジェクト領域を抽出し、抽出されたオブジェクト領域のオブジェクトマスキングイメージ及び前記オリジナル映像を伝送するように構成された伝送装置１０、及び前記伝送装置からオブジェクトマスキングイメージ及び前記オリジナル映像を受信し、前記オリジナル映像を表示し、表示されるオリジナル映像を眺めるユーザの視点に基づいて表示されるオリジナル映像内のオブジェクトをピッキングするように構成された再生装置２０を含む。当該視点基盤のオブジェクトピッキングシステムにおいて少なくとも再生装置２０は、ユーザの頭部に装着するヘッドマウント型ディスプレイ装置（Ｈｅａｄ−Ｍｏｕｎｔｅｄ  Ｄｅｖｉｃｅ；ＨＭＤ）の形態で実現され得る。ここで、ピッキング（ｐｉｃｋｉｎｇ）は、映像内の特定のオブジェクトが少なくとも部分的に背景と分離されて表示されたりグロー効果処理されたり、シルエット処理されるなどの多様なレンダリング効果として視覚的に変化が生じる場合だけではなく、ユーザが制御可能になるように選択されることを意味してもよい。
【００３４】
また、本明細書においてオリジナル映像は、光視野角映像であってよく、好ましくは３６０度映像であってよいが、これに制限されるものではない。
【００３５】
実施例に係る視点基盤のオブジェクトピッキングシステム及びこれに含まれた各装置は、その全てがハードウェアであるか、または部分的にハードウェアで部分的にソフトウェアである側面を有し得る。例えば、視点基盤のオブジェクトピッキングシステム、これに含まれた各装置、及び各装置を構成する各部（ｕｎｉｔ）は、特定の形式及び内容のデータを処理、格納及び／または送受信するための装置及びこれに関連したソフトウェアの総称であってよい。本明細書において「部」、「サーバ」、「装置」、及び「システム」などの用語は、ハードウェア及び当該ハードウェアによって駆動されるソフトウェアの組み合わせを指し示すものと意図される。例えば、ハードウェアは、ＣＰＵまたは他のプロセッサ（ｐｒｏｃｅｓｓｏｒ）を含むデータ処理機器であってよい。また、ハードウェアによって駆動されるソフトウェアは、実行中のプロセス、オブジェクト（ｏｂｊｅｃｔ）、実行ファイル（ｅｘｅｃｕｔａｂｌｅ）、実行スレッド（ｔｈｒｅａｄ  ｏｆ  ｅｘｅｃｕｔｉｏｎ）、プログラム（ｐｒｏｇｒａｍ）などを指し示すものであってよい。
【００３６】
一実施例において、伝送装置１０と再生装置２０とは互いに物理的に区分される別個の装置から構成され、有線及び／または無線ネットワークを介して相互間で通信可能に接続される。また、前記ネットワークは、広域ネットワークまたは近距離ネットワークであってよい。伝送装置１０では、オリジナル映像を処理したデータを前記ネットワークを介して再生装置２０へ伝送し、再生装置２０では、処理されたデータを受信した後にオリジナル映像を仮想空間上の座標系に投映してユーザが見られるように表示し、ユーザの視点に応じてオリジナル映像に含まれたオブジェクトをピッキングすることができる。
【００３７】
他の実施例では、伝送装置１０と再生装置２０とが１つの装置に統合されていてよい。例えば、ユーザの頭部に装着するＨＭＤに伝送装置１０及び再生装置２０の両方が組み込まれ、同一の１つまたは複数の処理手段（例えば、マイクロプロセッサー）を利用して伝送装置１０と再生装置２０の両方が具現されていてよい。したがって、図１に示されたブロック図においてそれぞれの装置１０、２０及びこれに含まれた各部が別途のブロックにて図示されたが、これはシステムを当該システムで行う動作を基準に区分したものであり、必ずしも互いに物理的に区分される別個の構成要素を指し示すことを意図したものではない。
【００３８】
一実施例において、伝送装置１０は、オブジェクトマスキングイメージ生成部１１と、座標情報抽出部１２、及び伝送部１３と、を含む。実施例によっては伝送装置１０は、スプライトイメージ生成部１４または計算部１５をさらに含んでいてよい。
【００３９】
図２は、本発明の一実施例に係るオリジナル映像を示すものである。図２のオリジナル映像は３６０度カメラで撮影した映像を２次元平面上に表示した映像である。図２を参照すると、オリジナル映像１００内には多数のオブジェクト２１１、２２１、２３１が含まれるが、特定のオブジェクト２１１、２２１のみに対してオブジェクト領域２１０、２２０が設定されたことが示されている。オブジェクトマスキングイメージ生成部１１は、オリジナル映像１００からオブジェクトを含むオブジェクト領域２１０、２２０を抽出するように構成される。オブジェクト領域２１０、２２０の範囲は、ユーザからの入力によって決められていてよい。図２においてオブジェクト領域イメージは矩形であると図示されたが、円形、三角形、または自由に指定された不定形形態などの多様な形態であってよい。
【００４０】
オブジェクトマスキングイメージ生成部１１は、抽出されたオブジェクト領域を利用して背景とオブジェクトとが分離するオブジェクトマスキングイメージを生成することができる。図３ａ及び図３ｂは、本発明の一実施例に従って生成されたオブジェクトマスキングイメージを示す。オブジェクトマスキングイメージは、オリジナル映像よりも解像度が低いイメージであってよい。このように低解像度のオブジェクトマスキングイメージを利用することで、高解像度のオリジナル映像を再生しながらも、その中に含まれたオブジェクトをピッキングする際に所要される負荷を効果的に軽減することができる。また一実施例においてオブジェクトの変化が大きくない再生区間も存在し得ることから、映像処理量を低減するために、オブジェクトマスキングイメージ生成部１１は、オブジェクト領域の変化をチェックしてキーフレーム単位でオブジェクトマスキングイメージを生成していてもよい。この場合、後述する座標情報抽出部１２は、キーフレームのみに対してオブジェクト領域座標を抽出していてもよい。
【００４１】
座標情報抽出部１２は、オリジナル映像内の前記オブジェクト領域２１０、２２０に対する座標情報を抽出していてよい。このような座標情報は、後で再生装置でオリジナル映像を表示する際の、オブジェクト領域の位置を計算するときに用いられていてよい。
【００４２】
図２及び図３ａを参照すると、複数個のオブジェクト領域が抽出されたケースが示されている。このようにオリジナル映像内のオブジェクト領域が複数個である場合、スプライトイメージ生成部１４は、少なくとも２つ以上のオブジェクト領域に対するオブジェクトマスキングイメージが結合されたスプライトイメージ２００を生成するように構成されていてよい。図３ａを参照すると、互いに異なる２つのオブジェクト領域２１０、２２０が結合されたスプライトイメージ２００が示されている。
【００４３】
図２及び図３ｂを参照すると、互いに異なるフレームのオリジナル映像において同一のオブジェクトに対するオブジェクト領域が抽出されたケースが示されている。スプライトイメージ生成部１４は、オリジナル映像が連続する複数個の映像である場合、各オリジナル映像に含まれる同一のオブジェクト２２１（２２１ａ、２２１ｂ、２２１ｃ）に対するオブジェクトマスキングイメージ２２０ａ、２２０ｂ、２２０ｃが結合されたスプライトイメージ２００を生成していてよい。図３ｂにおいて、各オブジェクトマスキングイメージ２２０ａ、２２０ｂ、２２０ｃは、連続するオリジナル映像またはキーフレーム単位のオリジナル映像に含まれるオブジェクト２２１に対するオブジェクトマスキングイメージを示す。
【００４４】
図３ａと図３ｂを参照すると、スプライトイメージ生成部１４は、各フレーム毎に複数個の互いに異なるオブジェクトを含むようにスプライトイメージを生成していてもよく（図３ａ）、各オブジェクト毎に互いに異なるフレームに対してスプライトイメージを生成していてもよい（図３ｂ）。
【００４５】
図３ｂのケースをさらに見てみると、例えば、オリジナル映像のフレームの数が１０２４個であれば、第１オブジェクトに対して第１オブジェクトマスキングイメージを１０２４個生成することができる。第１オブジェクトマスキングイメージの解像度を６４×６４に設定すると、第１オブジェクトに対する第１スプライトイメージの解像度を２０４８×２０４８にすることができる。すなわち、第１スプライトイメージには６４×６４解像度のオブジェクトマスキングイメージが１０２４個含まれ得る。
【００４６】
また、オリジナル映像のフレームの数が４０９６個であり且つ第１オブジェクトに対する６４×６４解像度のオブジェクトマスキングイメージであれば、４枚の２０４８×２０４８解像度のスプライトイメージが必要になる。同様に、さらに他の第２オブジェクトがあると、４枚の２０４８×２０４８解像度のスプライトイメージがさらに必要になる。また、この場合、各オブジェクト領域の座標情報もフレーム数の分抽出されていてよい。
【００４７】
また、オリジナル映像を伝送する前に予めスプライトイメージとオブジェクト領域座標情報が先に再生装置などに伝送されていてもよい。一実施例において計算部１５は、以前フレームのオリジナル映像と現在フレームのオリジナル映像とを比べることで、現在のオリジナル映像内のオブジェクト領域の変化値を計算するように構成されていてよい。例えば、計算値は、オブジェクト領域の移動（ｔｒａｎｓｌａｔｉｏｎ）、大きさの変化（ｓｃａｌｅ）、及び回転（ｒｏｔａｔｉｏｎ）の少なくとも１つに関連付けられたものであってよい。このような計算値は、再生装置でオリジナル映像が再生される際の、オリジナル映像に表示されるオブジェクト領域の位置計算が容易にできるようにする。
【００４８】
伝送部１３は、オリジナル映像、オブジェクトマスキングイメージ（または、スプライトイメージ）及び座標情報を再生装置２０へ伝送することができ、さらに計算値を伝送することができる。このとき、オブジェクトマスキングイメージ（または、スプライトイメージ）、座標情報及び計算値はメタデータの形態に伝送されていてよい。
【００４９】
伝送装置１０と再生装置２０とが別個の装置から構成される場合、伝送部１３は、前記情報をネットワークを介した伝送方法にて送信することができる。しかし、伝送装置１０と再生装置２０とが１つの装置で集積化された場合、伝送部１４による伝送過程とは、メモリなど一時的及び／または非一時的記憶媒体を介して他のプロセッサで活用可能になるようにデータを提供することを意味することであってもよい。
【００５０】
一実施例に係る再生装置２０は、受信部２１と、表示部２２と、視点検出部２３、及びオブジェクトピッキング部２４をさらに含んでいてよい。実施例によっては再生装置２０は計算部２５をさらに含んでいてよい。
【００５１】
受信部２１は、伝送装置１０の伝送部１４からオリジナル映像、オブジェクトマスキングイメージ（または、スプライトイメージ）及び座標情報を受信していてよく、計算値をさらに受信していてもよい。
【００５２】
図４は、本発明の一実施例に係る再生装置２０で表示されるオリジナル映像１００’とユーザ視点ａ１、ａ２を示す。表示部２２は、受信したオリジナル映像を表示することができる。例えば、表示部２２は、受信したオリジナル映像を仮想空間上の座標系（例えば、球形座標系）にテクスチャー（ｔｅｘｔｕｒｅ）形態でマッピング（ｍａｐｐｉｎｇ）することでオリジナル映像を表示することができる。
【００５３】
視点検出部２３は、表示されるオリジナル映像を眺めるユーザの視点を検出するように構成されていてよい。ユーザの視点決定のために視点検出部２３は、センサから獲得した多様なセンシング情報を利用することができる。例えば、センサは、ジャイロセンサ、加速度センサ、ＩＭＵ（Ｉｎｅｒｔｉａｌ  Ｍｅａｓｕｒｅｍｅｎｔ  Ｕｎｉｔ）センサ、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）センサ、及びビジョンセンサの少なくとも１つを含むものであってよいが、これらに制限されるものではない。
【００５４】
図４を参照すると、表示されるオリジナル映像１００’を眺めるユーザの視点が示されている。具体的に、オブジェクト２１１を眺める視点ａ１とオブジェクト２３１を眺める視点ａ２がそれぞれ示されている。
【００５５】
オブジェクトピッキング部２４は、検出されたユーザの視点、前記座標情報、及びオブジェクトマスキングイメージに基づいて表示されるオリジナル映像１００’内のオブジェクトをピッキングするように構成されていてよい。オブジェクトピッキング部２４は、ユーザの視点が再生されるオリジナル映像１００’内のオブジェクト２１１またはその周辺部（オブジェクトから所定の距離離隔された範囲）に向かう場合、ユーザの視点が向かうオブジェクトとオブジェクトマスキングイメージとを比べてオブジェクト２１０をピッキングすることができる。すなわち、オブジェクトマスキングイメージは、背景とオブジェクトとが区分されているので、再生される映像１００’内のオブジェクト２１１が背景と分離されてピッキングされ得る。
【００５６】
例えば、オブジェクトピッキング部２４は、検出されたユーザの視点が前記オブジェクト領域内またはそれから所定の範囲内に位置する場合、前記オブジェクト領域を分割し、分割されたオブジェクト領域と受信したオブジェクトマスキングイメージに基づいてオブジェクトを検出し、検出されたオブジェクトをピッキングすることができる。このように映像分割によって映像処理負荷を効果的に軽減することができる。
【００５７】
オブジェクトピッキング部２４は、オリジナル映像１００に対応する仮想空間上の座標系上での前記オブジェクト領域の座標情報と前記オブジェクトマスキングイメージを利用して、前記表示されるオリジナル映像内のオブジェクトをピッキングすることができる。すなわち、オブジェクトピッキング部２４は、ユーザ視点が示す仮想空間上のテクスチャー座標系（ｔｅｘｔｕｒｅ  ｃｏｏｒｄｉｎａｔｅｓ）上の座標を計算し、計算されたテクスチャー座標系上の座標のピクセル情報に基づいてピッキングを行うことができる。
【００５８】
図３と図４を参照すると、オブジェクト２３１に対してはオブジェクト領域が抽出されなかったため、ユーザの視点ａ２がオブジェクト２３１に向かってもピッキングがなされない。オブジェクト領域が抽出されたオブジェクト２１１に対しては、ユーザの視点ａ２がオブジェクト２１１に向かうとピッキングがなされることが分かる。
【００５９】
一実施例において計算部２５は、以前フレームのオリジナル映像と現在フレームのオリジナル映像とを比べることで、現在のオリジナル映像内のオブジェクト領域の変化値を計算するように構成されていてよい。このような変化値は、オブジェクト領域の移動、大きさの変化、及び回転の少なくとも１つに関連付けられたものであってよい。この場合、オブジェクトピッキング部２４は、前記変化値に基づいてオブジェクト領域の座標情報またはオブジェクト領域の仮想空間上のテクスチャー座標系上の座標を補正することができる。
【００６０】
伝送装置１０または再生装置２０によって処理される前記オリジナル映像と前記オブジェクトマスキングイメージは、各フレームに対するタイムコード情報を利用して時間同期されていてよい。
【００６１】
図５は、本発明の一実施例に係る視点基盤のオブジェクトピッキングが可能な映像伝送方法のフロー図である。図５を参照すると、視点基盤のオブジェクトピッキングが可能な映像伝送方法は、伝送装置が、オリジナル映像からオブジェクトを含むオブジェクト領域を抽出するステップ（Ｓ１１０）、伝送装置が、抽出されたオブジェクト領域のオブジェクトマスキングイメージを生成するステップ（Ｓ１２０）、伝送装置が、前記オリジナル映像内の前記オブジェクト領域の座標情報を抽出するステップ（Ｓ１３０）、伝送装置が、前記オリジナル映像、前記オブジェクトマスキングイメージ及び前記座標情報を再生装置に提供するステップ（Ｓ１４０）、を含んでいてよい。
【００６２】
他の一実施例において、視点基盤のオブジェクトピッキングが可能な映像伝送方法は、伝送装置が、前記オブジェクトマスキングイメージが複数個である場合、少なくとも２つ以上のオブジェクトマスキングイメージが結合されたスプライトイメージを生成し、前記スプライトイメージを前記再生装置に提供するステップをさらに含んでいてよい。ここで前記オブジェクトマスキングイメージは、背景からオブジェクトが分離され、前記オリジナル映像よりも解像度が低いイメージであってよい。
【００６３】
図６は、本発明の一実施例に係る視点基盤のオブジェクトピッキングが可能な映像再生方法のフロー図である。図６を参照すると、視点基盤のオブジェクトピッキングが可能な映像再生方法は、映像再生装置が、オリジナル映像、前記オリジナル映像に含まれる少なくとも１つのオブジェクト領域に対するオブジェクトマスキングイメージ及び前記オリジナル映像内の前記オブジェクト領域の座標情報を受信するステップ（Ｓ２１０）、映像再生装置が、前記オリジナル映像を表示するステップ（Ｓ２２０）、映像再生装置が、表示されるオリジナル映像を眺めるユーザの視点を検出するステップ（Ｓ２３０）、及び映像再生装置が、検出されたユーザの視点、前記座標情報及び前記オブジェクトマスキングイメージに基づいて前記表示されるオリジナル映像内のオブジェクトをピッキングするステップ（Ｓ２４０）、を含む。前記ピッキングするステップ（Ｓ２４０）は、検出されたユーザの視点が表示されるオリジナル映像内のオブジェクトまたはその周辺部に向かう場合、ユーザの視点が向かうオブジェクトとオブジェクトマスキングイメージとを比べて、前記オブジェクト領域イメージ内のオブジェクトをピッキングすることができる。
【００６４】
また、視点基盤のオブジェクトピッキングが可能な映像再生方法は、映像再生装置が、以前フレームのオリジナル映像と現在フレームのオリジナル映像とを比べることで、現在のオリジナル映像内のオブジェクト領域の変化値を計算するステップをさらに含んでいてよい。この場合、ピッキングするステップ（Ｓ２４０）は、前記変化値に基づいてオブジェクト領域の座標情報を補正することができる。
【００６５】
以上の過程を通じて、従来の機器のような復号限界による解像度の制約を克服し、１１ｋなどの超高解像度を有する光視野角映像を再生しながら、その中のオブジェクトをピッキングすることができる。
【００６６】
以上で説明した実施例に係る光視野角映像の伝送及び再生方法は、少なくとも部分的にコンピュータープログラムで具現され、コンピューター読取可能な記録媒体に記録されていてよい。前記コンピューター読取可能な記録媒体はコンピューターで読取可能なデータが格納されるあらゆる種類の記録装置を含む。コンピューター読取可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置などがある。またコンピューター読取可能な記録媒体は、ネットワークを介して接続されたコンピューターシステムに分散され、分散方式でコンピューター読取可能なコードが記憶され実行されるものであってもよい。また、本実施例を具現するための機能的なプログラム、コード及びコードセグメント（ｓｅｇｍｅｎｔ）は当該実施例の属する技術分野における通常の技術者にとって容易に理解できるであろう。
【００６７】
以上で、本発明を図面に図示された実施例を参考にして説明してきたが、これは例示的なものに過ぎず、当該分野における通常の知識を有する者であればこれより種々の変形及び実施例の変形が可能であることが理解できるであろう。しかし、このような変形は、本発明の技術的保護範囲内にあるとみるべきである。よって、本発明の真正な技術的保護範囲は請求の範囲の技術的思想によって決められるといえる。
【図１】
2019004441.tif 000003
【図２】
2019004441.tif 000004
【図３ａ】
2019004441.tif 000005
【図３ｂ】
2019004441.tif 000006
【図４】
2019004441.tif 000007
【図５】
2019004441.tif 000008
【図６】
2019004441.tif 000009