(57)【要約】  本発明は、仮想画像処理方法、画像処理システムおよび記憶媒体に関し、前記方法は、撮像画面の仮想化を実現するために使用される仮想画像処理方法であって、撮像装置の基準位置およびリアルタイム位置を取得するステップと、リアルタイム位置の基準位置に対する移動パラメータを算出するステップと、移動パラメータによって仮想撮像装置の位置および姿勢を仮想化し、置換対象シーンの仮想化された仮想撮像装置に対する透視パラメータを算出するステップと、透視パラメータによって仮想シーンをエンコードするステップと、置換対象シーンを、エンコードされた仮想シーンに置換するステップと、を含む方法である。本発明で提供された仮想画像処理方法は、取得された移動パラメータによって仮想撮像装置の位置および姿勢を仮想化することにより、置換対象シーンの仮想撮像装置に対する透視パラメータを算出し、透視パラメータによって仮想シーンをエンコードし、エンコードされた仮想シーンと撮像画像とのシームレスな融合を実現できる。撮像装置の移動中の仮想ディスプレイに適用できる。
2020534724.tif 000002
【特許請求の範囲】
【請求項１】
撮像画面の仮想化を実現するために使用される仮想画像処理方法であって、
撮像装置の基準位置およびリアルタイム位置を取得するステップと、
リアルタイム位置の基準位置に対する移動パラメータを算出するステップと、
移動パラメータによって仮想撮像装置の位置および姿勢を仮想化し、置換対象シーンの仮想化された仮想撮像装置に対する透視パラメータを算出するステップと、
透視パラメータによって仮想シーンをエンコードするステップと、
置換対象シーンを、エンコードされた仮想シーンに置換するステップと、
を含むことを特徴とする仮想画像処理方法。
【請求項２】
前記撮像装置内にはジャイロスコープが設置され、ジャイロスコープを介して撮像装置のリアルタイム位置の基準位置に対する、Ｘ、Ｙ、Ｚの３方向における移動パラメータをリアルタイムで算出することを特徴とする請求項１に記載の仮想画像処理方法。
【請求項３】
前記の移動パラメータによって仮想撮像装置の位置および姿勢を仮想化することは、
撮像装置の静止パラメータを取得することと、
プリセットアルゴリズムによって、基準位置、移動パラメータ、および静止パラメータから仮想撮像装置の位置および姿勢を算出することと、を含み、
前記静止パラメータには、撮像装置のパン、撮像装置のチルト、レンズのフォーカス、レンズのズームのうちの少なくとも１つが含まれることを特徴とする請求項１または２に記載の仮想画像処理方法。
【請求項４】
前記のプリセットアルゴリズムによって、基準位置、移動パラメータ、および静止パラメータから仮想撮像装置の位置および姿勢を算出することは、
撮像装置の基準位置と移動パラメータに基づいて、仮想撮像装置の位置として、撮像装置の実際の位置を総合的に算出することと、
静止パラメータに基づいて、仮想撮像装置の姿勢を算出することと、を含むことを特徴とする請求項３に記載の仮想画像処理方法。
【請求項５】
前記プリセットアルゴリズムによって、基準位置、移動パラメータ、および静止パラメータから仮想撮像装置の位置および姿勢を算出することは、
撮像装置の基準位置と移動パラメータに基づいて総合的に算出した後、撮像装置が撮像する時に実際にある位置を取得することと、
移動パラメータに基づいて撮像装置の移動傾向を算出および予測することと、
撮像装置の実際の位置と移動傾向によって、前記仮想撮像装置の位置を算出することと、
静止パラメータに基づいて、仮想撮像装置の姿勢を算出することと、を含むことを特徴とする請求項３に記載の仮想画像処理方法。
【請求項６】
前記置換対象シーンの仮想撮像装置に対する透視パラメータを算出することは、
置換対象シーンの撮像画面での位置を識別することと、
仮想撮像装置の位置および姿勢に基づいて、置換対象シーンの透視パラメータを算出することと、を含み、
前記透視パラメータには、位置、サイズ、および歪みのうちの少なくとも１つが含まれることを特徴とする請求項３から５のいずれか一項に記載の仮想画像処理方法。
【請求項７】
画像処理システムであって、
画像を撮像するための撮像装置と、
撮像装置のリアルタイム位置と基準位置を取得するための位置取得部と、
撮像装置のリアルタイム位置が基準位置に対する移動パラメータを算出するための算出部と、
移動パラメータによって仮想撮像装置の位置および姿勢を仮想化し、置換対象シーンの仮想撮像装置に対する透視パラメータを算出するためのプロセッサと、
仮想シーンをエンコードするためのエンコード部と、および
置換対象シーンを仮想シーンに置換するための置換部と、を含むことを特徴とする画像処理システム。
【請求項８】
前記撮像装置内にはジャイロスコープが設置され、前記算出部は、ジャイロスコープのチップであることを特徴とする請求項７に記載の画像処理システム。
【請求項９】
撮像装置の静止パラメータを取得するためのパラメータ取得部をさらに含むことを特徴とする請求項７または８に記載の画像処理システム。
【請求項１０】
コンピュータプログラムが格納された機械可読記憶媒体であって、前記コンピュータプログラムはプロセッサによって実行されると、請求項１から６のいずれか一項に記載の仮想画像処理方法を実現することを特徴とする機械可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理の技術分野に属し、特に仮想画像処理方法、画像処理システムおよび記憶媒体に関する。
【背景技術】
【０００２】
撮像装置で撮像された真実なシーンは、グラフィックワークステーションでレンダリングされた仮想３次元シーンと合成され、最終的な視聴者に見られる画像を取得する。この方法は、仮想スタジオで適用でき、司会者の現場での動きをグラフィックワークステーションで生成された仮想背景にシームレスに融合し、また、サッカーやバスケットボールなどのスポーツゲームの中継放送過程にも適用でき、グラウンド周辺の広告を仮想画像処理で置き換え、現場での観客とテレビ前の視聴者とは２つの異なる広告を見ることができ、このうえ、同じスポーツゲームでも、異なる中継放送対象の国に対して、異なる広告を仮想化して出すことができ、これによって、広告主の利益を高めることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
従来の仮想画像処理方法では、撮像装置用雲台を、自由に動かさないように三脚に固定することが要求される。この場合、グラフィックワークステーションは、撮像装置のパン、チルト、フォーカス、合焦などのいくつかのパラメータを取得することによって、元の画像に対する合成された仮想画像の遠近関係を算出でき、これによって仮想画像を実現できる。
【０００４】
しかしながら、固定された撮像装置はビデオを撮像する柔軟性を制限し、ある固定位置からしか撮像することができず、例えば、高速走行中の選手やレーシングカーに対する撮像を完全に追跡することは困難である。また、撮像装置の位置をいったん移動させると、システムの再較正を必要とし、それは時間も手間もかかる。したがって、従来技術には欠陥があり、改善する必要がある。
【課題を解決するための手段】
【０００５】
本発明の第１の態様は、撮像画面の仮想化を実現するために使用される仮想画像処理方法を提供し、前記方法は、
撮像装置の基準位置およびリアルタイム位置を取得するステップと、
基準位置に対するリアルタイム位置の移動パラメータを算出するステップと、
移動パラメータによって仮想撮像装置の位置および姿勢を仮想化し、仮想化された仮想撮像装置に対する置換対象シーンの透視パラメータを算出するステップと、
透視パラメータによって仮想シーンをエンコードするステップと、
置換対象シーンを、エンコードされた仮想シーンに置換するステップと、を含む。
【０００６】
一実施形態では、前記撮像装置にはジャイロスコープが設置され、ジャイロスコープを介して撮像装置のリアルタイム位置の基準位置に対する、Ｘ、Ｙ、Ｚの３方向における移動パラメータをリアルタイムで算出する。
【０００７】
一実施形態では、前記の移動パラメータによって仮想撮像装置の位置および姿勢を仮想化することは、
撮像装置の静止パラメータを取得することと、
プリセットアルゴリズムによって、基準位置、移動パラメータ、および静止パラメータから仮想撮像装置の位置および姿勢を算出することと、を含む。
【０００８】
ここで、前記静止パラメータには、撮像装置のパン、撮像装置のチルト、レンズのフォーカス、レンズのズームのうちの少なくとも１つが含まれる。
【０００９】
一実施形態では、前記のプリセットアルゴリズムによって、基準位置、移動パラメータ、および静止パラメータから仮想撮像装置の位置および姿勢を算出することは、
撮像装置の基準位置と移動パラメータに基づいて、仮想撮像装置の位置として、撮像装置の実際の位置を総合的に算出することと、
静止パラメータに基づいて、仮想撮像装置の姿勢を算出することと、を含む。
【００１０】
一実施形態では、前記のプリセットアルゴリズムによって、基準位置、移動パラメータ、および静止パラメータから仮想撮像装置の位置および姿勢を算出することは、
撮像装置の基準位置と移動パラメータに基づいて総合的に算出した後、撮像装置が撮像する時に実際にある位置を取得することと、
移動パラメータに基づいて撮像装置の移動傾向を算出し予測することと、
撮像装置の実際の位置と移動傾向によって、前記仮想撮像装置の位置を算出することと、
静止パラメータに基づいて、仮想撮像装置の姿勢を算出することと、を含む。
【００１１】
一実施形態では、前記の置換対象シーンの仮想撮像装置に対する透視パラメータを算出することは、
置換対象シーンの撮像画面での位置を識別することと、
仮想撮像装置の位置および姿勢に基づいて、置換対象シーンの透視パラメータを算出することと、を含む。
【００１２】
ここで、前記透視パラメータには、位置、サイズ、および歪みのうちの少なくとも１つが含まれる。
【００１３】
上記の仮想画像処理方法は、取得された移動パラメータによって仮想撮像装置の位置および姿勢を仮想化することにより、置換対象シーンの仮想撮像装置に対する透視パラメータを算出し、透視パラメータによって仮想シーンをエンコードし、エンコードされた仮想シーンと撮像画像のシームレスな融合を実現できる。撮像装置の移動中の仮想ディスプレイに適用できる。
【００１４】
本発明の第２の態様は、
画像を撮像するための撮像装置と、
撮像装置のリアルタイム位置と基準位置を取得するための位置取得部と、
撮像装置のリアルタイム位置が基準位置に対する移動パラメータを算出するための算出部と、
移動パラメータによって仮想撮像装置の位置および姿勢を仮想化し、置換対象シーンの仮想撮像装置に対する透視パラメータを算出するためのプロセッサと、
仮想シーンをエンコードするためのエンコード部と、
置換対象シーンを仮想シーンに置換するための置換部と、を含む画像処理システムを提供する。
【００１５】
一実施形態では、前記撮像装置内にはジャイロスコープが設置され、前記算出部は、ジャイロスコープのチップである。
【００１６】
一実施形態では、撮像装置の静止パラメータを取得するためのパラメータ取得部をさらに含む。
【００１７】
本発明の第３の態様は、コンピュータプログラムが格納された機械可読記憶媒体を提供し、前記コンピュータプログラムはプロセッサによって実行されると、上記のいずれか一項に記載の仮想画像処理方法を実現する。
【発明の効果】
【００１８】
上記の画像処理システムは、取得された移動パラメータによって仮想撮像装置の位置および姿勢を仮想化することにより、置換対象シーンの仮想撮像装置に対する透視パラメータを算出し、透視パラメータによって仮想シーンをエンコードし、エンコードされた仮想シーンと撮像画像のシームレスな融合を実現できる。撮像装置の移動中の仮想ディスプレイに適用できる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態に係る仮想画像処理方法のフローチャートである。
【図２】本発明の一実施形態に係る仮想画像処理方法のプロセスの一部の分解図である。
【図３】本発明の別の実施形態に係る仮想画像処理方法のプロセスの一部の分解図である。
【図４】ＬＥＤディスプレイの表示画面をエンコードするプロセスを示す図である。
【図５】本発明の別の実施形態に係る仮想画像処理方法のフローチャートである。
【図６】本発明の一実施形態による画像処理システムの構造ブロック図である。
【発明を実施するための形態】
【００２０】
本発明の上記の目的、特徴、および利点をより明確に理解されるために、以下では、添付の図面および具体的な実施形態を参照して本発明を詳細に説明する。矛盾がない場合、本願の実施形態および実施形態の特徴は、互いに組み合わせることができることを理解されたい。
【００２１】
以下の説明では、本発明が十分に理解されるために多くの具体的な細部が述べられており、説明された実施形態は本発明の実施形態の一部にすぎず、実施形態のすべてではない。本発明における実施形態に基づき、当業者が創造的な工夫なしで得られた他の実施形態のすべては、本発明の範囲内に属すべきである。
【００２２】
特に定義されない限り、本明細書で使用されるすべての技術用語および科学用語は、当業者によって一般的に理解されるのと同じ意味を有する。本発明の本明細書で使用される用語は、特定の実施形態を説明するためのものに過ぎず、本発明を限定することを意図されるものではない。
【００２３】
図１は、本発明のいくつかの実施形態に係る仮想画像処理方法のフローチャートであり、前記仮想画像処理方法は、テレビのライブ放送、中継放送、および仮想スタジオに適用できる。なお、本発明の実施形態に係る仮想画像処理方法は、図１に示すようなフローチャートにおけるステップと順序に限定されるものではなく、異なるニーズに応じて、フローチャート中のステップは追加、削除、または順番の変更ができる。
【００２４】
本発明の実施形態に係る仮想画像処理方法は、撮像装置の撮像画面を処理対象とし、撮像処理プロセスにおいて、前記撮像装置は、特定の場所に静的に配置されてもよいし、動的に移動して撮像してもよい。仮想画像処理方法は、特定の撮像画面に応じて、撮像エリア内の特定のキャリアの表示画面を仮想的に置換でき、表示画面を仮想シーンで置換することができるため、異なる地域で異なる仮想シーンを見せることができる。例えば、中継放送過程において、広告の置換によって、異なる地域に異なる広告を放送することを実現して、中継放送の収益を増やすことができる。通常、前記特定のキャリアは広告看板または広告機（例えば、ＬＥＤディスプレイなど）であり、前記表示画面はディスプレイに再生されているビデオであってもよい。
【００２５】
図１に示すように、前記仮想画像処理方法には次のステップが含まれる。
【００２６】
ステップＳ１０２：撮像装置の基準位置およびリアルタイム位置を取得する。
【００２７】
撮像装置が移動撮像プロセスにおいて、表示画面の特定のキャリアは撮像装置の撮像画面における形状およびサイズは絶えず変化している。したがって、移動過程中の撮像装置の撮像画面における表示画面に対して仮想化置換を実現するために、撮像装置には所定の基準位置を予め確定する必要であり、撮像装置の撮像プロセスにおいて、当該基準位置に基づいてキャリアの形状、サイズ、および歪みを評価する。
【００２８】
ステップＳ１０４：リアルタイム位置の基準位置に対する移動パラメータを算出する。
【００２９】
いくつかの実施形態では、撮像装置内には算出部が設置され、算出部は、撮像装置の基準位置に対するリアルタイム位置によって撮像装置の移動パラメータを算出し、仮想撮像装置の仮想化のために参照を提供する。具体的な実施形態では、撮像装置内にはジャイロスコープが設置され、ジャイロスコープによって、撮像装置のリアルタイム位置の基準位置に対する、Ｘ、Ｙ、Ｚの３方向における移動パラメータをリアルタイムに算出する。
【００３０】
ステップＳ１０６：移動パラメータによって仮想撮像装置の位置および姿勢を仮想化し、置換対象シーンの仮想化された仮想撮像装置に対する透視パラメータを算出する。
【００３１】
前記置換対象シーンとは、撮像装置で撮像された、特定のキャリアに表示される表示画面である。前記仮想撮像装置の位置および姿勢は、１フレームの特定の画像によって算出された撮像装置の撮像画角である。撮像装置で撮像された画像はフレームを単位として伝送され、次のフレームの画像が到着する前に、現在処理中のフレーム画像の撮像画角を仮想撮像装置の初期位置として、仮想撮像装置の初期位置および撮像装置の移動パラメータから、次のフレームの画像において仮想撮像装置の位置を仮想化でき、次のフレームの画像の撮像画角が仮想化されるため、撮像画角の変化によって置換対象シーンの仮想撮像装置に対する透視パラメータを算出できる。異なるプロセッサの処理効率に応じて、仮想撮像装置の位置および姿勢を一定の遅延で仮想化してもよく、現在のフレームに基づいて次の１フレームまたは次の複数のフレームの仮想撮像装置の位置および姿勢を仮想化でき、且つこの遅延を調整することができる。当業者であれば、プロセッサの処理効率が条件を満たしたうえ、現在フレームの仮想撮像装置の位置および姿勢を直接算出でき、置換対象シーンの仮想化された仮想撮像装置に対する透視パラメータを算出でき、それを、仮想シーンを調整する基準とすることが理解されたい。
【００３２】
図２に示すように、いくつかの実施形態では、前記の移動パラメータによって仮想撮像装置の位置および姿勢を仮想化することは以下を含む。
【００３３】
ステップＳ１０６１：撮像装置の静止パラメータを取得する。
【００３４】
ステップＳ１０６３：プリセットアルゴリズムによって、基準位置、移動パラメータ、および静止パラメータから仮想撮像装置の位置および姿勢を算出する。
【００３５】
撮像装置の静止パラメータには、撮像装置のパン、撮像装置のチルト、レンズのフォーカス、レンズのズームのうちの少なくとも１つが含まれる。撮像装置が移動しながら撮像する場合、通常、画像安定化のために、撮像装置用雲台を取り付ける必要がある。したがって、撮像装置用雲台によって撮像装置のパンとチルトを取得することができ、また、レンズのフォーカスとズームは撮像画面のサイズおよび解像度を直接決定するため、通常、撮像装置の制御チップによって制御され、したがって、レンズのフォーカスおよびズームは撮像装置の制御チップから直接読み取ることができる。
【００３６】
静止パラメータによって撮像装置の特定の位置での姿勢変化を確定でき、基準位置と移動パラメータによって撮像装置の移動方向を確定できるため、現在フレームの仮想撮像装置の位置に基づいて、仮想撮像装置の位置および姿勢を仮想化できる。
【００３７】
一実施形態では、前記のプリセットアルゴリズムによって、基準位置、移動パラメータ、および静止パラメータから仮想撮像装置の位置および姿勢を仮想化することは、
撮像装置の基準位置と移動パラメータに基づいて、仮想撮像装置の位置として、撮像装置の実際の位置を総合的に算出することと、
静止パラメータに基づいて、仮想撮像装置の姿勢を算出することと、を含む。
【００３８】
通常、撮像装置のシャッターは極めて短いため、前のフレームと次のフレームでの仮想撮像装置の位置と姿勢の仮想変化は小さく、基本的に同じである。そのため、前の１フレームの仮想撮像装置の位置および姿勢を次の1フレームまたは複数のフレームの仮想撮像装置の位置および姿勢に置換して、仮想撮像装置の位置および姿勢とする。誤差は通常、許容範囲内に抑えることができ、観察者の目視でキャプチャされない。
【００３９】
別のいくつかの実施形態では、前記のプリセットアルゴリズムによって、基準位置、移動パラメータ、および静止パラメータから仮想撮像装置の位置および姿勢を算出することは、
撮像装置の基準位置と移動パラメータに基づいて総合的に算出した後、撮像装置の撮像する時に実際にある位置を取得することと、
移動パラメータに基づいて撮像装置の移動傾向を算出し予測することと、
撮像装置の実際の位置と移動傾向によって、前記仮想撮像装置の位置を算出することと、
静止パラメータに基づいて、仮想撮像装置の姿勢を算出することと、を含む。
【００４０】
ジャイロスコープが撮像装置内に設置されている場合、撮像装置のＸ、Ｙ、Ｚの３方向における動きによって、時間Ｔ後、撮像装置のＸ、Ｙ、Ｚの３方向における撮像装置の位置をそれぞれ算出できる。時間Ｔ後の撮像装置の位置および現在時刻の撮像装置の位置に基づいて、撮像装置の移動傾向を予測し、予測の結果を傾向ベクトルとして表示することができる。傾向ベクトルは、撮像装置の動きの方向を特徴付けるために使用される。一般的に、時間Ｔは撮像装置のシャッターオープン時間より小さい。
【００４１】
図３に示すように、いくつかの実施形態では、前記置換対象シーンの仮想化された仮想撮像装置に対する透視パラメータを算出することは以下を含む。
【００４２】
ステップＳ１０６５：置換対象シーンの撮像画面での位置を識別する。
【００４３】
ステップＳ１０６７：仮想撮像装置の位置および姿勢に基づいて、置換対象シーンの仮想撮像装置に対する透視パラメータを算出する。
【００４４】
置換対象シーンの識別は、キャリアの表示画面をエンコードすることによって実現できる。具体的な一実施形態では、前記キャリアの表示画面をエンコードすることは、通常の表示フレームの間に仮想フレームを挿入し、通常の表示フレームと仮想フレームは、キャリア（ＬＥＤディスプレイ）に定期的に表示される。表示フレームと仮想フレームのタイムスロット比を制御することにより、観察者の目に呈するＬＥＤディスプレイの画面は表示フレームのみであり、仮想フレームは占有するタイムスロットが短すぎて人間の目でキャプチャできない。撮像装置のシャッターオープン時間は仮想フレームの表示時間と同期し、つまり、撮像装置のシャッターは、ＬＥＤディスプレイに仮想フレームが表示されるときにのみオープンするため、撮像装置がキャプチャされたＬＥＤディスプレイの表示画面（すなわち、置換対象シーン）は、仮想フレームのみである。前記仮想フレームは、赤、緑、および青の単色画像であってもよい。したがって、仮想フレームが識別される限り、置換対象シーンを識別できる。
【００４５】
図４に示すように、図４は、キャリア（ＬＥＤディスプレイを例にとると）の表示画面をエンコードするプロセスを例示的に示している。プロセッサがキャリア内に設置され、表示フレーム１００がプロセッサによって処理された後、ＬＥＤディスプレイに表示される。複数の連続的な表示フレーム１００がプロセッサによって処理された後、１つの仮想フレーム２００が２つの表示フレーム１００の間に挿入され、仮想フレーム２００は、外部からプロセッサに送信されるか、プロセッサによって自動的に生成されてもよい。プロセッサは、表示フレーム１００と仮想フレーム２００とのタイムスロット比を調整した後、データストリームをＬＥＤに送信して表示し、表示フレーム１００と仮想フレーム２００をＬＥＤディスプレイに交互に表示させる。最後に、表示フレーム１００は肉眼で見られ、仮想フレーム２００が撮像装置によってキャプチャされて置換対象シーンを形成するため、置換対象シーンの識別は、単色画像領域を識別するだけでよい。
【００４６】
仮想撮像装置の位置および姿勢が仮想化された後、仮想撮像装置の撮像画角を仮想化することができ、仮想撮像装置の現在の撮像画角と仮想撮像画角に応じて、結像角度撮像画角の変化によって置換対象シーンの仮想撮像装置に対する透視パラメータを算出できる。前記透視パラメータには、位置、サイズ、および歪みのうちの少なくとも１つが含まれる。
【００４７】
ステップＳ１０８：透視パラメータによって仮想シーンをエンコードする。
【００４８】
仮想シーンを次のフレーム画像の置換対象シーンの位置と一致させるためには、透視パラメータによって仮想シーンを置換対象シーンと仮想撮像装置との間の遠近関係に適合するようにエンコードする必要であり、撮像画面とのシームレスな融合が実現される。
【００４９】
ステップＳ１１０：置換対象シーンをエンコードされた仮想シーンに置換する。
【００５０】
仮想シーンがエンコードされた後、置換対象シーンの領域を境界線に沿って切り取って、仮想シーンに置換すると、仮想シーンと撮像画面とのシームレスな融合が完了される。融合された画像は表示装置に送信されて表示される。この時、表示装置の表示画面では、キャリアには仮想シーンが表示されるが、撮像現場のキャリアには、表示フレーム１００からなる表示映像が表示されるため、撮像画面の仮想化が実現される。
【００５１】
図５に示すように、いくつかの実施形態では、前記仮想画像処理方法は以下をさらに含む。
【００５２】
ステップＳ１１２：撮像装置のリアルタイム位置を撮像装置の基準位置に更新する。
【００５３】
撮像装置の基準位置を更新することにより、算出の精度を向上させることができる。
【００５４】
もちろん、いくつかの実施形態では、撮像装置の基準位置が一定であってもよく、固定的な位置を維持し、その位置を座標系のゼロ点とし、撮像装置の動きは、座標系内の動きとみなすことができる。
【００５５】
上記の仮想画像処理方法は、取得された移動パラメータによって仮想撮像装置の位置および姿勢を仮想化するため、置換対象シーンの仮想撮像装置に対する透視パラメータを算出し、透視パラメータによって仮想シーンをエンコードし、エンコードされた仮想シーンと撮像画面とのシームレスな融合を実現できる。撮像装置の移動中の仮想表示に適用できる。
【００５６】
図６に示すように、本発明は、画像処理システム１０をさらに提供し、いくつかの実施形態では、前記画像処理システム１０は、撮像装置１１０、位置取得部１２０、算出部１３０、プロセッサ１４０、エンコード部１５０、および置換部１６０を含む。理解できるように、上記の仮想画像処理方法に係る各実施形態に応じて、前記画像処理システム１０は、図５に示される各部または装置の一部または全部を含んでもよく、各部または装置の役割はこれから具体的に紹介する。なお、上記の仮想画像処理方法の各実施形態における同じ名詞や関連用語およびその具体的な説明は、以下の各部または装置についての機能紹介にも適用できることに留意されたい。重複を避けるため、ここでは再び説明しない。
【００５７】
前記撮像装置１１０は、画像を撮像するために使用される。
【００５８】
前記位置取得部１２０は、撮像装置１１０のリアルタイム位置および基準位置を取得するために使用される。
【００５９】
前記算出部１３０は、撮像装置のリアルタイム位置の基準位置に対する移動パラメータを算出するために使用される。
【００６０】
いくつかの実施形態では、撮像装置１１０内にジャイロスコープを設置してもよく、ジャイロスコープのチップを算出部１３０として使用でき、ジャイロスコープのチップによって撮像装置のリアルタイム位置の基準位置に対する移動パラメータをリアルタイムで算出する。
【００６１】
前記プロセッサ１４０は、移動パラメータによって仮想撮像装置の位置および姿勢を仮想化し、置換対象シーンの仮想撮像装置に対する透視パラメータを算出するために使用される。
【００６２】
前記置換対象シーンとは、撮像装置１１０によってキャプチャされ、特定のキャリアに表示される表示画面を指す。
【００６３】
いくつかの実施形態では、撮像装置１１０の静止パラメータを取得するために使用されるパラメータ取得部１７０をさらに含む。
【００６４】
撮像装置１１０の静止パラメータには、撮像装置のパン、撮像装置のチルト、レンズのフォーカス、レンズのズームのうちの少なくとも１つが含まれる。前記パラメータ取得部１７０は前記撮像装置１１０内に設置されてもよい。
【００６５】
一実施形態では、前記プロセッサ１４０は、さらに、
撮像装置１１０の基準位置と移動パラメータに基づいて、仮想撮像装置の位置として、撮像装置１１０の実際の位置を総合的に算出すること、および
静止パラメータに基づいて、仮想撮像装置の姿勢を算出することに使用される。
【００６６】
一実施形態では、前記プロセッサ１４０は、さらに、
置換対象シーンの撮像画面での位置を識別すること、および
仮想撮像装置の位置および姿勢に基づいて、置換対象シーンの仮想撮像装置に対する透視パラメータを算出することに使用される。
【００６７】
前記エンコード部１５０は、仮想シーンをエンコードするために使用される。
【００６８】
前記置換部１６０は、置換対象シーンを仮想シーンに置換するために使用される。
【００６９】
いくつかの実施形態では、位置更新部１８０がさらに含まれ、前記位置更新部１８０は、撮像装置１１０の基準位置を更新するために使用される。
【００７０】
本発明の一実施形態は、コンピュータプログラムが格納された機械可読記憶媒体をさらに提供し、ここで、前記コンピュータプログラムは、プロセッサによって実行されると、上記いずれか一実施形態に記載の仮想画像処理方法を実施する。
【００７１】
前記画像システムまたはコンピュータ装置に統合された部／モジュール／ユニットは、ソフトウェア機能ユニットの形態で実現されかつ独立の製品として販売され又は使用される場合、コンピュータ可読媒体に記憶することができる。このような理解に基づいて、本発明は上記実施例の方法におけるフローの全部又は一部を実現するために、関連するハードウェアを命令するためのコンピュータプログラムによって実現されてもよく、前記コンピュータプログラムはコンピュータ可読媒体に記憶することができ、前記コンピュータプログラムはプロセッサによって実行されるとき、前記の各方法実施例のステップを実現することができる。ここで、前記コンピュータプログラムはコンピュータプログラムコードを含み、前記コンピュータプログラムコードはソースコード形態、オブジェクトコード形態、実行可能なファイル又は何らかの中間形態などであってもよい。前記コンピュータ可読記憶媒体は、前記コンピュータプログラムコードを運ぶことができる任意のエンティティ又は装置、記録媒体、ＵＳＢメモリ、ポータブルハードディスク、磁気ディスク、光ディスク、コンピュータメモリ、読み出し専用メモリ（ＲＯＭ、Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、電気搬送波信号、電気通信信号及びソフトウェア配布媒体などを含む。なお、前記コンピュータ可読媒体に含まれるコンテンツは、司法管轄区域内の立法及び特許実務の要件に従って適切に増減することができ、例えばいくつかの司法管轄区域では、立法及び特許実務によって、コンピュータ可読媒体は電気搬送波信号及び電気通信信号を含まない。
【００７２】
本発明によって提供される実施形態において、開示されたシステムまたは方法は、他の方法で実施され得ることを理解すべきである。例えば、以上説明された実施例は例示的なものに過ぎず、例えば、前記部の区分は、論理的な機能区分にすぎず、実際の実施時に、他の区分方法も用いることができる。
【００７３】
また、本発明の各実施形態における各機能モジュール／部は、同じ処理モジュール／部に統合されていてもよく、各モジュール／部が物理的に別々に存在していてもよく、２つ以上のモジュール／部が同じモジュール／部に統合されてもよい。上記の統合されたモジュール／部は、ハードウェアの形態で実現してもよいし、ソフトウェア機能モジュール／部の形態で実現してもよい。
【００７４】
当業者にとって、本発明の実施形態が上記の例示的な実施形態の詳細に限定されず、本発明の実施形態の精神または基本的特徴から逸脱することなく他の特定の形態で実施できることは明らかである。したがって、実施形態はあらゆる点で例示的かつ非限定的であるとみなされるべきであり、本発明の実施形態の範囲は、上記の説明ではなく添付の特許請求の範囲によって定義されるため、請求項の同等の要素の意味および範囲内にあるすべての変更は、本発明の実施形態に含まれる。請求項に含まれるあらゆる参照符号は、請求項を限定するものとみなされるべきではない。また、「含む」という用語は、他のユニットやステップを排除するものではなく、単数の形でも複数を排除しないことが明らかである。システム、装置、または端末について、請求項に記載されている複数のユニット、モジュール、または装置は、ソフトウェアまたはハードウェアを介して同じユニット、モジュール、または装置によって実現することもできる。第一、第二などの用語は名称を示すために使用されるが、特定の順序を示すものではない。
【００７５】
上記の実施形態の各技術的特徴は任意に組み合わせることができ、説明を簡潔にするために、上記の実施形態の各技術的特徴の可能な組み合わせはすべて記載されていないが、これらの技術的特徴の組み合わせに矛盾がない限り、本明細書に記載の範囲と見なすべきである。
【００７６】
以上に記載の実施例は本発明のいくつかの実施形態のみを示しており、その説明は具体的で詳細なものであるが、これにより発明の特許請求の範囲を限定するものと理解することができない。当業者であれば、本発明の構想を逸脱することなく、いくつかの変形及び改良を行うことができ、これらはすべて本発明の保護範囲に属することに留意されたい。従って、本発明特許の保護範囲は添付の特許請求の範囲に準じるものとする。
【符号の説明】
【００７７】
110  撮像装置
120  位置取得部
130  算出部
140  プロセッサ
150  エンコード部
160  置換部
170  パラメータ取得部
180  位置更新部
【図１】
2020534724.tif 000003
【図２】
2020534724.tif 000004
【図３】
2020534724.tif 000005
【図４】
2020534724.tif 000006
【図５】
2020534724.tif 000007
【図６】
2020534724.tif 000008
【国際調査報告】
2020534724.tif 000009
2020534724.tif 000010
2020534724.tif 000011
2020534724.tif 000012