(57)【要約】      （修正有）【課題】補助視覚オブジェクトをイメージまたはイメージのシーケンスに追加する方法および装置を提供する。【解決手段】少なくともイメージ１またはイメージのシーケンスで描画されるシーンの３次元構造についての情報を含み、イメージ１またはイメージのシーケンスと共に提供されるメタデータを、補助視覚オブジェクト２、３を追加するユーザ要求時に取り出す。イメージ１またはイメージのシーケンス内の補助視覚オブジェクト２、３に関する位置を、取り出したメタデータから求める。次いで、求めた位置に従って、補助視覚オブジェクト２、３を、イメージ１またはイメージのシーケンスに追加する。【選択図】図２
2013182618.tif 000002
【特許請求の範囲】
【請求項１】
補助視覚オブジェクト（２、３、４、５、６、７、９）をイメージ（１）またはイメージのシーケンスに追加する方法であって、
前記イメージ（１）または前記イメージのシーケンスの放送を受信するステップと、
前記イメージ（１）または前記イメージのシーケンスと共に提供されるメタデータを取り出すステップであって、前記メタデータは、少なくとも前記イメージ（１）または前記イメージのシーケンスで描画されるシーンの３次元構造についての情報を含む、ステップと、
補助視覚オブジェクト（２、３、４、５、６、７、９）を表示するユーザ要求を受信するステップと、
前記取り出したメタデータから、前記イメージ（１）または前記イメージのシーケンス内の前記補助視覚オブジェクト（２、３、４、５、６、７、９）に関する位置を求めるステップと、
前記求めた位置に従って、前記補助視覚オブジェクト（２、３、４、５、６、７、９）を前記イメージまたは前記イメージのシーケンスに追加するステップと、
を含む、前記方法。
【請求項２】
前記補助視覚オブジェクト（２、３、４、５、６、７、９）は実線または半透明線（２、３、４、５、６）である、請求項１に記載の方法。
【請求項３】
前記実線または前記半透明線（２、３、４、５、６）は、オブジェクト（８）の軌道（５）またはオブジェクト（８）の影の軌道（６）である、請求項２に記載の方法。
【請求項４】
前記補助視覚オブジェクト（２、３、４、５、６、７、９）はオブジェクト（８）に関する識別子（７）である、請求項１に記載の方法。
【請求項５】
前記補助視覚オブジェクト（２、３、４、５、６、７、９）は、オブジェクト（８）の仮想影（９）である、請求項１に記載の方法。
【請求項６】
前記仮想影（９）の提示は、前記オブジェクト（８）の高度に依存する、請求項５に記載の方法。
【請求項７】
前記補助視覚オブジェクト（２、３、４、５、６、７、９）は２つのオブジェクト間の距離を示す、請求項１に記載の方法。
【請求項８】
前記イメージ（１）または前記イメージのシーケンスで描画される前記シーンの３次元構造についての前記情報は、深さ情報または視差情報である、請求項１ないし７のいずれか１項に記載の方法。
【請求項９】
イメージ（１）またはイメージのシーケンスの再生のための装置であって、前記装置（１０）が、補助視覚オブジェクト（２、３、４、５、６、７、９）を前記イメージ（１）または前記イメージのシーケンスに追加する請求項１ないし８のいずれか１項に記載の方法を実行するように適合されることを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、補助視覚オブジェクト（ａｕｘｉｌｉａｒｙ  ｖｉｓｕａｌ  ｏｂｊｅｃｔ）と共にイメージまたはイメージシーケンスを提供するための解決策に関する。より詳細には、本発明は、イメージまたはビデオシーン、特にスポーツシーンに、補助線または他の有用な視覚オブジェクトを追加するための解決策に関する。
【背景技術】
【０００２】
多くの種類のスポーツでは、状況をより詳細に分析することが趨勢となっている。例えば、サッカーゲームでは、非常に頻繁にオフサイド判定が問題となり、またはボールが本当にゴールラインの後ろにあったのかどうかが議論される。しかし、あるビデオシーンでは、正しい結論に至ることができるように、補助線または他の有用な情報が高く評価される。そのような補助線は放送局によって提供されることがあるが、常に提供されるわけではない。ユーザは、そのようなサービスについての制御を持たない。
【０００３】
これに関して、特許文献１は、視覚オブジェクト、例えばイメージ、ビデオ、グラフィックス、テキスト、または広告をビデオに挿入する方法を説明している。このため、ビデオ解析モジュールが、ビデオを解析して注目点位置を取り出し、それに基づいて挿入位置を求める。次いで、求めた挿入位置に従って視覚オブジェクトを挿入する。挿入すべき視覚オブジェクトのタイプに応じて、ユーザ側で高性能のコンピュータが必要となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願公開第２０１０／００５００８２号明細書
【発明の概要】
【課題を解決するための手段】
【０００５】
本発明の目的は、ユーザによって少なくとも部分的に制御することのできる、イメージまたはイメージのシーケンスに補助視覚オブジェクトを追加するための単純化した解決策を提案することにある。
【０００６】
本発明によれば、この目的は、イメージまたはイメージのシーケンスに補助視覚オブジェクトを追加する方法によって達成され、この方法は、
イメージまたはイメージのシーケンスの放送を受信するステップと、
イメージまたはイメージのシーケンスと共に提供されるメタデータを取り出すステップであって、メタデータは、少なくともイメージまたはイメージのシーケンスで描画されるシーンの３次元構造についての情報を含むステップと、
補助視覚オブジェクトを表示するユーザ要求を受信するステップと、
取り出したメタデータから、イメージまたはイメージのシーケンス内の補助視覚オブジェクトに関する位置を求めるステップと、
求めた位置に従って、イメージまたはイメージのシーケンスに補助視覚オブジェクトを追加するステップと、
を含む。
【０００７】
同様に、イメージまたはイメージのシーケンスの再生のための装置が、イメージまたはイメージのシーケンスに補助視覚オブジェクトを追加する上述の方法を実施するように適合される。
【０００８】
本発明によれば、追加のメタデータ、例えば３Ｄ関連メタデータが、ビデオデータと共に送信される。この情報に基づいて、受信機は、ユーザの要求によって補助線および他の補助視覚オブジェクトをビデオに追加することができる。好ましくは、追加のメタデータは、記録カメラおよび記録されたシーン、例えばコートの相対位置についての情報、またはより一般的には深さ情報もしくは視差情報を含む。有利なことに、スポーツシーンの場合、カメラに対するボールおよび／またはプレーヤの位置が与えられる。さらに、光学的ひずみを除去することができるように、幾何学的カメラ較正を利用可能にすると好都合である。追加のメタデータがシーンに関するより詳細な深さ情報または視差情報をも含む場合、シーン内の他のオブジェクト、例えばプレーヤのために、線または他の補助視覚オブジェクトの部分を遮ることさえも可能となる。あるいは、補助視覚オブジェクトは単に半透明でよい。これにより実装が単純化される。
【０００９】
補助視覚オブジェクトを用いて、ユーザは、例えばスポーツシーンがレフェリーによって正しく扱われたかどうかを、放送局とは無関係にチェックすることができる。スポーツファンがしばしば決定的な状況を議論するために多量の時間を費やすとき、そのようなシーンを専門家のように自宅で分析することができることを理解するであろう。したがって、本発明による解決策は、対話性が既に要求されている場合、消費者に対話性をもたらす。
【００１０】
シーンのイメージと、追加の３Ｄ関連メタデータとの組合せにより、実際のシーンと仮想シーンの混合を生み出すことが可能となる。十分な３Ｄ関連メタデータを用いると、シーンの周りの仮想「ヘリコプターフライト」さえも可能である。残念ながら、通常は、シーンの遮られた部分に関して利用可能な情報が十分にはない。しかし、プレーヤ、ボール、および単純な平面フィールドの位置が利用可能である。これは、ＣＧＩシーン（ＣＧＩ:Ｃｏｍｐｕｔｅｒ−Ｇｅｎｅｒａｔｅｄ  Ｉｍａｇｅｒｙ）の中を通るアニメーション化されたフライトにとって十分である。セットトップボックスは、プレーヤをオブジェクトとして描画し、この完全にアニメーション化されたシーンの周りのフライトを計算する。これは、３Ｄシーンについての概念を得るのに十分である。もちろん、放送局は、他のカメラから導出された別の３Ｄ関連情報を配信することがある。この場合、完璧なアニメーションとなるまでセットトップボックスでより詳細な３Ｄモデリングを行うことができる。
【００１１】
より良い理解のために、これから、以下の説明で図を参照しながらより詳細に本発明を説明する。本発明はこの例示的実施形態に限定されず、添付の特許請求の範囲で定義される本発明の範囲から逸脱することなく、指定の機能を適切に組み合わせ、かつ／または修正することができることを理解されたい。
【図面の簡単な説明】
【００１２】
【図１】カメラによって取り込まれるサッカーゲームのシーンを示す図である。
【図２】２つの追加の補助線を伴う図１のシーンを示す図である。
【図３】半透明の補助線および円弧を伴う図１のシーンを示す図である。
【図４】ボールの軌道を伴う図１のシーンを示す図である。
【図５】予想されるボールの軌道および補助円を伴う図１のシーンを示す図である。
【図６】仮想ボール影を伴うコンピュータゲームからのショットを示す図である。
【図７】ボール影のない実際のサッカーゲームからのシーンを示す図である。
【図８】半透明の影を伴う図７のシーンを示す図である。
【図９】完全に黒い影を伴う図７のシーンを示す図である。
【図１０】部分的に遮られた仮想ボール影を伴うサッカーゲームからの別のシーンを示す図である。
【図１１】半透明仮想影を伴う図１０のシーンを示す図である。
【発明を実施するための形態】
【００１３】
以下では、サッカーゲームを参照しながら本発明を説明する。もちろん、一般的な概念は他の種類のスポーツ、例えばゴルフ、アメリカンフットボール、ラグビーなどにも適用可能である。さらに、本発明は必ずしもスポーツに限定されず、例えばドキュメンタリーで動物を強調表示するために、視覚的ヒントが閲覧者によって評価されるであろう、他の分野に対しても使用することができる。
【００１４】
図１に、カメラによって取り込まれたサッカーゲームのシーン１を示す。ピクチャ１は、図２から５に示す例示的補助視覚オブジェクトに関する基本ピクチャを構成する。本発明によれば、実際のシーンと仮想シーンを混合することを可能にするフォーマットでシーンが放送される。このため、例えばシーンの記録中に放送局によって生成された、実際のシーンについての追加のメタデータが提供される。追加のメタデータは、記録されたシーン、例えばサッカー競技場に対するカメラの位置についての情報を含む。放送シーンおよび追加情報に基づいて、ユーザのセットトップボックスは、仮想補助線または他の視覚オブジェクトをシーンに追加することができる。深さ情報または視差情報も利用可能である場合、カメラと仮想線との間のオブジェクト、例えばプレーヤによって、線の部分を遮ることさえも可能である。
【００１５】
図２に、２つの追加された補助線を伴う図１のシーンを示す。第１の補助線２が導入され、オフサイド位置が識別される。第２の補助線３は、ショットからゴールまでの直線距離、この場合は２３．１ｍを示す。図２の例では、プレーヤが線２、３の部分を遮る。このことは、ピクチャに関連する視差情報の解析で達成される。
【００１６】
図３に、オフサイド位置を識別するための別の補助線２を伴う図１のシーンを示す。この追加線２は半透明であり、実装が単純化される。さらに、単一の距離、この場合は９．１５ｍが、第２の補助線３および円弧４と共に示されている。
【００１７】
図４に、飛んでいるボールの軌道５を伴う図１のシーンを示す。メタデータに基づいて、距離、この場合は７．１ｍが示される。浮遊するボールの軌道５の代わりに、またはそれに加えて、仮想ボール影の軌道６と、対応する距離、この場合は７ｍを示すことができる。仮想ボール影の軌道６について、赤道での正午の太陽を仮定する。
【００１８】
図５に、シーン全体の軌道５、６を伴う図１のシーンを示し、すなわち、図５は将来の様子を含む。このことは、一時停止したシーン、すなわち既知の将来についてのみ可能である。そのような予想される軌道５、６をリアルタイムに計算することは、極めて要求が厳しいからである。この場合も、飛んでいるボールの軌道５と、仮想影の軌道６の両方が、どちらもそれぞれ対応する距離２３．２ｍおよび２３．１ｍと共に示されている。さらに、ボールの位置が補助円７で示されている。
【００１９】
図６に、ボール８の仮想影９を伴うコンピュータゲームのショットを示す。影９は、ボール８の認識を改善するために使用される。仮想ボール影について、赤道での正午の太陽を仮定する。
【００２０】
比較として、図７に、ボール影のない実際のサッカーゲームからのシーンを示す。図からわかるように、ボールの位置を求めることは可能ではない。
【００２１】
好ましくは、実際のシーンについての追加のメタデータ、特に深さ情報または視差情報を使用して、オブジェクトの軌道を求め、仮想影の位置を計算し、仮想影をシーンに正しく配置する。このことを図８から１２に概略的に示す。
【００２２】
図８に、仮想太陽からの半透明影９を伴う図７のシーンを示し、この場合も、仮想太陽について赤道での正午の太陽を仮定する。
【００２３】
同様に、図９に、仮想太陽からの完全に黒い影を伴う図７のシーンを示す。
【００２４】
図１０に、仮想太陽からの完全に黒い仮想ボール影９を伴うサッカーゲームからの別のシーン１を示す。しかし、この場合、仮想ボール影９は、プレーヤの身体によって部分的に遮られる。他のオブジェクト、例えばプレーヤが実際の影を遮る、すなわち仮想影とカメラとの間に位置する場合、影９の正しい隠蔽が行われる。この機能は、利用可能な深さ情報または視差情報を利用し、好ましくはユーザによってスイッチオンおよびオフすることができる。このため、消費者側で、すなわち必要な機能を備えるセットトップボックスまたはＴＶセットで、影９の計算を実行する必要がある。受信されるストリームは、人工影を計算および投影するためのすべての適切なデータを含む。
【００２５】
最後に、図１１に、仮想太陽からの実際のボールの半透明の仮想影９を伴う図１０のシーンを示す。図１０とは対照的に、影９の遮られる部分はない。
【００２６】
一般には、ボールの影が常に利用可能である必要はない。例えば、ボールの高度に応じてボールの影を追加することができる。１つの可能性によれば、仮想ボール影の透明度は、ボールの高度の増加と共に減少する。あるいは、仮想ボール影は、指定の高度、例えば１ｍよりも高い高度のボールだけについて表示される。これにより、特定のシーンの間の、例えばドリブル中の不要な、さらには目障りな影が回避される。上記の手法または他の適切な手法が使用されるとき、ボールの位置が直ちに明らかである状況について、邪魔な影を伴わずに、実況中のサッカーの試合全体の間、仮想ボール影をアクティブにすることができる。
【００２７】
送信される追加データは同様に、他の視覚的ヒントに適している。例えば、プレーヤに追従し、または並列に数人のプレーヤに追従する光の痕跡をシーンに追加することができる。さらに、実際のシーン、または利用可能なデータから生成された人工シーンの両方の中で、セットトップボックスによってフィールドの一定のエリアを強調表示することができ、さらには適切な遮り処理と共にプレーヤを移動することさえもできる。これにより、ゲーム分析の可能性が非常に高まる。
【図１】
2013182618.tif 000003
【図２】
2013182618.tif 000004
【図３】
2013182618.tif 000005
【図４】
2013182618.tif 000006
【図５】
2013182618.tif 000007
【図６】
2013182618.tif 000008
【図７】
2013182618.tif 000009
【図８】
2013182618.tif 000010
【図９】
2013182618.tif 000011
【図１０】
2013182618.tif 000012
【図１１】
2013182618.tif 000013
【外国語明細書】
2013182618000001.pdf