(57)【要約】  本開示は、ビデオシーンを処理する方法に関連し、この方法は、前記シーンの３Ｄ表現を受信することと（Ｓ１）、少なくとも１つのオブジェクト候補の前記３Ｄ表現を決定することとであって（Ｓ２）、前記少なくとも１つのオブジェクト候補は、３Ｄ点群を含み、前記少なくとも１つのオブジェクト候補に対して少なくとも１つの基準値を計算することと（Ｓ３）、前記少なくとも１つのオブジェクト候補のシグネチャを計算すること（Ｓ４）であって、前記シグネチャは、前記少なくとも１つのオブジェクト候補の３Ｄ特徴を表し、取り除かれるオブジェクト及びライブラリの代替オブジェクトの複数の候補から代替オブジェクトを決定すること（Ｓ５）であって、代替オブジェクトの各候補は、シグネチャを有し、前記決定することは、シグネチャの比較及び代替オブジェクトの基準値に基づき、取り除かれる前記オブジェクトを前記ビデオシーンにおいて、前記代替オブジェクトによって置き換えることと（Ｓ６）を含む。
2017527878.tif 000002
【特許請求の範囲】
【請求項１】
ビデオシーンを処理する方法であって、
前記シーンの３Ｄ表現を受信することと（Ｓ１）、
前記３Ｄ表現の中で少なくとも１つのオブジェクト候補を決定することであって（Ｓ２）、前記少なくとも１つのオブジェクト候補は、３Ｄ点群を含み、
を含み、
前記方法は、
前記少なくとも１つのオブジェクト候補に対して少なくとも１つの基準値を計算することと（Ｓ３）、
前記少なくとも１つのオブジェクト候補のシグネチャを計算すること（Ｓ４）であって、前記シグネチャは、前記少なくとも１つのオブジェクト候補の３Ｄ特徴を表し、
取り除かれるオブジェクトと、ライブラリの代替オブジェクトの複数の候補の中の代替オブジェクトとを決定すること（Ｓ５）であって、代替オブジェクトの各候補は、シグネチャを有し、前記決定することは、シグネチャの比較及び代替オブジェクトの基準値に基づき、
取り除かれる前記オブジェクトを前記ビデオシーンにおいて、前記代替オブジェクトによって置き換えることと（Ｓ６）、
をさらに含むことを特徴とする、方法。
【請求項２】
少なくとも１つのオブジェクト候補に対する少なくとも１つの前記基準値が、ユーザによって決定される、請求項１に記載の方法。
【請求項３】
前記少なくとも１つの基準が、
前記ビデオシーンにおける前記オブジェクトの幾何学的位置、
前記ビデオシーンの前記フォアグラウンドにおける前記オブジェクトの位置、
前記ビデオシーンにおける前記オブジェクトの見える期間、
から選択される、請求項１又は２に記載の方法。
【請求項４】
前記ライブラリは、オブジェクトファミリに分類された代替オブジェクトの複数の候補を含み、前記代替オブジェクトは、少なくとも１つの選択されたオブジェクトファミリに属する代替オブジェクト候補の中から決定される、請求項１乃至３のいずれか１項に記載の方法。
【請求項５】
前記選択されたオブジェクトファミリは、ユーザによって選択される、請求項４に記載の方法。
【請求項６】
各オブジェクトの前記シグネチャは、幾何学的特徴と呼ばれる前記オブジェクトの前記ジオメトリの３Ｄ特徴表現、及び／又は視点特徴と呼ばれる前記オブジェクトの視点の３Ｄ特徴表現を含む、請求項１乃至５のいずれか１項に記載の方法。
【請求項７】
オブジェクトの前記シグネチャは、下記ヒストグラムのグループの中の少なくとも１つのヒストグラムである、請求項６に記載の方法。
視点特徴ヒストグラム、
クラスター化視点特徴ヒストグラム、
点特徴ヒストグラム、
ファストポイント特徴ヒストグラム
【請求項８】
前記代替オブジェクトが、下記によって決定される、請求項１乃至７のいずれか１項記載の方法。
前記少なくとも１つのオブジェクト候補の前記シグネチャ及び前記ライブラリの前記代替オブジェクト候補の前記シグネチャを比較すること、
類似度基準に従って前記少なくとも１つのオブジェクト候補の前記シグネチャと同一又は近いシグネチャを持つ前記ライブラリの前記代替オブジェクト候補を特定することであって、前記代替オブジェクトは、前記ライブラリの前記特定された代替オブジェクト候補である
【請求項９】
前記代替オブジェクトが、下記によって決定される、請求項１乃至７のいずれか１項記載の方法。
前記少なくとも１つのオブジェクト候補の前記シグネチャ及び前記ライブラリの前記代替オブジェクト候補の前記シグネチャを比較すること、
類似度基準に従って前記少なくとも１つのオブジェクト候補の前記シグネチャと同じ又は近いシグネチャを持つ前記ライブラリの代替オブジェクトの複数の候補を特定することであって、前記代替オブジェクトが前記ライブラリの前記特定された代替オブジェクトの前記複数の候補の組合せである
【請求項１０】
前記ライブラリの代替オブジェクトの前記候補の前記シグネチャを計算することをさらに含む、請求項８又は９に記載の方法。
【請求項１１】
前記ライブラリの代替オブジェクトの前記候補の前記シグネチャは、事前に計算され、前記ライブラリに保存される、請求項１乃至９のいずれか１項記載の方法。
【請求項１２】
ビデオシーンを処理するように構成されたデバイスであって、
前記シーンの３Ｄ表現を受信するように構成されたインタフェースと、
前記３Ｄ表現の中で少なくとも１つのオブジェクト候補を決定する処理ユニット（１１）と、
を備え、
前記少なくとも１つのオブジェクト候補に対して少なくとも１つの基準値を計算し、前記少なくとも１つのオブジェクト候補に対してシグネチャを計算し、前記シグネチャは前記少なくとも１つのオブジェクト候補の３Ｄ表現を代表し、取り除かれるオブジェクトと、ライブラリの代替オブジェクトの複数の候補の中の代替オブジェクトとを決定し、オブジェクトの各代替候補はシグネチャを有し、前記決定がシグネチャの比較及びオブジェクト候補の基準値に基づいており、前記ビデオシーン中で取り除かれる前記オブジェクトを前記代替オブジェクトで置き換える、デバイス。
【請求項１３】
プログラムがコンピュータ上で実行されたときに、少なくとも請求項１乃至１１のいずれか１項に従って方法を実行する少なくとも１つのプロセッサによって実行するためのプログラムコードの命令を含むコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ビデオ処理の分野に関連し、より具体的には、映画（film）中でのオブジェクト（object：対象物）又はプロダクト（product：製品）のプレイスメント（placement）又はリプレイスメント（replacement）の分野に関連する。
【背景技術】
【０００２】
映画産業は、映画におけるプロダクトプレイスメント（product  placement）が新しいビジネス及び新しい収入源を提供するという成長傾向を示している。プロダクトプレイスメントとは、例えば、映画においてソーダの大手ブランドのボトルを配置する（placement）ことである。この操作は、映画のシーンにおけるすべてのボトルを他のボトルで置換することを含むこともできる。例えば、ワインのすべてのボトルが水又は炭酸飲料のボトルで置き換えることができる。
【０００３】
単一のカメラキャプチャ又は２Ｄ（二次元）撮影を使用した映画産業において、オブジェクトプレイスメントは、典型的には、撮影が生じる前にビデオシーンにおいて一度行われる。その後、望むオブジェクトの置換（リプレイスメント）又は追加が、ポスト処理方法によっても行えるが、その方法が導く潜在的なコストに関してかなり困難であり、特に映画全体の至る所で、多くのビデオシーンにおいてオブジェクトを配置することに関してはである。
【０００４】
本開示は、配置されるオブジェクトによってビデオシーンからオブジェクトを置換する新しい方法を提案する。この方法は、ビデオシーンの３Ｄ（三次元）取得を行い、置換されるオブジェクトではなく実質的に共通の３Ｄ特徴（feature）を有する製品に対応する代替オブジェクト（substitute  object）によってビデオシーンのオブジェクトを置換（リプレイス）することを提案する。この方法は、隠れた面（hidden  surface）又はオクルージョン（occlusion）の出現を最少化することを可能にする。
【０００５】
より具体的には、本開示は、ビデオシーンを処理する方法に関連し、方法は下記を含む。
前記シーンの３Ｄ表現を受信すること、
少なくとも１つのオブジェクト候補の前記３Ｄ表現を決定することとであって、前記少なくとも１つのオブジェクト候補は、３Ｄ点群を含み、
前記少なくとも１つのオブジェクト候補に対して少なくとも１つの基準値を計算すること、
前記少なくとも１つのオブジェクト候補のシグネチャを計算することであって、前記シグネチャは、前記少なくとも１つのオブジェクト候補の３Ｄ特徴を表し、
取り除かれるオブジェクトと、ライブラリの代替オブジェクトの複数の候補の中の代替オブジェクトとを決定することであって、代替オブジェクトの各候補は、シグネチャを有し、前記決定することは、シグネチャの比較及び代替オブジェクトの基準値に基づき、
取り除かれる前記オブジェクトを前記ビデオシーンにおいて、前記代替オブジェクトによって置き換えること。
【０００６】
具体的な実施形態において、少なくとも１つのオブジェクト候補に対する少なくとも１つの基準値がユーザによって決定される。
【０００７】
有利に、少なくとも１つの基準は、下記から選ばれる：
前記ビデオシーンにおける前記オブジェクトの幾何学的位置、
前記ビデオシーンの前記フォアグラウンドにおける前記オブジェクトの位置、
前記ビデオシーンにおける前記オブジェクトの見える期間。
【０００８】
これらの基準の目的は、置き換え（リプレイスメント）ステップ後の、最終的なシーンにおける代替オブジェクトの見え方（visibility）を改善するためである。
【０００９】
特定の実施形態において、ライブラリ（library）は、オブジェクトファミリに分類された代替オブジェクトの複数の候補を含み、少なくとも１つの選択されたオブジェクトファミリに属する代替オブジェクト候補の中から、代替オブジェクトは決定される。
【００１０】
特定の実施形態において、選択されたオブジェクトファミリは、ユーザによって選択される。
【００１１】
特定の実施形態において、各オブジェクトのシグネチャ（signature）は、形状的特徴（geometrical  feature）と呼ばれるオブジェクトのジオメトリ（geometry）を表す３Ｄ特徴、及び／又は視点特徴（viewpoint  feature）と呼ばれるオブジェクトの視点を表す３Ｄ特徴を含む。
【００１２】
特定の実施形態において、オブジェクトのシグネチャは、下記のヒストグラムのグループの中の少なくとも１つである：
視点特徴ヒストグラム（ＶＦＨ：Viewpoint  Feature  Histogram）、
クラスター化視点特徴ヒストグラム（ＣＶＦＨ：Clustered  Viewpoint  Feature  Histogram）、
点特徴ヒストグラム（ＰＦＨ：Point  Feature  Histogram）、
ファストポイント特徴ヒストグラム（ＦＰＦＨ：Fast  Point  Feature  Histogram）。
【００１３】
特定の実施形態において、代替オブジェクトは、下記によって決定される：
少なくとも１つのオブジェクト候補のシグネチャ及びライブラリの代替オブジェクト候補のシグネチャを比較すること、
類似度基準（similarity  criterion）に従って少なくとも１つのオブジェクト候補のシグネチャと同一又は近いシグネチャを持つライブラリの代替オブジェクト候補を特定することであって、代替オブジェクトは、ライブラリの特定された代替オブジェクト候補である。
【００１４】
別の実施形態において、代替オブジェクトは、代替オブジェクトの複数の候補の組合せから生成される。さらに具体的には代替オブジェクトは、下記によって生成される：
少なくとも１つのオブジェクト候補のシグネチャ及びライブラリの代替オブジェクト候補のシグネチャを比較すること、
類似度基準に従って少なくとも１つのオブジェクト候補のシグネチャと同じ又は近いシグネチャを持つライブラリの代替オブジェクトの複数の候補を特定することであって、代替オブジェクトがライブラリの特定された代替オブジェクトの複数の候補の組合せである。
【００１５】
特定の実施形態において、方法は、それらをオブジェクト候補のシグネチャと比較する前に、ライブラリの代替オブジェクト候補のシグネチャと計算するステップをさらに備える方法。
【００１６】
変形例において、ライブラリの代替オブジェクト候補のシグネチャは、事前に計算され、ライブラリに保存される。
【００１７】
特定の実施形態において、オブジェクト候補及びライブラリの代替オブジェクト候補が実質的に同じ点密度を持つようにするために、本方法は、オブジェクト候補のシグネチャ及びライブラリの代替オブジェクト候補のシグネチャを計算する前に、オブジェクト候補及び／又はライブラリの代替オブジェクト候補をフィルタリングするステップを有する。
【００１８】
本開示はビデオシーンを処理するように構成されたデバイスにも関連し、このデバイスは、
シーンの３Ｄ表現を受信するように構成されたインタフェースと、
３Ｄ表現の中で少なくとも１つのオブジェクト候補を決定する処理ユニットと、を備え、
少なくとも１つのオブジェクト候補に対して少なくとも１つの基準値を計算し、少なくとも１つのオブジェクト候補に対してシグネチャを計算し、シグネチャは、少なくとも１つのオブジェクト候補の３Ｄ表現を代表し、取り除かれるオブジェクトと、ライブラリの代替オブジェクトの複数の候補の中の代替オブジェクトとを決定し、オブジェクトの各代替候補は、シグネチャを有し、決定が、シグネチャの比較及びオブジェクト候補の基準値に基づいており、ビデオシーン中で取り除かれるオブジェクトを代替オブジェクトで置き換える。
【００１９】
本開示は、プログラムがコンピュータ上で実行されたときに、上述の方法を実行する少なくとも１つのプロセッサによって実行するためのプログラムコードの命令を含むコンピュータプログラム製品にも関連する。
【図面の簡単な説明】
【００２０】
添付図面を参照する以下の説明を読むことによって、本開示がより理解され、そして、他の特定の特徴及び利点が分かる。
【００２１】
【図１】本開示による方法のステップの流れ図を示す。
【図２】本開示の特定の実施形態に従ったビデオシーンにおいて、削除又は挿入されるオブジェクトに関するシグネチャとして第１のヒストグラムを示す。
【図３】本開示の特定の実施形態に従ったビデオシーンにおいて、削除又は挿入されるオブジェクトに関するシグネチャとして第２のヒストグラムを示す。
【図４】本開示による方法を実装する前と後のビデオシーンを示す。
【図５】本開示の方法を実装するデバイスを示す。
【発明を実施するための形態】
【００２２】
本発明の方法は、処理されるビデオシーンの３Ｄ取得を行い、実質的に同じ３Ｄ特徴を有する代替オブジェクトでそのシーンのオブジェクトを置換することを提案する。
【００２３】
図１は、本開示に従った方法のそれぞれの異なるステップを示す。Ｓ１と呼ばれる１番目のステップでは、シーンの３Ｄ表現（3D  representation：３Ｄリプレゼンテーション）が受信される。３Ｄ表現は、シーンの取得を通して実行することができる。この取得は、３Ｄ又はステレオカメラによって又は２Ｄカメラ及びレーザスキャナを備えた構成によって行うことができる。変形例によると、３Ｄ表現は、３Ｄデータが入手可能なインターネット等のネットワークから受信される。
【００２４】
Ｓ２と呼ばれる２番目のステップでは、シーンの３Ｄ表現は、置換されるオブジェクトの複数の候補を得るためにセグメント化される。オブジェクトの各候補は、３Ｄ点群である。セグメンテーション動作の共通のアプローチは、以下のステップの実行を含む：
ＲＡＮＳＡＣ（Ｒａｎｄｏｍ  Ｓａｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓに対する）アルゴリズムの例を使用する３Ｄシーンにおける平面（plane）を検出し、
例えば、壁に対応する大きな平面等のこのような平面の少なくとも一部に属するすべての点を取り除き、
例えば、点の組間のユークリッド距離（Euclidian  distance）に基づく基準を使って残りの点をクラスター化し、閾値距離より上にある点の組は区別できるオブジェクト（distinct  object）と考えられる。
【００２５】
ステップＳ２の終わりに、シーンにおけるオブジェクトの複数の候補が決定される。屋内のシーンに対しては、オブジェクト候補は、例えば、テーブル又は椅子、及び花瓶又はボトルのような装飾的なアイテムである。
【００２６】
Ｓ３と呼ばれる３番目のステップにおいて、オブジェクト候補を代替オブジェクトで置換するときのステップＳ２で決定されたインパクトが評価される。もっと正確に言えば、オブジェクト候補によって現在占められている領域の影響は、非制限的な例として、サイズ、シーンにおいて見える期間、他のオブジェクトによって影になっているか否か等、その領域の様々な特性に依存して変化する。この評価は、インタフェースを通してユーザによって行うことができる。この場合、ユーザは、ステップＳ２で決められた各オブジェクト候補に対する基準に値を割り当てる。
【００２７】
有利には、オブジェクト候補に対する値は、ビデオシーンにおけるその幾何学的位置の及び／又はビデオシーンのフォアグラウンド又はバックグラウンドへのその位置（localisation）の関数として計算される。例えば、そのような領域に製品が置かれた場合、よりビジビリティ（visibility）が高いので、ディスプレイの中央に位置する領域のフォアグラウンドは、バックグラウンド及び又はディスプレイのコーナーにある領域よりもプロダクトプレイスメント応用にとってより興味を引く。有利に、特定のオブジェクト候補に対する少なくとも１つの基準値が他のオブジェクト候補に対して計算された値よりも有意に大きいとき、特定のオブジェクトは、オブジェクトの単一の候補として選択される。変形例としては、オブジェクト候補に対する値は、ビデオシーンにおいてそのプレゼンスの期間の関数として計算される。より短い期間見える別のオブジェクトより、ユーザにインパクトを与えるチャンスがより多い、より長い期間見えるオブジェクトの方が、プロダクトプレイスメントはより興味がある。有利に、オブジェクト候補に対して、ビデオシーンにおける幾何学的位置、ビデオシーンのフォアグラウンド又はバックグラウンドの位置、ビデオシーンにおけるその見える期間を含む、複数の基準値が計算される。
【００２８】
特定の実施形態において、少なくとも１つの基準値は、その変形例としてステップＳ２において決定されたオブジェクトの各候補に対して計算される。実例の場合、いくつかのオブジェクト候補は、フォアグラウンドにおいて多かれ少なかれ同様の位置を有し、プロダクトプレイスメントに対してオブジェクトの複数の候補を選択し、複数の候補を維持することは有利である。別の実例において、第１のオブジェクト候補は、フォアグラウンドにあるが、バックグラウンドにある第２のオブジェクト候補より見える期間がより短い。両方のオブジェクト候補を選択し、取り除かれる選択されたオブジェクト候補として保持することも有利である。有利なことに、取り除かれるオブジェクトの少なくとも１つの候補は、その対応する基準値（すなわち、見える期間、位置、・・・）と一緒に選択され、他のファクタに対するさらなる評価／ランキングを許す。
【００２９】
Ｓ４と呼ばれる、第４のステップにおいて、オブジェクトの少なくとも１つの選択された候補の３Ｄシグネチャが計算される。計算されたシグネチャは、オブジェクトの３Ｄ特徴を代表する。有利に、オブジェクトのシグネチャは、幾何学的特徴（geometrical  feature）と呼ばれる、オブジェクトのジオメトリ（geometry）を代表する３Ｄ特徴及び／又は視点（ビューポイント）特徴（viewpoint  feature）と呼ばれる、オブジェクトの視点を代表する３Ｄ特徴を備える。幾何学的特徴は、例えば、オブジェクトのエッジ又は平面の存在等、オブジェクトの形（shape）に関連している。視点特徴は、例えば、キャプチャデバイスによって撮影されたオブジェクトの角度（angle）及び／又は距離（distance）を含む。
【００３０】
このシグネチャは、好ましくは、例えば、視点特徴ヒストグラム（ＶＦＨ：Viewpoint  Feature  Histogram）、クラスター化視点特徴ヒストグラム（ＣＶＦＨ：Clustered  Viewpoint  Feature  Histogram）、点特徴ヒストグラム（ＰＦＨ：Point  Feature  Histogram）又はファストポイント特徴ヒストグラム（ＦＰＦＨ：Fast  Point  Feature  Histogram）のような３Ｄ特徴のヒストグラムである。これらのヒストグラムは、様々な文章で説明され、特に、ルイスＡ．アレクサンダー（Luis  A.  Alexandre）の「3D  descriptors  for  Object  and  Category  Recognition:  a  Comparative  Evaluation」に記載されている。
【００３１】
視点特徴ヒストグラム（ＶＦＨ）の実例が、図２によって与えられる。このヒストグラムにおいて、値（垂直軸）は、複数の３Ｄ特徴（水平軸）に対して計算される。このヒストグラムにおいて、ヒストグラムの値の左側は、幾何学的特徴（geometrical  features）に関連し、右側は、視点特徴（viewpoint  features）に関連している。
【００３２】
シグネチャは、これらのすべての値又は一部を含む。このシグネチャは、幾何学的特徴及び視点特徴の値の両方を含むか、又はその一部を含むか、又は幾何学的特徴値のみ又は視点特徴値のみを含むことができる。
【００３３】
特定の実施形態において、オブジェクトの色情報は、シグネチャにも組み込まれる。
【００３４】
図３は、ファストポイント特徴ヒストグラム（ＦＰＦＨ）を示し、ＦＰＦＨは、オブジェクトに対するシグネチャとして使用することができるヒストグラムの別の実例である。
【００３５】
Ｓ５と呼ばれる、５番目のステップで、ライブラリの代替オブジェクトの複数の候補から代替オブジェクトが決定される。代替オブジェクト候補は、好ましくは、ライブラリ内のオブジェクトファミリに分類される。屋内シーンに対するオブジェクトファミリは、例えば、ボトル、家具、本、箱…などである。
【００３６】
シグネチャは、これらの代替オブジェクトの各候補に対して計算される。このシグネチャは、事前に計算され、ライブラリに保存することができる。変形例として、少なくとも１つの候補の点群（point  cloud）及び代替オブジェクト候補の点群の間の点密度（point  density）の推定差（probable  difference）を考慮に入れるために、代替オブジェクト候補のシグネチャは、プロセスの後で計算される。
【００３７】
ステップＳ５の決定は、シグネチャ及び基準値の比較に基づく。第１の変形例において、単一のオブジェクト候補が、選択され、単一のオブジェクト候補のシグネチャは、ライブラリの代替オブジェクト候補のシグネチャと比較される。同様の基準に従ってオブジェクトの単一の候補のシグネチャと同一又は近いシグネチャを持つ代替オブジェクト候補が、選択される。単一のオブジェクト候補のシグネチャ及び代替オブジェクトの各候補のシグネチャの間の距離が計算され、取り除かれるオブジェクトの代替オブジェクトとして、単一オブジェクト候補のシグネチャとの距離が最も小さいシグネチャの代替オブジェクト候補が選択される。
【００３８】
第２の変形例として、例えば、いくつかのオブジェクト候補が同様の基準値を持つので、選択されたオブジェクト候補は、２つ以上ある。この変形例において、例えば、シグネチャ間の距離のような類似度基準に従って、選択されたオブジェクト候補のシグネチャは、ライブラリの代替オブジェクト候補のシグネチャと比較される。取り除かれるオブジェクト候補は、自身の基準値に関して自身に対して評価することができる（例えば、中央の幾何学的フォアグラウンドの位置、見える期間等）。言い換えると、代替オブジェクト候補とマッチするシグネチャに加えて、いくつかの候補の領域への影響も評価される。高い基準値を持ち、且つそれらの小さいシグネチャ距離を持つという間の最善の妥協を提供するとき、取り除かれるオブジェクト候補及び代替オブジェクト候補のペアは、選択される。
【００３９】
変形例において、代替オブジェクトは、最も近い代替オブジェクト候補の組合せである。例えば、取り除かれるオブジェクトのシグネチャと最も小さい距離を持つシグネチャの代替オブジェクトの２つの候補に基づいて代替オブジェクトが生成される。
【００４０】
特定の実施形態において、実行される比較の数を減らし、ステップＳ５の処理時間を削減するために、シグネチャ間の比較をする前に、ステップＳ５は、ユーザインタフェースを介して、ライブラリのオブジェクトファミリを選択するように提案する。この選択は、ビジネス上の理由によっても行われる。選択されたオブジェクトファミリは、クライアントのオブジェクトを含むものである。ステップＳ３において選択されたオブジェクトに対応するオブジェクトファミリをユーザインタフェースを通してユーザが選択することができる。例えば、ステップＳ３で選択されたオブジェクトがボトルの場合、ユーザは、ボトルに対応するオブジェクトファミリを選択する。ユーザは、ステップＳ３で選択されたオブジェクトに対応しないオブジェクトファミリを選択することもできる。ユーザは、ボトルを本で置き換えることを望むかもしれない。その場合、ユーザは、本に対応するオブジェクトファミリを選択し、本発明の方法は、ステップＳ３で選択されたボトルに最も類似する３Ｄ特徴を持つ本を選ぶ。
【００４１】
有利な実施形態において、少なくとも１つのオブジェクト候補の点群の点密度及びライブラリの代替オブジェクト候補の点群の点密度が比較される。もしこれらの点密度が異なる場合、同じ又は実質的に同じ点密度を持つオブジェクトを比較（ステップＳ５において）するために、少なくとも１つのオブジェクト候補の点群又は代替オブジェクト候補の点群に、フィルタリングステップが適用される。代替オブジェクト候補の点密度が少なくとも１つのオブジェクト候補の点密度よりも高い場合、代替オブジェクト候補の点密度は、少なくとも１つのオブジェクト候補の点密度に実質的に等しくなるように、減らされる。これは良くあるケースである。同様に、少なくとも１つのオブジェクト候補の点密度が、代替オブジェクト候補の点密度よりも高い場合、少なくとも１つのオブジェクト候補の点密度は、代替オブジェクト候補の点密度に実質的に等しくなるように、減らされる。
【００４２】
同じ点密度を計算するために、このフィルタリングステップは、代替オブジェクト候補のシグネチャ及び少なくとも１つのオブジェクト候補のシグネチャが計算される前に行われる。
【００４３】
Ｓ６と呼ばれる最後のステップにおいて、取り除かれるオブジェクトは、ステップＳ５で決定された代替オブジェクトによって、ビデオシーン中で置き換えられる。
【００４４】
ステップＳ６の置換の後で、オクルージョンが現れた場合、これらのオクルージョンを埋めるために修復動作（inpainting  operations）が行われる。修復プロセスは、先行するステップから生じたそのシーンの３Ｄ情報を効率的に活用することができる。
【００４５】
本発明の方法の原理は、図４によって説明される応用例を通して説明される。この応用例において、シーンのすべてのボトルをクライアント（client：顧客）の水のボトルで置き換えることを提案する。クライアントの代替ボトルの色々な候補がライブラリに保存されている。これらの代替ボトル候補は、クライアントの様々な形状又は様々なサイズの様々なボトルに対応する。
【００４６】
処理されるシーンが、図４の左側に示されている。このシーンは、テーブルＴの上に置かれた腕時計Ｗ及びボトルＢからなる。本開示によるクライアントのボトルによるボトルＢの置換（リプレイスメント）がこれから詳述される。
【００４７】
ステップＳ１において、処理されるシーンの３Ｄ表現が取得される。ステップＳ２において、３Ｄ表現は、オブジェクトに分割される。この場合において、シーンにおいて３つのオブジェクトがある：テーブルＴ、腕時計Ｗ及びボトルＢである。ステップＳ３において、取り除かれる又は置換されるオブジェクトとしてボトルＢが選択される。ステップＳ４において、ヒストグラムベースシグネチャがボトルＢに対して計算される。ステップＳ５において、代替ボトルが、ライブラリに保存されているクライアントのボトルＢ１、Ｂ２、Ｂ３及びＢ４の中から決定される。これらの４つのボトルが図４の真ん中の部分に示されている。このステップにおいて、Ｂ１からＢ４のボトルのシグネチャが、事前に計算されているか否かにかかわらず、ボトルＢのシグネチャと比較され、ボトルＢ３が、ボトルＢを置き換える３Ｄ特徴に関してより適切であると考えられる。ステップＳ６において、シーンにおいてボトルＢは、ボトルＢ３で置き換えられる。最終的なシーンが図４の右側に表示されている。
【００４８】
この実例は、フィルム又はビデオゲームにおける所定の時間のビデオシーンの処理を説明する。もちろん、この置換動作は、必要であれば異なる時間毎のシーンに好ましくは適用する。もしシーンが観察する視点に関して静止したままの場合は、オブジェクトの点群の置き換えは、一度だけ行うこともできる。
【００４９】
図５は、本開示の方法を実行するために構成されたデバイス１１のハードウェア実施形態の実例を概略的に説明する。
【００５０】
このハードウェア実施形態は、シーンの３Ｄ表現を取得するための３Ｄ
カメラ又は深さ（デプス、深度）デバイス（depth  device）（例えば、レーザスキャナ）と一緒の２Ｄカメラのような３Ｄキャプチャデバイス１０及び本発明の方法のステップＳ２からＳ６を実行するための処理デバイス１１からなる。この処理デバイス１１は、例えば、ユーザインタフェース及び本発明の処理の中間又は最終的な結果を表示するディスプレイ、及びユーザインタフェースを通して動作選択するためのキーボード又はマウス等の入力／出力デバイス１２を備える。
【００５１】
処理デバイスは、下記を含むことができる。
マイクロプロセッサ又はＣＰＵ
以下を含むグラフィックスボード：
・複数のグラフィックスプロセッサ（又はＧＰＵ）
・グラフィカルランダムアクセスメモリ（又はＧＲＡＭ）
リードオンリメモリ（ＲＯＭ）
データを受信及び／又は送信するように構成されたインタフェース
ランダムアクセスメモリ（ＲＡＭ）
【００５２】
デバイス１０、１２及びデバイス１１内の様々なコンポーネントは、アドレス及びデータバスによって相互接続することができる。
【００５３】
本開示のプロセスは、キャプチャデバイス１０によってシーンが取得された後に実行することが期待される。しかしながら、変形例によると、シーンの３Ｄデータは、３Ｄデータが入手可能なインターネットのようなネットワークによって提供され、又はネットワークから受信することができる。
【００５４】
当然ながら、本開示は、上述の実施形態には制限されない。
【００５５】
ここで説明した実施は、例えば、方法又はプロセス、装置又はソフトウェアプログラムにおいて実装することができる。実装の単一の形態の文脈でのみで説明したとしても（例えば、方法又はデバイスとしてのみ検討した等）、説明した構成要件の実装は、他の形態（例えばプログラム等）においても実装可能である。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアに実装することができる。方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能ロジックデバイスを含む一般的な処理デバイスを参照する例えばプロセッサのような装置において実装することができる。プロセッサは、例えば、スマートフォン、タブレット、コンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタント（「ＰＤＡ」）、及びエンドユーザ間で情報の通信を促進する他のデバイスのような通信デバイスも含む。
【００５６】
ここで説明された様々なプロセス及び構成要件の実装は、様々な異なる機器又はアプリケーション、具体的には、例えば、ビデオ編集に関連する機器又はアプリケーションにおいて組み込むことができる。
【００５７】
さらに、方法は、プロセッサによって実行される命令によって実装することができ、そのような命令（及び／又は実行によって生成されるデータ値）は、例えば、集積回路、ソフトウェアキャリア又は例えば、ハードディスク、コンパクトディスク（「ＣＤ」）、光ディスク（例えば、デジタル多目的ディスク又はデジタルビデオディスクと良く参照される、ＤＶＤ等）、ランダムアクセスメモリ（「ＲＡＭ」）、又はリードオンリメモリ（「ＲＯＭ」）等のプロセッサ読み取り可能媒体上に記憶することができる。命令は、プロセッサ読み取り可能媒体上に有形に組み込まれたアプリケーションプログラムを形づくることができる。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又はその組み合わせであり得る。命令は、例えば、オペレーティングシステム、個別のアプリケーション、又はそれら２つの組合であり得る。プロセッサは、従って、例えば、プロセスを実行するように構成されたデバイス及びプロセスを実行するための命令を有するプロセッサ読み取り可能媒体（記憶デバイスのような）を含むデバイスの両方で特徴付けられる。さらに、プロセッサ読み取り可能媒体は、命令に追加して、又は命令の代わりに、実行によって生成されたデータ値を保存することができる。
【００５８】
当業者には明らかなように、実行は、例えば、保存又は伝送し得る情報を伝搬するための形式の様々な信号を生成することができる。情報は、例えば、方法を実行する命令、又は説明した実装の一つによって生成されるデータを含むことができる。
【００５９】
いくつもの実装が説明された。それでもなお、様々な変更が可能であることを理解されたい。例えば、様々な実装の要素は、他の実装を生成するために、組み合わされ、補完され、修正され、又は取り除かれる。その上、他の構成又はプロセスがこれらの開示を置き換えることができ、結果としての実装は、開示された実装と少なくとも実質的に同じ結果を達成するように少なくとも実質的に同じ方法で、少なくとも実質的に同じ機能を達成することを当業者であれば理解する。従って、これらの及び他の実装は、本出願によって意図される。
【図１】
2017527878.tif 000003
【図２】
2017527878.tif 000004
【図３】
2017527878.tif 000005
【図４】
2017527878.tif 000006
【図５】
2017527878.tif 000007
【手続補正書】
【提出日】平成29年2月24日(2017.2.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオシーンを処理する方法であって、
前記シーンの３Ｄ表現を受信することと、
前記３Ｄ表現の中で少なくとも２つのオブジェクト候補を決定することと、
を含み、
前記方法は、
前記少なくとも２つのオブジェクト候補それぞれに対して少なくとも１つの基準値を計算することと、
前記少なくとも２つのオブジェクト候補それぞれのシグネチャを計算することであって、前記シグネチャは、前記少なくとも２つのオブジェクト候補それぞれの３Ｄ特徴を表し、
取り除かれるオブジェクトと、ライブラリの代替オブジェクトの複数の候補の中から代替オブジェクトとを決定することであって、代替オブジェクトの各候補は、シグネチャを有し、前記決定することは、シグネチャの比較及び前記代替オブジェクトの基準値に基づき、
取り除かれる前記オブジェクトを前記ビデオシーンにおいて、前記代替オブジェクトによって置き換えることと、
をさらに含む、方法。
【請求項２】
前記少なくとも２つのオブジェクト候補が、３Ｄ点群を含む、請求項１に記載の方法。
【請求項３】
前記少なくとも２つのオブジェクト候補に対する少なくとも１つの前記基準値が、ユーザによって決定される、請求項１又は２に記載の方法。
【請求項４】
前記少なくとも１つの基準が、
前記ビデオシーンにおける前記オブジェクトの幾何学的位置、
前記ビデオシーンのフォアグラウンドにおける前記オブジェクトの位置、
前記ビデオシーンにおける前記オブジェクトの見える期間、
から選択される、請求項１乃至３のいずれか一項に記載の方法。
【請求項５】
前記ライブラリは、オブジェクトファミリに分類された代替オブジェクトの複数の候補を含み、前記代替オブジェクトは、少なくとも１つの選択されたオブジェクトファミリに属する代替オブジェクト候補の中から決定される、請求項１乃至４のいずれか１項に記載の方法。
【請求項６】
前記選択されたオブジェクトファミリは、ユーザによって選択される、請求項５に記載の方法。
【請求項７】
各オブジェクトの前記シグネチャは、幾何学的特徴と呼ばれる前記オブジェクトのジオメトリの３Ｄ特徴表現、又は視点特徴と呼ばれる前記オブジェクトの視点の３Ｄ特徴表現を含む、請求項１乃至６のいずれか１項に記載の方法。
【請求項８】
オブジェクトの前記シグネチャは、下記ヒストグラムのグループの中の少なくとも１つのヒストグラムである、請求項７に記載の方法。
視点特徴ヒストグラム、
クラスター化視点特徴ヒストグラム、
点特徴ヒストグラム、
ファストポイント特徴ヒストグラム
【請求項９】
前記代替オブジェクトが、下記によって決定される、請求項１乃至８のいずれか１項記載の方法。
前記少なくとも２つのオブジェクト候補の前記シグネチャ及び前記ライブラリの前記代替オブジェクト候補の前記シグネチャを比較すること、
前記少なくとも２つのオブジェクト候補の前記オブジェクト候補の基準値を比較すること、
前記少なくとも２つのオブジェクト候補の１つの前記シグネチャと同一又は近いシグネチャを持つ前記ライブラリの前記代替オブジェクト候補を特定することであって、前記少なくとも２つのオブジェクト候補の前記１つの前記基準値が前記少なくとも２つのオブジェクト候補の他の前記基準値より大きく、前記代替オブジェクトは、前記ライブラリの前記特定された代替オブジェクト候補である
【請求項１０】
前記ライブラリの代替オブジェクトの前記候補の前記シグネチャを計算することをさらに含む、請求項８又は９に記載の方法。
【請求項１１】
前記ライブラリの代替オブジェクトの前記候補の前記シグネチャは、事前に計算され、前記ライブラリに保存される、請求項１乃至９のいずれか１項に記載の方法。
【請求項１２】
ビデオシーンを処理するように構成されたデバイスであって、
前記シーンの３Ｄ表現を受信するように構成されたネットワークインタフェースと、
前記３Ｄ表現の中で少なくとも２つのオブジェクト候補を決定する処理ユニットと、
を備え、
前記少なくとも２つのオブジェクト候補それぞれに対して少なくとも１つの基準値を計算し、前記少なくとも２つのオブジェクト候補それぞれのシグネチャを計算し、前記シグネチャは前記少なくとも２つのオブジェクト候補それぞれの３Ｄ表現を代表し、取り除かれるオブジェクトと、ライブラリの代替オブジェクトの複数の候補の中から代替オブジェクトとを決定し、オブジェクトの各代替候補はシグネチャを有し、前記決定がシグネチャの比較及び前記オブジェクト候補の基準値に基づいており、前記ビデオシーン中で取り除かれる前記オブジェクトを前記代替オブジェクトで置き換える、デバイス。
【請求項１３】
前記少なくとも２つのオブジェクト候補に対する少なくとも１つの前記基準値が、ユーザによって決定される、請求項１２に記載のデバイス。
【請求項１４】
前記少なくとも１つの基準が、
前記ビデオシーンにおける前記オブジェクトの幾何学的位置、
前記ビデオシーンのフォアグラウンドにおける前記オブジェクトの位置、
前記ビデオシーンにおける前記オブジェクトの見える期間、
から選択される、請求項１２又は１３に記載のデバイス。
【請求項１５】
プログラムがコンピュータ上で実行されたときに、請求項１乃至１１の少なくともいずれか１項に従って方法を実行する少なくとも１つのプロセッサによって実行するためのプログラムコードの命令を含むコンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
いくつもの実装が説明された。それでもなお、様々な変更が可能であることを理解されたい。例えば、様々な実装の要素は、他の実装を生成するために、組み合わされ、補完され、修正され、又は取り除かれる。その上、他の構成又はプロセスがこれらの開示を置き換えることができ、結果としての実装は、開示された実装と少なくとも実質的に同じ結果を達成するように少なくとも実質的に同じ方法で、少なくとも実質的に同じ機能を達成することを当業者であれば理解する。従って、これらの及び他の実装は、本出願によって意図される。
ここで例としていくつかの付記を記載する。
（付記１）
ビデオシーンを処理する方法であって、
前記シーンの３Ｄ表現を受信することと（Ｓ１）、
前記３Ｄ表現の中で少なくとも１つのオブジェクト候補を決定することであって（Ｓ２）、前記少なくとも１つのオブジェクト候補は、３Ｄ点群を含み、
を含み、
前記方法は、
前記少なくとも１つのオブジェクト候補に対して少なくとも１つの基準値を計算することと（Ｓ３）、
前記少なくとも１つのオブジェクト候補のシグネチャを計算すること（Ｓ４）であって、前記シグネチャは、前記少なくとも１つのオブジェクト候補の３Ｄ特徴を表し、
取り除かれるオブジェクトと、ライブラリの代替オブジェクトの複数の候補の中の代替オブジェクトとを決定すること（Ｓ５）であって、代替オブジェクトの各候補は、シグネチャを有し、前記決定することは、シグネチャの比較及び代替オブジェクトの基準値に基づき、
取り除かれる前記オブジェクトを前記ビデオシーンにおいて、前記代替オブジェクトによって置き換えることと（Ｓ６）、
をさらに含むことを特徴とする、方法。
（付記２）
少なくとも１つのオブジェクト候補に対する少なくとも１つの前記基準値が、ユーザによって決定される、付記１に記載の方法。
（付記３）
前記少なくとも１つの基準が、
前記ビデオシーンにおける前記オブジェクトの幾何学的位置、
前記ビデオシーンの前記フォアグラウンドにおける前記オブジェクトの位置、
前記ビデオシーンにおける前記オブジェクトの見える期間、
から選択される、付記１又は２に記載の方法。
（付記４）
前記ライブラリは、オブジェクトファミリに分類された代替オブジェクトの複数の候補を含み、前記代替オブジェクトは、少なくとも１つの選択されたオブジェクトファミリに属する代替オブジェクト候補の中から決定される、付記１乃至３のいずれか１項に記載の方法。
（付記５）
前記選択されたオブジェクトファミリは、ユーザによって選択される、付記４に記載の方法。
（付記６）
各オブジェクトの前記シグネチャは、幾何学的特徴と呼ばれる前記オブジェクトの前記ジオメトリの３Ｄ特徴表現、及び／又は視点特徴と呼ばれる前記オブジェクトの視点の３Ｄ特徴表現を含む、付記１乃至５のいずれか１項に記載の方法。
（付記７）
オブジェクトの前記シグネチャは、下記ヒストグラムのグループの中の少なくとも１つのヒストグラムである、付記６に記載の方法。
視点特徴ヒストグラム、
クラスター化視点特徴ヒストグラム、
点特徴ヒストグラム、
ファストポイント特徴ヒストグラム
（付記８）
前記代替オブジェクトが、下記によって決定される、付記１乃至７のいずれか１項記載の方法。
前記少なくとも１つのオブジェクト候補の前記シグネチャ及び前記ライブラリの前記代替オブジェクト候補の前記シグネチャを比較すること、
類似度基準に従って前記少なくとも１つのオブジェクト候補の前記シグネチャと同一又は近いシグネチャを持つ前記ライブラリの前記代替オブジェクト候補を特定することであって、前記代替オブジェクトは、前記ライブラリの前記特定された代替オブジェクト候補である
（付記９）
前記代替オブジェクトが、下記によって決定される、付記１乃至７のいずれか１項記載の方法。
前記少なくとも１つのオブジェクト候補の前記シグネチャ及び前記ライブラリの前記代替オブジェクト候補の前記シグネチャを比較すること、
類似度基準に従って前記少なくとも１つのオブジェクト候補の前記シグネチャと同じ又は近いシグネチャを持つ前記ライブラリの代替オブジェクトの複数の候補を特定することであって、前記代替オブジェクトが前記ライブラリの前記特定された代替オブジェクトの前記複数の候補の組合せである
（付記１０）
前記ライブラリの代替オブジェクトの前記候補の前記シグネチャを計算することをさらに含む、付記８又は９に記載の方法。
（付記１１）
前記ライブラリの代替オブジェクトの前記候補の前記シグネチャは、事前に計算され、前記ライブラリに保存される、付記１乃至９のいずれか１項記載の方法。
（付記１２）
ビデオシーンを処理するように構成されたデバイスであって、
前記シーンの３Ｄ表現を受信するように構成されたインタフェースと、
前記３Ｄ表現の中で少なくとも１つのオブジェクト候補を決定する処理ユニット（１１）と、
を備え、
前記少なくとも１つのオブジェクト候補は、３Ｄ点群を含み、前記少なくとも１つのオブジェクト候補に対して少なくとも１つの基準値を計算し、前記少なくとも１つのオブジェクト候補に対してシグネチャを計算し、前記シグネチャは前記少なくとも１つのオブジェクト候補の３Ｄ表現を代表し、取り除かれるオブジェクトと、ライブラリの代替オブジェクトの複数の候補の中の代替オブジェクトとを決定し、オブジェクトの各代替候補はシグネチャを有し、前記決定がシグネチャの比較及びオブジェクト候補の基準値に基づいており、前記ビデオシーン中で取り除かれる前記オブジェクトを前記代替オブジェクトで置き換える、デバイス。
（付記１３）
プログラムがコンピュータ上で実行されたときに、少なくとも付記１乃至１１のいずれか１項に従って方法を実行する少なくとも１つのプロセッサによって実行するためのプログラムコードの命令を含むコンピュータプログラム製品。
【国際調査報告】
2017527878.tif 000008
2017527878.tif 000009
2017527878.tif 000010