(57)【要約】  ３次元画像上のコンテンツの検閲処理を行うための方法は、前記３次元画像において、検閲処理が行われることになる３次元オブジェクトを特定して、前記３次元画像において、検閲処理が行われることになる前記３次元オブジェクトを３次元置換コンテンツにより置換するステップを含む。
2013542505.tif 000002
【特許請求の範囲】
【請求項１】
３次元画像上のコンテンツの検閲処理を行うための方法であって、前記３次元画像において、検閲処理が行われることになる３次元オブジェクトを特定して、前記３次元画像において、検閲処理が行われることになる前記３次元オブジェクトを３次元置換コンテンツにより置換するステップを含む方法。
【請求項２】
前記３次元置換コンテンツが、３次元置換オブジェクトである、請求項１に記載の方法。
【請求項３】
前記３次元置換オブジェクトが、所定の組の３次元オブジェクトから選択される、請求項２に記載の方法。
【請求項４】
前記選択が、前記３次元置換オブジェクトと、検閲処理が行われることになる前記３次元オブジェクトとの間の対応関係に基づく、請求項３に記載の方法。
【請求項５】
前記３次元置換オブジェクトが、３次元アバターである、請求項２、３または４に記載の方法。
【請求項６】
前記３次元画像が、対応する複数のカメラにより捕捉される複数の２次元画像から生成され、検閲処理が行われることになる前記３次元オブジェクトを特定する前記ステップが、検閲処理が行われることになる前記３次元オブジェクトの３次元ボクセルの特定を可能にするために、前記複数の２次元画像上の対応する２次元オブジェクトを特定するステップを含む、請求項１に記載の方法。
【請求項７】
前記３次元ボクセルに対して、異なるコンテンツを有する置換ボクセルによる置換が、前記置換により前記置換ボクセルから前記置換オブジェクトを生成するように行われる、請求項６に記載の方法。
【請求項８】
前記ステップが、３次元映像シーケンスを構成する連続的な３次元画像上で遂行される、請求項１乃至７のいずれか１項に記載の方法。
【請求項９】
３次元画像のコンテンツの検閲処理を行うための装置であって、前記３次元画像が、前記装置に入力として提供され、前記装置が、請求項１乃至８のいずれか１項に記載の前記ステップを遂行するように適合される手段を備える、装置。
【請求項１０】
データ処理機器上で実行されるときに、請求項１乃至８のいずれか１項に記載の前記ステップを遂行するように適合されるソフトウェアを含むコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内のコンテンツの検閲処理を行うための、より詳細には、以下３Ｄと略する３次元の画像内のコンテンツの検閲処理を行うための方法および機器に関する。
【背景技術】
【０００２】
現在の視覚的な検閲処理方法は、顔などのオブジェクトの前面に、例えばぼかしフィルタまたは黒線を用いる、以下２Ｄと略する２次元の方法に基づく。これらの方法は、本質的に２Ｄベースであり、したがって３Ｄおよび自由視点のコンテンツで使用するためには不十分となる。このことは、３Ｄのコンテンツおよびディスプレイが、オブジェクトの２Ｄのテクスチャおよび輪郭だけでなく、その３Ｄ形状もまた表示することになるという事実から理解することができる。オブジェクトの前面に黒線を置くなどの単純な検閲処理方法では、オブジェクトのテクスチャをマスクすることになるが、オブジェクトの実際の３Ｄ形状はマスクしないことになり、そのことにより、特定が依然として可能になる。自由視点のコンテンツおよびディスプレイの技術を用いると、この問題はさらに大きくなる。オブジェクトをぼかすこと、または３Ｄオブジェクトの前面に黒線を置くことは、ぼかし層または黒線が３Ｄシーン内の２Ｄオブジェクトとしてレンダリングされることになるような２Ｄベースの方法であるが、３Ｄシーンにおいて観視者は、自分の視点を選択することにより自由に動き回ることができる。この方途では、観視者は、検閲処理が行われたオブジェクトを別の視点から十分に詳細にさらに観視するために、この検閲処理オブジェクトの周囲を動くことができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
したがって、本発明の実施形態の目的は、３次元オブジェクトの検閲処理を行うための方法を提供することである。
【課題を解決するための手段】
【０００４】
本発明の実施形態によれば、この目的は、３次元画像上のコンテンツの検閲処理を行うための方法によって実現され、前記方法は、前記３次元画像において、検閲処理が行われることになる３次元オブジェクトを特定して、前記３次元画像において、検閲処理が行われることになる前記３次元オブジェクトを３次元置換コンテンツにより置換するステップを含む。
【０００５】
この方途では、従来技術の方法のいかなる欠点も示さない、単純な、しかし非常に効率的な方法が得られる。したがって、例えば３Ｄシーン内の人々を、その３Ｄシーンの元の３Ｄコンテンツを３Ｄディスプレイが依然として示しており、ただし検閲処理が行われた人々が３Ｄ置換コンテンツにより置換されている状態で、検閲処理を行うことが可能になる。この方法には、２Ｄディスプレイ上に投射されるときにも、検閲処理が行われることになるオブジェクトの検閲処理をさらに提供するというさらなる利点がある。この方法は、このように、非常に単純な、それにもかかわらず用途の広い技法を提供する。
【０００６】
第１の実施形態では、前記３次元置換コンテンツは、３次元置換オブジェクトである。
【０００７】
この３次元置換オブジェクトは、固定の３Ｄアバターである場合があり、または所定の組の３次元オブジェクトから選択される場合がある。
【０００８】
この所定の組は、やはり１組のアバターまたは他の３Ｄオブジェクトを含む場合があり、前記選択は、前記３次元置換オブジェクトと、検閲処理が行われることになる前記３次元オブジェクトとの間の対応関係に基づく。
【０００９】
３Ｄ画像が、対応する複数のカメラにより捕捉される２つ以上の２次元画像から生成される場合では、検閲処理が行われることになる前記３次元オブジェクトを特定する前記ステップは、検閲処理が行われることになる前記３次元オブジェクトの３次元ボクセルの特定を可能にするために、前記複数の２次元画像上の対応する２次元オブジェクトを特定するステップを含み得る。
【００１０】
この方途では、３Ｄ画素を意味する３Ｄボクセルが特定され、次いでその３Ｄボクセルに対して、異なるコンテンツを有する置換ボクセルによる置換が、その置換により前記置換ボクセルから前記置換オブジェクトを生成するように行われ得る。あるいは、３Ｄでの前述の変形形態に関して述べたように、特定された３Ｄオブジェクトは、アバターなどの異なる姿態または形態を有する別のオブジェクトによりさらに置換され得る。この場合では、特定されたボクセルを超えるボクセルが置換される場合があり、またはそれらの一部のみが置換される場合がある。後者の場合では、例えばアバターのボクセルにより置換されなかった、特定されたオブジェクトのボクセルは、このオブジェクトの周辺とマッチングする置換ボクセルによっていずれにしても置換されることになり、あるいは、置換オブジェクトは、置換されることになるオブジェクトのサイズに合うようにスケーリングされ得る。すべての場合で、置換オブジェクトは、元のオブジェクトと比較して異なる形状を有することになる。
【００１１】
本発明は、本方法を遂行するための装置の実施形態に関し、ならびに、データ処理機器上で実行されるときに、上述の方法ステップを遂行するように適合されるソフトウェアを含むコンピュータプログラム製品にさらに関する。
【００１２】
特許請求の範囲において使用される用語「結合される」を、直接の接続のみに限定的であると解釈すべきではないことに注目されたい。したがって、語句「デバイスＢに結合されるデバイスＡ」の範囲を、デバイスＡの出力がデバイスＢの入力に直接接続されるデバイスまたはシステムに限定すべきではない。その語句は、他のデバイスまたは手段を含む経路であり得る、Ａの出力とＢの入力との間の経路が存在することを意味する。
【００１３】
特許請求の範囲において使用される用語「備える、含む」を、その後にリストアップされる手段に限定的であると解釈すべきではないことに注目されたい。したがって、語句「手段ＡおよびＢを備えるデバイス」の範囲を、構成要素ＡおよびＢのみからなるデバイスに限定すべきではない。その語句は、本発明に関して、デバイスの他にない重要な構成要素がＡおよびＢであることを意味する。
【００１４】
付随する図面に関連して行う実施形態の以下の説明を参照することにより、本発明の上記および他の目的および特徴がより明らかとなり、本発明自体が最良に理解されることになる。
【図面の簡単な説明】
【００１５】
【図１】本方法の実施形態の高レベルの概略図である。
【図２】本方法の変形形態のより詳細な実施形態を示す図である。
【図３】本方法の別の変形形態のより詳細な実施形態を示す図である。
【図４】本方法の別の変形形態を示す図である。
【図５ａ】２人の人物の３次元画像の描写の例を示し、両方の人物の顔が本方法の実施形態によって検閲処理が行われた場合の図である。
【図５ｂ】２人の人物の３次元画像の描写の例を示し、両方の人物の顔が本方法の実施形態によって検閲処理が行われた場合の図である。
【発明を実施するための形態】
【００１６】
説明および図面は、本発明の原理を単に例示するものである。したがって、たとえ本明細書で明示的に説明されなくとも、または示されなくとも、本発明の原理を実施し、本発明の趣旨および範囲の範囲内に含まれる様々な構成を当業者が考案可能となることが理解されよう。さらに、本明細書に列挙されるすべての例は、（１人または複数の）発明者により当技術分野の振興のために与えられる本発明の原理および概念の理解において読者の一助となる、単に教育的な目的のものであることが明確に主として意図されるものであり、そのような具体的に列挙される例および条件への限定はないと解釈されるべきである。さらに、本発明の原理、態様、および実施形態、ならびにそれらの具体例を列挙する本明細書でのすべての記載は、それらの均等物を包含することが意図される。
【００１７】
本明細書での任意のブロック図が、本発明の原理を実施する例示的な回路網の概念図を示すことを、当業者ならば理解されたい。同様に、コンピュータ可読媒体の形で実質的に示され得るものであり、その結果、コンピュータまたはプロセッサにより、そのようなコンピュータまたはプロセッサが明示的に示されようとそうでなかろうと実行され得る様々な処理を、任意のフローチャート、フロー図、状態遷移図、擬似コード等々が示すことが理解されよう。
【００１８】
図１は、本方法の実施形態の高レベルの概略体系を示す。３Ｄ画面上に表示されるために、一部のコンテンツ部分が、検閲処理が行われることになる３Ｄ画像は、検閲処理が行われることになるこのコンテンツを特定するための検索を最初に受けている。そのようなコンテンツは、例えば人間、または、秘密が守られることが好ましい他の情報、例えば日記内の個人の詳細情報、または、秘密が守られることが好ましい何らかのまだ公開でない資料等であり得る。
【００１９】
そのような特定技法は、例えば認識技法によって自動的に行われる場合があり、または手動で行われる場合がある。検閲処理が行われることになるオブジェクトが３Ｄ画像上で特定されると、そのオブジェクトは、３Ｄ画像上で３Ｄ置換オブジェクトにより置換されることになる。例えば人間の場合では、この３Ｄ置換オブジェクトは３Ｄアバターである場合がある。これに対して、検閲処理が行われることになる３Ｄオブジェクトを構成する３Ｄボクセルはさらに、完全に異なるコンテンツを伴う他のボクセルにより容易に置換され得る。例として、検閲処理が行われることになる３Ｄオブジェクトを構成するすべての３Ｄボクセルが、すべてが黒色または他の色であるボクセルにより置換され得る。すべてのこれらの３Ｄ置換ボクセルが、やはり３Ｄ置換オブジェクトを構成する。一部の実施形態では、３Ｄメッシュもまた、３Ｄメッシュが３Ｄオブジェクトを示すために使用される場合に置換され得る。
【００２０】
置換オブジェクトは、所定のアバターである場合があり、または所定のオブジェクトの群から選択される場合があり、その選択は、マッチング技法によって決定される。例えば、人間と本の両方が同じ３Ｄ画像上で検閲処理が行われることになるならば、人間に対する置換オブジェクトは、検閲処理が行われることになる本に対する置換オブジェクトと比較して別の群から選択されなければならない。またさらに、置換オブジェクトの群が今度は、あるサイズのいくつかの所定のオブジェクトを包含する場合があるが、他の実施形態では、サイズおよびさらなる形態が、置換されるものに対するオブジェクトのサイズおよび形態に合うように適合され得る。ボクセル置換の前述の例では、程度の差はあれ正確なマッチングが得られる。
【００２１】
この技法は、２Ｄ立体カメラにより撮影されたある同じシーンによる２Ｄ画像から開始して遂行される場合もある。これらの２Ｄ画像は、３Ｄオブジェクトが、検閲処理が行われることになる３Ｄ画像を生成するために組み合わされることになる。この場合に、検閲処理が行われることになるオブジェクトを決定するためのオブジェクト認識技法が、自動的であろうと手動であろうと、それでも２Ｄ画像上で遂行され得る。２Ｄで検閲処理が行われることになるオブジェクトが決定されると、対応する画像上のそのオブジェクトの画素は同じように十分既知となるので、それらの画素は、既知の技法により３Ｄボクセルを生成するために使用され得る。次いで、これらの３Ｄボクセルが、検閲処理が行われることになる３Ｄオブジェクトを構成し、それらの３Ｄボクセルが、異なるコンテンツを伴うボクセルにより置換され得る、または、完全な群が、３Ｄアバターもしくは別の最良のマッチングの３Ｄオブジェクトにより置換され得る。
【００２２】
これらの場合では、３Ｄアバターが元のオブジェクトと異なる姿態／形態を有する場合があるので、特定された３Ｄボクセルを超える３Ｄボクセルが置換されることになる。より大きなアバターに関しては、このように３Ｄ空間内でより多くのボクセルを占有すると、特定された３Ｄオブジェクトのボクセルだけでなく、ある程度の周辺のボクセルもまた置換されることになる。あるいは、アバターが、置換されることになる３Ｄオブジェクトと比較してより小さな小片である場合では、アバターは、置換されることになる元のオブジェクトのサイズとマッチングさせるためにサイズ変更またはスケーリングされ得る。またさらに、アバターおよび元の３Ｄ画像の一部を取り囲むある程度のボクセルが、例えば、周辺の風景、近隣の人、オブジェクト等の拡張によってさらに置換される必要がある。
【００２３】
図５ａ〜図５ｂは、本方法の実施形態の例を示す。本願を出願する時点では、３Ｄ画像を単に２Ｄで示すことだけに限られており、図５ａおよび図５ｂは、３Ｄディスプレイ上に提示されるための３Ｄ画像について言及するものであることを述べておきたい。このことは、両方の図に示すように３次元での３つの軸により示唆されるが、これらの３つの軸は、「現実の」３Ｄの描写またはディスプレイには存在しない。
【００２４】
このように図５ａは、頭部が、検閲処理が行われることになる２人の人物の画像を示す。図５ｂは、検閲処理動作の結果を示し、この場合では、両方の頭部がアバターの頭部により置換される。
【００２５】
本発明の原理を具体的な機器に関して上記で説明したが、この説明は、単に例として行うものであり、添付の特許請求の範囲で定義されるような本発明の範囲に関する限定として行うものではないということを明確に理解されたい。
【図１】
2013542505.tif 000003
【図２】
2013542505.tif 000004
【図３】
2013542505.tif 000005
【図４】
2013542505.tif 000006
【図５ａ】
2013542505.tif 000007
【図５ｂ】
2013542505.tif 000008
【国際調査報告】
2013542505.tif 000009
2013542505.tif 000010