(57)【要約】  本発明の様々な実施形態は一般的には、画像及び映像を解析及び操作するためのシステム及び方法に関する。特に、人のマルチビューインタラクティブデジタルメディア表現（ＭＶＩＤＭＲ）が、ハンディカメラから捕捉された人のライブ画像から生成され得る。ライブ画像からの画像データを使用することにより、人の骨格及び人と背景間の境界が様々な視角からそして複数画像全体にわたって判断され得る。骨格及び境界データを使用することにより、翼などの効果表現が人へ加えられ得る。効果表現は、各画像内で捕捉された人の様々な視角を考慮するために画像毎に変化し得る。
2020505665.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサ、メモリ、カメラ、複数のセンサ、マイクロホン、及びタッチスクリーンディスプレイを含む携帯装置上で、
前記携帯装置上の入力インターフェースを介しオブジェクトのマルチビューインタラクティブデジタルメディア表現を生成する要求を受信することと；
前記携帯装置が軌道に沿って移動するときに前記携帯装置上の前記カメラからの複数のフレームを含むライブ映像ストリームを受信することであって、前記カメラの配向は、前記ライブ映像ストリーム内の前記オブジェクトが複数のカメラビューから捕捉されるように、前記軌道に沿って変化する、ことと、
前記オブジェクトの前記マルチビューインタラクティブデジタルメディア表現内の前記オブジェクトを修正する効果表現の選択を受信することと；
前記複数のフレームのうちの１つ又は複数のフレームに対して、前記１つ又は複数のフレーム内の前記オブジェクト上の位置を示す初期骨格を生成することであって、前記効果表現は、前記効果表現が前記オブジェクトへ取り付けられて出現するように、前記位置のうちの１つ又は複数の位置へ固定される、ことと、
前記１つ又は複数のフレームに関し、前記オブジェクトと元の背景間の境界を含む初期セグメンテーションを生成することと；
前記１つ又は複数のフレームに関し、前記初期骨格及び前記初期セグメンテーションに基づき、前記効果表現のプレビューを生成することであって、前記プレビューは、前記オブジェクトを修正する前記効果表現を有する１つ又は複数の拡張されたフレームを含む、ことと；
前記ライブ映像ストリームが、前記マルチビューインタラクティブデジタルメディア表現のために、前記マルチビューインタラクティブデジタルメディア表現の生成に先立って記録されている間に、前記効果表現の前記プレビューを前記タッチスクリーンディスプレイへ出力することと、を含む方法。
【請求項２】
前記オブジェクトは人である、請求項１に記載の方法。
【請求項３】
前記初期骨格は、関節の位置を含む前記人の位置を示す、請求項２に記載の方法。
【請求項４】
前記人の前記位置に基づき前記人の姿勢を判断することをさらに含む請求項３に記載の方法。
【請求項５】
前記人の前記姿勢を判断することは、前記人の前記位置と、姿勢のライブラリとを比較することに基づく、請求項４に記載の方法。
【請求項６】
前記人の前記判断された姿勢は、人体の一部分の、前記人体の別の部分を基準とした深さを判断するために使用される、請求項４に記載の方法。
【請求項７】
前記位置は深さデータを含む、請求項１乃至６のいずれか一項に記載の方法。
【請求項８】
前記初期セグメンテーションは前記深さデータに基づく、請求項７に記載の方法。
【請求項９】
前記携帯装置は第２のカメラを含み、前記深さデータは、前記カメラから受信される前記オブジェクトの第１のフレームデータと、前記第２のカメラから受信される前記オブジェクトの第２のフレームデータとから判断される、請求項７に記載の方法。
【請求項１０】
前記深さデータは、前記複数のフレーム内のキーポイントの追跡から判断される、請求項７に記載の方法。
【請求項１１】
前記深さデータと、前記効果表現が固定される前記１つ又は複数の位置とに基づき、前記効果表現の第１の部分の１つ又は複数が前記オブジェクトにより遮蔽されるかどうか、前記効果表現の第２の部分が前記オブジェクトを遮蔽するかどうか、又はそれらの組み合わせを判断することをさらに含む請求項７に記載の方法。
【請求項１２】
前記効果表現は、第２のオブジェクトの３Ｄモデルから前記１つ又は複数の拡張されたフレーム内にレンダリングされる、請求項１乃至６のいずれか一項に記載の方法。
【請求項１３】
前記オブジェクトに関連付けられた長さを判断することと、
前記長さに基づき、前記オブジェクトに対する前記効果表現のサイズを判断することとをさらに含む請求項１乃至６のいずれか一項に記載の方法。
【請求項１４】
前記オブジェクトの前記マルチビューインタラクティブデジタルメディア表現内の前記オブジェクトを修正する複数の効果表現の選択を受信することであって、前記効果表現のそれぞれは前記オブジェクト上の前記１つ又は複数の位置へ固定される、ことと、
前記複数の効果表現の前記プレビューを生成することとをさらに含む請求項１乃至６のいずれか一項に記載の方法。
【請求項１５】
前記効果表現は第２のオブジェクトを含み、
前記カメラの前記配向が変化すると、前記効果表現の前記プレビューは様々なカメラビューから前記第２のオブジェクトを示す、請求項１乃至６のいずれか一項に記載の方法。
【請求項１６】
前記ライブ映像ストリームが受信されている間、前記オブジェクトは移動しており、前記効果表現の前記プレビューは、前記オブジェクトと共に移動する前記効果表現を示す、請求項１乃至６のいずれか一項に記載の方法。
【請求項１７】
前記元の背景を新しい背景により置換することであって、前記効果表現の前記プレビューは新しい背景を含む、ことをさらに含む請求項１乃至６のいずれか一項に記載の方法。
【請求項１８】
前記効果表現は前記新しい背景に及ぶ、請求項１７に記載の方法。
【請求項１９】
元の背景は、前記効果表現の前記プレビューが複数の拡張されたフレーム内で生成されている間に、前記複数の拡張されたフレームにわたって様々な部分において前記新しい背景により置換される、請求項１７に記載の方法。
【請求項２０】
前記オブジェクトは、置換される前記元の背景の前記様々な部分を前記プレビューが示すときに、前記複数のフレームにわたって移動している、請求項１９に記載の方法。
【請求項２１】
前記効果表現を含む前記オブジェクトの前記マルチビューインタラクティブデジタルメディア表現を生成することであって、前記マルチビューインタラクティブデジタルメディア表現は複数の第２のフレームを含み、前記複数の第２のフレームの各フレームは、前記タッチスクリーンディスプレイ上に順に出力される際に前記オブジェクト及び前記効果表現が３Ｄの動きとして表されるように、異なるカメラビューからの前記オブジェクトと前記効果表現とを含む、ことをさらに含む請求項１乃至６のいずれか一項に記載の方法。
【請求項２２】
プロセッサ、メモリ、カメラ、複数のセンサ、マイクロホン、及びタッチスクリーンディスプレイを含む携帯装置上で、
前記携帯装置上の入力インターフェースを介しオブジェクトのマルチビューインタラクティブデジタルメディア表現（ＭＶＤＩＭＲ）を生成する要求を受信することであって、前記要求は、１）前記オブジェクトを取り囲む背景を拡張する効果表現、２）構造により前記オブジェクトを強化する効果表現、又は３）それらの組み合わせの効果表現、の選択を含む、ことと；
前記携帯装置が軌道に沿って移動するときに前記携帯装置上の前記カメラからの複数のフレームを含むライブ映像ストリームを記録することであって、前記カメラの配向は、前記映像ストリーム内の前記オブジェクトが複数のカメラビューから捕捉されるように、前記軌道に沿って変化する、ことと、
前記ライブ映像ストリームが記録されている間、前記オブジェクトを含む第１のフレームの各フレームを前記ＭＶＩＤＭＲ内で利用するために、前記複数のフレームの中から前記第１のフレームを選択することと、
前記ライブ映像ストリームが記録されている間に、前記第１のフレームの各フレームの中のどこで前記選択した効果表現を適用するかを判断するために、前記第１のフレームのフレーム毎に第１の骨格検出と第１のセグメンテーションとを生成することと、
前記第１のフレームが選択された後、
ｉ）前記オブジェクトの位置、ｉｉ）前記オブジェクトのスケール、及びｉｉｉ）第２のフレームを生成するために前記第１のフレーム間で発生する前記オブジェクトの配向の変動をスムージングするために、画像安定化を前記第１のフレームに対し行うことと、
前記第２のフレームと、前記第１のフレーム上の前記第１の骨格検出及び前記第１のセグメンテーションからの出力とに基づき、前記第２のフレームの各フレーム内のどこで前記選択した効果表現を適用すべきかを判断するために、前記第２のフレームのフレーム毎に第２の骨格検出と第２のセグメンテーションとを生成することと、
前記第２の骨格検出及び前記第２のセグメンテーションに基づき、第３のフレームを生成するために、前記選択した効果表現により前記第２のフレームの各フレームを拡張することと、
前記第３のフレームを使用して前記ＭＶＩＤＭＲを前記ディスプレイへ出力することであって、前記ＭＶＩＤＭＲは、前記オブジェクトと前記選択した効果表現とが複数の異なる視角から表示されるように、前記オブジェクトと前記選択した効果表現とを示す、ことと、
を含む方法。
【請求項２３】
前記オブジェクトを取り囲む前記背景は、元の背景が新しい背景により置換されるように拡張される、請求項２２に記載の方法。
【請求項２４】
前記新しい背景は、前記オブジェクトとは異なる複数の第１のオブジェクトを含み、前記複数の第１のオブジェクトは、前記第３のフレーム内の前記複数の異なる視角から見られる、請求項２３に記載の方法。
【請求項２５】
前記第３のフレームは、前記元の背景が前記新しい背景により徐々に置換される過程を示す、請求項２３に記載の方法。
【請求項２６】
前記第３のフレームは、前記新しい背景だけを示す、請求項２３に記載の方法。
【請求項２７】
前記構造は、前記第３のフレームを生成するためにレンダリングされるとき前記背景の一部が前記構造により遮蔽されるように見えるように、前記オブジェクトから伸びる、請求項２２乃至２６のいずれか一項に記載の方法。
【請求項２８】
前記構造は、前記第３のフレームを生成するためにレンダリングされるとき前記オブジェクトの一部が前記第３のフレーム内の１つ又は複数のフレームにおいて前記構造により遮蔽されるように見えるように、前記オブジェクトから伸びる、請求項２２乃至２６のいずれか一項に記載の方法。
【請求項２９】
前記構造は、前記第３のフレームを生成するためにレンダリングされるとき前記構造の一部が前記第３のフレーム内の１つ又は複数のフレームにおいて前記オブジェクトにより遮蔽されるように見えるように、前記オブジェクトから伸びる、請求項２２乃至２６のいずれか一項に記載の方法。
【請求項３０】
前記構造は、第１の部分及び第２の部分を含み、
前記第１の部分は、前記構造が前記第３のフレームを生成するためにレンダリングされるとき１つ又は複数の第３のフレームにおいて、前記第２の部分により遮蔽されるように見える、請求項２２乃至２６のいずれか一項に記載の方法。
【請求項３１】
前記背景、前記オブジェクト、及び前記構造に関連付けられた画素の深さ情報を判断することをさらに含む請求項２２乃至２６のいずれか一項に記載の方法。
【請求項３２】
前記深さ情報に基づき、前記背景、前記オブジェクト、及び前記構造間の遮蔽を判断する、請求項３１に記載の方法。
【請求項３３】
前記携帯装置は第２のカメラを含み、
前記深さ情報は、前記カメラに関連する前記ライブ映像ストリームと、前記第２のカメラから決定された第２のライブ映像ストリームとから判断される、請求項３１に記載の方法。
【請求項３４】
前記オブジェクトは、複数の構造により拡張される、請求項２２乃至２６のいずれか一項に記載の方法。
【請求項３５】
前記構造は、３Ｄモデルからレンダリングされる、請求項２２乃至２６のいずれか一項に記載の方法。
【請求項３６】
基平面を判断することと、
基平面に対する前記構造の配向を判断することと
前記基平面に対する前記配向において前記構造により前記第２のフレームを拡張することとをさらに含む請求項２２乃至２６のいずれか一項に記載の方法。
【請求項３７】
前記オブジェクトは人である、請求項２２乃至２６のいずれか一項に記載の方法。
【請求項３８】
前記第２の骨格検出に基づき、前記構造を固定すべき前記人のボディ上の１つ又は複数の位置を判断することをさらに含む請求項３７に記載の方法。
【請求項３９】
前記第２の骨格検出に基づき、前記人の姿勢を判断することをさらに含む請求項３７に記載の方法。
【請求項４０】
前記人の前記姿勢は、前記人のボディに関連付けられた深さ情報を生成するために使用される、請求項３９に記載の方法。
【請求項４１】
ライブ映像ストリームが記録されている間に、前記第１の骨格検出だけ及び前記第１のセグメンテーションだけに基づき、第４のフレームを生成するために前記選択した効果表現により前記第１のフレームのうちの１つ又は複数を拡張することと、
出力するに先立って前記第４のフレームを前記ディスプレイへ出力することとをさらに含む請求項２２乃至２６のいずれか一項に記載の方法。
【請求項４２】
前記第４のフレーム内でレンダリングされる前記選択した効果表現は、前記第３のフレーム内でレンダリングされる前記選択した効果表現ほど詳細ではない、請求項４１に記載の方法。
【請求項４３】
前記選択した効果表現は、前記オブジェクトへ固定される前記構造を含み、
前記選択した効果表現が複数の異なる視角から表示されると、前記構造及び前記オブジェクトは３Ｄの動きによって移動するように見える、請求項２２乃至２６のいずれか一項に記載の方法。
【請求項４４】
前記３Ｄの動きは、軸を中心とする回転である、請求項４３に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
[0001]  本特許文書は、Holzerらによる２０１７年１０月１３日出願の米国仮特許出願第６２／５７２，３８８号：題名「骨格ベース効果表現及び背景置換」からの優先権を米国法典第３５編１１９（ｅ）条に基づき主張するHolzerらによる２０１８年３月２６日出願の米国特許出願第１５／９３６，１３１号：題名「骨格ベース効果表現及び背景置換」の優先権を主張する。米国特許出願第１５／９３６，１３１号と米国仮特許出願第６２／５７２，３８８号との両方をすべての目的のために参照によりその全体として援用する。
【背景技術】
【０００２】
技術分野
[0002]  本開示は骨格の検出及び追跡並びに背景置換に関し、特にライブ映像ストリーム内の骨格の検出及び追跡並びに背景置換に関する。
【０００３】
[0003]  骨格識別は多くの映像処理タスクにおける主要素である。例えば、人が特定静的姿勢を示しているのか又は特定のやり方で移動しているのかを判断するために、人はボディ、頭、及び四肢を有する骨格へ抽象化され得る。しかし、骨格検出は、画像内に全く異なる外観を生じ得る全く異なる姿勢を人が取り得るので、非常に困難である。また、自己遮蔽又は他の人又はオブジェクトによる遮蔽はいくつかの関節を隠し得る。
【０００４】
[0004]  骨格検出はまた、視覚フィルタリングの際に使用され得る。カメラにより捕捉される画像は通常、視覚フィルタを適用することにより修正される。例えば、視覚フィルタは、望ましい視覚効果表現を導入するために画像を際立たせ得る、ぼかし得る、又は浮き彫りにし得る。フィルタを画像へ適用することは、いくつかのケースでは相当量の計算資源を必要とし得る。しかし、画像は静的であるので、携帯電話などの携帯コンピュータ装置はしばしば静止画像フィルタリングを行うことができる。フィルタはまた、動画へ適用され得る。例えば、映像は静止画像と同じやり方で際立たせられ得る、ぼかされ得る、又は浮き彫りされ得る。しかし、映像をフィルタリングすることは通常、かなりの計算資源を必要とする。携帯コンピュータ装置は単純な映像フィルタリングを行うことができる場合があり得るが、骨格検出に基づく複雑なフィルタリング処理をライブ映像ストリームへ適用することは携帯コンピュータ装置の計算能力をかなり越えている。
【０００５】
[0005]  したがって、携帯装置上の映像ストリーム内の骨格検出及び追跡に関する改善された機構及び処理を開発することが望ましい。このような改善された機構及び処理は、ライブ映像ストリーム又は事前記録された映像ストリームのいずれかへのフィルタの適用を容易にし得る。加えて、このような改善された機構及びフィルタは、ライブ映像ストリーム又は事前記録された映像ストリーム内の姿勢及びジェスチャの認識を可能にするだろう。
【発明の概要】
【課題を解決するための手段】
【０００６】
概要
[0006]  本発明の様々な実施形態は一般的には、画像及び映像を解析及び操作するためのシステム及び方法に関する。特定実施形態によると、複数画像と映像間の空間的関係は、本明細書ではマルチビューインタラクティブデジタルメディア表現（ＭＶＩＤＭＲ：multi-view interactive digital media representation）と呼ぶ表現を生成する目的のために位置情報データと共に解析される。ＭＶＩＤＭＲは、携帯装置、タブレットコンピュータ、又はラップトップコンピュータなどのディスプレイを有する装置へ出力され得る。
【０００７】
[0007]  ＭＶＩＤＭＲは、多くの異なる視線角度（viewing angle）からのオブジェクトの画像を含み得る。共通軸を中心とした視線角度を有する画像がグループにまとめられ得る。これらの画像は順に提供され得、ここでは、視線角度が規則的やり方で画像から画像へ順に変化する。したがって、一系列の画像がディスプレイ上で視られるので、オブジェクトは共通軸を中心として回転するように見え得る。特定実施形態では、マルチビューインタラクティブデジタルメディア表現は１つ又は複数の軸を中心とした視線角度を有する画像と共に提供され得る。したがって、視られるとき、ＭＶＩＤＭＲ内のオブジェクトは１つ又は複数の軸を中心として回転するように見え得る。
【０００８】
[0008]  いくつかの実装では、方法は、プロセッサ、メモリ、カメラ、複数のセンサ、マイクロホン、及びタッチスクリーンディスプレイを含む携帯装置を使用して行われ得る。ライブ映像ストリームが受信され得る。ライブ映像ストリームは、携帯装置が軌道に沿って移動するときに、携帯装置上のカメラからの複数のフレームを含み得、カメラの配向は、ライブ映像ストリーム内のオブジェクトが複数のカメラビューから捕捉されるように、軌道に沿って変化する。効果表現の選択が受信され得る。選択した効果表現は、オブジェクトのマルチビューインタラクティブデジタルメディア表現内のオブジェクトを修正し得る。複数のフレームのうちの１つ又は複数のフレームに関し、初期骨格が生成され得る。初期骨格は、１つ又は複数のフレーム内のオブジェクト上の位置を示し得、効果表現は、オブジェクトへ取り付けられて見えるように、位置のうちの１つ又は複数の位置へ固定される。１つ又は複数のフレームに関し、初期セグメンテーション（initial segmentation）が生成され得る。初期セグメンテーションはオブジェクトと元の背景間の境界を含み得る。１つ又は複数のフレームに関し、初期骨格及び初期セグメンテーションに基づき効果表現のプレビューが生成され得る。プレビューは、オブジェクトを修正する効果表現を有する１つ又は複数の拡張された（augmented）フレームを含み得る。ライブ映像ストリームが、マルチビューインタラクティブデジタルメディア表現のために、マルチビューインタラクティブデジタルメディア表現の生成に先立って記録されている間に、効果表現のプレビューがタッチスクリーンディスプレイへ出力され得る。
【０００９】
[0009]  いくつかの実装では、オブジェクトは人であり得る。初期骨格は、関節の位置を含む人の位置を示し得る。人の姿勢は、人の位置に基づき判断され得る。人の姿勢を判断することは、人の位置と姿勢のライブラリとを比較することに基づき得る。人の判断された姿勢は、人体の一部分の、人体の別の部分を基準とした深さを判断するために使用され得る。
【００１０】
[0010]  いくつかの実装では、位置は深さデータを含み得る。初期セグメンテーションは深さデータに基づき得る。携帯装置は第２のカメラを含み得、深さデータは、カメラから受信されるオブジェクトの第１のフレームデータ及び第２のカメラから受信されるオブジェクトの第２のフレームデータから判断され得る。深さデータは複数のフレーム内のキーポイントの追跡から判断され得る。深さデータと、効果表現が固定される１つ又は複数の位置とに基づき、効果表現の第１の部分の１つ又は複数がオブジェクトにより遮蔽されるかどうか、効果表現の第２の部分がオブジェクトを遮蔽するかどうか、又はそれらの組み合わせが判断され得る。
【００１１】
[0011]  いくつかの実装では、効果表現は、第２のオブジェクトの３Ｄモデルから１つ又は複数の拡張されたフレーム内にレンダリングされ得る。
【００１２】
[0012]  いくつかの実装では、オブジェクトに関連する長さが判断され得る。オブジェクトに対する効果表現のサイズは、当該長さに基づき判断され得る。
【００１３】
[0013]  いくつかの実装では、複数の効果表現の選択が受信され得る。複数の選択された効果表現は、オブジェクトのマルチビューインタラクティブデジタルメディア表現内のオブジェクトを修正し、効果表現のそれぞれが、オブジェクト上の１つ又は複数の位置へ固定され、複数の効果表現のプレビューを生成し得る。
【００１４】
[0014]  いくつかの実装では、効果表現は第２のオブジェクトを含み得る。カメラの配向が変化すると、効果表現のプレビューは様々なカメラビューからの第２のオブジェクトを示し得る。
【００１５】
[0015]  いくつかの実装では、オブジェクトは、ライブ映像ストリームが受信されている間に移動し得、効果表現のプレビューは、オブジェクトと共に移動する効果表現を示し得る。
【００１６】
[0016]  いくつかの実装では、元の背景は新しい背景により置換され得、効果表現のプレビューは新しい背景を含む。効果表現は新しい背景に及び得る。元の背景は、効果表現のプレビューが複数の拡張されたフレーム内で生成されている間に、複数の拡張されたフレームにわたって様々な部分において新しい背景により置換され得る。オブジェクトは、元の背景の様々な部分が置換されているということをプレビューが示すとき、複数のフレームにわたって移動し得る。
【００１７】
[0017]  いくつかの実装では、オブジェクトのマルチビューインタラクティブデジタルメディア表現は効果表現を含むように生成され得、マルチビューインタラクティブデジタルメディア表現は複数の第２のフレームを含む。複数の第２のフレームの各フレームは、タッチスクリーンディスプレイ上に順に出力される際に、オブジェクト及び効果表現が３Ｄの動きとして表されるように、異なるカメラビューからのオブジェクトと効果表現とを含む。
【００１８】
[0018]  いくつかの実装では、方法は、プロセッサ、メモリ、カメラ、複数のセンサ、マイクロホン、及びタッチスクリーンディスプレイを含む携帯装置を使用して行われ得る。オブジェクトのＭＶＤＩＭＲを生成する要求が、携帯装置上の入力インターフェースを介し受信され得る。要求は、以下の効果表現の選択を含み得る：１）オブジェクトを取り囲む背景を拡張する効果表現、２）構造によりオブジェクトを拡張する効果表現、又は３）それらの組み合わせの効果表現。ライブ映像ストリームが記録され得る。ライブ映像ストリームは、携帯装置が軌道に沿って移動するときに、携帯装置上のカメラからの複数のフレームを含み得、カメラの配向は、ライブ映像ストリーム内のオブジェクトが複数のカメラビューから捕捉されるように、軌道に沿って変化する。ライブ映像ストリームが記録されている間、オブジェクトを含む第１のフレームの各フレームをＭＶＩＤＭＲ内で利用するために、第１のフレームが複数のフレームの中から選択され得る。ライブ映像ストリームが記録されている間、第１のフレームのフレーム毎の第１の骨格検出及び第１のセグメンテーションは、第１のフレームの各フレーム内のどこに効果表現の選択を適用すべきかを判断するために生成され得る。第１のフレームが選択された後、画像安定化は、ｉ）オブジェクトの位置の変動、ｉｉ）オブジェクトのスケールの変動、及びｉｉｉ）第２のフレームを生成するために第１のフレーム間で発生するオブジェクトの配向の変動をスムージングするために、第１のフレームに対し行われ得る。第２のフレームと、第１のフレーム上の第１の骨格検出からの出力及び第１のセグメンテーションとに基づき、第２のフレームのフレーム毎の第２の骨格検出及び第２のセグメンテーションが、第２のフレームの各フレーム内のどこに選択された効果表現を適用すべきかを判断するために生成され得る。第２の骨格検出及び第２のセグメンテーションに基づき、第２のフレームの各フレームが、第３のフレームを生成するために、選択された効果表現により拡張され得る。ＭＶＩＤＭＲは第３のフレームを使用してディスプレイへ出力され得、ＭＶＩＤＭＲは、オブジェクトと、選択された効果表現とが複数の異なる視線角度から表示されるように、オブジェクトと、選択された効果表現とを示す。
【００１９】
[0019]  いくつかの実装では、対象オブジェクトを取り囲む背景は、元の背景が新しい背景により置換されるように拡張され得る。新しい背景は、対象オブジェクトとは異なる複数の第１のオブジェクトを含み得、複数の第１のオブジェクトは、第３のフレーム内の複数の異なる視線角度から見ることができる。第３のフレームは、元の背景が新しい背景により徐々に置換される過程を示し得る。第３のフレームは新しい背景だけを示し得る。
【００２０】
[0020]  いくつかの実装では、構造は、第３のフレームを生成するためにレンダリングされるときに、背景の一部が構造により遮蔽されるように見えるように、オブジェクトから伸び得る。
【００２１】
[0021]  いくつかの実装では、構造は、第３のフレームを生成するためにレンダリングされるときに、オブジェクトの一部が第３のフレーム内の１つ又は複数のフレームにおいて構造により遮蔽されるように見えるように、オブジェクトから伸び得る。
【００２２】
[0022]  いくつかの実装では、構造は、第３のフレームを生成するためにレンダリングされるときに、構造の一部が第３のフレーム内の１つ又は複数のフレームにおいてオブジェクトにより遮蔽されるように見えるように、オブジェクトから伸び得る。
【００２３】
[0023]  いくつかの実装では、構造は第１の部分及び第２の部分を含み得、第１の部分は、構造が第３のフレームを生成するためにレンダリングされるときに、１つ又は複数の第３のフレーム内の第２の部分により遮蔽されるように見える。
【００２４】
[0024]  いくつかの実装では、背景、オブジェクト、及び構造に関連する画素の深さ情報が判断され得る。深さ情報に基づき、背景とオブジェクトと構造との間の遮蔽が判断され得る。携帯装置は第２のカメラを含み得、深さ情報は、カメラに関連するライブ映像ストリームと、第２のカメラから決定された第２のライブ映像ストリームとから判断され得る。
【００２５】
[0025]  いくつかの実装では、オブジェクトは複数の構造により拡張され得る。
【００２６】
[0026]  いくつかの実装では、構造は３Ｄモデルからレンダリングされ得る。
【００２７】
[0027]  いくつかの実装では、基平面が判断され得る。基平面に対する構造の配向が判断され得、第２のフレームは基平面に対するこの配向で構造により拡張され得る。
【００２８】
[0028]  いくつかの実装では、オブジェクトは人であり得る。第２の骨格検出に基づき、構造を固定すべき人のボディ上の１つ又は複数の位置が判断され得る。第２の骨格検出に基づき、人の姿勢が判断され得る。人の姿勢は人のボディに関連する深さ情報を生成するために使用され得る。
【００２９】
[0029]  いくつかの実装では、ライブ映像ストリームが記録されている間、第１の骨格検出だけ及び第１のセグメント化だけに基づき、第１のフレームの１つ又は複数が、第４のフレームを生成するために、選択された効果表現により拡張され得、出力する前に、第４のフレームはディスプレイへ出力され得る。第４のフレーム内でレンダリングされる、選択された効果表現は、第３のフレーム内でレンダリングされる、選択された効果表現ほど詳細ではない場合があり得る。
【００３０】
[0030]  いくつかの実装では、選択された効果表現はオブジェクトへ固定された構造を含み得、選択された効果表現が複数の異なる視線角度から表示されると、構造及びオブジェクトは３Ｄの動きによって移動するように見えてもよい。３Ｄの動きは軸を中心とした回転であり得る。
【００３１】
図面の簡単な説明
[0031]  本開示は、本発明の特定実施形態を示す以下の添付図面と併せて取り込まれた以下の説明を参照することにより最も良く理解され得る。
【図面の簡単な説明】
【００３２】
【図１】[0032]本発明の実施形態によるマルチビューインタラクティブデジタルメディア表現取得システムの例を示す。
【図２】[0033]本発明の実施形態によるマルチビューインタラクティブデジタルメディア表現を生成するための処理フローの例を示す。
【図３】[0034]本発明の実施形態による没入体験を生成するために３次元（３Ｄ）モデルに融合され得る複数のカメラビューの一例を示す。
【図４】[0035]本発明の実施形態によるマルチビューインタラクティブデジタルメディア表現におけるコンテンツとコンテクストとの分離の一例を示す。
【図５Ａ】[0036]凹状ビューと凸状ビューの例をそれぞれ示し、両ビューは本発明の実施形態によるバックカメラ捕捉スタイルを使用する。
【図５Ｂ】[0036]凹状ビューと凸状ビューの例をそれぞれ示し、両ビューは本発明の実施形態によるバックカメラ捕捉スタイルを使用する。
【図６Ａ】[0037]本発明の実施形態によるマルチビューインタラクティブデジタルメディア表現の様々なキャプチャモードの例を示す。
【図６Ｂ】[0037]本発明の実施形態によるマルチビューインタラクティブデジタルメディア表現の様々なキャプチャモードの例を示す。
【図６Ｃ】[0037]本発明の実施形態によるマルチビューインタラクティブデジタルメディア表現の様々なキャプチャモードの例を示す。
【図６Ｄ】[0037]本発明の実施形態によるマルチビューインタラクティブデジタルメディア表現の様々なキャプチャモードの例を示す。
【図７】[0038]本発明の実施形態によるＭＶＩＤＭＲを生成するために使用されるカメラの配向を判断するためのセンサパッケージを示す。
【図８Ａ】[0039]本発明の実施形態による携帯装置とボディ中心座標系とを示す。
【図８Ｂ】[0040]本発明の実施形態による、ＭＶＩＤＭＲ生成中の重力ベクトルに対する時間に応じた携帯装置のピッチ及びロール並びに角度変化を示す。
【図９Ａ】[0041]本発明の実施形態によるクライアント及びサーバアーキテクチャを使用して骨格検出を実行する方法のブロック図である。
【図９Ｂ】[0042]本発明の実施形態による装置に対し骨格検出を実行する方法のブロック図である。
【図１０】[0043]本発明の実施形態による骨格検出及び背景セグメント化の例を示す。
【図１１】[0044]本発明の実施形態による視覚効果表現によりボディを拡張するために骨格検出を使用する例を示す。
【図１２】[0045]本発明の実施形態による背景セグメント化及び骨格効果表現を含むＭＶＩＤＭＲ生成の方法のブロック図である。
【図１３】[0046]本発明の実施形態による背景拡張及び骨格効果表現を有するＭＶＩＤＭＲをプレビューする例である。
【図１４Ａ】[0047]背景拡張及び骨格効果表現を有するＭＶＩＤＭＲを視る第１の例であり、本発明の実施形態による元フレームと拡張フレーム間の変換が示される。
【図１４Ｂ】[0048]背景拡張及び骨格効果表現を有するＭＶＩＤＭＲを視る第１の例であり、本発明の実施形態による元フレームと拡張フレーム間の変換が示される。
【図１４Ｃ】[0049]本発明の実施形態によるＭＶＩＤＭＲのプレビュー段階で使用され得る及び／又はＭＶＩＤＭＲ内に取り込まれ得るオブジェクトミラーリングの例である。
【図１５】[0050]本発明の実施形態による背景拡張及び骨格効果表現を有するＭＶＩＤＭＲの初期プレビューを生成するためのシステムのブロック図である。
【図１６】[0051]本発明の実施形態による背景拡張及び骨格効果表現を有するＭＶＩＤＭＲのさらなる処理及び視認のためのシステムのブロック図である。
【図１７】[0051]本発明の実施形態による背景拡張及び骨格効果表現を有するＭＶＩＤＭＲのさらなる処理及び視認のためのシステムのブロック図である。
【図１８】[0052]本発明の様々な実施形態と共に使用され得るコンピュータシステムの特定例を示す。
【発明を実施するための形態】
【００３３】
詳細な説明
[0053]  本発明を実施するために本発明者らにより企図される最良モードを含む本発明のいくつかの具体例が次に詳細に言及される。これらの特定実施形態は添付図面に示される。本開示はこれらの特定実施形態と併せて説明されるが、本発明をこれら説明される実施形態に限定するように意図されていないということが理解されることになる。逆に、本開示は、添付の特許請求範囲により定義されるような本発明の精神と範囲に含まれ得る代替物、修正物、等価物をカバーするように意図されている。
【００３４】
[0054]  以下の説明では、多くの具体的詳細が、本発明を十分に理解するために記載される。本発明の特定実施形態はこれらの特定詳細の一部又はすべて無しに実施され得る。他の例では、本発明を不必要にあいまいにすることを避けるため、周知の処理作業は詳細に説明されなかった。
【００３５】
[0055]  本発明の様々な態様は一般的には、データの冗長性をなくしユーザへ相互作用及び没入型能動的視認体験を提示する単一表現（マルチビューインタラクティブデジタルメディア表現（ＭＶＩＤＭＲ））を生成する目的のために位置情報データと共に複数画像と映像との空間的関係を解析するためのシステム及び方法に関する。様々な実施形態によると、用語「能動的」は、画面上に表示される視覚情報の視点を制御する能力をユーザに提供するコンテクストにおいて記載される。
【００３６】
[0056]  次に、図１〜１８に関し、画像データを取得しマルチビューインタラクティブデジタルメディア表現（ＭＶＩＤＭＲ）を生成するための方法及び装置が論述される。特定実施形態では、ＭＶＩＤＭＲは、携帯装置を使用して捕捉される人の映像ストリームから生成され得る。映像ストリームは、それぞれが画像データを有する複数のフレームを含み得る。骨格検出は、人の骨格を判断するとともに姿勢を識別するためにフレームへ適用され得る。セグメンテーションは、人をフレームの背景から分離するためにフレームへ適用され得る。本方法論は他のタイプのオブジェクトへ適用され得、人の例は例示だけの目的のために提供される。
【００３７】
[0057]  骨格検出及びセグメンテーションに基づき、フレームとその後のＭＶＩＤＭＲは、人を取り囲む背景に及ぶ効果表現（effect）により拡張され得る。効果表現は、人から伸びるように固定されるように見える構造（structure）を含み得る。例えば、翼などの効果表現が生成され得、ＭＶＩＤＭＲ内の人の骨格へ固定される。加えて、翼などの効果表現は、セグメンテーションを介し判断される人を取り囲む背景に及び得る。さらに、セグメンテーションを介し判断される背景は、別のコンテクストにより置換され得る。ＭＶＩＤＭＲは、人、効果表現、及び背景が、回転軸を中心としたビューなど別の視点から視られ得るようにするように構成され得る。
【００３８】
[0058]  人の例は例示だけの目的のために提供される。他のタイプのオブジェクトが、本明細書で説明される方法を使用するＭＶＩＤＭＲの対象物であり得る。例えば、自動車が映像ストリーム内に検出され得、背景セグメンテーションは、自動車周囲の炎などの効果表現を引き出すために使用され得る。次に、ＭＶＩＤＭＲは、自動車から広がり自動車を取り囲む背景に及ぶ炎を含む自動車を伴って生成され得、自動車及び炎を異なる視線角度から見ることができるようにする。
【００３９】
[0059]  自動車などのオブジェクトの場合、骨格検出は自動車上の重要な位置／構造を識別することを指し得る。例えば、自動車骨格は、自動車体フレームと、車輪、窓、ドアハンドルなどの関連部品とを含み得る。骨格検出は、これらの部品を画定しそれらが識別されることを可能にする位置を識別し得る。異なるオブジェクトに関し、異なる骨格が定義され、次に、検出され得る。
【００４０】
[0060]  多くのセクションが「発明を実施するための形態」において説明される。図１〜６Ｄと標題「ＭＶＩＤＭＲ生成」とを含む第１のセクションでは、画像捕捉及びＭＶＩＤＭＲ生成のいくつかの態様が論述される。より詳細には、ＭＶＩＤＭＲシステムの例が図１に関し論述される。ＭＶＩＤＭＲを生成するための処理フローの例が説明される。図３に関し、没入体験を生じるために３次元（３Ｄ）モデルに融合され得る複数のカメラビューの一例が論述される。図４に関し、ＭＶＩＤＭＲ生成のためにコンテンツとコンテクストとを分離する一例が説明される。バックカメラ捕捉スタイルをそれぞれが使用する凹状ビューと凸状ビューとの両方の例が図５Ａ及び５Ｂに関し説明される。ＭＶＩＤＭＲ生成において使用され得る様々な捕捉モードが図６Ａ〜６Ｄに関し論述される。
【００４１】
[0061]  図７、８Ａ、８Ｂと標題「ＩＭＵデータ及び処理」とを含む第２のセクションでは、センサパッケージが説明される。特に、図７に関し、センサパッケージ、それらの携帯装置への一体化、及びセンサのいくつかの例が論述される。センサパッケージからのセンサデータはＭＶＩＤＭＲ生成過程で使用され得る。図８Ａ〜８Ｂに関し、ＩＭＵデータから判断される回転メトリック及び角度測定が説明される。回転データ及び角度測定は、カメラの基平面と、画像内に捕捉されるオブジェクトの視線角度とを判断するために使用され得る。
【００４２】
[0062]  図９Ａ、９Ｂ、１０、１１及び標題「骨格検出及びボディセグメント化」を含む第３のセクションでは、ｉ）画像内の人を検出する方法、ｉｉ）人の外形を判断し背景から人の画像をセグメント化する方法、ｉｉｉ）人の骨格及び骨格の位置／姿勢を判断する方法が説明される。この情報に基づき、人の骨格の一部を置換することなどの画像効果表現が、画像データに対して行われ得る。
【００４３】
[0063]  図１２、１３、１４Ａ、１４Ｂ、１５、１６、１７、１８及び標題「ボディセグメント化及び背景効果表現」を含む第４のセクションでは、ＭＶＩＤＭＲにおいて使用される効果表現を人へ又は他のオブジェクトへ加える方法が説明される。最初に、図１２、１３、１４Ｂ、１５に関し、プレビュー段階について説明する。プレビュー段階では、人のライブ映像ストリームが捕捉される。ライブ映像ストリームからのフレームは、ＭＶＩＤＭＲ内の人へ加えられる効果表現により拡張され得る。例えば、翼が人へ加えられ得る。プレビュー段階では、翼のような構造を加える効果表現など人に対する効果表現は、ライブ映像ストリームが捕捉されるときにプレビューされ得る。
【００４４】
[0064]  プレビュー段階後、図１４Ａ、１４Ｂ、１６、１７に関し説明されるように、プレビュー効果表現を含むＭＶＩＤＭＲを生成するために追加処理が行われ得る。一実施形態では、図１４Ａに関し説明されるように、ＭＶＩＤＭＲは、選択された効果表現がフレームへ徐々に加えられる変換を示すように構成され得る。ＭＶＩＤＭＲを生成するために必要とされる処理工程が図１６、１７に関し説明される。最後に、初期処理及び追加処理を行うために使用され得るシステムが図１８に関し説明される。
【００４５】
ＭＶＩＤＭＲ生成
[0065]  図１を参照すると、マルチビューインタラクティブデジタルメディア表現取得システム１００の一例が示される。本例示的実施形態では、マルチビューインタラクティブデジタルメディア表現取得システム１００は、マルチビューインタラクティブデジタルメディア表現を生成するために使用され得るフローシーケンスで描写される。様々な実施形態によると、マルチビューインタラクティブデジタルメディア表現を生成するために使用されるデータは多様なソースに由来し得る。
【００４６】
[0066]  特に、限定しないが２次元（２Ｄ）画像１０４などのデータが、マルチビューインタラクティブデジタルメディア表現を生成するために使用され得る。画像は、フレーム、映像フレーム、又は画像フレームとも呼ばれ得る。これらの２Ｄ画像は、複数画像シーケンス、映像データなどのカラー画像データストリーム、又はアプリケーションに依存して画像の様々なフォーマットのうちの任意のフォーマットの複数画像を含み得る。マルチビューインタラクティブデジタルメディア表現を生成するために使用され得る別のデータのソースは環境情報１０６を含む。この環境情報１０６は、加速度計、ジャイロスコープ、磁力計、ＧＰＳ、WiFi、ＩＭＵタイプのシステム（慣性測定ユニットシステム：Inertial Measurement Unit system）などのソースから取得され得る。マルチビューインタラクティブデジタルメディア表現を生成するためにＩＭＵを利用するいくつかの方法が図７、８Ａ、８Ｂに関し以下にさらに詳細に説明される。マルチビューインタラクティブデジタルメディア表現を生成するために使用され得るさらに別のデータのソースは深さ画像１０８を含み得る。これらの深さ画像は、深さ、３Ｄ、又は視差画像データストリームなどを含み得、限定しないがステレオカメラ、タイムオブフライト（time-of-flight）カメラ、３次元カメラなどの装置により捕捉され得る。
【００４７】
[0067]  本例示的実施形態では、データは次に、センサフュージョンブロック１１０において融合され得る。いくつかの実施形態では、マルチビューインタラクティブデジタルメディア表現は、提供される深さ画像１０８無しに２Ｄ画像１０４と環境情報１０６との両方を含むデータの組み合わせに対して生成され得る。他の実施形態では、深さ画像１０８及び環境情報１０６は、センサフュージョンブロック１１０において一緒に使用され得る。画像データの様々な組み合わせはアプリケーション及び利用可能データに依存して１０６において環境情報と共に使用され得る。
【００４８】
[0068]  本例示的実施形態では、センサフュージョンブロック１１０において融合されたデータは次に、コンテンツモデリング１１２及びコンテクストモデリング１１４に使用される。図４に関しより詳細に説明されるように、画像内で特徴付けられる対象物はコンテンツ及びコンテクストに分離され得る。コンテンツは興味のあるオブジェクトとして輪郭を描かれ得、コンテクストは興味のあるオブジェクトを取り囲む景色として輪郭を描かれ得る。様々な実施形態によれば、コンテンツは興味のあるオブジェクトを描写する３次元モデルであり得るが、図４に関し以下にさらに詳細に説明されるように、いくつかの実施形態では２次元画像であり得る。さらに、いくつかの実施形態では、コンテクストは興味のあるオブジェクトを取り囲む景色を描写する２次元モデルであり得る。多くの例ではコンテクストは興味のあるオブジェクトを取り囲む景色の２次元ビューを提供し得るが、コンテクストはまた、いくつかの実施形態では３次元態様を含み得る。例えば、コンテクストは、「平坦」画像が円筒の表面上に出現するように、円筒状「キャンバス」に沿った「平坦」画像として描かれ得る。加えて、いくつかのオブジェクトが３次元オブジェクトとして周囲景色内に識別される場合など、いくつかの例では、３次元コンテクストモデルを含み得る。様々な実施形態によると、コンテンツモデリング１１２及びコンテクストモデリング１１４により提供されるモデルは、図３に関しより詳細に説明されるように、画像と位置情報データとを組み合わせることにより生成され得る。
【００４９】
[0069]  様々な実施形態によると、マルチビューインタラクティブデジタルメディア表現のコンテクスト及びコンテンツは、興味のある規定オブジェクトに基づき判断される。いくつかの例では、興味のあるオブジェクトは、画像及び位置情報データの処理に基づき自動的に選択される。例えば、主要オブジェクトが一連の画像内で検出されれば、このオブジェクトはコンテンツとして選択され得る。他の例では、ユーザ指定標的１０２が図１に示すように選択され得る。しかし、マルチビューインタラクティブデジタルメディア表現は、いくつかのアプリケーションではユーザ指定標的無しに生成され得るということに留意すべきである。
【００５０】
[0070]  本例示的実施形態では、１つ又は複数の強化アルゴリズムが、強化アルゴリズムブロック１１６において適用され得る。特定の例示的実施形態では、様々なアルゴリズムが、採用される捕捉モードのタイプにかかわらず、マルチビューインタラクティブデジタルメディア表現データの捕捉中に採用され得る。これらのアルゴリズムはユーザ体験を強化するために使用され得る。例えば、自動フレーム選択、安定化、ビュー補完、フィルタ、及び／又は圧縮が、マルチビューインタラクティブデジタルメディア表現データの捕捉中に使用され得る。いくつかの例では、これらの強化アルゴリズムは、データの取得後に画像データへ適用され得る。他の例では、これらの強化アルゴリズムは、マルチビューインタラクティブデジタルメディア表現データの捕捉中に画像データへ適用され得る。
【００５１】
[0071]  特定例示的実施形態によると、自動フレーム選択が、より楽しいマルチビューインタラクティブデジタルメディア表現を生成するために使用され得る。具体的には、フレームは、フレーム間の移行がより円滑又はより均一になるように自動的に選択される。この自動フレーム選択は、ぼけ検出及び過露光検出をいくつかのアプリケーションに取り込み得るだけでなく、姿勢がより一様に分散されるように、姿勢をより一様にサンプリングし得る。
【００５２】
[0072]  いくつかの例示的実施形態では、安定化が、映像に使用されるものと同様なやり方でマルチビューインタラクティブデジタルメディア表現に使用され得る。特に、マルチビューインタラクティブデジタルメディア表現におけるキーフレームは、より円滑な遷移、コンテンツへの改善／強化された合焦などの改善を生じるように安定化され得る。しかし、映像とは異なり、ＩＭＵ情報、深さ情報、コンピュータビジョン技術、安定化されるべき領域の直接選択、顔検出などを使用することなどによるマルチビューインタラクティブデジタルメディア表現のための多くの追加安定化ソースが存在する。
【００５３】
[0073]  例えば、ＩＭＵ情報は安定化のために非常に有用であり得る。特に、ＩＭＵ情報は、画像捕捉中に発生し得るカメラ振れの推測（時折、粗い又は雑音の多い推測であるが）を提供する。この推測は、このようなカメラ振れの影響を除去、相殺及び／又は低減するために使用され得る。
【００５４】
[0074]  いくつかの例では、深さ情報（利用可能であれば）が、マルチビューインタラクティブデジタルメディア表現の安定化を提供するために使用され得る。マルチビューインタラクティブデジタルメディア表現内の興味のある点は、２次元よりむしろ３次元であるので、これらの興味のある点はより制約され、これらの興味のある点の追跡／整合は探索空間が低減すると単純化される。さらに、興味のある点の記述子は、色情報と深さ情報との両方を使用し得、したがってより区別可能となる。加えて、自動又は半自動コンテンツ選択が、深さ情報をより容易に提供し得る。例えば、ユーザが画像の特定画素を選択する際、この選択は特定画素に接触する表面全体を充たすように拡げられ得る。さらに、コンテンツはまた、深さに基づく前景／背景区別を使用することにより自動的に選択され得る。様々な例では、コンテンツは、コンテクストが変化する場合ですら比較的安定したまま／可視なままであり得る。
【００５５】
[0075]  様々な例によると、コンピュータビジョン技術もまた、マルチビューインタラクティブデジタルメディア表現の安定化を提供するために使用され得る。例えば、キーポイントが検出及び追跡され得る。しかし、視差を有する動的景色又は静的景色などのいくつかの景色では、すべてを安定化させ得る単純なワープ（warp）は存在しない。結局、景色のいくつかの態様が安定化のためにより多く注目され、景色の他の態様はより少なく注目されるトレードオフが存在する。マルチビューインタラクティブデジタルメディア表現はしばしば、興味のある特定オブジェクトに焦点を合わせるので、マルチビューインタラクティブデジタルメディア表現は、興味のあるオブジェクトがいくつかの例において最大限に安定化されるようにコンテンツ重み付け（content-weight）され得る。
【００５６】
[0076]  マルチビューインタラクティブデジタルメディア表現における安定化を改善する別のやり方は、画面の領域の直接選択を含む。例えば、ユーザが画面のある領域に焦点を合わせるためにタップし、次に凸状マルチビューインタラクティブデジタルメディア表現を記録すれば、タップされた領域は最大限に安定化され得る。これは、興味のある特定領域又はオブジェクトに安定化アルゴリズムが焦点を合わせられ得るようにする。
【００５７】
[0077]  いくつかの例では、顔検出が、安定化を提供するために使用され得る。例えば、前面カメラにより記録する際、ユーザがしばしば景色内の興味のあるオブジェクトである可能性が高い。したがって、顔検出は、当該領域に関する安定化を重み付けるために使用され得る。顔検出が十分に正確である場合、一般的キーポイントを使用するのではなくむしろ顔特徴自体（眼、鼻及び口などの）が安定化すべき領域として使用され得る。別の例では、ユーザは、キーポイントのソースとして使用すべき画像の領域を選択し得る。
【００５８】
[0078]  様々な例によると、ビュー補完が視認体験を改善するために使用され得る。特に、安定化されたフレーム間の突然の「ジャンプ」を回避するために、合成中間ビューがオンザフライでレンダリングされ得る。これは、上に説明したようなコンテンツ重み付けされたキーポイントトラック及びＩＭＵ情報により、そして密接な画素毎整合により通知され得る。深さ情報が利用可能であれば、不整合画素に由来するアーティファクトの発生は少なくなり、これにより処理を簡単にする。上に説明したように、ビュー補完は、いくつかの実施形態ではマルチビューインタラクティブデジタルメディア表現の捕捉中に適用され得る。他の実施形態では、ビュー補完はマルチビューインタラクティブデジタルメディア表現生成中に適用され得る。
【００５９】
[0079]  いくつかの例では、フィルタがまた、視認体験を強化するためにマルチビューインタラクティブデジタルメディア表現の捕捉又は生成中に使用され得る。多くの人気のある写真共有サービスが、静的２次元画像へ適用され得る美学的フィルタ（aesthetic filter）を提供するのとまったく同様に、美学的フィルタは周囲画像へ同様に適用され得る。しかし、マルチビューインタラクティブデジタルメディア表現は２次元画像より表現に富み、３次元情報がマルチビューインタラクティブデジタルメディア表現内で利用可能であるので、これらのフィルタは２次元写真において明確に定義されていない効果表現を含むように拡大され得る。例えば、マルチビューインタラクティブデジタルメディア表現では、コンテンツが鮮明なままである一方で動きボケが背景（すなわちコンテクスト）へ加えられ得る。別の例では、ドロップシャドウがマルチビューインタラクティブデジタルメディア表現内の興味のあるオブジェクトへ加えられ得る。
【００６０】
[0080]  様々な例では、圧縮もまた、強化アルゴリズム１１６として使用され得る。特に、圧縮は、データアップロード及びダウンロード費用を低減することによりユーザ体験を強化するために使用され得る。マルチビューインタラクティブデジタルメディア表現は空間情報を使用するので、マルチビューインタラクティブデジタルメディア表現の望ましい品質を維持する一方で、典型的映像よりはるかにより少ないデータがマルチビューインタラクティブデジタルメディア表現のために送信され得る。具体的には、上述のビュー補完と組み合わせられるＩＭＵ、キーポイントトラック及びユーザ入力はすべて、マルチビューインタラクティブデジタルメディア表現のアップロード又はダウンロード中に装置へ又はそれから転送されなければならないデータ量を低減し得る。例えば、興味のあるオブジェクトが正しく識別されれば、コンテンツ及びコンテクストの可変圧縮スタイルが選択され得る。この可変圧縮スタイルは、いくつかの例では、背景情報（すなわちコンテクスト）のより低品質な解像度と、前景情報（すなわちコンテンツ）のより高品質な解像度とを含み得る。このような例では、送信されるデータ量は、コンテンツの所望レベルの品質を維持しながらコンテクスト品質の一部を犠牲にすることにより、低減され得る。
【００６１】
[0081]  本実施形態では、マルチビューインタラクティブデジタルメディア表現１１８は、任意の強化アルゴリズムが適用された後に生成される。マルチビューインタラクティブデジタルメディア表現は、あるマルチビューインタラクティブデジタルメディア表現を提供し得る。様々な例では、マルチビューインタラクティブデジタルメディア表現はコンテンツの３次元モデル及びコンテクストの２次元モデルを含み得る。しかし、いくつかの例では、コンテクストは、コンテクストが純粋に２次元とならないように、円筒状又は他の形状の表面などの表面に沿って突出されるような景色又は背景の「平坦」ビューを表し得る。さらに他の例では、コンテクストは３次元態様を含み得る。
【００６２】
[0082]  様々な実施形態によると、マルチビューインタラクティブデジタルメディア表現は、伝統的２次元画像又は映像を越える多くの利点を提供する。これらの利点のうちのいくつかは以下のものを含む：移動する景色、移動する取得装置、又はその両方に対処する能力；景色の一部を３次元でモデル化する能力；不要且つ冗長な情報を除去し、出力データセットのメモリフットプリントを低減する能力；コンテンツとコンテクストとを区別する能力；ユーザ体験の改善のためにコンテンツとコンテクストとの差異を使用する能力；メモリフットプリントの改善のためにコンテンツとコンテクストとの差異を使用する能力（一例はコンテンツの高品質圧縮及びコンテクストの低品質圧縮だろう）；特別な特徴記述子とマルチビューインタラクティブデジタルメディア表現とを関連付ける能力であって、マルチビューインタラクティブデジタルメディア表現が高度の効率及び精度で指標付けられ得るようにする能力；そしてユーザがマルチビューインタラクティブデジタルメディア表現の視点と相互作用しそれを変更する能力。特定の例示的実施形態では、上述の特徴は、マルチビューインタラクティブデジタルメディア表現内に固有に取り込まれ、様々なアプリケーションにおいて使用される能力を提供し得る。例えば、マルチビューインタラクティブデジタルメディア表現は、電子商取引、視覚的探索、３Ｄ印刷、ファイル共有、ユーザ相互作用、及び娯楽などの様々な分野を強化するために使用され得る。
【００６３】
[0083]  いくつかの実施形態では、マルチビューインタラクティブデジタルメディア表現は、複数の視点から撮影された物理的オブジェクトの一連の２Ｄ画像を使用し得る。２Ｄ画像がディスプレイへ出力されるとき、物理的オブジェクトは３Ｄ変換（３Ｄ空間内の回転など）を受けて見え得る。マルチビューインタラクティブデジタルメディア表現手法のこの実施形態は、物理的オブジェクトの全３Ｄモデルを使用することとは異なる。
【００６４】
[0084]  全３Ｄモデル手法により、物理的オブジェクトは、３Ｄモデル空間内の点により定義される一連のポリゴンとして表され得る。物理的オブジェクトの３Ｄモデルが生成された後、３Ｄモデルは当初３Ｄモデル空間内に配置され得る。次に、３Ｄモデルの位置は時間に応じて３Ｄモデル空間内で調整され得る。例えば、物理的オブジェクトの３Ｄモデルは３Ｄモデル空間内で回転され得る。
【００６５】
[0085]  ３Ｄモデルの再配置は、３Ｄモデル空間内の３Ｄモデルの点の各点の新しい位置を判断することを含む。次に、テクスチャが３Ｄモデルへ再適用され得る。さらに、背景が３Ｄモデル空間へ加えられ得る。次に、３Ｄモデル空間内の光源がシミュレートされ得る。最終的に、光源に基づき、３Ｄモデル及び背景が２Ｄ画像へ再レンダリングされ得る。この過程は、３Ｄモデルが３Ｄモデル空間内で変更されるたびに繰り返される。
【００６６】
[0086]  時間、モデルの再テクスチャ処理、背景の追加、そして再レンダリングに応じた３Ｄ空間内の３Ｄモデル位置への変更の判断は、特に３Ｄモデルの複雑性が増すので、計算コストが高い。さらに、上に説明したように、これは、３Ｄモデルの生成及び格納並びにそのパラメータ定義を必要とし、時間がかかる。したがって、マルチビューインタラクティブデジタルメディア表現は、よりコンピュータ的に効率的であり得、必要なメモリ資源は３Ｄモデル手法より少ない。
【００６７】
[0087]  加えて、オブジェクトの仮現運動がマルチビューインタラクティブデジタルメディア表現から出力されるとき、これは、あたかもオブジェクト運動が画像品質の３Ｄテクスチャ化モデル（image quality 3-D textured model）から生成されるかのように出現する。画像品質の３Ｄテクスチャ化モデルは、時間がかかりしばしば手動で生成される。特に、実際の人の顔などのオブジェクトの画像品質のテクスチャ化３Ｄモデルの生成は、特にオブジェクトの「生きているような」レンダリングが望まれる場合には、悪名高いほど困難であり且つ時間がかかる。
【００６８】
[0088]  マルチビューインタラクティブデジタルメディア表現手法のこの実施形態では、３Ｄモデリング工程の削除のために、ユーザ生成２Ｄ画像からのユーザ選択オブジェクトは、マルチビューインタラクティブデジタルメディア表現へ速やかに変換され、次に、ディスプレイへリアルタイムで出力され得る。出力中、ユーザは、マルチビューインタラクティブデジタルメディア表現内のオブジェクトの仮現運動の態様を制御し得る。マルチビューインタラクティブデジタルメディア表現内のオブジェクトは、ユーザ制御カメラから受信される画像などの実画像から生成され得るので、オブジェクトは出力されるときに生きているように見える。伝統的３Ｄモデリング手法では、画像品質の３Ｄモデルを生成することに伴う困難性のために、この能力は提供されない。
【００６９】
[0089]  図１に戻り、様々な例示的実施形態によると、マルチビューインタラクティブデジタルメディア表現１１８が生成されるとき、追加画像データの取得のためのユーザフィードバック１２０が提供され得る。特に、マルチビューインタラクティブデジタルメディア表現がコンテンツ又はコンテクストのより精確なモデルを提供するために、追加ビューを必要とすると判断されれば、ユーザは追加ビューを提供するように促され得る。これらの追加ビューがマルチビューインタラクティブデジタルメディア表現取得システム１００により受信されると、これらの追加ビューは、システム１００により処理され、マルチビューインタラクティブデジタルメディア表現内に取り込まれ得る。
【００７０】
[0090]  図２を参照すると、マルチビューインタラクティブデジタルメディア表現２００を生成するための処理フロー図の例が示される。本例では、複数の画像が２０２において取得される。様々な実施形態によると、複数の画像は２次元（２Ｄ）画像又はデータストリームを含み得る。これらの２Ｄ画像は、マルチビューインタラクティブデジタルメディア表現を生成するために使用され得る位置情報を含み得る。いくつかの実施形態では、複数の画像は、図１に関し上にも説明したような深さ画像１０８を含み得る。深さ画像はまた、様々な例では位置情報を含み得る。
【００７１】
[0091]  様々な実施形態によると、２０２において取得された複数の画像は多様なソース及び特徴を含み得る。例えば、複数の画像は複数のユーザから取得され得る。これらの画像は、同じ事象の様々なユーザからインターネットから収集される画像（コンサートなどにおいて取得される２Ｄ画像又は映像など）の集合であり得る。いくつかの例では、複数の画像は様々な時間的情報を有する画像を含み得る。特に、画像は、興味のある同じオブジェクトの様々な時刻に撮影され得る。例えば、特定彫像の複数画像が一日の様々な時刻、様々な季節などに取得され得る。他の例では、複数の画像は移動するオブジェクトを表し得る。例えば、画像は、景色全体にわたって移動する興味のあるオブジェクト（道路に沿って走行する車両、又は空を移動する飛行機など）を含み得る。他の例では、画像はまた、移動する興味のあるオブジェクト（ダンスする、走る、グルグル回る人など）を含み得る。
【００７２】
[0092]  本例示的実施形態では、複数の画像は２０４においてコンテンツ及びコンテクストモデルへ融合される。様々な実施形態によると、画像内で特徴付けられる対象物がコンテンツとコンテクストとに分離され得る。コンテンツは興味のあるオブジェクトとして輪郭を描かれ得、コンテクストは興味のあるオブジェクトを取り囲む景色として輪郭を描かれ得る。様々な実施形態によると、コンテンツは興味のあるオブジェクトを描写する３次元モデルであり得、コンテンツはいくつかの実施形態では２次元画像であり得る。
【００７３】
[0093]  本例示的実施形態によると、１つ又は複数の強化アルゴリズムが２０６においてコンテンツ及びコンテクストモデルへ適用され得る。これらのアルゴリズムはユーザ体験を強化するために使用され得る。例えば、自動フレーム選択、安定化、ビュー補完、フィルタ、及び／又は圧縮などの強化アルゴリズムが使用され得る。いくつかの例では、これらの強化アルゴリズムは画像の捕捉中に画像データへ適用され得る。他の例では、これらの強化アルゴリズムはデータの取得後に画像データへ適用され得る。
【００７４】
[0094]  本実施形態では、マルチビューインタラクティブデジタルメディア表現は２０８においてコンテンツ及びコンテクストモデルから生成される。マルチビューインタラクティブデジタルメディア表現は、あるマルチビューインタラクティブデジタルメディア表現を提供し得る。様々な例では、マルチビューインタラクティブデジタルメディア表現は、コンテンツの３次元モデル及びコンテクストの２次元モデルを含み得る。様々な実施形態によると、捕捉のモード及び画像の視点に依存して、マルチビューインタラクティブデジタルメディア表現モデルはいくつかの特徴を含み得る。例えば、様々なスタイルのマルチビューインタラクティブデジタルメディア表現のいくつかの例は、局所的凹状マルチビューインタラクティブデジタルメディア表現、局所的凸状マルチビューインタラクティブデジタルメディア表現、及び局所的平坦マルチビューインタラクティブデジタルメディア表現を含む。しかし、マルチビューインタラクティブデジタルメディア表現は、アプリケーションに依存してビュー及び特徴の組み合わせを含み得るということに注意すべきである。
【００７５】
[0095]  図３を参照すると、没入体験を生成するために３次元（３Ｄ）モデル内に融合され得る複数のカメラビューの一例が示される。様々な実施形態によると、複数画像は、マルチビューインタラクティブデジタルメディア表現を提供するために、様々な視点から捕捉され融合され得る。本例示的実施形態では、３つのカメラ３１２、３１４、３１６が、興味のあるオブジェクト３０８の近傍の位置３２２、３２４、３２６それぞれに配置される。景色は、オブジェクト３１０などの興味のあるオブジェクト３０８を取り囲み得る。それぞれのカメラ３１２、３１４、３１６からのビュー３０２、３０４、３０６は、重複する対象物を含む。具体的には、各ビュー３０２、３０４、３０６は、興味のあるオブジェクト３０８と、オブジェクト３１０を取り囲む様々な可視度の景色とを含む。例えば、ビュー３０２は、オブジェクト３１０を取り囲む景色の一部である円柱の前に興味のあるオブジェクト３０８のビューを含む。ビュー３０６は興味のあるオブジェクト３０８を円柱の片側に示し、ビュー３０４は円柱のビューの無い興味のあるオブジェクトを示す。
【００７６】
[0096]  本例示的実施形態では、様々なビュー３０２、３０４、３０６はそれらの関連位置３２２、３２４、３２６と共にそれぞれ、マルチビューインタラクティブデジタルメディア表現を生成するために使用され得る興味のあるオブジェクト３０８及び周辺コンテクストに関する豊富な情報源を提供する。例えば、一緒に解析されると、様々なビュー３０２、３０４、３２６は、興味のあるオブジェクトの様々な側面に関する情報と、興味のあるオブジェクトと景色との間の関係とを提供する。様々な実施形態によると、この情報は、興味のあるオブジェクト３０８を、コンテンツと、コンテクストとしての景色とに分析するために使用され得る。さらに、また図１と図２に関し上に説明したように、様々なアルゴリズムが、マルチビューインタラクティブデジタルメディア表現を視る際に没入型インタラクティブ体験を生じるために、これらの視点により生成された画像へ適用され得る。
【００７７】
[0097]  図４は、マルチビューインタラクティブデジタルメディア表現内のコンテンツとコンテクストとの分離の一例を示す。本発明の様々な実施形態によると、マルチビューインタラクティブデジタルメディア表現は、景色４００のマルチビューインタラクティブデジタルメディア表現である。図４を参照すると、景色４００内に位置するユーザ４０２が示される。ユーザ４０２は、彫像などの興味のあるオブジェクトの画像を捕捉している。ユーザにより捕捉された画像は、マルチビューインタラクティブデジタルメディア表現を生成するために使用され得るデジタル画像データを構成する。
【００７８】
[0098]  本開示の様々な実施形態によると、マルチビューインタラクティブデジタルメディア表現内に含まれるデジタル画像データは、意味論的及び／又は実質的に、コンテンツ４０４とコンテクスト４０６とに分離され得る。特定実施形態によると、コンテンツ４０４は興味のあるオブジェクト、人又は景色を含み得、一方、コンテクスト４０６はコンテンツ４０４を取り囲む景色の残りの要素を表す。いくつかの例では、マルチビューインタラクティブデジタルメディア表現は、３次元データとしてコンテンツ４０４を、そして２次元パノラマ背景としてコンテクスト４０６を表し得る。他の例では、マルチビューインタラクティブデジタルメディア表現は、コンテンツ４０４とコンテクスト４０６との両方を２次元パノラマ景色として表し得る。さらに他の例では、コンテンツ４０４及びコンテクスト４０６は３次元部品又は態様を含み得る。特定実施形態では、マルチビューインタラクティブデジタルメディア表現がコンテンツ４０４及びコンテクスト４０６を描写するやり方は、画像を取得するために使用される捕捉モードに依存する。
【００７９】
[0099]  限定しないが、オブジェクト、人、又はそれらの一部だけが可視であるオブジェクト、人々、又はオブジェクト若しくは人々の一部の記録、大きな平坦領域の記録、捕捉されたデータが無限遠にある（すなわち、カメラに近い対象物は存在しない）ように見える景色の記録、などのいくつかの例では、コンテンツ４０４とコンテクスト４０６は同じであり得る。これらの例では、生成されたマルチビューインタラクティブデジタルメディア表現は、パノラマなどの他のタイプのデジタルメディアに似たいくつかの特徴を有し得る。しかし、様々な実施形態によると、マルチビューインタラクティブデジタルメディア表現は、これらの既存型のデジタルメディアから区別する追加特徴を含む。例えば、マルチビューインタラクティブデジタルメディア表現は、移動データを表し得る。加えて、マルチビューインタラクティブデジタルメディア表現は、特別な円筒状の、球状の、又は並進の運動に限定されない。様々な運動が、カメラ又は他の捕捉装置により、画像データを捕捉するために使用され得る。さらに、縫い合わせられたパノラマとは異なり、マルチビューインタラクティブデジタルメディア表現は同じオブジェクトの様々な側面を表示し得る。
【００８０】
[00100]  図５Ａ及び５Ｂは凹状及び凸状ビューの例をそれぞれ示し、両方のビューはバックカメラ捕捉スタイルを使用する。特に、カメラ付き携帯電話が使用される場合、これらのビューはユーザから見て外方に向く電話の後ろのカメラを使用する。特定実施形態では、凹状及び凸状ビューは、どのようにコンテンツ及びコンテクストがマルチビューインタラクティブデジタルメディア表現において指定されるかに影響を与え得る。
【００８１】
[00101]  図５Ａを参照すると、ユーザが垂直軸５０８に沿って立っている凹状ビュー５００の一例が示される。この例では、ユーザは、画像捕捉中にカメラ位置５０２が軸５０８から離れないようにカメラを保持している。しかし、ユーザが軸５０８を中心として旋回すると、カメラは、ユーザ周囲の景色のパノラマビューを捕捉し、凹状ビューを形成する。この実施形態では、興味のあるオブジェクト５０４及び遠景５０６はすべて、画像が捕捉されるやり方に起因して同様に視られる。この例では、凹状ビュー内のすべてのオブジェクトは無限遠に出現するので、このビューによるとコンテンツはコンテクストに等しい。
【００８２】
[00102]  図５Ｂを参照すると、興味のあるオブジェクト５２４の画像を捕捉する際にユーザが位置を変更する凸状ビュー５２０の一例が示される。この例では、ユーザは、興味のあるオブジェクト５２４の周囲を移動して、カメラ位置５２８、５３０、５３２から興味のあるオブジェクトの様々な側面から写真を撮る。取得された画像のそれぞれは、興味のあるオブジェクトのビューと遠景５２６の背景とを含む。本例では、興味のあるオブジェクト５２４がコンテンツを表し、遠景５２６はこの凸状ビュー内のコンテクストを表す。
【００８３】
[00103]  図６Ａ〜６Ｄは、マルチビューインタラクティブデジタルメディア表現のための様々な捕捉モードの例を示す。様々な運動が、マルチビューインタラクティブデジタルメディア表現を捕捉するために使用され得、任意特定タイプの運動に制約されないが、３つの一般的タイプの運動が、マルチビューインタラクティブデジタルメディア表現に関連して説明された特定の特徴又はビューを捕捉するために使用され得る。これらの３つのタイプの運動はそれぞれ、局所的凹状マルチビューインタラクティブデジタルメディア表現、局所的凸状マルチビューインタラクティブデジタルメディア表現、及び局所的平坦マルチビューインタラクティブデジタルメディア表現を生じ得る。いくつかの例では、マルチビューインタラクティブデジタルメディア表現は、同じマルチビューインタラクティブデジタルメディア表現内の様々なタイプの運動を含み得る。
【００８４】
[00104]  図６Ａを参照すると、捕捉されている背面凹状マルチビューインタラクティブデジタルメディア表現の例が示される。様々な実施形態によると、局所的凹状マルチビューインタラクティブデジタルメディア表現は、カメラ又は他の捕捉装置の視線の角度が発散する表現である。１次元では、これは球状３６０°パノラマ（純粋回転）を捕捉するために必要とされる運動になぞられ得る。但し、運動は任意の曲線掃引運動（ビューが外方に向く）へ一般化され得る。本例では、体験は、（恐らく動的）コンテクストを見る静止観察者のものである。
【００８５】
[00105]  本例示的実施形態では、ユーザ６０２は、世界６００に向かいユーザ６０２から離れる画像を捕捉するために背面カメラ６０６を使用している。様々な例において説明したように、背面カメラは、スマートフォンの後ろのカメラなどユーザから見て外方に向くカメラを有する装置を指す。カメラは、ビュー６０４ａ、６０４ｂ、６０４ｃが捕捉領域６０９の様々な部分を捕捉するように凹状運動６０８で移動される。
【００８６】
[00106]  図６Ｂを参照すると、背面凸状マルチビューインタラクティブデジタルメディア表現が捕捉されている例が示される。様々な実施形態によると、局所的凸状マルチビューインタラクティブデジタルメディア表現は、視線の角度が興味のある単一オブジェクト方向に収束する表現である。いくつかの例では、局所的凸状マルチビューインタラクティブデジタルメディア表現は、観察者が同じオブジェクトの複数の側面を見得るように、点を中心として周回する体験を提供し得る。「興味のあるオブジェクト」であり得るこのオブジェクトは、コンテンツとなるようにマルチビューインタラクティブデジタルメディア表現からセグメント化され得、いかなる周囲データもコンテクストとなるようにセグメント化され得る。以前の技術は、メディア共有する景観内のこのタイプの視線の角度を認識することができない。
【００８７】
[00107]  本例示的実施形態では、ユーザ６０２は、世界６００に向かいユーザ６０２から離れる画像を捕捉するために背面カメラ６１４を使用している。カメラは、ビュー６１２ａ、６１２ｂ、６１２ｃが捕捉領域６１１の様々な部分を捕捉するように凸状運動６１０で移動している。上に説明したように、世界６００はいくつかの例では興味のあるオブジェクトを含み得、凸状運動６１０はこのオブジェクトを周回し得る。これらの例では、ビュー６１２ａ、６１２ｂ、６１２ｃはこのオブジェクトの様々な側面のビューを含み得る。
【００８８】
[00108]  図６Ｃを参照すると、前面凹状マルチビューインタラクティブデジタルメディア表現が捕捉されている例が示される。様々な例において説明したように、前面カメラは、スマートフォンの前面上のカメラなどユーザ方向に向いたカメラを有する装置を指す。例えば、前面カメラは通常、「自撮り画像」（すなわちユーザの自画像）を撮影するために使用される。
【００８９】
[00109]  本例示的実施形態では、カメラ６２０はユーザ６０２に向いている。カメラは、ビュー６１８ａ、６１８ｂ、６１８ｃが角度的意味で互いに発散するように、凹状運動６０８に従う。捕捉領域６１７は、周囲にユーザを含む凹形状に従う。
【００９０】
[00110]  図６Ｄを参照すると、前面凸状マルチビューインタラクティブデジタルメディア表現が捕捉されている例が示される。本例示的実施形態では、カメラ６２６はユーザ６０２に向いている。カメラは、ビュー６２４ａ、６２４ｂ、６２４ｃがユーザ６０２に向かって収束するように、凸状運動６２２に従う。上に説明したように、様々なモードが、マルチビューインタラクティブデジタルメディア表現のための画像を捕捉するために使用され得る。局所的凹状、局所的凸状、及び局所的直線運動を含むこれらのモードは、別個の画像の捕捉中に又は景色の連続記録中に使用され得る。このような記録は単一セッション中に一連の画像を捕捉し得る。
【００９１】
[00111]  次に、図７、８Ａ、８Ｂに関し、カメラ及びセンサパッケージを有する装置について説明する。上に説明したように、ＩＭＵなどのセンサパッケージからのデータは画像安定化を提供するために使用され得る。さらに、センサパッケージからのデータは、以下に述べるようにＭＶＩＤＭＲを生成するために使用される平滑化アルゴリズムの一部として使用され得る。したがって、センサから導出されるいくつかのセンサ能力及び量は以下のように説明される。
【００９２】
ＩＭＵデータ及び処理
[00112]  このセクションでは、カメラ及びセンサパッケージを含む携帯装置などの装置について説明する。カメラからの画像データ及びセンサからのセンサデータは、ＭＶＩＤＭＲを生成するために使用され得る。図７は、ＭＶＩＤＭＲを生成するために使用されるカメラの配向を判断するためのセンサパッケージ７００を示す。一実施形態では、センサパッケージ７００は、ＭＥＭＳ（微小電気機械システム：Micro-Electro-Mechanical System）装置７０６を含み得る。特定実施形態では、センサパッケージ７００はＩＭＵの一部分であり得る。他のタイプのセンサパッケージが可能であり、ＭＥＭＳ装置７０６の例は説明の目的だけのために提供される。
【００９３】
[00113]  ＭＥＭＳ装置７０６は複数のセンサを含み得る。例えば、ＭＥＭＳ装置７０６は３軸加速度計を含み得る。３軸加速度計は、ｚ軸７０２ａ、ｙ軸７０２ｂ、及びｘ軸７０２ｃに沿って加速度を測定するために使用され得る。加えて、ＭＥＭ装置は３軸ジャイロスコープを含み得る。３軸ジャイロスコープは、角速度（ｚ軸７０２ａを中心とする７０４ａ（ヨー）、ｙ軸７０２ｂを中心とする７０４ｂ（ロール）、及びｘ軸７０２ｃを中心とする７０４ｃ（ピッチ））を測定するために使用され得る。加えて、ＭＥＭ装置は、３軸磁力計など１つ又は複数の軸磁力計（図示せず）を含み得る。様々な実施形態では、センサパッケージ７００は、１つ又は複数の加速度計、ジャイロスコープ、磁力計、又はそれらの組み合わせを含み得る。
【００９４】
[00114]  センサパッケージ７００はセンサデータ７０８を出力し得る。７１０などのセンサ処理システムを含み得るＩＭＵは、センサデータ７０８を受信し、装置の配向を判断し得る。例えば、ジャイロスコープデータ７１２は、ピッチ、ロール、及びヨー軸を中心とする角度変化を判断するために積分され得る。磁力計データ７１４は地球の磁極に対する向き又は方向７２４を判断するために使用され得る。加速度計データ７１６は地球の重力ベクトルの方向を判断するために使用され得る。さらに、加速度計データ７１６は装置の速度を判断するために１回積分され、距離変化を判断するために２回積分され得る。
【００９５】
[00115]  基準座標系に対する装置の配向７２２は３つの角度（すなわちピッチ、ロール、及びヨー角）により記述され得る。例えば、３軸加速度計からなどの加速度計データ７１６は、地球の重力ベクトルに対する装置のピッチ及びロール配向を提供し得る。磁力計データ７１４は利用可能であれば、ヨー角を提供するために使用され得る。ジャイロスコープのデータ７１２は、変更をピッチ、ロール、及びヨー角へ与えるために使用され得る。したがって、装置の初期配向が知られ、装置が回転し始めれば、ジャイロスコープデータは、時間に応じた装置の配向を判断するために使用され得る。
【００９６】
[00116]  図８Ａは、図７に示すＭＥＭ装置７０６などのセンサパッケージを有する携帯装置７２０を示す。例えば、ＭＥＭ装置７０６は、その軸が図８Ａに描写するようにアライメントされて携帯装置７２０内に設置され得る。携帯装置７２０は、軸７０２ａに沿って負のＺ方向に向いた１つ又は複数のカメラ（図示せず）、及び正のＺ方向に向いた１つ又は複数のカメラを含み得る。負のＺ方向に向いた少なくとも１つのカメラの例示的視野が線７２５により示される。
【００９７】
[00117]  ２つ以上のカメラの視野が重畳する場合、カメラ間の距離の知識が、距離データ（すなわち画像データ内に捕捉されたオブジェクトまでのカメラの距離）を取得するために使用され得る。例えば、携帯装置７２０は、重畳する視野を有する負のＺ方向に向いた２つのカメラを含み得る。視野が重畳する場合、カメラ（したがって携帯装置７２０）からオブジェクトまでの距離は、両方のカメラから捕捉された画像データの比較に基づき推定され得る。別の例では、Kinect（商標）センサなどの構造化光システムが使用され得る。構造化光システムは、赤外光生成器などの光源とオブジェクトから反射された光を検出するためのセンサとを使用し得る。
【００９８】
[00118]  携帯装置７２０が剛体である場合、携帯装置７２０の本体に対するカメラの位置及び配向に基づき、カメラの配向は携帯装置７２０の本体の配向に基づき判断され得る。この例では、カメラは、負のＺ方向に向いた装置の本体の面上のいくつかの位置においてＺ方向にアライメントされる。図８Ａに関し説明したように、装置の本体の配向はセンサパッケージから判断され得る。したがって、携帯装置７２０上のその位置に基づき、カメラの配向はセンサパッケージからのデータから導出され得る。
【００９９】
[00119]  他の例では、カメラは、負のＺ方向にアライメントされない（例えば、負のＺ軸に対しある角度を指す）ように構成され得る。例えば、携帯装置７２０において、第１のカメラは負のＺ軸にアライメントされ、１つ又は複数の追加カメラは負のＺ方向に対してある角度を指すように構成され得る。複数のカメラから収集される光はより広い視野を提供するように合成され得る。別の例では、カメラは、より広い視野を提供するために角度を機械的に掃引するように設計され得る。
【０１００】
[00120]  さらに別の例では、携帯装置７２０は剛体ではない場合があり得る。例えば、携帯装置７２０は可撓筐体を含み得る。筐体が可撓である場合、撓みの量を測定するセンサが含まれ得る。センサから判断された撓みの量とＩＭＵ上のセンサパッケージなどのセンサパッケージからのデータとに基づき、可撓体上のカメラの配向が判断され得る。
【０１０１】
[00121]  次に、携帯装置７２０が概して３Ｄ空間内で移動を許容される例について考察する。図８Ｂは、ＭＶＩＤＭＲ生成のための画像取得中の、携帯装置７２０のピッチ及びロールと、重力ベクトルに対する時間に応じた角度変化とを示す。重力ベクトルの方向は８０２ａにより示される。重力ベクトルに関連する直交座標系は８０２ｂ、８０２ｃにより示される。重力ベクトルは、人が立っている表面など人が静止している基平面を判断するために使用され得る。
【０１０２】
[00122]  携帯装置７２０の本体中心座標系の方向が８０４ａ、８０４ｂ、８０４ｃにより示される。カメラの方向は前の図と同様に負のＺ方向である。重力ベクトルに対する携帯装置７２０のピッチ及びロール配向が３軸加速度計からのセンサデータを使用して判断され得る。上に説明したように、磁力計データが利用可能であれば、ヨーデータを取得することが可能となり得る。
【０１０３】
[00123]  ジャイロスコープデータは、軸８０４ｂを中心とする携帯装置７２０のロールレートと軸８０４ｃを中心とするピッチレートとを判断するために使用され得る。ロールレートは、第１の時刻と第２の時刻との間のロールの量を取得するために積分され得る。ピッチレートは、第１の時刻と第２の時刻との間のピッチの量を取得するために積分され得る。
【０１０４】
[00124]  一実施形態では、ＭＶＩＤＭＲ画像取得中の携帯装置７２０の角回転量は、ロールレート又はピッチレートだけを使用して判断され得る。携帯装置がポートレートモードで配向され、ユーザがこの配向を有するオブジェクトの周囲をパンしようとすれば、時間に応じたジャイロスコープデータからのロールレートは、時間に応じた全ロール角量を判断するために積分され得る。一実施形態では、負のロールレートは、全ロール角量を判断する目的のために無視され得る。時間に応じた全ロール角量は、画像取得中に捕捉されるオブジェクトの視野角を推定するために使用され得る。
【０１０５】
[00125]  携帯装置７２０が景観モードで配向され、ユーザがこの配向の携帯装置によりオブジェクトの周囲をパンしようとすれば、時間に応じたジャイロスコープデータからのピッチレートは、時間に応じた全ピッチ角度を判断するために積分され得る。この例では、負のピッチレートは、全ピッチ角度量を判断する目的のために無視され得る。時間に応じた全ピッチ角度量は、画像取得過程中に捕捉されるオブジェクトの視野角を推定するために使用され得る。
【０１０６】
[00126]  一実施形態では、ＭＶＩＤＭＲシステムは、携帯装置の従うべき経路のタイプの選択と、経路中に使用される携帯装置の配向とをユーザに提示し得る。ユーザにより提供される入力に基づき、ＭＶＩＤＭＲシステムは、時間に応じて捕捉されるオブジェクトの視野角量を判断する目的のために、全ピッチ角度量又は全ロール角度量を判断すべきかを判断し得る。これらの実施形態では、ロールレートデータ及びピッチレートデータが積分されるので、時間の関数としての携帯装置の配向は必要ない場合があり得る。しかし、ロールレートデータ又はピッチレートデータの積分を開始する開始時刻と終了時刻とが判断されることが必要となり得る。一実施形態では、開始及び終了は、ユーザが入力インターフェース内のボタンを選択することに基づき判断され得る、すなわち、ユーザは画像捕捉を開始し画像捕捉を終了するためのボタンを選択し得る。
【０１０７】
[00127]  別の実施形態では、３軸加速度計からのセンサデータが使用され得る。３軸加速度計は、時間の関数として重力ベクトル（ｇｘ、ｇｙ、ｇｚ）に対する携帯装置７２０のロール及びピッチ配向を判断するために使用され得る。例えば、図８Ｂでは、携帯装置は、時刻ｔ１に、ｇｘ軸８０２ｃを中心にピッチ角８０８だけピッチされ、重力ベクトルｇｚ軸８０２ａを中心にロール角８０６だけロールされる。ｇｙ軸８０２ｂを中心とするヨー角度量は、３軸加速度計データを使用することでは判断されない。上に説明したように、ｇｙ軸８０２ｂを中心とするヨー角度量は、零度など任意の値へ設定され得る。
【０１０８】
[00128]  ｔ１において、角度８０６、８０８の第１の値は、重力ベクトル（８０２ａ、８０２ｂ、８０２ｃ）に関連する座標系のＺ軸８０４ａ（すなわち負のＺ軸）の配向を提供する。上に説明したように、携帯装置７２０上のカメラは負のＺ方向に配向され得る。ｔ２において、ピッチ角８０８の値の振幅はｔ１における値に対して増加又は低下し得、ロール角８０６の値の振幅はｔ１における値に対して増加又は低下し得る。時刻ｔ２におけるピッチ角８０８及びロール角８０６の値は再び、重力ベクトルに関連する座標系の負のｚベクトルの配向を判断する。
【０１０９】
[00129]  一実施形態では、例えばｔ１〜ｔ２間の様々な時刻に、角度値は、３Ｄカメラ方向ベクトル同士の間で決定され得、カメラベース座標系の負のＺ方向である。この例では、各時刻の３Ｄカメラ方向ベクトルは、加速度計データから取得されるｇｘ  ８０２ｃ、ｇｚ  ８０２ａ軸を中心とするピッチ角、ロール角を使用することにより重力ベース座標系（８０２ａ、８０２ｂ、８０２ｃ）において判断され得る。ｇｙ軸８０２ｂベクトルを中心とするヨー角は、零又は他の固定値（時間に応じたヨー変化は無い）へ設定され得る。時間の関数として既知の３Ｄカメラベクトルの重力ベース座標系のピッチ、ロール、ヨー角により、例えばｔ１〜ｔ２間の２つの異なる時刻における３Ｄカメラ方向ベクトル間の角度の変化が判断され得る。
【０１１０】
[00130]  角度変化は、時間の関数としての全角度変化を判断するために合計され得る。角度変化は、ほぼ重力ベクトルｇｚ  ８０２ａを中心とする。角度の全変化はカメラにより捕捉されるオブジェクトの視野角を推定するために使用され得る。したがって、時間の関数として、捕捉されるオブジェクトの視野角が判断され、ディスプレイスクリーンへ出力される。上述の例のように、オブジェクトをカメラのビュー内に維持するために経路に沿って必要とされる回転方向（すなわち時計回り又は反時計回り）が判断され得る。さらに、必要でない方向の角度変化は、オブジェクトをカメラのビュー内に維持するために必要とされる回転方向の角度回転量を判断する目的のために、無視され得る。
【０１１１】
[00131]  別の実施形態では、角度変化は特定面内に投影され得る。例えば、円８１２が、重力ベクトルに垂直な面内に示される。３Ｄカメラ方向ベクトルはこの面内に投影され得る。次に、この面内に時々投影される３Ｄカメラ方向ベクトルの角度変化が判断され得る（８１０など）。上述の例のように、オブジェクトをカメラのビュー内に維持するために経路に沿う必要がある回転方向（すなわち時計回り又は反時計回り）が判断され得る。さらに、上述のように、必要とされない方向の面内の角度変化は無視され得る。
【０１１２】
骨格検出及びボディセグメント化
[00132]  このセクションにおいて説明されるのは、人の「骨格」を検出し、人のボディを画像の背景から映像ストリームにセグメント化する方法であり、図９、１０、１１に関し説明される。骨格検出及びボディセグメンテーションの方法は図９、１０に関し説明される。いくつかの実施形態では、ボディセグメンテーションは骨格検出のいくつかの態様に役立ち得、逆も同様である。図１１に関し、検出された骨格に基づき、画像データの拡張を介し人の一部分を置換する方法が説明される。画像データは、携帯装置を使用して捕捉される映像ストリームからの映像フレームへ関連付けられ得る。
【０１１３】
[00133]  以下のセクションにおいてより詳細に説明されるように、判断されたボディの骨格により、ボディ上の位置へ固定される効果表現が生成され得る。例えば、骨格追跡は、映像フレーム内に出現する人の背中（例えば脊椎に沿った）へ翼のような構造を、又は映像フレーム内に出現する人の腕へヒレのような構造を固定するために使用され得る。次に、構造は、構造がボディへ固定される位置において、ボディから伸びる。別の例では、剣などのオブジェクトが人の手の中にレンダリングされ得る。また、ボディセグメンテーションは、画像効果表現が、人を取り囲む背景に及ぶことを可能にし得る。一実施形態では、図１１に関し説明したように、効果表現は、それらの判断された骨格位置に基づくなど、判断された人の姿勢に基づき得る。
【０１１４】
[00134]  図９Ａを参照すると、映像ストリームにおいて骨格追跡を実行するための処理の一例が示される。様々な実施形態によると、図９Ａに示す処理はサーバと通信するクライアントマシンにおいて行われ得る。サーバと通信する携帯装置などのクライアントマシンの例が図１８に関し説明される。
【０１１５】
[00135]  ２つの装置は連携して、ライブ映像ストリームにおいて骨格検出及び追跡を実行するために必要とされる処理作業を分割し得る。ライブ映像ストリームは複数のライブ画像の記録を含み得る。別の実施形態では、作業はクライアント側で専ら行われ得る。さらに別の実施形態では、骨格追跡はサーバ側で専ら行われ得、骨格に関する情報はクライアントへダウンロードされ得る。
【０１１６】
[00136]  さらに他の実施形態では、作業の一部分はリアルタイムで行われ得る。例えば、作業の第１の部分は、骨格検出及びボディセグメンテーションを利用する効果表現を有するＭＶＩＤＭＲのリアルタイムプレビューを提供するために、リアルタイムで行われ得、作業の第２の部分は、オフラインで行われ得る。オフライン作業は、ＭＶＩＤＭＲの特徴を、その後に視られる際に改善し得る。オフライン作業とリアルタイム作業は専らクライアント装置において行われてもよいし、クライアント装置とサーバ間で分散されてもよい。
【０１１７】
[00137]  図９Ａへ戻ると、本例では、骨格追跡処理９００は、９０２において、映像ストリームにおいて骨格追跡を実行する要求をクライアント装置が受信することで開始する。いくつかの実施形態では、この要求は、骨格追跡を要求するユーザ入力に基づき生成され得る。もしくは、この要求は、映像ストリームがクライアント装置において捕捉又は表示されていることをクライアント装置が検出するときに、自動的に生成され得る。次に、本システムは、９０４において、処理するための映像ストリームフレームを選択する。様々な実施形態によると、映像ストリームフレームは順次処理され得る。例えば、ライブ映像ストリーム内の各フレームは、骨格追跡に基づきフィルタが適用され得るように又は判断が行われ得るように、映像ストリームをユーザへ提示する前に処理され得る。
【０１１８】
[00138]  ９０６において、映像ストリームから選択された映像フレームが指定判断基準を満たすかどうかに関する判断が行われる。いくつかの実施形態では、多様な判断基準のうちの任意のものが、サーバへの送信のための映像ストリームフレームを選択するために使用され得る。例えば、フィルタ処理が開始されている場合、クライアント装置は、処理のために第１の利用可能映像ストリームフレームを選択し得る。別の例として、映像ストリームフレームを選択するために１つ又は複数の判断基準が適用され得る。例えば、クライアント装置は、フィルタを適用するための十分な情報を許容するために、光又は詳細さの閾値レベルを越える映像ストリームフレームを選択し得る。さらに別の例として、クライアント装置は、最後の映像ストリームフレームがサーバへ送信されてから指定期間又は指定フレーム数が経過した後に、処理のための映像ストリームフレームを選択し得る。
【０１１９】
[00139]  選択されたフレームが指定判断基準を満たす場合、選択されたフレームに関する情報が９０８においてサーバへ送信される。様々な実施形態によると、多様な情報がサーバへ送信され得る。一例では、フレームに関連する画像データの一部又はすべてが送信され得る。例えば、全フレームが送信され得る。もしくは、フレームは帯域使用率を低減するために圧縮又はダウンサンプリングされ得る。
【０１２０】
[00140]  第２の例では、ジャイロスコープデータ、コンパスデータ、又は加速度計データなどのＩＭＵ情報が送信され得る（図７、８Ａ、８Ｂを参照）。このＩＭＵ情報は、位置、速度、加速度、方向、回転、又はフレームが捕捉されたタイミング前後の装置の他のこのような特徴に関するデータを提供し得る。第３の例では、ＧＰＳ情報が送信され得る。いくつかの実施形態では、サーバへ送信される特定情報は、サーバにおいて行われている処理のタイプ及び／又はクライアント装置において適用されているフィルタのタイプに依存し得る。
【０１２１】
[00141]  次に、新しい骨格検出応答メッセージがサーバから受信されたかどうかに関する判断が９１０において行われる。サーバは、クライアント装置において骨格を識別するための情報を含むメッセージを送信し得る。しかし、これらの骨格検出応答メッセージは、映像ストリームのライブ処理及び提示と比較し遅延を持って送信され得る。
【０１２２】
[00142]  新しい骨格検出メッセージが受信されていない場合、９１２において、骨格は、クライアントマシンにおいてローカルに利用可能な既存データに基づき追跡され得る。いくつかの実施形態では、ローカルに利用可能なデータに基づく骨格の追跡は、情報をフレーム間で伝播することを含み得る。例えば、現フレームは前フレームにおいて識別されたものと同じ特徴（例えば関節を示す色の角又は領域）を識別するために解析され得る。
【０１２３】
[00143]  様々な実施形態によると、骨格をフレーム間で追跡するために多数の手法が使用され得る。このような１つの手法は、限定しないが以下のものを含み得る情報に基づくフレームトゥフレーム（frame-to-frame）追跡である：スパースキーポイントの追跡、デンス又はスパースオプティカルフロー、パッチ追跡、幾何学的インスタンスの追跡、又は他のこのような情報の追跡。別のこのような手法は、限定しないが以下のものを含み得る技術を含むフレームトゥフレーム整合である：両方のフレーム内に検出されるキーポイントの記述子ベース整合、パッチ整合、高レベル特徴（例えば人の顔）の検出及び整合、又は他のこのような技術。両方の手法は、興味ある領域又は特徴が識別される場合、追跡及び整合努力をその興味ある領域又は特徴に集中し得る。
【０１２４】
[00144]  いくつかの実施形態では、特殊処理ケースは、サーバへ送信された第１のフレームから、対応結果がサーバから戻されて受信された時のフレームまでの時間に行われる。第１のフレームの結果が受信されるまで利用可能なサーバ生成景色解釈は無いので、クライアント装置は、景色内のどの特定情報が伝播される必要があるかを知らない場合があり得る。この状況を扱う様々な手法が可能である。一例では、フレーム内のすべて又はほとんどの情報が平等に伝播される。例えば、キーポイントは画像全体にわたって分散され得る。第２の例では、興味ある１つ又は複数の領域を推定する効率的方法がクライアント装置へ適用され得る。例えば、領域のバウンディングボックスが計算され得る。次に、情報の伝播は興味ある領域又は領域群に集中され得る。第３の例では、整合方法が、第１のフレームから抽出された情報と、サーバからの結果が利用可能となった後のフレームとを直接整合するために適用され得る。
【０１２５】
[00145]  新しい骨格検出メッセージが代わりに受信される場合、９１４において、骨格は、ローカルに利用可能なデータと、サーバにより提供されるデータとの両方に基づき追跡され得る。様々な実施形態によると、サーバから受信される新しい情報は、フレーム間で伝播される情報と組み合わせられ得る。このゴールを達成するために、様々な手法が使用され得る。一例では、古い情報は、サーバから受信される新しい情報により置換され得る。第２の例では、古い情報は重み付けされたやり方で（例えばサーバ結果及び伝播結果に関連する相対的信頼性値に基づき）新しい情報と組み合わせられ得る。
【０１２６】
[00146]  様々な実施形態によると、骨格を追跡するために行われる特定操作は、適用されているフィルタの特定タイプに大いに依存し得る。一例では、人が特定姿勢を示すとき、吹き出しが人の映像へ適用され得る。この第１の例では、サーバは、姿勢推定を容易にするために骨格検出を実行し得、一方、クライアント装置は、人の肘に関連付けられた点又は背景の一部である表面領域などの低レベル画像特徴を追跡する。次に、クライアント装置は、人が特定姿勢をとっているかどうかを判断するために、低レベル特徴追跡情報と、サーバにより提供される骨格探知情報とを組み合わせ得る。
【０１２７】
[00147]  第２の例では、フィルタが、車両の位置（例えばゴールラインを切る）に基づき車両へ適用され得る。この第２の例では、サーバは、車両のセグメンテーション及び特徴を識別するために、セグメント化を実行し得、一方、クライアント装置は、サーバとの通信の間に車両の位置を伝播するために、形状などの低レベル特徴を追跡する。特定実施形態では、姿勢は静的であるというよりむしろ動的であり得る。例えば、姿勢は、一連の互いに移行できる（follow one another）骨格配置を含み得る。このような姿勢の例は、限定しないが、手又は両手が様々なフレーム領域間を移動する一連のフレームにより示されるような、手を振る又は手を叩くことを含み得る。
【０１２８】
[00148]  コンピュータビジョンでは、画像セグメンテーションは、デジタル画像を複数セグメント（スーパー画素としても知られる画素の組）へセグメント化する処理である。セグメンテーションのゴールは、画像の表現を、より意味があり且つ解析をより容易にする何かに単純化及び／又は変更することであり得る。画像セグメンテーションは、画像内のオブジェクト及び境界（線、曲線など）を定位するために使用され得る。例えば、前の段落で説明された人の外形又は車両の外形。
【０１２９】
[00149]  より正確には、画像セグメンテーションは、同じラベルを有する画素がいくつかの特徴を共有するように、ラベルを画像内のあらゆる画素へ割り当てる処理であり得る。画像セグメンテーションの結果は、画像全体を集合的にカバーする一組のセグメント又は画像から抽出された一組の輪郭（端検出を参照）であり得る。一つの領域内の画素のそれぞれは、色、強度、又はテクスチャなどのいくつかの特徴又は計算された特性に関し、類似している場合があり得る。
【０１３０】
[00150]  別の例は、情報の深さ順序付け（depth ordering）であり得る。例えば、一群の画素は、画像データに関連付けられた深さ情報に基づき順序付けられ得る。深さ順序付けは、画像内の１つ又は複数のオブジェクトを、背景、効果表現をレンダリングするために使用される構造、床、人又は他のオブジェクトなどの他の画像部分から見分け得る。一実施形態では、深さ順序付けはまた、カメラ運動及び画像データ内のキーポイントの追跡から推定され得る。画像の深さデータは、２つのカメラを利用するセンサパッケージ又は構造化光を利用するセンサパッケージなどのセンサパッケージから提供され得る。
【０１３１】
[00151]  一実施形態では、深さ情報は画素毎ベースで判断され得る。例えば、重複視野を有する２つのカメラからのデータが、重複視野内の画素から深さデータを推定するために使用され得る。他の実施形態では、深さデータは、画像内の画素のグループに対して推定され得る。例えば、人などのオブジェクトは、画像内で識別され、背景からセグメント化され得る。第１の組の画素を包含するオブジェクトは、１つ又は複数の深度値を割り当てられ得、第２の組の画素を包含する背景は、オブジェクトの背後にあるということを示すために使用される１つ又は複数の第２の深度値を割り当てられ得る。第３の深度値は、効果表現をレンダリングするために使用される構造に対して決定され得る。第１の深度値、第２の深度値、及び第３の深度値は、背景、オブジェクト、構造間の遮蔽を判断するために使用され得る。これらの遮蔽は、背景、オブジェクト、及び構造を視るために使用される視線の角度に依存して変化し得る。
【０１３２】
[00152]  図９Ａへ戻ると、人は剛体ではなく関節で繋がれたオブジェクトであるので、人の関節を追跡するために特定技術が使用され得る。例えば、サーバから受信される骨格検出情報は、骨格肢それぞれの追跡すべき様々な画像の点を選択するために使用され得る。次に、各肢に関連付けられた点は、例えばLukas Kanade方法によりフレーム毎に追跡され得る。このような方法の例は“An Iterative Image Registration Technique with an Application to Stereo Vision” by Bruce D. Lucas and Takeo Kanade, published in International Joint Conference on Artificial Intelligence, pages 674-679, 1981に記載されている。
【０１３３】
[00153]  次に、取得された点の動きが、あらゆる骨格関節の移動を推定するために使用され得る。追跡ドリフトを考慮するために、いくつかの物理的制約が、関節の移動又は四肢の配向を制限するために、追跡される骨格へ課され得る。本システムは、すべての人がサーバにより検出され、クライアントにより追跡され得るので、映像内の１人又は複数の人の追跡を可能にし得る。サーバからの新しい検出は、例えばそれらのバウンディングボックス同士の重畳に基づくグローバル最近傍手法により、クライアントにおける既存トラックと整合され得る。
【０１３４】
[00154]  骨格追跡後、追跡されるフレームが９１６において提示のために提供され得る。提示のためにフィルタリングされたフレームを提供することは、映像ストリームの一部として、フィルタリングされたフレームをディスプレイスクリーン上に表示することを含み得る。いくつかの実施形態では、提示のための映像ストリームフレームを提供することは、フィルタを骨格追跡に基づきフレームへ適用することを含み得る。代替的に又は追加的に、映像ストリームフレームは、後の再生のためにメモリ及び／又は固定記憶装置へ格納され得る。異なる例では、映像ストリームフレームは、提示のために別個の装置（クライアント装置と通信する拡張現実又は仮想現実装置など）へ送信され得る。
【０１３５】
[00155]  最後に、追加フレームを処理するべきかどうかに関する判断が９１８において行われる。特定実施形態では、本システムは１つ又は複数の判断基準が満たされるまで追加フレームを処理し続け得る。これらの判断基準は、限定しないが以下のことを含み得る：骨格追跡を停止する要求を示すユーザ入力を受信すること、映像ストリームが終了したということを判断すること、追跡されるべき骨格を映像ストリームがもはや含まないということを判断すること。
【０１３６】
[00156]  いくつかの実施形態では、骨格検出は、姿勢検出を支援するために使用され得、遅れて又はリアルタイムでのいずれかで、クライアント装置において又はサーバにおいて行われ得る。例えば、姿勢検出は作業９１２又は９１４の一部として行われ得る。姿勢検出では、検出された人骨格は、特定時点における骨格の配置が人の姿勢の離散的なセットのうちの１つ又は複数に整合するかどうかを判断するために使用され得る。いくつかの実施形態では、姿勢検出は、より良い姿勢のために骨格を正面にするために、最初に骨格関節群から同形異義性（homography）を推定することにより達成され得る、次に、姿勢検出は、正面にされた関節の空間的関係を解析することにより行われ得る。次に、時間的フィルタリング方法が、偽検出（spurious detection）を除去するために適用され得る。特定実施形態では、このような技術は、個人又は複数の人のいずれかの姿勢を検出するために適用され得る。
【０１３７】
[00157]  いくつかの実施形態では、姿勢検出は、検出された骨格に関連付けられた位置情報をスケーリング又は伸縮することと、次に、位置情報と、特定姿勢に関連付けられた所定位置情報とを比較することとを含み得る。ここでは、検出された骨格情報と所定骨格姿勢情報との間の高度の類似性が整合を示すことになる。姿勢検出が使用される場合、様々な姿勢が、特定フィルタを映像ストリームへ適用することなど様々な事象をトリガし得る。代替的に又は追加的に、特定姿勢の検出は、ユーザが選択すべき１つ又は複数のフィルタをユーザへ推奨することをトリガし得る。いずれの場合も、姿勢検出は、加えられる可能性がある効果表現のタイプだけでなく、効果表現の開始及び／又は終了時刻を示唆又は識別するために使用され得る。
【０１３８】
[00158]  上述の例では、骨格検出処理がクライアントとサーバ間で行われ得る処理アーキテクチャが説明された。図９Ｂに関し以下に説明される別の実施形態では、骨格検出は、ＭＶＩＤＭＲの生成のための画像捕捉が行われている間などに、携帯装置などのコンピュータ装置上でリアルタイムに行われ得る。骨格検出情報は、効果表現により人などのオブジェクトを拡張するために使用され得る。図１３と図１５に関し以下に説明されるように、選択された効果表現のプレビューは、画像データが捕捉されるとリアルタイムに提供され得る。
【０１３９】
[00159]  ９５０では、映像ストリーム内で骨格追跡を実行する方法が説明される。９５２では、映像ストリームの骨格追跡を実行する要求が受信され得る。９５４では、映像ストリームからのフレームが、処理のために選択され得る。９５６では、図９Ａに関し上に説明した方法などの１つ又は複数の方法を使用することにより、骨格検出が行われ得、画像データ内で検出される骨格位置に関する情報が判断され得る。骨格情報は、肘、首、肩、膝、腰、足首、手首などの画像内の関節の位置を含み得る。
【０１４０】
[00160]  ９５８では、９５６における骨格検出情報が、セグメンテーションを実行するように構成されたモジュールにより受信され得る。セグメンテーションの一実施形態では、オブジェクトの境界がオブジェクトの背景から分離され得る。例えば、人のボディが、人を取り囲む境界から分離され得る。骨格検出情報は、背景からのオブジェクトのセグメンテーションを実行するためにセグメンテーションモジュールにより使用され得る。セグメント化方法のさらなる詳細は図１０に関し以下に説明される。
【０１４１】
[00161]  ９６０では、骨格位置情報が拡張現実効果表現モジュールにより受信され得る。ＡＲ効果表現モジュールは、ＡＲ効果表現を生成するために骨格位置情報を使用するように構成され得る。骨格位置情報は、画像データ内の効果表現を加えるべき画像内の位置を判断するために使用され得る。ＡＲ効果表現モジュールはまた、セグメンテーションモジュールから取得される情報を利用し得る。骨格検出モジュール、セグメンテーションモジュール、ＡＲ効果表現モジュール、及びそれらの相互作用のさらなる詳細は図１５、１６、１７に関し以下に説明される。
【０１４２】
[00162]  一例として、１つの効果表現では、翼が人のボディへ取り付けられ得る。翼の場合、翼は、ある位置で人の脊椎へ固定することができ、当該ある位置は、画像データのどこを脊椎が走るかを骨格位置情報が識別した位置である。翼を脊椎のどこへ取り付けるべきかに関する判断が行われ得る。取り付ける位置は、検出された肩関節を通って描かれた線が脊椎を横切る位置（この位置１０２５と脊椎セグメント１０２４は図１０に示される）などである。次に、翼効果表現は、あたかも翼がこの位置から生じるかのように描かれ得る。翼効果表現は、骨格情報を利用し得る一例であり、例示だけの目的のために提供される。例えば、他の効果表現が図１１に関しより詳細に説明される。
【０１４３】
[00163]  翼を描くとき、骨格検出はまた、画像内の効果表現をサイズ決めするために使用され得る。例えば、翼のサイズは、骨格検出から判断される脊椎の長さ、胴の長さ、又は腰の長さなど、ボディ上の２つの位置間の距離に基づき判断され得る。例えば、翼の高さは脊椎の長さの一定割合（１未満）又は乗数倍（１より大きい）であり得る。翼の幅は同様に、胴の幅の一定割合又は乗数倍であり得る。一般的に、長さ（すなわちオブジェクト上の２つの位置間の距離）が判断され得（長さは画素寸法の値であり得る）、この長さに基づき、効果表現がサイズ決めされ得る。
【０１４４】
[00164]  ９６２では、骨格検出位置情報が格納され得る。次に、９６４では、追加フレームが処理され得る。いくつかの実施形態では、骨格情報は、ＭＶＩＤＭＲが生成される際に行われる処理などの追加処理のために使用され得る。追加処理段階中、画像データのフレーム毎に判断された骨格検出情報はさらに精緻化され得る。
【０１４５】
[00165]  例えば、平滑化は、フレーム間の検出された骨格位置の変動が低減され得るように行われ得る。したがって、一実施形態では、第１のパスでは、骨格検出位置は単一フレームのデータに基づき得る。この手法は、効果表現による画像データの拡張がプレビューされるプレビュー段階中に使用され得る。
【０１４６】
[00166]  追加処理段階中に行われ得る平滑化中などの第２のパスでは、フレームの骨格検出位置は、隣接フレームから判断される骨格検出情報から影響され得る。より詳細には、平滑化の際、判断された骨格位置の変化は、ＭＶＩＤＭＲ内で使用される一連のフレームなど、ある一連のフレーム内の１つのフレームから次のフレームまでにおいて判断され得る。次に、一連のフレームの新しい骨格位置は、判断された骨格位置の変動がフレーム間で余り変化しないように判断され得る。
【０１４７】
[00167]  骨格位置は、拡張現実効果表現をレンダリングする（画像内のどこに配置されるかなどの）ために使用され得る。したがって、平滑化はＡＲ効果表現の提示に影響を与え得る。この処理は骨格バッチ平滑化と呼ばれ得る（図１６の１６０２を参照）。平滑化されたデータを利用するＭＶＩＤＭＲが生成され得る。
【０１４８】
[00168]  上の例では、骨格検出は単一人に対して説明され、背景セグメンテーション及び効果表現による拡張は、人などの単一オブジェクトに対して説明されている。別の実施形態では、これらの方法論は、映像ストリームのフレーム内に出現する複数のオブジェクトへ適用され得る。例えば、映像ストリームは、複数の人を有するフレームを含み得、骨格検出はフレーム内の複数の人に対し行われ得る。加えて、複数の人の外形を判断する背景セグメンテーションは、複数の人が背景から識別され得るように、そして互いに識別され得るように行われ得る。さらに、効果表現が生成されフレーム内の複数の人のそれぞれへ適用され得る。例えば、翼が、フレーム内に出現する複数の人へ適用され得る。
【０１４９】
[00169]  一実施形態では、複数の人のうちの１人又は複数の人を、同じ又は異なる効果表現により拡張するための選択が受信され得る。例えば、受信された選択に基づき、フレーム内の第１の人は第１の効果表現により拡張され得、フレーム内の第２の人は第１の効果表現と異なる第２の効果表現により拡張され得る。別の例では、受信された選択に基づき、フレーム内の第１の人は第１の効果表現により拡張され得、一方、第２の人は効果表現により拡張されない場合があり得る。さらに別の例では、フレーム内の第１の人及び第２の人は同じ効果表現により拡張され得る。
【０１５０】
[00170]  別の例では、映像ストリームは、複数の自動車を有する複数フレームを含み得る。セグメンテーションを使用することにより、自動車は互いに及び背景から識別され得る。次に、背景が置換され得、自動車のすべて又は一部が効果表現により拡張され得る。
【０１５１】
[00171]  図１０は骨格検出と背景セグメンテーションの例１０００を示す。センサパッケージ１００２は、画像データ１００８を含むセンサデータを記録する。画像データは、人１００５である第１のオブジェクトを含む。背景１００４は人１００５を囲む。背景は、壁と人が立っている床とを含む。画像内の人１００５は、バッグである第２のオブジェクト１００６を保持している。
【０１５２】
[00172]  一実施形態では、センサパッケージ１００２は携帯装置に付随し得る。センサパッケージは１つ又は複数のカメラを含み得る。一実施形態では、映像ストリームは、人が様々な角度から視られる場所で記録され得る。２つのカメラが存在する場合、画像内の各画素までの距離などの深さデータが判断され得る。
【０１５３】
[00173]  センサパッケージ１００２はまた、ＩＭＵ（例えば図７を参照）を含み得る。ＩＭＵは、画像データを記録している間に、センサパッケージ１００２の位置及び／又は配向が判断され得るようにし得る。一実施形態では、ＩＭＵデータは、加速度計から判断して重力ベクトルに対し垂直である基平面を判断するために使用され得る。基平面は人１００５が立っている床に関する情報を判断するために使用され得る。
【０１５４】
[00174]  捕捉及び／又は処理された画像データなどセンサパッケージ１００２からのデータは、背景からのボディのボディセグメンテーションを行うために使用され得る。ボディセグメンテーションはボディ１０１６の外形を判断することに関与し得る。さらに、ボディセグメンテーションは、顔及び腕などのボディの一部と、画像データ内のそれらの位置とを判断することに関与し得る。ボディ１０１４の外部の領域は、背景と見なされ得る。ボディ１０１６の外形は、人の位置又は人を記録するカメラの位置が時間と共に変化すると画像毎に変化し得る。
【０１５５】
[00175]  一実施形態では、単一カメラからの生入力画像が、セグメンテーションのためにディープニューラルネットワークと併せて使用され得る。このニューラルネットワークは画像内のボディを認識するようにトレーニングされ得る。自動車又は動物などの他のタイプのオブジェクトを認識するようにトレーニングされるニューラルネットワークも利用され得、人の例は例示だけの目的のために提供される。複数の異なるオブジェクトを認識するようにトレーニングされた複数の異なるニューラルネットの重み係数が携帯装置及び／又は遠隔装置上に格納され得る。例えば、人々を認識するようにトレーニングされた第１のニューラルネットの第１の重み係数、犬を認識するようにトレーニングされた第２のニューラルネットの第２の重み係数、馬を認識するようにトレーニングされた第３のニューラルネットの第３の重み係数、及び自動車を認識するようにトレーニングされた第３のニューラルネットの第４のニューラルネットが携帯装置上に格納され得る。
【０１５６】
[00176]  別の実施形態では、骨格検出１０１２からの情報１０１５が、ボディ１０１６の最初のセグメンテーションを実施するために使用され得る。さらに別の実施形態では、デュアルカメラからの深さデータと１つの生画像が、ボディセグメンテーションを行うために使用され得る。通常、人の端の周囲には深さの急激な変化がある。深さの変化は人のセグメンテーションを判断するために使用され得る。幾つかの例では、１つのフレームからのセグメンテーションが隣接フレームへ伝播され得る。一実施形態では、システムは、セグメンテーションのフレーム間一貫性を改善するために、伝播されたセグメンテーションをマージするように構成され得る。例えば、平滑化アルゴリズムが、画像間のセグメンテーションの差を低減するために適用され得る。
【０１５７】
[00177]  特定実施形態では、キーポイントのスパース行列がフレーム毎に判断され得る。キーポイントは、各フレームの三角形メッシュを展開するために使用され得る。キーポイントにより定義された各三角形内の画素は「スーパー画素」を定義するために使用され得る。スーパー画素は、何らかの方法で関連付けられた１つ又は複数の画素のグループであり得る。
【０１５８】
[00178]  キーポイントは、映像画像の第１のフレームから第２のフレームへ順に追跡され得る。第１のフレーム内のキーポイントの位置は、第１の三角形ベースメッシュを定義するために使用され得る。第２のフレーム内のキーポイントの位置は、第２の三角形ベースメッシュを定義するために使用され得る。
【０１５９】
[00179]  第１のフレームに関連付けられた第１の三角形ベースメッシュ及び第２のフレームに関連付けられた第２の三角形ベースメッシュは、アフィン変換などの第１のフレームと第２のフレームとの間の変換を定義するために使用され得る。変換は、第１のフレームと第２のフレームとの間でオプティカルフロー情報を伝播し得、第２のフレームのセグメンテーションのための開始点を提供し得る。この方法論は、第２のフレームのセグメンテーションを行うのにかかる時間を他の方法と比較して低減し得る。
【０１６０】
[00180]  利用され得るセグメンテーション方法のいくつかの例は、限定しないが、閾値化、クラスタリング、圧縮ベース、ヒストグラムベース、端検出、デュアルクラスタリング、領域成長（region-growing）、偏微分方程式ベース、変動、グラフ区分化、流域変換、モデルベースセグメンテーション、マルチスケールセグメンテーション、トレーニング可能セグメンテーション、及びそれらの組み合わせを含む。閾値化では、クリップレベルすなわち閾値がセグメンテーション境界を生成するために選択される。クラスタリングでは、Ｋ平均アルゴリズムなどのアルゴリズムが、画像をＫ個のクラスタに区分化するために適用され得る。加えて、ニューラルネットがセグメンテーションのために適用され得る。
【０１６１】
[00181]  圧縮ベース方法では、最適セグメンテーションは、すべての可能なセグメントにわたってデータの符号化長を最小化するセグメンテーションであり得る。ヒストグラムベース方法では、ヒストグラムが画像内の画素のすべてから計算され得、ヒストグラム内のピーク及び谷が、画像内のクラスタを定位するために使用され得る。色又は強度が測度として使用され得る。端検出では、領域境界において強度の急激な調整がしばしばあるので、領域境界と端とが密接に関係付けられ得る。したがって、強度を使用することにより、端が検出され得る。
【０１６２】
[00182]  デュアルクラスタリングでは、ヒストグラム解析に基づく画像の区分化は、クラスタ（オブジェクト）の高コンパクト性とそれらの境界の高勾配とにより照査され得る。領域成長方法は、１つの領域内の隣接画素が同様な値を有するという仮定に主に依存し得る。共通手順は１つの画素とその隣とを比較することであり得る。類似性判断基準が満たされれば、画素は、その隣のうちの１つ又は複数としてクラスタに属するように設定され得る。
【０１６３】
[00183]  偏微分方程式（ＰＤＥ：partial differential equation）ベース方法を使用することと、数値解析によりＰＤＥ式を解くことにより、画像をセグメント化し得る。中心となる思想は、初期曲線を、その定義が対処されるべきタスクを反映する費用関数の最低ポテンシャルに向かって進化させる（evolve）ことである。変分法のゴールは、比エネルギー関数に関し最適であるセグメンテーションを見出すことである。関数はデータフィッティング項と正規化項とで構成される。グラフ区分化法は、画像内の均一性の仮定下で所与のクラスタの画素又は所与の画素上の画素近傍の影響をモデル化するので、画像セグメンテーションに有効なツールである。
【０１６４】
[00184]  流域ベース変換は地形学的表面として画像の勾配振幅を考慮する。モデルベースセグメンテーション手法の中心となる仮定は、興味のある構造／器官が幾何学形状の反復形式を有するということである。したがって、器官の形状の変動を説明することに向かう確率モデルを捜し得、次に、セグメント化する際に、画像はこのモデルを所与として使用することにより制約を課す。
【０１６５】
[00185]  トレーニング可能セグメンテーションでは、モデルはオブジェクトをセグメント化するようにトレーニングされ得る。例えば、ニューラルネットワークセグメンテーションは、人工ニューラルネットワーク又は一組のニューラルネットワークを使用することにより、画像の小領域を処理することに依存し得る。このような処理後、意思決定機構が、ニューラルネットワークにより認識されるカテゴリに従って画像の領域をマーキングする。このために特に設計されるあるタイプのネットワークはKohonenマップである。一実施形態では、装置は、ニューラルネット実施専用の特別なチップを含み得る。
【０１６６】
[00186]  図１０に戻ると、上に説明したように、骨格及び／又は姿勢検出１０１２が行われ得る。検出方法は図９Ａに関し上に説明されている。骨格検出１０１２は、１００６ａ、１００６ｂ、１００６ｃなどのキーポイントを検出することを含み得る。骨格検出１０１２は、肩１００９、膝１０１５、肘１０１８などの関節を識別し得る。加えて、骨格検出１０１２は、上脚１０１１及び前腕１０２０などの骨格セグメントを識別し得る。
【０１６７】
[00187]  一実施形態では、深さデータが利用可能な場合、骨格関節及びセグメントの３Ｄ位置が判断され得る。例えば、デュアルカメラシステムを使用することにより、深さデータが生成され得、関節及びセグメントの３Ｄ位置が判断され得る。位置は人の姿勢を判断するために使用され得る。
【０１６８】
[00188]  別の実施形態では、３Ｄ姿勢のライブラリが２Ｄ姿勢内に投影され得る。次に、３Ｄ姿勢の２Ｄ投影は、骨格検出を介し判断された人の現在の２Ｄ姿勢と比較され得る。一実施形態では、現在の２Ｄ姿勢は、２Ｄ画像データのフレームへのニューラルネットワークの適用を介し判断され得る。次に、３Ｄ姿勢の２Ｄ投影が、画像データ１００８から判断された現在２Ｄ姿勢と一致する場合、現在の２Ｄ姿勢は３Ｄ姿勢として同様な属性を有するものと想定され得る。一実施形態では、この手法は、各関節の深さを、又は各関節の深さ同士の間の相対的距離を推定するために使用され得る。
【０１６９】
[00189]  各関節の位置及び／又は深さ情報は、効果表現をレンダリングすべきフレーム内の位置を判断するために使用され得る。例えば、位置１０２５は、肩関節を接合するセグメント１０２７と脊椎セグメント１０２４との交差部にある。位置１０２５は、人の背中から生じる翼などの効果表現をレンダリングすべき位置として選択され得る。翼効果表現は、この位置においてあたかも翼が人のボディへ取り付けられたかのようにレンダリングされ得る。
【０１７０】
[00190]  加えて、上に説明したように、セグメントの長さはフレーム内の効果表現を寸法決めするために使用され得る。この例では、長さは画素長であり得る。例えば、脊椎セグメント１０２４の画素長は、前の段落において説明したように、人へ固定される翼を寸法決めするために使用され得る。
【０１７１】
[00191]  人が移動する又はカメラが移動するとき、位置１０２５はフレームの各フレームにおいて移動し得る。したがって、効果表現のレンダリングされた外観は、フレーム画像のうちの任意のフレーム画像内のこの位置の判断に依存し得る。例えば、映像ストリーム内の一連のフレームは、人が、翼効果表現が人の上にレンダリングされた状態で、立った位置から、座った位置まで行くことを示し得る。人が、立った位置から座った位置まで行くことに関与する様々な骨格姿勢を経るとき、各画像において判断される位置１０２５が変化し得る。翼効果表現は、位置１０２５の位置変化に従い得る。したがって、翼を有する人があたかも立った位置から座った位置まで行くかのように見え得る。
【０１７２】
[00192]  別の例では、効果表現は人の手へ固定され得る。例えば、剣又は杖が人の手に固定され、人の手から伸びて描かれ得る。人の手はフレーム間で移動し得る。人の手が移動するとき、人の手へ固定された剣などの効果表現の位置がフレーム間で移動し得る。
【０１７３】
[00193]  一般的に、骨格関節の位置と骨格関節を接合するセグメントの位置は、ボディに関連付けられた１つ又は複数の効果表現をレンダリングするための位置として使用され得る。例えば、第１の効果表現は画像内の肩関節の位置を使用してレンダリングされ得、一方、第２の効果表現は膝１０１５の位置を使用してレンダリングされ得る。別の例では、第３の効果表現が脚１０１１に沿ってレンダリングされ得る。
【０１７４】
[00194]  さらに別の例では、第４の効果表現が脊椎セグメント１０２４に関連付けられる可能性がある。第４の効果表現は、このセグメントの長さに沿った距離の１／２又は１／３（位置１０２５からの距離の１／２又は１／３など）として配置され得る。
【０１７５】
[00195]  いくつかの実施形態では、画像に関連付けられた基平面（基平面１０２２など）を識別することが望ましい場合があり得る。基平面は、検出された骨格に関連付けられた画像効果表現を配向する際に有用であり得る。例えば、基平面に平行である効果表現により骨格を拡張することが望ましい場合があり得る。他の実施形態では、効果表現は、基平面１０２２に対していくつかの他の配向でレンダリングされ得る。
【０１７６】
[00196]  様々な実施形態では、ＩＭＵからの重力ベクトルが、基平面の推定された配向を得るために使用され得る。加えて、基平面の位置はまた、検出された骨格に基づき得る。例えば、立っている人の脊椎セグメント１０２４は基平面を推定するために使用され得る（すなわち、基平面は胴セグメントにほぼ垂直である）。別の実施形態では、ＩＭＵ基平面推定と、追跡されたキーポイントとが、基平面の位置を推定するために使用され得る。
【０１７７】
[00197]  図１１を参照すると、人の画像内で検出されたボディ部分の置換を示す図の特定例が示される。特に、図１１は、１１０２における人の外形（映像フレーム又は静止画像から引き出され得る抽象的概念を表す）を含む。一実施形態では、人の外形は画像セグメント化を使用して取得され得る。
【０１７８】
[00198]  例えば、骨格検出又は追跡アルゴリズムは、姿勢を判断するために人のボディ部分の位置を推定し得る。骨格検出及び／又は追跡が行われた後、人のボディ部分のうちの１つ又は複数は、人に同じ又は同様な姿勢を示させる一方で物理的に異なるよう見えるようにする代替ボディ部により置換され得る。例えば、図１１に示す例では、人の対応ボディ部分は、パンダ頭１１０４、パンダボディ１１０６、パンダ上腕１１０８、及びパンダ前腕１１１０により置換され得る。
【０１７９】
[00199]  様々な実施形態によると、潜在的に無限に多様なフィルタ又は修正が骨格検出に応じてデジタルメディアコンテンツに適用され得る。多くの例が以下のように提供される。これらの例は、人及び／又は人を取り囲む背景の一部を修正することを含み得る。以下にさらに詳細に述べるように、人を取り囲む背景が検出され修正及び／又は置換され得る。修正は、受信されている映像ストリームに基づきリアルタイムに発生し得る、及び／又は映像ストリームから生成されるＭＶＩＤＭＲに関連付けられ得る。
【０１８０】
[00200]  腕を広げた人が検出されるとき、天使の翼、コウモリの翼、チョウの羽、飛行機の翼及びエンジン、又は排出ガスを使用するジェットパックなどの視覚的要素が加えられ得る。傾いた姿勢で人が検出されるとき、恐竜の尾、リスの尾、又はアライグマの尾などの視覚的要素が加えられ得る。人が臀部に両手を置いて立って検出されるとき、人の服をスーパーヒーロの服装で置換する又はケープを人の既存衣服へ追加するために視覚的要素が加えられ得る。
【０１８１】
[00201]  人が例えば口を両手で囲って叫んでいるとして検出されるとき、人の口の近くにメガホン、炎又は吹き出しを描写するための視覚的要素が加えられ得る。人の姿勢に依存して、人の服を置換する又は人のボディを骨格として描写するための視覚的要素が加えられ得る。人がボディビルダーの姿勢で立っているとして検出されるとき、人のボディは、より多くの筋肉で置換されてもよいし、より多くの筋肉を示すように見えるように変形されてもよい。人が口の上に手を置いた状態で検出されるとき、人をスキューバダイバ又は人魚として水面下に見えるようにする視覚的要素が加えられ得る。人が飛翔位置で前傾して検出されるとき、人を飛んでいる天使又はスーパーヒーロであるよう見えるようにする視覚的要素が加えられ得る。例えば、人が地面により支持されないよう見えるようにするために人の両脚が動かされ得る。
【０１８２】
[00202]  人が腕を上げて検出されるとき、虹、金銭又は天使を人の上に出現させるようにする視覚的要素が加えられ得る。人が両手をボクシング姿勢で配置した状態で検出されるとき、人がボクシンググラブを装着している又は武器を保持しているよう見えるようにするための視覚的要素が加えられ得る。人の顔特徴又はボディは、人を動物、果物、ロボット又は他のいくつかのこのようなオブジェクトの頭又はボディを有するよう見えるようにするために修正され得る。
【０１８３】
[00203]  人の顔特徴が、検出され、次に、対応する感情を選択するために使用され、次に、人の頭を置換するために使用され得る。人が犬を散歩させているとして検出されるとき、犬の頭と人の頭とが交換され得る。人は、現実よりはるかにやせて、より重く、より筋肉質に、余り筋肉質でなく、又はよりウェーブがかかって見えるようになり得る。人が非常に速く回転しているように見えるようにするためにモーションブラーが加えられ得る。先の例は、行われる可能性がある視覚的修正のタイプに関する追加コンテクストを提供するが、潜在的に多様な視覚的修正が様々な実施形態にしたがって提供され得、これらは例示だけの目的ために提供される。
【０１８４】
ボディセグメント化と背景効果表現
[00204]  図１２は、背景セグメント化及び骨格効果表現を含むＭＶＩＤＭＲ生成の方法１２００のブロック図である。工程１２０２において、ユーザは、画像データを捕捉するために携帯装置を人（又は別のオブジェクト）に向け得る。１つ又は複数のフレームの画像データが、人又はいくつかの他のオブジェクトが存在するかどうかを判断するために解析され得る。
【０１８５】
[00205]  人又は他のオブジェクトが検出されるとき、初期セグメンテーションが行われ得る。初期セグメンテーションは、人を背景から分離し得る。次に、実際の背景（人を取り囲む画像内の領域）が仮想景色で置換された拡張画像が生成され得、人に対する視覚効果表現が人へ及び／又は画像内の別のオブジェクトへ加えられる。これらの効果表現は、人の付属物、人（例えば宇宙服）のボディの一部（又はすべて）を覆う要素、又は緩く取り付けられた効果表現（例えば吹き出し）であり得る（例えば図１１参照）。一実施形態では、骨格検出ルーチン（例えば図９Ａ〜１１参照）を介し判断される人の骨格が、効果表現を人へ固定するために使用され得、人のボディの一部を効果表現で置換するための基礎を提供し得る。
【０１８６】
[00206]  プレビュー段階中、ユーザは効果表現をカメラ内でライブでプレビューし得、ユーザが記録することを判断すると直ちに、本方法は、後のオフライン処理及び視認のために様々なセンサデータ（例えばカメラ画像、ＩＭＵデータ、視覚的カメラストリームから導出されるデータなど）を保存し始め得る。したがって、プレビューは効果表現の一部分だけを示し得る。加えて、プレビュー段階中、効果表現は、効果表現が後の段階（オフライン処理後など）でレンダリングされる場合より少ない詳細又は低い解像度を有し得る。プレビュー及びプレビューシステムの例が図１３と図１５に関し以下に説明される。
【０１８７】
[00207]  例えば、背景は人の周囲で除去されて示され得る。しかし、背景は別の画像により埋められなくてもよい。別の例として、人又はオブジェクトの外形のセグメンテーションは、オフライン処理により精緻化され得る。したがって、人の周囲の端は、オフライン処理が行われた後のものと比較してプレビュー段階では当初粗い場合があり得る。
【０１８８】
[00208]  １２０４では、オフライン処理中、ライブプレビュー段階中に記録されたデータは、より精緻化された効果表現を提供するようにさらに処理され得る。さらに、人及び拡張背景へ加えられる効果表現を含むＭＶＩＤＭＲが生成され得る。ＭＶＩＤＭＲは、これらの効果表現が多くの異なる視線の角度から視られることを可能にするように構成され得る。例えば、翼が人へ取り付けられている場合、ＭＶＩＤＭＲは、人及び翼が様々な視線の角度から視られることを可能にし得る。したがって、翼のレンダリングはＭＶＩＤＭＲのフレーム間で変化し得る。オフライン処理の別の例が図１６に関し以下に説明される。
【０１８９】
[00209]  様々な視線の角度が考慮される場合、効果表現のレンダリングは深さを考慮し得る、すなわちレンダリングは効果表現の３Ｄ次元モデルから行われ得る。さらに、効果表現が、効果表現自体を含む様々なオブジェクトにより隠蔽されるか否かが、レンダリング中に考慮され得る。遮蔽効果表現は視線の角度に依存して変化し得る。
【０１９０】
[00210]  例えば、翼は、脊椎から始まる人の背中へ固定されるものとしてレンダリングされ得る。前方から人を直視する際、人のボディが、可視である翼の一部を遮り得る。ビューが１８０度回転されれば、翼は十分に可視であり得るが、人のボディの一部は翼により遮られ得る。片側から視る際、翼の一部が翼の別の部分のビューを遮り得る。
【０１９１】
[00211]  遮蔽の判断は、深さ順序付けを使用して行われ得る。深さ順序付けは、深度値を様々な画素位置へ割り当てるために参照され得る。深さ順序付けに基づき、１つのオブジェクトが別のオブジェクトの前にあるかどうかに関する判断が行われ得る。例えば、深度値がボディへ割り当てられ得る。次に、相対的深度値が、翼の３Ｄモデルと、効果表現がボディへ取り付けられる位置とに基づき、翼などの効果表現へ割り当てられ得る。
【０１９２】
[00212]  カメラビューが変更されると、ＩＭＵデータから取得されるカメラの配向などの幾何学的考慮点が、新しい深度値を判断するために使用され得る。様々な実施形態では、深さ順序付けを行うための深さデータは、限定しないが、複数のカメラの使用から取得される深さデータ、キーポイント追跡、効果表現がレンダリングされる際の３Ｄモデリング、及びオブジェクトモデリングなどの情報を使用することにより取得され得る。
【０１９３】
[00213]  オブジェクトモデリングは、深さを推定するために画像内で識別されたオブジェクトのモデルに依存し得る。例えば、映像ストリームからの２Ｄフレーム内の骨格検出に基づき、人の姿勢が判断され得る。判断された姿勢は人の３Ｄモデル（すなわち、２Ｄへレンダリングされると画像内に検出されるのと同様な結果を提供する３Ｄモデル）と整合され得る。次に、人の３Ｄモデルは、姿勢のボディに関連付けられた相対的深度を推定するために使用され得る。
【０１９４】
[00214]  別の実施形態では、骨格は、一系列の画像内の隣接フレームなどの複数フレーム内で検出され得る。複数フレームから検出される２Ｄ骨格は、骨格の３Ｄ再構築を行うために使用され得る。次に、３Ｄ再構築は画像内の深さを推測するために使用され得る。深さの推測は、骨格上の関節などの画像内の共通点を識別することと、次に、深さを推定するために３Ｄ空間内の三角測量計算を行うこととを含み得る。
【０１９５】
[00215]  別の例として、自動車が２Ｄフレーム内で識別され得る。次に、画像内の自動車のビューは、２Ｄフレームへ投影されると２Ｄフレーム内で識別されるものと同様な形状を提供する、配向を有する３Ｄモデルと整合され得る。自動車の３Ｄモデルに基づき、深さ順序付けが２Ｄフレーム内の画素に対して推定され得る。
【０１９６】
[00216]  次に、１２０６では、１２０４におけるオフライン処理後、拡張背景及びボディ効果表現を有するＭＶＩＤＭＲが視られ得る。一実施形態では、ＭＶＩＤＭＲは変換を視認体験に取り込み得る。例えば、人などのオブジェクトが様々な角度から視られる場合、背景を除去して示すことができ、人へ加えられる効果表現は様々な段階で付与して示すことができる。この形式の例が図１４に示され説明され、視認システムは図１７において説明される。
【０１９７】
[00217]  オンラインで処理段階１２０２中、一連の映像フレームが受信され得る。一実施形態では、オンライン処理段階中、骨格検出及びボディセグメンテーションなどの検出方法が概して、フレームベースで行われ得る。したがって、単一フレーム内の骨格位置及びボディセセグメンテーション位置の検出は、単一フレームだけから受信された情報に基づき行われ得る。したがって、一連の映像フレーム内の近隣フレームから判断された骨格位置及びボディセグメンテーションに関する情報は、骨格位置及びボディセグメンテーション位置を判断するために使用されない可能性がある。隣接フレーム影響が考慮されない場合、ＭＶＩＤＭＲのための画像データが捕捉されている間における、リアルタイム提示（プレビュー内の選択された効果表現により拡張されるフレームのリアルタイム提示など）を可能にすることを支援し得る処理工程は低減され得る。この処理は図１５に関しより詳細に説明される。
【０１９８】
[00218]  ＭＶＩＤＭＲの提示は一連の関連映像フレームを出力することを含み得る。ＭＶＩＤＭＲ内のフレーム間の大きな変動は、ＭＶＩＤＭＲの知覚品質を劣化する動き及び他の効果表現の知覚を生じ得る。これらの影響を低減するために、フレーム間の変化が考慮され得る。例えば、骨格検出方法は、画像データの単一フレームからの情報及び画像データの隣接フレームからの情報が画像データの単一フレーム内の骨格位置を判断するために使用される場合に適用することができる。単一フレームのデータだけが使用される初期骨格検出は、この方法のための開始点を提供し得る。この処理は図１６に関しより詳細に説明される。
【０１９９】
[00219]  別の例として、ボディセグメンテーション方法は、画像データの単一フレームからの情報と画像データの隣接フレームからの情報との両方が単一フレーム内の画像の背景からのボディなどのオブジェクトのセグメンテーションを判断するために使用される場合に適用され得る。再び、単一フレームのデータだけが使用される初期ボディセグメンテーションは、この方法のための開始点を提供し得る。この処理はまた、図１６に関しさらに詳細に説明される。
【０２００】
[00220]  したがって、２段階処理が、ＭＶＩＤＭＲを生成する様々な態様に対して採用され得る。第１の工程では、単一フレーム解析は、単一フレームだけからの情報が使用され、情報がフレーム間で伝播されない場合に、行われ得る。例えば、背景からのボディセグメンテーションは、各フレームからの情報だけを使用して一連のフレーム内の各フレームに対し行われ得る。第２の工程では、マルチフレーム解析は、特定フレームの結果を判断するためにフレーム間の情報が伝播され使用される場合に行われ得る。例えば、背景からのボディセグメンテーションは、第１のフレームに対して判断されるボディセグメンテーションに関する情報が、第２のフレームに対して判断されるボディセグメンテーションに影響を与える場合に、一連のフレーム内の各フレームに対し行われ得る。
【０２０１】
[00221]  通常、第１の工程からの情報が第２の工程の開始点を提供し得る、すなわち、単一フレーム解析はマルチフレーム解析の開始点として使用される。例えば、骨格検出のための単一フレーム解析は、１６０２において説明される骨格バッチ平滑化などの骨格検出のマルチフレーム解析の開始点として使用され得る。様々な実施形態では、単一フレーム解析に関与する第１の工程だけがいくつかの処理に使用され、一方、マルチフレーム解析は他の処理に対して行われ得る。例えば、骨格検出は単一フレーム解析だけを使用して行われ得、一方、ボディセグメンテーションはマルチフレーム解析を使用して行われ得る。
【０２０２】
[00222]  次に、図１３、１４Ａ、１４Ｂに関し、ボディセグメンテーションなどのオブジェクトセグメンテーション、オブジェクト効果表現、及び背景置換を含む、追加処理後のＭＶＩＤＭＲ及びＭＶＩＤＭＲのプレビューの例が説明される。図１３は、背景拡張及び骨格効果表現を有するＭＶＩＤＭＲをプレビューする例である。骨格効果表現は、効果表現を人のボディへ固定すること、又は画像内の人のボディの一部を置換することを含む。
【０２０３】
[00223]  １３００ａでは、背景１３０８ａを背に立っている人１３０６が示される。第２の人に付随する手１３０４ａが、ディスプレイ１３０４を備えた携帯装置１３０２を保持している。人１３０６のビュー１３１０ａがディスプレイ上に示される。プレビューでは、翼効果表現１３０８が人１３０６の周囲に生成されている。さらに、ある初期セグメンテーションが実行されている。この初期セグメンテーションは、人１３０６のビュー１３１０ａに関連する画素が、画像内の背景画素から分離されることを可能にする。背景画素１３１２は、人を実際に取り囲む背景１３０８ａより暗い新背景で置換されている。
【０２０４】
[00224]  プレビュー処理中、そして画像データがＭＶＩＤＭＲのために捕捉されている間に、カメラ及び／又は人の位置は変化し得る。例えば、人は適所で回転し得る、又はカメラは人の周囲を移動し得る。したがって、画像データ内の人のビューは変化し得る。
【０２０５】
[00225]  １３００ｂでは、人１３０６及び背景１３０８ｂは、１３００ａと比較して異なるビューから示される。１３００ｂでは、カメラ１３０２の位置が人１３０６に対して移動されている。したがって、人１３０６の異なるビュー１３１０ｂがディスプレイ１３０４上に示される。それにもかかわらず、翼効果表現及び新しい背景のプレビューがディスプレイ上に依然として示される。
【０２０６】
[00226]  初期センサデータが捕捉された後、追加処理が行われ得る。図１０に関し上に説明したように、限定しないが１つ又は複数のカメラ及びＩＭＵを含むセンサパッケージが、人などのオブジェクトに関するデータを捕捉するために使用され得る。画像データを含むこの初期センサデータはＭＶＩＤＭＲを生成するために後処理され得る。特に、ＭＶＩＤＭＲはユーザにより選択された効果表現（図１３の翼など）を含む。
【０２０７】
[00227]  様々な実施形態では、１つ又は複数のオブジェクトが識別され得、境界間又は１つ又は複数のオブジェクトと背景との間の境界を表すセグメンテーションが行われ得る。一実施形態では、効果表現は、効果表現が背景に及ばなく且つ背景が未修正のままであるオブジェクトに対しレンダリングされ得る。さらに他の実施形態では、元の背景が新しい背景で置換され得る。
【０２０８】
[00228]  別の実施形態では、オブジェクトまで及ばない効果表現が背景へ加えられ得る。例えば、追加オブジェクトが背景へ加えられ得る。背景は元の背景、又は元の背景の置換であり得る。
【０２０９】
[00229]  さらに別の実施形態では、１つ又は複数の効果表現がボディ上へレンダリングされ得、その効果表現は背景に及ぶ。例えば、翼がボディへ固定され得、次に、背景に及ぶ。背景は元の背景又は置換背景であり得る。別の例として、翼はボディへ固定され得、次に、第２のオブジェクトが、ボディに付随する両手から伸びるようにレンダリングされ得る。
【０２１０】
[00230]  図１４Ａは、背景拡張と、骨格へ固定されたボディ効果表現とを有するＭＶＩＤＭＲ１４００を視る例である。図１４Ａでは、ＭＶＩＤＭＲにおいて使用される一連の画像、１４０２ａ、１４０２ｂ、１４０２ｃ、１４０２ｄ、１４０２ｅ、１４０２ｆ、１４０２ｇが示される。画像は、携帯装置、タブレットコンピュータ、又はパーソナルコンピュータ上のディスプレイなどのディスプレイへ出力され得る。画像は、ＭＶＩＤＭＲを生成するために使用される画像データが捕捉される図１４Ａに関し上に説明されたプレビュー処理後に、生成され得る。
【０２１１】
[00231]  画像のそれぞれは、異なる視線の角度、１４０４ａ、１４０４ｂ、１４０４ｃ、１４０４ｄ、１４０４ｅ、１４０４ｆ、１４０４ｇからの人の画像をそれぞれ含む。人がＭＶＩＤＭＲ１４４０内にオブジェクトを保持して示される。この例では、当該オブジェクトは、保存される、すなわち人からセグメント化されず、異なる角度から示される。
【０２１２】
[00232]  ＭＶＩＤＭＲ１４００に関連する画像の移り変わりでは、変形処理が示される。１４０２ａにおいて、人１４０４ａ、元の背景１４０６、及びオブジェクトが示される。次の画像１４０２ｂでは、効果表現１４０８ａが人へ加えられている。この例では、翼が加えられている。骨格検出が行われている可能性があり、翼は、人の脊椎を通る線へ固定され得る。ボディセグメンテーションが行われている可能性がある。この情報を使用することにより、この実施形態では、翼は、ボディのいかなる部分も遮蔽せず、人１４０４ｂを取り囲む背景に及ぶ。いくつかの実施形態では、ボディ部分を遮蔽する効果表現がレンダリングされ得る。例えば、人１４０４ｂの背後からのビューは、人の背後から生じ人の背中の一部を覆う翼を示し得る。
【０２１３】
[00233]  次の画像１４０２ｃでは、元の背景１４０６の一部が今や新背景１４１２ａで置換される。背景は未来都市景観を含む。他の背景が可能であり、この例は例示目的のためにだけに提供される。特に、既に実行されたボディセグメンテーション及び骨格検出を使用することにより、ユーザは、ＭＶＩＤＭＲにおいて実現すべき様々なボディ効果表現及び背景を選択し得る。
【０２１４】
[00234]  加えて、１４０８ｂでは、翼効果表現が拡張されている。翼は画像１４０２ｂと比較して大きい。さらに、翼効果表現の一部は元の背景１４０６の上でレンダリングされ、翼効果表現の一部は新背景１４１２ａの上でレンダリングされる。
【０２１５】
[00235]  さらに、１４０２ｃでは、台座１４１０ａが示される。台座１４１０ａは背景効果表現に関連づけることができる。台座は基平面の指標を提供する。１４０２ｃでは、台座は画像１４０２ａ内の元の背景１４０６の上でレンダリングされる。
【０２１６】
[00236]  他の実施形態では、追加オブジェクトが人に対してレンダリングされ得る。例えば、１つの効果表現は、人の両足の周囲にまき散らされるオブジェクトをレンダリングすることを含み得る。したがって、効果表現は、人のボディ部の位置などの位置を判断することと、次に、１つ又は複数のオブジェクトを上記位置へレンダリングすることに関与し得る。この例では、効果表現は、上記位置へ直接的に固定されず、上記位置に相対的に固定される。
【０２１７】
[00237]  １４０２ｃでは、台座１４１０ａは床にほぼ平行に描かれる。図１０に関し上に説明したように、ＩＭＵデータは基平面及びしたがって台座を描くための平面を推定するために使用され得る。台座は人の足近くに配置される。人の足としたがって床の位置とは骨格検出（再び、図９、１０、１１を参照）を使用することにより判断され得る。したがって、画像内の台座配置位置はＩＭＵデータと骨格検出との両方から判断され得る。
【０２１８】
[00238]  さらに、台座１４１０ａは人を遮蔽しない。台座は、人の両脚の背後に行くように出現するように描かれて示される。画像内の人の両脚の位置は、骨格検出と画像データに対し行われ得るボディセグメンテーションとから判断され得る。一般的に、ボディセグメンテーションは、人の背後に現れる効果表現（人の背後にある台座、背景（例えば都市）、又は１つの効果表現（例えば翼）など）をレンダリングするために使用され得る。
【０２１９】
[00239]  １４０２ｄでは、背景１４１２ｂは画像１４０２ｃと比較して大きな領域を覆う。しかし、元の背景１４０６の一部は依然として残っている。１４０４ｅでは、元の背景１４０６は新しい背景１４１２ｃにより完全に置換される。新しい背景は画像１４０２ｆ、１４０２ｇ内にも示される。
【０２２０】
[00240]  翼効果表現１４０８ｃはサイズ的に完全である。翼効果表現の配向は、人の配向が変化すると画像１４０２ｃと１４０２ｄ間で若干変更される。画像１４０４ｅ、１４０４ｆ、１４０４ｇにおいて示されるように、人の配向が画像内で変化すると、翼の配向は変化する。
【０２２１】
[00241]  一実施形態では、第２のビュー選択肢が提供され得る。第２のビュー選択肢では、原画像から最終画像への移り変わりは示されない。その代りに、台座が適所におかれ、翼が取り付けられ、すべての視線の角度から十分にレンダリングされた状態で、新しい背景に対して、人を視ることができる。したがって、例えば、画像１４０２ａ、１４０２ｂ、１４０２ｃ、１４０２ｄは、画像１４０２ｅ内に示すような新しい背景１４１２ｃ、画像１４０２ｅ内に示すような台座１４１０ｂ、及び画像１４０２ｅ内に示すような翼効果表現１４０８ｄを伴って示され得る。
【０２２２】
[00242]  この十分に変換されたモードでは、画像１４０２ａ、１４０２ｂ、１４０２ｃ、１４０２ｄでは、背景、台座、及び翼は、画像内の人の異なる配向を考慮するために調整され得る。例えば、台座は、画像の各画像内の人の両脚の異なる位置を考慮するために、異なるやり方でレンダリングされ得る。さらに、翼は人の異なるボディ配向を考慮するために、異なるやり方でレンダリングされ得る。さらに、背景は、人と人の配向に依存して変化する背景との間の異なる境界を考慮するために、異なるやり方でレンダリングされ得る。
【０２２３】
[00243]  図１４Ｂに関し、携帯装置上に表示される一連の画像について説明する。第１の一連の画像１４５２ａ、１４５２ｂ、１４５２ｃ、１４５２ｄ、１４５２ｅでは、プレビュー段階について説明する。人がカメラビュー内に入る。効果表現（翼）が選択され得る。人がビュー内に入ると、骨格検出及びセグメンテーションが発生し始める。１４５２ａでは、背景は廊下の端のランプ近くで置換され始め、１４５２ｂに続く。
【０２２４】
[00244]  １４５２ｃでは、背景は追加位置において置換され始める。位置は不連続である。加えて、翼である効果表現が画像内に描かれ始める。１４５２ｄでは、人は画像の中央近くにいる。背景はほぼ完全に置換されて、翼効果表現はより十分にレンダリングされる。１４５２ｅでは、背景は完全に置換され、翼効果表現はそのままである。人の位置が画像１４５２ｄと比較して若干シフトされる。
【０２２５】
[00245]  フレーム１４６０ａ、１４６０ｂ、１４６０ｃでは、人は相対的に静止したままである。しかし、カメラは今や人を中心として時計回りに移動される。カメラが移動されるにつれて、ＭＶＩＤＭＲを生成するために使用され得る映像フレームが記録される。記録中、新しい背景及び翼を含む人の周囲の効果表現は維持され得る。したがって、骨格検出及び背景は継続され得る。画像記録を含むプレビュー処理は図１５に関しより詳細に説明される。
【０２２６】
[00246]  複数の映像フレームを含む映像ストリームを捕捉した後、映像フレームの一部がＭＶＩＤＭＲを生成するために選択され得る。ＭＶＩＤＭＲは、置換された背景と翼とを含む選択された効果表現を含み得る。ＭＶＩＤＭＲ生成は、情報がフレーム間で伝播される、選択された画像に対する追加処理を含み得る、すなわち、上に説明したように、マルチフレーム解析が行われ得る。情報が、ＭＶＩＤＭＲ内のフレーム間で発生する変化の振幅を低減するために、フレーム間で伝播され得る。フレーム間の情報伝播は、ＭＶＩＤＭＲのより円滑な視認体験を生じ得る。マルチフレーム解析は図１６に関しより詳細に説明される。
【０２２７】
[00247]  ＭＶＩＤＭＲが画像１４７０ａ、１４７０ｂ内に示される。ユーザは、様々な角度からＭＶＩＤＭＲを視るために携帯装置を傾ける。最終ＭＶＩＤＭＲは、置換された背景と、人の骨格へ固定される翼の効果表現との両方を含む。追加処理工程後のＭＶＩＤＭＲの視認が図１７に関し説明される。
【０２２８】
[00248]  背景画像及び翼は、カメラの位置の変化の結果として画像内の人の変化を考慮するようにレンダリングされる。特に、背景と翼との両方の様々なビューは、カメラ及びしたがって人の配向が画像内で変化するとき、画像内へレンダリングされる。
【０２２９】
[00249]  次に、図１４Ｃに関し、画像フレーム内の骨格検出を利用する追加実施形態が説明される。図１４Ｃでは、一連のフレームからの４つのフレーム１８００ａ、１８００ｂ、１８００ｃ、１８００ｄが示される。各フレームは、様々な姿勢１８０２ａ、１８０２ｂ、１８０２ｃ、１８０２ｄの人を含む。一例として、この一連の姿勢は、人がカメラの前でダンスをしている間に記録される可能性がある。上に説明したように、姿勢の３Ｄ再構築は２Ｄ画像フレームから判断され得る。
【０２３０】
[00250]  姿勢１８０２ａ、１８０２ｂ、１８０２ｃ、１８０２ｄでは、人の四肢及びボディ位置がカメラに対して変化している。例えば、フレーム１８００ａ、１８００ｂでは、人はカメラに向いている。一方、フレーム１８００ｃでは、人はカメラに対し横向きである。フレーム１８００ｄでは、人の背中がカメラに向いている。フレーム１８００ａ、１８００ｃ、１８００ｄでは、人の両腕はほとんど下がっている。一方、フレーム１８００ｂでは、人の腕が上げられている。フレーム１８００ａ、１８００ｂ、１８００ｄでは、人は比較的真っすぐに立っている。一方、フレーム１８００ｃでは、人は腰が曲がって示される。
【０２３１】
[00251]  各フレーム内の人は床に沿って移動している。人は、カメラの左側又は右側へだけでなくカメラに向かって及びカメラから離れる方向に移動し得る。床１８０８ａ、１８０８ｂ、１８０８ｃ、１８０８ｄの異なる部分が各フレーム内で捕捉される。人が床に沿って移動し得、そしてカメラの位置が、人の位置を捕捉して人をフレーム内に維持するために変化し得るので、床の異なる部分が捕捉され得る。カメラが人から十分に遠くにある場合、ハンドヘルド携帯装置などのカメラは比較的一定な配向で保持され得る。
【０２３２】
[00252]  各フレーム１８００ａ、１８００ｂ、１８００ｃ、１８００ｄ内の人は、背景に対して移動し得る。この例では、背景は壁であり得る。床のように、背景１８０６ａ、１８０６ｂ、１８０６ｃ、１８０６ｄの異なる部分は、人が移動すると各フレーム内に出現し得、任意選択的に、カメラの位置は人の位置を捕捉するように変化する。
【０２３３】
[00253]  骨格検出は各２Ｄ画像フレーム内の人１８０２ａ、１８０２ｂ、１８０２ｃ、１８０２ｄに対し実行されている。骨格検出は、フレームに関連する画素データに基づき、関節又はボディ部分の位置を判断することを含み得る。例えば、手首１８１０及び肩１８１２は、フレーム１８００ａ内の円として識別される。加えて、眼、鼻、耳、首、肘、臀部、膝、及び足首などの他の位置もフレーム内の円により識別される。
【０２３４】
[00254]  隣接ボディ位置を表す円同士は所定マッピングに従って接続され得る。マッピングは骨格を表し得る。例えば、線が手首１８１０と肘１８１５間に描かれ得る。線は、手首と肘とを接続する骨格を表し得る。
【０２３５】
[00255]  一実施形態では、関節位置と、１８００ａ、１８００ｂ、１８００ｃ、１８００ｄなどのフレームに対して判断された関節を接続する線とが、フレーム内にレンダリングされる。例えば、携帯装置上のカメラが画像フレームを捕捉し得、骨格検出は画像フレームに対し行われ得、次に、関節／ボディ部位置と、関節とボディ部分とを接続する線とが、拡張フレームを生成するために画像フレーム内にレンダリングされ得る。次に、拡張フレームは携帯装置上のディスプレイへ出力され得る。
【０２３６】
[00256]  これらの操作は、拡張フレームが、プレビュー段階においてカメラにより捕捉されているものを表すように、同時に行われ得る。プレビュー段階では、フレームは記録されることなく表示され得るか、又は記録され得る。一実施形態では、骨格検出、及び骨格検出を含むフレーム拡張は、３０フレーム／秒などでディスプレイへネイティブに出力されるフレームと同じ速度で行われ得る。別の実施形態では、骨格検出、及び骨格検出を含むフレーム拡張は、１５フレーム／秒などのネイティブ解像度より低い解像度で行われ得る。
【０２３７】
[00257]  上に説明したように、３Ｄ再構築は、３Ｄ姿勢などの骨格に関連する深さ情報を判断するために行われ得る。一実施形態では、１８００ａ、１８００ｂ、１８００ｃ、１８００ｄなどのフレーム内にレンダリングされる骨格は、深さ情報を表すためにフォーマット化され得る。例えば、円のサイズは、関節又はボディ位置がカメラに近いか又はカメラからさらに遠く離れているかを表し得る。フレーム１８００ａでは、手首関節１８１０における円は肩関節１８１２における円より大きい。手首関節１８１０における円のより大きなサイズは、カメラにより近いということを示すために使用される。
【０２３８】
[00258]  別の例では、２つの関節又はボディ位置へ連結する線の太さが、深さ情報を伝達するために使用され得る。例えば、線１８１４は線１８１６より太い。線１８１４の太さは、手首位置１８１０と肘１８１５との間の腕位置が、臀部と膝との間のボディ部分（線１８１６により伝達される）より、カメラに近いということを伝達するために使用される。
【０２３９】
[00259]  別の実施形態では、関節位置とボディ位置とを伝えるために使用される円は同じサイズであり得、関節位置とボディ位置とを連結する線は同じ太さであり得る。したがって、深さ情報は、円のサイズと線の太さとを介し伝えられない可能性がある。さらに他の実施形態では、骨格を示す円と線は、フレームを拡張するために使用されない可能性がある。別の実施形態では、部分的骨格だけが、フレームを拡張するためにフレーム内にレンダリングされ得る。例えば、関節位置と片腕又は両腕に関連するそれらの接続だけがフレーム内にレンダリングされ得る。又は、関節位置と片脚又は両脚に関連するそれらの接続だけがフレーム内にレンダリングされ得る。
【０２４０】
[00260]  別の実施形態では、人の姿勢１８０２ａ、１８０２ｂ、１８０２ｃ、１８０２ｄから検出される骨格情報は、人に対して検出された骨格情報を伝える１つのオブジェクト又はミラーオブジェクトをレンダリングするために使用され得る。ミラーオブジェクトは、骨格検出が行われた人又はオブジェクトの位置に対し相対的である位置で、フレーム内にレンダリングされ得る。例えば、フレーム内の人の上にレンダリングされる骨格は人に隣接するようにレンダリングされ得る。骨格はフルサイズ又は縮小サイズで示され得る。
【０２４１】
[00261]  別の実施形態では、骨格情報は、人とは異なる形式を取るミラーオブジェクト上に投影され得る。例えば、フレーム１８００ａ、１８００ｂ、１８００ｃ、１８００ｄでは、ミラーオブジェクトはパンダである。パンダ又は他のミラーオブジェクトは、人とは異なる骨格構造を有し得る。例えば、パンダは、人とは異なる長さの四肢及びボディ比率を有し得る。パンダの異なる骨格構造は、人の骨格検出から判断される人の姿勢をミラーするように構成され得る。次に、パンダは、人を含むフレーム内にレンダリングされ得る。
【０２４２】
[00262]  パンダは、人の骨格情報の一部をミラーする様々な姿勢１８０４ａ、１８０４ｂ、１８０４ｃ、１８０４ｄを取って示される。したがって、フレーム１８００ａでは、人のように、パンダの手の一方が上げられ他方は下げられている。フレーム１８００ｂでは、人の手とパンダの手は両方とも上げられている。１８００ｃでは、人とパンダは、片側へ向き、腰が曲げられ、腕が下げられ、脚が伸ばされている。１８００ｄでは、人とパンダは両手を背中の後ろに置いてカメラからそっぽを向く。一連のフレームでは、人により行われるダンスなどの一連の動作が捕捉され得、ミラーオブジェクトは、人のダンスをミラーして見えるようにレンダリングされ得る。
【０２４３】
[00263]  パンダをフレーム内にレンダリングするために、平面が選択され得る。例えば、床などの人の基平面がフレーム内で判断され得る。次に、パンダは、人を基準とした位置及び配向（人からの画素間距離など）で、基平面上にレンダリングされ得る。
【０２４４】
[00264]  人の骨格検出は、パンダなどのミラーオブジェクトの位置を判断するために使用される第１の位置を提供し得る。例えば、骨格上の位置１８２０が、床１８０８ａに付随する基平面上へ投影され得る。次に、ミラーオブジェクト１８０４ａはこの位置に対するある距離及び角度で配置され得る。１８００ａ、１８００ｂ、１８００ｃ、１８００ｄでは、ミラーオブジェクト１８０４ａ、１８０４ｂ、１８０４ｃ、１８０４ｄは人の右側にある。別の実施形態では、ミラーオブジェクトは他の角度で（左側、人の背後、人の前などに）配置され得る。いくつかの実施形態では、基平面はＩＭＵデータを使用することにより判断され得る（例えば、図７、８Ａ、８Ｂを参照）。
【０２４５】
[00265]  加えて、複数のミラーオブジェクトが使用され、人に対して配置され得る。例えば、第１のパンダなどの第１のミラーオブジェクトは、フレーム内で人の右側に配置されレンダリングされ得る。第２のパンダなどの第２のミラーオブジェクトは、フレーム内で人の左側に配置され得る。別の実施形態では、複数のミラーオブジェクトは同じで有っても異なってもよい。例えば、第１のミラーオブジェクトはパンダであり得、一方、第２のミラーオブジェクトはウサギであり得る。
【０２４６】
[00266]  さらに他の実施形態では、ミラーオブジェクトは、人が移動する平面上に配置される必要がない。例えば、パンダは、床の上の床に平行である平面において空中で移動するように見えるように配置され得る。別の例では、ミラーオブジェクトがレンダリングされる平面は基平面に対して傾斜され得る。複数のミラーオブジェクトが使用される場合、ミラーオブジェクトは同じ又は異なる平面上でレンダリングされ得る。例えば、第１のミラーオブジェクトは人が移動する基平面上でレンダリングされ得、第２のミラーオブジェクトは基平面の上の平面上でレンダリングされ得る。
【０２４７】
[00267]  様々な実施形態では、パンダ、骨格、ウサギ、又はいくつかの他のアニメ化されたキャラクターなど使用すべきミラーオブジェクトのフォームの選択が受信され得る。次に、選択されたフォームはプレビュー段階にレンダリングされ得る。加えて、使用されるミラーオブジェクトの数（１、２、３など）の選択及び各選択のフォームが受信され得る。さらに、人に対する各ミラーオブジェクトの位置（右側、左側、前、背後など）の選択が受信され得る。また、人の動きをレンダリングすべき平面の選択が選択され得る。
【０２４８】
[00268]  プレビュー段階では、上に説明したように、ボディセグメンテーションの判断は、人を取り囲む背景を置換するために使用され得る。この処理は図１４Ｂに示すように徐々に行われ得る。特定実施形態では、使用すべき背景の選択が受信され得る。加えて、上に説明したように、人のボディへ固定される効果表現が人へ加えられ得る。
【０２４９】
[00269]  以下に詳細に説明されるように、移動している人のフレームが記録され得、画像安定化などの平滑化がフレームへ適用され得、高忠実性の骨格検出が行われ得る。高忠実性の骨格検出は、平滑化されたフレーム内のミラーオブジェクトを再レンダリングするために使用され得る。処理時間を低減する一実施形態では、プレビュー段階でレンダリングされるミラーオブジェクトは低解像度（後続平滑化が採用された後の詳細さより少ない詳細さ）でレンダリングされ得る。
【０２５０】
[00270]  特定実施形態では、平滑化などの追加処理後、ＭＶＩＤＭＲが生成され得る。ＭＶＩＤＭＲは、人と１つ又は複数のミラーオブジェクトとをまとめて含み得る。代替的に、人は除去され、１つ又は複数のミラーオブジェクトのみとなる。人が含まれる場合、人は何らかの方法で修正され得る（例えば、それらのボディへ固定された効果表現、又はそれらのボディは何らかの方法で修正され得る）。加えて、画像に関連付けられた背景が置換され得る。一般的に、ミラーオブジェクトの適用は他の実施形態（本明細書で説明された効果表現を人へ固定すること又は背景を置換することなど）のうちの任意のものと組み合わせられ得る。
【０２５１】
[00271]  次に、図１５、１６、１７に関し、ボディセグメンテーション、背景効果表現、及び／又はボディ効果表現を有するＭＶＩＤＭＲのプレビュー及び初期処理、オフライン処理、及び最終視認のためのシステムが説明される。図１５は、背景拡張と、骨格へ固定されたボディ効果表現とを有するＭＶＩＤＭＲの初期プレビューを生成するためのシステム１５００のブロック図である。センサパッケージ１５０５が提供され得る。一実施形態では、センサパッケージ１５０５は携帯装置上に含まれ得る。
【０２５２】
[00272]  センサパッケージ１５０５は少なくとも１つのカメラ１５０４を含み得る。任意選択的に、センサパッケージ１５０５は第２のカメラ１５０２を含み得る。２つのカメラが使用される場合、ステレオマッチングなどの方法が深さデータを判断するために使用され得る。センサパッケージ１５０５はまた、ＩＭＵを含み得る（例えば、図７、８Ａ、８Ｂを参照）。
【０２５３】
[00273]  骨格検出１５０６及びセグメンテーション１５１０は、一方又は両方のカメラからのデータを使用し得る。さらに、図１０に関し上に説明したように、セグメンテーション１５１０は骨格検出からの情報を利用し得る。１つ又は２つのカメラが使用されるかどうかに依存して、様々な方法が使用され得る。例えば、１つのカメラだけが存在する場合、様々なニューラルネットが、骨格及び／又は姿勢を検出して初期ボディセグメンテーションを判断するために使用され得る。２つのカメラが存在する場合、深さデータがボディセグメンテーションに寄与し得る。特に、距離変化は、画像内のボディと背景との間、又はオブジェクトと背景との間の境界を示し得る。
【０２５４】
[00274]  一実施形態では、深さデータはまた、骨格検出が行われる領域を選択するために使用され得る。領域の選択は、骨格検出の開始前に又は骨格検出アルゴリズム内で行われ得る。例えば、深さデータは、背景から離れた人又は自動車などのオブジェクトの存在を示し得る。骨格検出を画像全体へ適用するのではなく、骨格検出アルゴリズムは、背景中であると判断されていない画像の一部分だけへ適用され得る。この処理は、骨格検出を実行するために必要とされる処理作業の量を低減し得る。
【０２５５】
[00275]  １又は複数のフレーム処理のために、骨格位置の初期判断が骨格データベース１５２２へ格納され得る。さらに、ボディと背景との間の境界を含むボディセグメンテーションの初期判断は、セグメンテーションデータベース１５２４へ格納され得る。図１６において詳細に説明されるように、この情報はオフライン処理に使用され得る。
【０２５６】
[00276]  基平面判断１５１２は、一方又は両方のカメラからの画像データを使用し得る。加えて、基平面判断１５１２はＩＭＵデータ１５０８を利用し得る。フレーム選択１５１４は、ＭＶＩＤＭＲを生成すべきフレームを選択し得る。フレーム選択１５１４は、一方又は両方のカメラ１５０２、１５０４から受信されるフレームの中から選択し得る。さらに、フレーム選択１５１４はＩＭＵデータ１５０８を利用し得る。一実施形態では、ＩＭＵデータは視線の角度及び／又は画像に関連付けられたカメラ配向を判断するために使用され得る。一実施形態では、カメラ配向は、ＭＶＩＤＭＲの見易さを改善するために使用される平滑化アルゴリズム内で使用され得る。
【０２５７】
[00277]  フレームデータデータベース１５２８は、選択されたフレームに関連付けられた画像データを格納し得る。さらに、フレームデータベースは、選択されたフレームに関連付けられたＩＭＵデータを格納し得る。加えて、ある追加キーポイント追跡がフレームに対し行われ得る。各フレームのキーポイント位置に関する情報は、フレームデータデータベース１５２８内に格納され得る。
【０２５８】
[00278]  次に、骨格検出１５０６、セグメンテーション１５１０、及び基平面判断１５１２からの情報が、プレビューシステム１５４０へ送信され得る。プレビューシステム１５４０は、背景を置換し、台座、又はオブジェクトをハイライトするいくつかの他の効果表現を描き、そして、捕捉された画像又は画像群内に効果表現をリアルタイムに取り込み得る。その後、画像は、所望の効果表現を有するＭＶＩＤＭＲを生成するためにさらに処理され得る。
【０２５９】
[00279]  拡張現実（ＡＲ：augmented reality）エンジン１５１６は、背景を置換すること、人の骨格などのオブジェクトへ固定される効果表現及びオブジェクトを強調する他の効果表現を描くことなどのプレビューのために画像内に描くべき効果表現を判断し得る。効果表現は、翼又は特定背景などユーザにより行われる選択に基づき得る。効果表現を描くべき位置は、初期骨格検出１５０６、初期セグメンテーション１５１０、及び基平面判断１５１２に基づき得る。一例は図１３に関し上に提供されている。
【０２６０】
[00280]  レンダリングエンジン１５１８は、ＡＲエンジン１５１６から命令を受信し得る。次に、レンダリングエンジン１５１８は、命令に従って拡張画像をレンダリングし得る。拡張画像は、カメラ１５０２、１５０４のうちの１つ又は複数により捕捉された原画像データと、ＡＲエンジン１５１６の命令に基づき加えられた効果表現との組み合わせを利用し得る。拡張画像は、ディスプレイ１５２０へ出力され得る。一実施形態では、第１の部分の原画像と、ＡＲエンジン１５１６からの効果表現を有する拡張画像とを示す拡張画像が生成され得る。
【０２６１】
[00281]  図１６と図１７は、背景拡張と骨格効果表現とを有するＭＶＩＤＭＲをさらに処理して視るためのシステムのブロック図である。図１６では、さらなる処理とＭＶＩＤＭＲ生成とのためのシステム１６００が提供される。オフライン処理工程はまた、オフライン視認時にＡＲ効果表現（背景置換及び人へ取り付けられる効果表現）を表示するために必要な計算を行う。
【０２６２】
[00282]  初期データ１６１２は、骨格データベース１５２２、セグメンテーションデータベース１５２４、基平面判断１５２６、及びフレームデータデータベース１５２８（ＩＭＵデータも含み得る）からのデータを含み得る。情報は、１６０２において骨格検出を精緻化及び円滑化し（マルチビューインタラクティブデジタルメディア表現内で一貫性があるものにし）、マルチビューデータ内のすべての視点がうまくアライメントされるということを確実にする安定化工程１６０４を適用するために使用され得る。
【０２６３】
[00283]   セグメンテーション１６０６では、セグメンテーションがさらに計算され、精緻化され、円滑化され得る。セグメンテーションのこの精緻化は、フレーム毎ベース１６０８で行われ得る。円滑化は、フレーム間一貫性１６１０を強化することを含み得る。フレーム間一貫性１６１０は、セグメンテーションを伝播することと、複数視点からの伝搬をマージすることとに関与し得る。この方法の一部は図１０に関し上に説明されている。例えば、キーポイント追跡は、セグメンテーション円滑化処理において使用される画像間の変換を定義するために使用されるスーパー画素の三角形メッシュを生成するために使用され得る。
【０２６４】
[00284]  骨格バッチ円滑化１６０２、画像安定化、及びセグメンテーションからの情報は互いに影響を与え得る。例えば、画像安定化１６０４は、ＭＶＩＤＭＲを生成するために使用される一連の画像内の画像を並進、回転、スケーリング、トリミングすることを含み得る。安定化１６０４は、オブジェクトを一連の画像内にセンタリングし、画像記録中に変化するカメラ配向に起因する回転を取り除き、オブジェクトがあらゆる画像内でほぼ同じサイズであるということを保証し得る（オブジェクトサイズの変化は、カメラに近づくか又はカメラから遠ざかるオブジェクトの移動の結果、又は画像記録中にカメラがオブジェクトに近づくか又はそれから遠ざかる結果として発生し得る）。
【０２６５】
[00285]  安定化が適用された後に生成される画像は、骨格バッチ円滑化１６０２及び／又はセグメンテーション１６０６へ送られ得る。次に、骨格検出１６０２及びセグメンテーション１６０６が新しい画像へ適用され得る。加えて、図１０に関し説明したように、骨格検出出力は、セグメンテーション１６０６の入力として使用され得る。したがって、骨格検出１６０２からの出力は、セグメンテーションの開始に先立って、セグメンテーション１６０６において入力として受信され得る。
【０２６６】
[00286]  次に、１７００において、図１６のシステム１６００において処理されたデータは、図１４に関し説明したＭＶＩＤＭＲ１４００などのＭＶＩＤＭＲを生成するために利用され得る。システム１７００は、処理されたデータ１６１２をＡＲエンジン１５１６への入力として利用し得る。ＡＲエンジン１５１６は、レンダリングされる効果表現を決定する入力１７０６を受信し得る。例えば、入力１７０６は、画像内へレンダリングするべき背景の選択又は人へ固定するべき効果表現であり得る。効果表現データベース１７０８は、選択された効果表現を入力１７０６に従ってレンダリングするために使用され得るデータを提供し得る。
【０２６７】
[00287]  ＡＲエンジン１５１６により生成される命令は、レンダリングエンジン１５１８へ渡され得る。レンダリングエンジンは、画像データを受信し、次に、レンダリングエンジンから受信されるレンダリング命令に基づきそれを変更し得る。レンダリングエンジン１５１８により生成される拡張画像は、ディスプレイ１５２０へ出力され得る。一連の画像は図１４において説明したＭＶＩＤＭＲ１４００などのＭＶＩＤＭＲを生成するために出力され得る。
【０２６８】
[00288]  図１８を参照すると、本発明の特定例を実施するために使用され得るコンピュータシステムの特定例が示される。例えば、コンピュータシステム２３００は、上述の様々な実施形態によるマルチビューインタラクティブデジタルメディア表現を提供するために使用され得る。特定の例示的実施形態によると、本発明の特定実施形態を実施するのに好適なシステム２３００は、プロセッサ２３０１、メモリ２３０３、インターフェース２３１１、バス２３１５（例えばＰＣＩバス）、持続性メモリ２３１９、及びサーバ２３２１を含む。
【０２６９】
[00289]  特定実施形態では、持続性メモリ２３１９は、図１６に関し上に説明したような後続オフライン処理のためのデータを格納し得る。いくつかの実施形態では、オフライン処理は、システム２３００上で行われ得る。別の実施形態では、オフライン処理の一部は、サーバ２３２１などの遠隔装置へ渡され得る。
【０２７０】
[00290]  システム２３００は、光センサ、加速度計、ジャイロスコープ、多軸磁力計、マイクロホン、立体視能力を含むカメラ、又は構造化光カメラなどの１つ又は複数のセンサを含み得る。構造化光カメラは、画像内のカメラからオブジェクトまでの距離を判断するために使用され得る。Kinect（商標）は構造化光センサを使用する。上に説明したように、加速度計及びジャイロスコープは、ＩＭＵ内に取り込まれ得る。センサは、装置の移動を検出し、装置の位置を判断するために使用され得る。さらに、センサは、入力をシステム内へ提供するために使用され得る。例えば、マイクロホンが、音響を検出する又は音声命令を入力するために使用され得る。
【０２７１】
[00291]  １つ又は複数のカメラを含むセンサの例では、カメラシステムは固有映像データをライブ映像フィードとして出力するように構成され得る。ライブ映像フィードは、拡張され、次に、携帯装置上のディスプレイなどのディスプレイへ出力され得る。固有映像は、時間に応じた一連のフレームを含み得る。フレームレートはしばしばフレーム／秒（ｆｐｓ）として記述される。各映像フレームは、各画素の色値又はグレースケール値を有する画素のアレイであり得る。例えば、画素アレイサイズは画素当たり３つの色値（緑、青、赤）を有する５１２×５１２画素であり得る。３つの色値は、画素当たり２４、３０、３６、４０ビットなどの可変量のビットにより表され得る。より多くのビットが各画素のＲＧＢ色値を表すために割り当てられると、より多くの色値が可能である。しかし、各画像に伴うデータも増加する。可能な色の数は色深度と呼ばれ得る。
【０２７２】
[00292]  ライブ映像フィード内の映像フレームは、ハードウェア及びソフトウェア部品を含む画像処理システムへ伝達され得る。画像処理システムは、ランダムアクセスメモリ（ＲＡＭ：random access memory）及びビデオＲＡＭ（ＶＲＡＭ）などの非持続性メモリを含み得る。加えて、映像データに作用するための中央処理ユニット（ＣＰＵ）及びグラフィック処理ユニット（ＧＰＵ）などのプロセッサと、映像データを搬送するための通信バス及びインターフェースとが提供され得る。さらに、ライブ映像フィード内の映像データに対し変換を行うためのハードウェア及び／又はソフトウェアが提供され得る。
【０２７３】
[00293]  特定実施形態では、映像変換構成要素は、ネイティブ映像データから導出され次に仮想データにより拡張される合成像を生成するのに必要な機能を実行するように構成された特殊ハードウェア要素を含み得る。データ暗号化では、特殊ハードウェア要素は、特定データ変換（すなわち特定アルゴリズムに伴うデータ暗号化）を行うために使用され得る。同様なやり方で、特殊ハードウェア要素は、特定映像データ変換のすべて又は一部を実行するために提供され得る。これらの映像変換構成要素は、グラフィック演算を実行するように構成された特殊ハードウェア要素であるＧＰＵ（群）とは分離され得る。映像フレームに対する特定変換のすべて又は一部はまた、ＣＰＵにより実行されるソフトウェアを使用して行われ得る。
【０２７４】
[00294]  処理システムは、各画素位置において第１のＲＧＢ値を有する映像フレームを受信し、各画素位置において第２のＲＧＢ値を決定するための演算を適用するように構成され得る。第２のＲＧＢ値は、合成データを含む変換された映像フレームに関連付けられ得る。合成像が生成された後、ネイティブ映像フレーム及び／又は合成像は、格納のためにフラッシュメモリ又はハードドライブなどの持続性メモリへ送信され得る。加えて、合成像及び／又はネイティブ映像データは、出力インターフェースに付随するディスプレイ又はディスプレイ群上の出力のためのフレームバッファへ送信され得る。例えば、ディスプレイは、携帯装置上のディスプレイ又はカメラ上のビューファインダであり得る。
【０２７５】
[00295]  一般的に、合成像を生成するために使用される映像変換は、そのネイティブ解像度又は異なる解像度でネイティブ映像データへ適用され得る。例えば、ネイティブ映像データは、２４ビットにより表されるＲＧＢ値を有する５１２×５１２のアレイであり、２４ｆｐｓのフレームレートであり得る。一実施形態では、映像変換は、そのネイティブ解像度の映像データに関する演算と、変換された映像データを、そのネイティブ解像度でネイティブフレームレートで出力することとを含み得る。
【０２７６】
[00296]  他の実施形態では、処理を加速するために、映像変換は、映像データに関する演算と、変換された映像データをネイティブ解像度と異なる解像度、色深度及び／又はフレームレートで出力することと、を含み得る。例えば、ネイティブ映像データは２４ｆｐｓなどの第１の映像フレームレートであり得る。しかし、映像変換は一つおきのフレームに対し行われ得、合成画像は１２ｆｐｓのフレームレートで出力され得る。代替的に、変換された映像データは、変換された映像フレームのうちの２つの間で補間することにより１２ｆｐｓレートから２４ｆｐｓレートへ補間され得る。
【０２７７】
[00297]  別の例では、映像変換を行う前に、ネイティブ映像データの解像度が低減され得る。例えば、ネイティブ解像度が５１２×５１２画素である場合、これは画素平均化などの方法を使用することにより２５６×２５６画素アレイへ補間され得、次に、変換が２５６×２５６のアレイへ適用され得る。変換された映像データは、２５６×２５６解像度で出力及び／又は格納され得る。代替的に、２５６×２５６解像度などの変換された映像データは、ディスプレイ及び／又は記憶装置への出力に先立って、そのネイティブ解像度５１２×５１２などのより高い解像度へ補間され得る。映像変換を適用することに先立つネイティブ映像データの粗粒化（coarsening）は、単独で又はより粗いフレームレートと併せて使用され得る。
【０２７８】
[00298]  上述のように、ネイティブ映像データもまた色深度を有し得る。色深度もまた変換を映像データへ適用する前に粗粒化され得る。例えば、色深度は変換を適用する前に４０ビットから２４ビットへ低減され得る。
【０２７９】
[00299]  上に説明したように、ライブ映像からのネイティブ映像データは、リアルタイムに合成画像を生成し次に出力するために仮想データにより拡張され得る。特定実施形態では、リアルタイムは一定量の待ち時間（すなわちネイティブ映像データが捕捉されたときの時刻と、ネイティブ映像データ及び仮想データの一部を含む合成画像が出力されたときの時刻との間の時間）に関連付けられ得る。特に、待ち時間は１００ミリ秒未満であり得る。他の実施形態では、待ち時間は５０ミリ秒未満であり得る。他の実施形態では、待ち時間は３０ミリ秒未満であり得る。さらに他の実施形態では、待ち時間は２０ミリ秒未満であり得る。さらに他の実施形態では、待ち時間は１０ミリ秒未満であり得る。
【０２８０】
[00300]  上に説明したように、オブジェクトを追跡することは、２Ｄ像空間においてフレーム間で１つ又は複数の点を追跡することを指し得る。１つ又は複数の点は画像内の領域に関連付けられ得る。１つ又は複数の点又は領域は、オブジェクトに関連付けられ得る。しかし、オブジェクトは画像内で識別される必要がない。例えば、２Ｄ像空間内のオブジェクトの境界は既知である必要がない。さらに、オブジェクトのタイプは識別される必要がない。例えば、オブジェクトが画素データ内で出現する自動車、人、又は何か他のものであるかに関する判断は行われる必要がない。
【０２８１】
[00301]  ２Ｄ像空間内で上述のやり方でオブジェクトを追跡することの１つの利点は、画像内に出現するオブジェクト又はオブジェクト群の３Ｄ再構築が行われる必要がないということである。３Ｄ再構築工程は、コンピュータビジョンコミュニティでは「ストラクチャーフロムモーション（ＳＦＭ：structure from motion）」と呼ばれ、ロボット工学コミュニティでは「スラム（ＳＬＡＭ：simultaneous localization and mapping）」と呼ばれ得る。３Ｄ再構築は、複数画像内の点を測定することと、カメラ姿勢及び点位置の最適化とを含み得る。この処理が回避されると、著しい計算時間が節約される。例えば、ＳＬＡＭ／ＳＦＭ計算を回避することは、画像内のオブジェクトが移動しているときに本方法が適用されることを可能にし得る。通常、ＳＬＡＭ／ＳＦＭ計算は静的環境を仮定する。
【０２８２】
[00302]  インターフェース２３１１は、別個の入力インターフェースと出力インターフェースとを含んでもよいし、両方の動作を支援する一体化インターフェースであってもよい。入力インターフェース及び出力インターフェースの例はディスプレイ、オーディオ装置、カメラ、タッチスクリーン、ボタン、及びマイクロホンを含み得る。適切なソフトウェア又はファームウェアの制御下で働くとき、プロセッサ２３０１はこのような最適化などのタスクの責任を負う。グラフィックプロセッサユニット（ＧＰＵ：graphical processor unit）などの様々な特別に構成された装置もまた、プロセッサ２３０１の代わりに又はプロセッサ２３０１に加えて使用され得る。
【０２８３】
[00303]  一実施形態では、システム２３００は、ニューラルネットを実現するように構成された専用ハードウェアを含み得る。例えば、特別なハードウェアチップ（ＮＰＵ（ニューラル処理ユニット：Neural Processing Unit）と呼ばれる）が採用され得る。ニューラルネットはまた、ＧＰＵ上に配備され得る。したがって、並列の複数のニューラルネットを実現することが可能であってよい。一実施形態では、ニューラルネットは、オブジェクト認識、セグメンテーション（オブジェクト又はオブジェクト部分に関連付けられた境界又は端を判断すること）、及び／又は画像データ内の骨格検出を実行するために実現され得る。一実施形態では、骨格検出及びセグメンテーションのためのニューラルネットは並列に実行され得る。例えば、ＧＰＵは骨格検出を行うニューラルネットを実行するために利用され得、ＮＰＵはボディセグメンテーションなどのセグメンテーションを行うニューラルネットを実行するために使用され得る、又は逆も同様。
【０２８４】
[00304]  完全な実施はまた、カスタムハードウェアでなされ得る。インターフェース２３１１は通常、無線又は有線通信インターフェースなどの１つ又は複数の通信インターフェースを介しネットワーク上でデータパケット又はデータセグメントを送受信するように構成される。装置が支援するインターフェースの特定例は、イーサネット（登録商標）インターフェース、フレームリレーインターフェース、ケーブルインターフェース、ＤＳＬインターフェース、トークンリングインターフェースなどを含む。
【０２８５】
[00305]  加えて、高速イーサネットインターフェース、ギガビットイーサネットインターフェース、ＡＴＭインターフェース、ＨＳＳＩインターフェース、ＰＯＳインターフェース、ＦＤＤＩインターフェースなどの様々な非常に高速なインターフェースが提供され得る。一般的に、これらのインターフェースは適切なメディアとの通信に適切なポートを含み得る。いくつかのケースでは、これらのインターフェースはまた、独立プロセッサを、そして幾つかの例では揮発性ＲＡＭを含み得る。独立プロセッサは、パケット交換、メディア制御及び管理などの通信集約的タスクを制御し得る。
【０２８６】
[00306]  特定の例示的実施形態によると、システム２３００は、データ及びプログラム命令を格納し、ローカルサイドキャッシュを維持するためにメモリ２３０３を使用する。プログラム命令は、例えばオペレーティングシステム及び／又は１つ又は複数のアプリケーションの動作を制御し得る。メモリ又はメモリ群はまた、受信されたメタデータ及びバッチ要求メタデータを格納するように構成され得る。
【０２８７】
[00307]  図１８では、システム２３００は、共通筐体により単一装置内に一体化され得る。例えば、システム２３００は、カメラシステム、処理システム、フレームバッファ、持続性メモリ、出力インターフェース、入力インターフェース、及び通信インターフェースを含み得る。様々な実施形態では、単一装置は、スマートフォンのような携帯装置、Google Glass（登録商標）のような拡張現実及びウェアラブル装置、又はMicrosoft Hololens（登録商標）のような複数のカメラを含む仮想現実ヘッドセットであり得る。他の実施形態では、システム２３００は部分的に一体化され得る。例えば、カメラシステムは遠隔カメラシステムであり得る。別の例として、ディスプレイは、デスクトップＰＣ上などで部品の残りと分離され得る。
【０２８８】
[00308]  頭部装着型ディスプレイのようなウェアラブルシステムの場合、上に説明したように、ユーザがマルチビューインタラクティブデジタルメディア表現を記録するのを助けるために仮想ガイドが提供され得る。加えて、仮想ガイドは、ウェアラブルシステム内のマルチビューインタラクティブデジタルメディア表現を視る方法をユーザに教えるのを助けるために提供され得る。例えば、仮想ガイドは、頭部装着型ディスプレイへ出力される合成画像内に提供され得る。このことは、「マルチビューインタラクティブデジタルメディア表現はユーザが物理的空間内であるやり方で移動すること（投影画像のまわりを歩くことなど）に応答して様々な角度から視ることができる」ということを示す。別の例として、仮想ガイドは、ユーザの頭の運動が様々なビューイング機能を可能にし得るということを示すために使用され得る。さらに別の例では、仮想ガイドは「様々なビューイング機能をインスタンス化するためにディスプレイの前で手が移動することができる経路」を示す可能性がある。
【０２８９】
[00309]  このような情報及びプログラム命令は本明細書において説明されたシステム／方法を実施するために採用され得るので、本発明は、本明細書において説明された様々な操作を実行するためのプログラム命令、状態情報などを含む有形な機械可読メディアに関する。機械可読メディアの例は、ハードディスク、フロッピーディスク、磁気テープ、ＣＤ−ＲＯＭディスク及びＤＶＤなどの光媒体；光ディスクなどの磁気光学的メディア、及び読み取り専用メモリ装置（ＲＯＭ：read-only memory）及びプログラマブルＲＯＭ装置（ＰＲＯＭ：programmable read-only memory）などプログラム命令を格納し実行するように特に構成されたハードウェア装置を含む。プログラム命令の例は、コンパイラにより生成されるような機械コードと、インタープリタを使用することによりコンピュータにより実行され得る高レベルコードを含むファイルとの両方を含む。
【０２９０】
[00310]  構成要素及び処理の多くは便宜上単数で上に説明されたが、複数の構成要素及び反復処理もまた本開示の技術を実施するために使用され得るということが同業者により理解されることとなる。
【０２９１】
[00311]  本開示はその特定実施形態を参照し具体的に示され説明されたが、開示された実施形態の形式及び詳細の変更が本発明の精神又は範囲から逸脱することなくなされ得ることは当業者により理解されることになる。したがって、本発明は本発明の精神及び範囲内に入るすべての変形形態及び等価物を含むように解釈されるということが意図されている。
【図１】
2020505665.tif 000003
【図２】
2020505665.tif 000004
【図３】
2020505665.tif 000005
【図４】
2020505665.tif 000006
【図５Ａ】
2020505665.tif 000007
【図５Ｂ】
2020505665.tif 000008
【図６Ａ】
2020505665.tif 000009
【図６Ｂ】
2020505665.tif 000010
【図６Ｃ】
2020505665.tif 000011
【図６Ｄ】
2020505665.tif 000012
【図７】
2020505665.tif 000013
【図８Ａ】
2020505665.tif 000014
【図８Ｂ】
2020505665.tif 000015
【図９Ａ】
2020505665.tif 000016
【図９Ｂ】
2020505665.tif 000017
【図１０】
2020505665.tif 000018
【図１１】
2020505665.tif 000019
【図１２】
2020505665.tif 000020
【図１３】
2020505665.tif 000021
【図１４Ａ】
2020505665.tif 000022
【図１４Ｂ】
2020505665.tif 000023
【図１４Ｃ】
2020505665.tif 000024
【図１５】
2020505665.tif 000025
【図１６】
2020505665.tif 000026
【図１７】
2020505665.tif 000027
【図１８】
2020505665.tif 000028
【手続補正書】
【提出日】令和1年7月12日(2019.7.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
プロセッサ、メモリ、カメラ、複数のセンサ、マイクロホン、及びタッチスクリーンディスプレイを含む携帯装置上で、
前記携帯装置上の入力インターフェースを介しオブジェクトのマルチビューインタラクティブデジタルメディア表現を生成する要求を受信することと；
前記携帯装置が軌道に沿って移動するときに前記携帯装置上の前記カメラからの複数のフレームを含むライブ映像ストリームを受信することであって、前記カメラの配向は、前記ライブ映像ストリーム内の前記オブジェクトが複数のカメラビューから捕捉されるように、前記軌道に沿って変化する、ことと、
前記オブジェクトの前記マルチビューインタラクティブデジタルメディア表現内の前記オブジェクトを修正する効果表現の選択を受信することと；
前記複数のフレームのうちの１つ又は複数のフレームに対して、前記１つ又は複数のフレーム内の前記オブジェクト上の位置を示す初期骨格を生成することであって、前記効果表現は、前記効果表現が前記オブジェクトへ取り付けられて出現するように、前記位置のうちの１つ又は複数の位置へ固定される、ことと、
前記１つ又は複数のフレームに関し、前記オブジェクトと元の背景間の境界を含む初期セグメンテーションを生成することと；
前記１つ又は複数のフレームに関し、前記初期骨格及び前記初期セグメンテーションに基づき、前記効果表現のプレビューを生成することであって、前記プレビューは、前記オブジェクトを修正する前記効果表現を有する１つ又は複数の拡張されたフレームを含む、ことと；
前記ライブ映像ストリームが、前記マルチビューインタラクティブデジタルメディア表現のために、前記マルチビューインタラクティブデジタルメディア表現の生成に先立って記録されている間に、前記効果表現の前記プレビューを前記タッチスクリーンディスプレイへ出力することと、を含む方法。
【請求項２】
前記オブジェクトは人である、請求項１に記載の方法。
【請求項３】
前記初期骨格は、関節の位置を含む前記人の位置を示す、請求項２に記載の方法。
【請求項４】
前記人の前記位置に基づき前記人の姿勢を判断することをさらに含む請求項３に記載の方法。
【請求項５】
前記人の前記姿勢を判断することは、前記人の前記位置と、姿勢のライブラリとを比較することに基づく、請求項４に記載の方法。
【請求項６】
前記人の前記判断された姿勢は、人体の一部分の、前記人体の別の部分を基準とした深さを判断するために使用される、請求項４に記載の方法。
【請求項７】
前記位置は深さデータを含む、請求項１乃至６のいずれか一項に記載の方法。
【請求項８】
プロセッサ、メモリ、カメラ、複数のセンサ、マイクロホン、及びタッチスクリーンディスプレイを含む携帯装置上で、
前記携帯装置上の入力インターフェースを介しオブジェクトのマルチビューインタラクティブデジタルメディア表現（ＭＶＤＩＭＲ）を生成する要求を受信することであって、前記要求は、１）前記オブジェクトを取り囲む背景を拡張する効果表現、２）構造により前記オブジェクトを強化する効果表現、又は３）それらの組み合わせの効果表現、の選択を含む、ことと；
前記携帯装置が軌道に沿って移動するときに前記携帯装置上の前記カメラからの複数のフレームを含むライブ映像ストリームを記録することであって、前記カメラの配向は、前記映像ストリーム内の前記オブジェクトが複数のカメラビューから捕捉されるように、前記軌道に沿って変化する、ことと、
前記ライブ映像ストリームが記録されている間、前記オブジェクトを含む第１のフレームの各フレームを前記ＭＶＩＤＭＲ内で利用するために、前記複数のフレームの中から前記第１のフレームを選択することと、
前記ライブ映像ストリームが記録されている間に、前記第１のフレームの各フレームの中のどこで前記選択した効果表現を適用するかを判断するために、前記第１のフレームのフレーム毎に第１の骨格検出と第１のセグメンテーションとを生成することと、
前記第１のフレームが選択された後、
ｉ）前記オブジェクトの位置、ｉｉ）前記オブジェクトのスケール、及びｉｉｉ）第２のフレームを生成するために前記第１のフレーム間で発生する前記オブジェクトの配向の変動をスムージングするために、画像安定化を前記第１のフレームに対し行うことと、
前記第２のフレームと、前記第１のフレーム上の前記第１の骨格検出及び前記第１のセグメンテーションからの出力とに基づき、前記第２のフレームの各フレーム内のどこで前記選択した効果表現を適用すべきかを判断するために、前記第２のフレームのフレーム毎に第２の骨格検出と第２のセグメンテーションとを生成することと、
前記第２の骨格検出及び前記第２のセグメンテーションに基づき、第３のフレームを生成するために、前記選択した効果表現により前記第２のフレームの各フレームを拡張することと、
前記第３のフレームを使用して前記ＭＶＩＤＭＲを前記ディスプレイへ出力することであって、前記ＭＶＩＤＭＲは、前記オブジェクトと前記選択した効果表現とが複数の異なる視角から表示されるように、前記オブジェクトと前記選択した効果表現とを示す、ことと、
を含む方法。
【請求項９】
前記オブジェクトを取り囲む前記背景は、元の背景が新しい背景により置換されるように拡張される、請求項８に記載の方法。
【請求項１０】
前記新しい背景は、前記オブジェクトとは異なる複数の第１のオブジェクトを含み、前記複数の第１のオブジェクトは、前記第３のフレーム内の前記複数の異なる視角から見られる、請求項９に記載の方法。
【請求項１１】
前記第３のフレームは、前記元の背景が前記新しい背景により徐々に置換される過程を示す、請求項９に記載の方法。
【請求項１２】
前記第３のフレームは、前記新しい背景だけを示す、請求項９に記載の方法。
【請求項１３】
前記構造は、前記第３のフレームを生成するためにレンダリングされるとき前記背景の一部が前記構造により遮蔽されるように見えるように、前記オブジェクトから伸びる、請求項８乃至１２のいずれか一項に記載の方法。
【請求項１４】
前記構造は、前記第３のフレームを生成するためにレンダリングされるとき前記オブジェクトの一部が前記第３のフレーム内の１つ又は複数のフレームにおいて前記構造により遮蔽されるように見えるように、前記オブジェクトから伸びる、請求項８乃至１２のいずれか一項に記載の方法。
【請求項１５】
前記構造は、前記第３のフレームを生成するためにレンダリングされるとき前記構造の一部が前記第３のフレーム内の１つ又は複数のフレームにおいて前記オブジェクトにより遮蔽されるように見えるように、前記オブジェクトから伸びる、請求項８乃至１２のいずれか一項に記載の方法。
【国際調査報告】
2020505665.tif 000029
2020505665.tif 000030