(57)【要約】【課題】全方位ビデオに対し個人化された被写界深度知覚を提供する方法、装置およびコンピュータ・プログラム製品。【解決手段】プロセッサにより、全方位キャプチャ・デバイスからコンテンツの３次元再構成を生成すること、前記全方位キャプチャ・デバイスのコンテンツに関連したエンド・ユーザ機器のカメラ姿勢を決定すること、前記エンド・ユーザ機器の前記カメラ姿勢に部分的に基づいて、前記コンテンツの中にある関心対象を特定すること、前記関心対象が合焦状態にある状態で、前記コンテンツのための人為的被写界深度を生成すること、および前記関心対象と前記人為的被写界深度に基づいて、個人化されたコンテンツのビューが提供されるようにすること、を含んだ方法が提供される。これに対応する装置やコンピュータ・プログラム製品もまた、提供される。【選択図】図３
2017041242.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサにより、全方位キャプチャ・デバイス からコンテンツの３次元再構成を生成すること、
前記全方位キャプチャ・デバイスのコンテンツに関連したエンド・ユーザ機器のカメラ姿勢を決定すること、
前記エンド・ユーザ機器の前記カメラ姿勢に部分的に基づいて、前記コンテンツの中にある関心対象を特定すること、
前記関心対象が合焦状態にある状態で、前記コンテンツのための人為的被写界深度を生成すること、および
前記関心対象と前記人為的被写界深度に基づいて、個人化されたコンテンツのビューが提供されるようにすること、を有する方法。
【請求項２】
更に、前記関心対象周りのフレーミングを決め、前記コンテンツの中の１つまたはそれ以上の物体への前記人為的被写界深度の適用が意味的にまとまったものであることを確実にすることを有する請求項１に記載の方法。
【請求項３】
更に、前記カメラ姿勢を決めるために使用する前記エンド・ユーザ機器からのセンサ・データや画像データを受けることを有する請求項１に記載の方法。
【請求項４】
更に、前記人為的被写界深度を生成する際に、前記３次元再構成からの深度情報を使用することを有する請求項１に記載の方法。
【請求項５】
前記人為的被写界深度を生成することは、前記関心対象に焦点を合せ続けることと、関心対象からある距離を隔てたその他の物をぼかすこととを有する請求項１に記載の方法。
【請求項６】
更に、前記全方位コンテンツからの再構成された三次元要素を、カメラ姿勢に基づいてエンド・ユーザ機器のカメラ・ビューにマッピングすることを有する請求項１に記載の方法。
【請求項７】
関心対象を特定することは、前記エンド・ユーザ機器の前記カメラ・ビューで最も中心にある物体を選択すること、あるいは、前記エンド・ユーザ機器のユーザからの指示を受けとることを有する請求項１に記載の方法。
【請求項８】
前記センサ・データは、磁力計データ、加速計データ、ＧＰＳデータの内の１つ以上である請求項１に記載の方法。
【請求項９】
更に、前記個人化されたコンテンツ・ビューを生成する際に使用するためのエンド・ユーザ機器のコンテンツ・キャプチャ特性を受けとることを有し、前記コンテンツ・キャプチャ特性は、色相の設定、明るさの設定、露出の設定の内の１つ以上を含む請求項１に記載の方法。
【請求項１０】
少なくとも１つのプロセッサと、コンピュータ・プログラム・インストラクションを含んだ少なくとも１つのメモリとを有する装置において、前記少なくとも１つのメモリと前記コンピュータ・プログラム・インストラクションは、前記少なくとも１つのプロセッサと共に、前記装置に少なくとも、
全方位キャプチャ・デバイスからコンテンツの３次元再構成を生成させ、
前記全方位キャプチャ・デバイスのコンテンツに関連したエンド・ユーザ機器のカメラ姿勢を決定させ、
前記エンド・ユーザ機器の前記カメラ姿勢に部分的に基づいて、前記コンテンツの中にある関心対象を特定させ、
前記関心対象が合焦状態にある状態で、前記コンテンツのための人為的被写界深度を生成させ、更に、
前記関心対象と前記人為的被写界深度に基づいて、個人化されたコンテンツのビューが提供されるようにさせる装置。
【請求項１１】
更に、前記少なくとも１つのメモリと前記コンピュータ・プログラム・インストラクションが、前記少なくとも１つのプロセッサと共に、前記装置に対し、少なくとも、前記関心対象周りのフレーミングを決めさせ、前記コンテンツの中の１つまたはそれ以上の物体への前記人為的被写界深度の適用が意味的にまとまったものであることを確実にすることを有する請求項１０に記載の装置。
【請求項１２】
更に、前記少なくとも１つのメモリと前記コンピュータ・プログラム・インストラクションが、前記少なくとも１つのプロセッサと共に、前記装置に対し、少なくとも、前記カメラ姿勢を決める際に用いる前記エンド・ユーザ機器からのセンサ・データや画像データを受けとらせることを有する請求項１０に記載の装置。
【請求項１３】
更に、前記少なくとも１つのメモリと前記コンピュータ・プログラム・インストラクションが、前記少なくとも１つのプロセッサと共に、前記装置に対し、少なくとも、前記人為的被写界深度を生成する際に、前記３次元再構成からの深度情報を使用させることを有する請求項１０に記載の装置。
【請求項１４】
前記人為的被写界深度を生成することは、前記関心対象に焦点を合せ続けることと、関心対象からある距離を隔てたその他の物をぼかすこととを有する請求項１０に記載の装置。
【請求項１５】
更に、前記少なくとも１つのメモリと前記コンピュータ・プログラム・インストラクションが、前記少なくとも１つのプロセッサと共に、前記装置に対し、少なくとも、前記全方位コンテンツからの再構成された三次元要素を、カメラ姿勢に基づいてエンド・ユーザ機器のカメラ・ビューにマッピングさせることを有する請求項１０に記載の装置。
【請求項１６】
関心対象を特定することは、前記エンド・ユーザ機器の前記カメラ・ビューで最も中心にある物体を選択すること、あるいは、前記エンド・ユーザ機器のユーザからの指示を受けとることを有する請求項１０に記載の装置。
【請求項１７】
前記センサ・データは、磁力計データ、加速計データ、ＧＰＳデータの内の１つ以上である請求項１０に記載の装置。
【請求項１８】
更に、前記少なくとも１つのメモリと前記コンピュータ・プログラム・インストラクションが、前記少なくとも１つのプロセッサと共に、前記装置に対し、少なくとも、前記個人化されたコンテンツ・ビューを生成する際に用いるエンド・ユーザ機器のコンテンツ・キャプチャ特性を受けさせることを有し、前記コンテンツ・キャプチャ特性は、色相の設定、明るさの設定、露出の設定の内の１つ以上を含む請求項１０に記載の装置。
【請求項１９】
コンピュータで使用するために具現化されたコンピュータ・プログラム・インストラクションを有する、少なくとも１つの固定コンピュータ読込み可能記憶媒体を有するコンピュータ・プログラム製品であって、前記コンピュータ・プログラム・インストラクションは、実行時、前記コンピュータに少なくとも、
全方位キャプチャ・デバイスからコンテンツの３次元再構成を生成させ、
前記全方位キャプチャ・デバイスのコンテンツに関連したエンド・ユーザ機器のカメラ姿勢を決定させ、
前記エンド・ユーザ機器の前記カメラ姿勢に部分的に基づいて、前記コンテンツの中にある関心対象を特定させ、
前記関心対象が合焦状態にある状態で、前記コンテンツのための人為的被写界深度を生成させ、そして
前記関心対象と前記人為的被写界深度に基づいて、個人化されたコンテンツのビューが提供されるようにさせる、各プログラム・インストラクションを有するコンピュータ・プログラム製品。
【請求項２０】
更に、実行時、前記コンピュータに、少なくとも、前記関心対象周りのフレーミングを決めさせ、前記コンテンツの中の１つまたはそれ以上の物体への前記人為的被写界深度の適用が意味的にまとまったものであることを確実にするプログラム・インストラクションを有する請求項１９に記載のコンピュータ・プログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明の例示的実施形態は、一般に没入型コンテンツ・キャプチャ・デバイスと全方位ビデオの記録に関するものである。
【背景技術】
【０００２】
例えば、全方位コンテンツ・キャプチャ（ＯＣＣ、Ｏｍｎｉｄｉｒｅｃｔｉоｎａｌ  Ｃоｎｔｅｎｔ  Ｃａｐｔｕｒｅ）デバイスのような没入型コンテンツ・キャプチャ・デバイス は、全方位３６０度ビデオの録画を可能にする。例えばスポーツ・イベントにおいて全方位カメラを設置することは、遠く離れた視聴者を、全方位のビデオ素材や全方位ビデオ素材の一部に接近させることになる。全方位ビデオ素材からのコンテンツは、例えばバーチャルリアリティ（ＶＲ、Ｖｅｒｔｕａｌ  ｒｅａｌｉｔｙ）のゴーグルで見ることもでき、あるいは、その一部を標準スクリーン用としてフレーミングし、普通の映像として見ることができる。
【０００３】
イベントからの全方位ビデオ素材を遠く離れたスクリーン上で楽しめる一方、コンテンツ自体は、映像の持つ大きな被写界深度のせいで味気のないように見えるかもしれない。いくつかの場合において、視聴者によってはコンテンツの中で関心のある特定の人や物を重視したり、それに集中したりする場合もある。例えば、サッカーの試合で、視聴者は特定のプレイヤーを追い続けたいと願う場合もある。通常のカメラでは、視聴目標によりも近い物や視聴目標から遠く離れた物がピンボケとなるような形で視聴目標に焦点を合せることができるが、注目の中心が撮影時に未知の状態のコンテンツでは不可能である。
【発明の概要】
【０００４】
本願発明の実施形態は、過焦点でキャプチャされた全方位ビデオおよび被写界深度／カメラ特徴的様相を個人化するユーザ・コントロールを提供するものである。
【０００５】
したがって、本願発明の例示的実施形態によれば、全方位ビデオに対し個人化された被写界深度知覚を提供する方法、装置およびコンピュータ・プログラム製品が提供される。
【０００６】
一実施形態では、少なくとも、プロセッサにより、全方位キャプチャ・デバイス からコンテンツの３次元再構成を生成すること、前記全方位キャプチャ・デバイス のコンテンツに関連したエンド・ユーザ機器のカメラ姿勢を決定すること、前記エンド・ユーザ機器の前記カメラ姿勢に部分的に基づいて、前記コンテンツの中にある関心対象を特定すること、前記関心対象が合焦状態にある状態で、前記コンテンツのための人為的被写界深度を生成すること、および前記関心対象と前記人為的被写界深度に基づいて、個人化されたコンテンツのビューが提供されるようにすること、を含んだ方法が提供される。
【０００７】
いくつかの実施形態において、前記方法は更に、前記関心対象周りのフレーミングを決めることを有し、前記コンテンツの中の１つまたはそれ以上の物への前記人為的被写界深度の適用が意味的にまとまったものであることを確実にする。
【０００８】
いくつかの実施形態において、前記方法は更に、前記カメラ姿勢を決めるために使用する前記エンド・ユーザ機器からのセンサ・データや画像データを受けることを有する。
【０００９】
いくつかの実施形態において、前記方法は更に、前記人為的被写界深度を生成する際に、前記３次元再構成からの深度情報を使用することを有する。
【００１０】
いくつかの実施形態において、前記人為的被写界深度を生成することは、前記関心対象に焦点を合せ続けることと、関心対象からある距離を隔てたその他の物をぼかすこととを有する。
【００１１】
いくつかの実施形態において、前記方法は更に、前記全方位コンテンツからの再構成された三次元要素を、カメラ姿勢に基づいてエンド・ユーザ機器のカメラ・ビューにマッピングすることを有する。
【００１２】
いくつかの実施形態において、関心対象を特定することは、前記エンド・ユーザ機器の前記カメラ・ビューで最も中心にある物体を選択すること、あるいは、前記エンド・ユーザ機器のユーザからの指示を受けとることを有する。
【００１３】
いくつかの実施形態において、前記センサ・データは、磁力計データ、加速計データ、ＧＰＳデータの内の１つ以上である。
【００１４】
いくつかの実施形態において、前記方法は更に、前記個人化されたコンテンツ・ビューを生成する際に使用するためのエンド・ユーザ機器のコンテンツ・キャプチャ特性を受けとることを有し、前記コンテンツ・キャプチャ特性は、色相の設定、明るさの設定、露出の設定の内の１つ以上を含む。
【００１５】
別の実施形態において、少なくとも１つのプロセッサと、コンピュータ・プログラム・インストラクションを含んだ少なくとも１つのメモリとを有する装置であって、前記少なくとも１つのメモリと前記コンピュータ・プログラム・インストラクションは、前記少なくとも１つのプロセッサと共に、前記装置に少なくとも、全方位キャプチャ・デバイス からコンテンツの３次元再構成を生成させ、前記全方位キャプチャ・デバイス のコンテンツに関連したエンド・ユーザ機器のカメラ姿勢を決定させ、前記エンド・ユーザ機器の前記カメラ姿勢に部分的に基づいて、前記コンテンツの中にある関心対象を特定させ、前記関心対象が合焦状態にある状態で、前記コンテンツのための人為的被写界深度を生成させ、更に、前記関心対象と前記人為的被写界深度に基づいて、個人化されたコンテンツのビューが提供されるようにさせる装置が提供される。
【００１６】
いくつかの実施形態において、前記装置は更に、前記少なくとも１つのメモリと前記コンピュータ・プログラム・インストラクションが、前記少なくとも１つのプロセッサと共に、前記装置に対し、少なくとも、前記関心対象周りのフレーミングを決めさせることを有し、前記コンテンツの中の１つまたはそれ以上の物への前記人為的被写界深度の適用が意味的にまとまったものであることを確実にする。
【００１７】
いくつかの実施形態において、前記装置は更に、前記少なくとも１つのメモリと前記コンピュータ・プログラム・インストラクションが、前記少なくとも１つのプロセッサと共に、前記装置に対し、少なくとも、前記カメラ姿勢を決める際に用いる前記エンド・ユーザ機器からのセンサ・データや画像データを受けとらせることを有する。
【００１８】
いくつかの実施形態において、前記装置は更に、前記少なくとも１つのメモリと前記コンピュータ・プログラム・インストラクションが、前記少なくとも１つのプロセッサと共に、前記装置に対し、少なくとも、前記人為的被写界深度を生成する際に、前記３次元再構成からの深度情報を使用させることを有する。
【００１９】
いくつかの実施形態において、前記人為的被写界深度を生成することは、前記関心対象に焦点を合せ続けることと、関心対象からある距離を隔てたその他の物をぼかすこととを有する。
【００２０】
いくつかの実施形態において、前記装置は更に、前記少なくとも１つのメモリと前記コンピュータ・プログラム・インストラクションが、前記少なくとも１つのプロセッサと共に、前記装置に対し、少なくとも、前記全方位コンテンツからの再構成された三次元要素を、カメラ姿勢に基づいてエンド・ユーザ機器のカメラ・ビューにマッピングさせることを有する。
【００２１】
いくつかの実施形態において、関心対象を特定することは、前記エンド・ユーザ機器の前記カメラ・ビューで最も中心にある物体を選択すること、あるいは、前記エンド・ユーザ機器のユーザからの指示を受けとることを有する。
【００２２】
いくつかの実施形態において、前記センサ・データは、磁力計データ、加速計データ、ＧＰＳデータの内の１つ以上である。
【００２３】
いくつかの実施形態において、前記装置は更に、前記少なくとも１つのメモリと前記コンピュータ・プログラム・インストラクションが、前記少なくとも１つのプロセッサと共に、前記装置に対し、少なくとも、前記個人化されたコンテンツ・ビューを生成する際に用いるエンド・ユーザ機器のコンテンツ・キャプチャ特性を受けさせることを有し、前記コンテンツ・キャプチャ特性は、色相の設定、明るさの設定、露出の設定の内の１つ以上を含む。
【００２４】
別の実施形態において、コンピュータで使用するために具現化されたコンピュータ・プログラム・インストラクションを有する、少なくとも１つの固定コンピュータ読込み可能記憶媒体を有するコンピュータ・プログラム製品であって、前記コンピュータ・プログラム・インストラクションは、実行時、前記コンピュータに少なくとも、全方位キャプチャ・デバイス からコンテンツの３次元再構成を生成させ、前記全方位キャプチャ・デバイス のコンテンツに関連したエンド・ユーザ機器のカメラ姿勢を決定させ、前記エンド・ユーザ機器の前記カメラ姿勢に部分的に基づいて、前記コンテンツの中にある関心対象を特定させ、前記関心対象が合焦状態にある状態で、前記コンテンツのための人為的被写界深度を生成させ、そして前記関心対象と前記人為的被写界深度に基づいて、個人化されたコンテンツのビューが提供されるようにさせる、各プログラム・インストラクションを有するコンピュータ・プログラム製品が提供される。
【００２５】
いくつかの実施形態において、前記コンピュータ・プログラム製品は更に、実行時、前記コンピュータに、少なくとも、前記関心対象周りのフレーミングを決めさせ、前記コンテンツの中の１つまたはそれ以上の物への前記人為的被写界深度の適用が意味的にまとまったものであることを確実にするプログラム・インストラクションを有する。
【００２６】
いくつかの実施形態において、前記コンピュータ・プログラム製品は更に、実行時、前記コンピュータに、少なくとも、前記カメラ姿勢を決める際に用いる前記エンド・ユーザ機器からのセンサ・データや画像データを受けとらせるプログラム・インストラクションを有する。
【００２７】
いくつかの実施形態において、前記コンピュータ・プログラム製品は更に、実行時、前記コンピュータに、少なくとも、前記人為的被写界深度を生成する際に、前記３次元再構成からの深度情報を使用させるプログラム・インストラクションを有する。
【００２８】
いくつかの実施形態において、前記人為的被写界深度を生成することは、前記関心対象に焦点を合せ続けることと、関心対象からある距離を隔てたその他の物をぼかすこととを有する。
【００２９】
いくつかの実施形態において、前記コンピュータ・プログラム製品は更に、実行時、前記コンピュータに、少なくとも、前記全方位コンテンツからの再構成された三次元要素を、カメラ姿勢に基づいてエンド・ユーザ機器のカメラ・ビューにマッピングさせるプログラム・インストラクションを有する。
【００３０】
いくつかの実施形態において、関心対象を特定することは、前記エンド・ユーザ機器の前記カメラ・ビューで最も中心にある物体を選択すること、あるいは、前記エンド・ユーザ機器のユーザからの指示を受けとることを有する。
【００３１】
いくつかの実施形態において、前記センサ・データは、磁力計データ、加速計データ、ＧＰＳデータの内の１つ以上である。
【００３２】
いくつかの実施形態において、前記コンピュータ・プログラム製品は更に、実行時、前記コンピュータに、少なくとも、前記個人化されたコンテンツ・ビューを生成する際に用いるエンド・ユーザ機器のコンテンツ・キャプチャ特性を受けさせるプログラム・インストラクションを有し、前記コンテンツ・キャプチャ特性は、色相の設定、明るさの設定、露出の設定の内の１つ以上を含んでいる。
【００３３】
このようにして一般用語で本願発明の特定の実施形態を説明したが、以下、必ずしも一定の縮尺で描かれていない添付図面を参照する。
【図面の簡単な説明】
【００３４】
【図１】本願発明の例示的実施形態にしたがって具体的に構成することができる装置のブロック図である。
【図２Ａ】本願発明の例示的実施形態による、個人化された素材をキャプチャする例を示す図である。
【図２Ｂ】本願発明の例示的実施形態による、個人化された素材をキャプチャする例を示す図である。
【図３】本願発明の例示的実施形態による、システム例の構成要素の簡略図である。
【図４】装置により本願発明の例示的実施形態にしたがって実行された全方位ビデオ・コンテンツから個人化された素材を生む処理を説明するフローチャートである。
【発明を実施するための形態】
【００３５】
全てではないが本願発明のいくつかの実施形態を示した添付図面を参照しながら、以下、本願発明の実施形態を詳細に説明する。実際、本願発明の様々な実施形態が、多くの様々な形態で実施することができ、本願明細書に記載された実施形態に限定されると解釈されるべきではなく、むしろこれらの実施形態は、本開示が適用可能な法的要件を満たすことになるように提供されたものである。全体を通し、同様の参照番号は類似した要素を指している。本願明細書で使用したように、用語“データ”、“コンテンツ”、“情報”およびこれらに類似した用語は、本願発明の実施形態にしたがって送信、受信および／または格納可能なデータを指すにあたり、互換性をもって使用することが可能である。即ち、このような用語の使用は、本願発明の実施形態の精神および範囲を限定するものと解釈されるべきではない。
【００３６】
加えて、本願明細書で使用したように“回路”なる用語は、
（ａ）ハードウエアだけの回路実装（例えば、アナログおよび／またはデジタル回路の実装）、
（ｂ）回路と、装置に本願明細書に記載した１つ、またはそれ以上の機能を実行させるべく協働する１つ、またはそれ以上のコンピュータ読込み可能メモリに格納されたソフトウエアおよび／またはファームウエアからなるコンピュータ・プログラム製品との組合わせ、および
（ｃ）ソフトウエアやファームウエアが物理的に存在しなくとも、動作のためにソフトウエアやファームウエアを必要とする、例えばマイクロプロセッサまたはマイクロプロセッサの一部のような回路、を引用する。“回路”のこの定義は、特許請求の範囲を含む本願明細書でのこの用語のすべての使用に適用する。更なる例として、本願明細書で使用したように、用語“回路”はまた、１つ、またはそれ以上のプロセッサおよび／またはその一部、およびそれに付随するソフトウエアおよび／またはファームウエアを有する実装体をも含んでいる。別の例としては、本願明細書で使用された用語“回路”はまた、携帯電話のためのベースバンド集積回路やアプリケーションプロセッサ集積回路、あるいは、サーバー、セルラーネットワークデバイス、その他のネットワークデバイスおよび／または他のコンピュータ・デバイスにおける同様の集積回路をも含んでいる。
【００３７】
本願明細書で定められたように、持続性物理的記憶媒体を指す“コンピュータ読み取り可能記憶媒体”（例えば、揮発性または非揮発性メモリ装置）は、電磁信号を指す“コンピュータ読み取り可能伝送媒体”と識別される可能性がある。
【００３８】
本願発明の例示的実施形態によれば、全方位ビデオのために個人化された被写界深度知覚を提供するため、方法、装置およびコンピュータ・プログラム製品が提供される。
【００３９】
全方位ビデオ・コンテンツは、視聴者が自由に自分の視線方向を変え、その時々で自分自身が注目するシーンの一部を選択するのを可能にする。しかるに、コンテンツは通常、その性質上に過焦点であるため、多少なりともあらゆる物は合焦状態にある。典型的な３６０度カメラで使用される複数のレンズは僅かに異なる視点を有し、マルチビューステレオ再構成によって、記録されるシーンの３次元（３Ｄ、ｔｈｒｅｅ  ｄｉｍｅｎｓｉоｎａｌ）モデルを構築するのを可能にする。モバイル機器におけるセンサーベースの視覚追跡は、既知の３次元視覚基準に対するモバイル機器のカメラ姿勢を決定するために適用することができる。
【００４０】
本願発明の実施形態は、他の点では均一（即ち、あらゆる視聴者にとって均一）なコンテンツのユーザ主導の個人化を提供するものである。実施形態は、ユーザの視野および／または方向を追跡する“ユニーク”視野を生成することを可能にする。実施形態では、他の点では過焦点キャプチャと全ユーザにとって均一なコンテンツから、個人化されたキャプチャの印象を与えるべく、“カスタマイズ”された被写界深度（ＤＯＦ、ｄｅｐｔｈ  оｆ  ｆｉｅｌｄ）知覚とキャプチャ・デバイス 特性を生み出している。
【００４１】
本願発明の実施形態は、１つの事象においてユーザが自分自身のモバイル機器を使って全方位キャプチャ・デバイス （例えば、Ｏｍｎｉｄｉｒｅｃｔｉоｎａｌ  Ｃоｎｔｅｎｔ  Ｃａｐｔｕｒｅ（ＯＣＣ）デバイス）のストリームにアクセスし、視聴者にとって関心のある対象に焦点が合うように適用された人為的被写界深度を伴う個人化されたキャプチャ を生成するのを可能にする。本願発明の実施形態では、このことは以下のステップによって達成される、
１． ＯＣＣデバイスからのマルチビュー画像を使ったシーンのリアルタイム３次元再構成を作ること。
２． 全方位コンテンツに対するモバイル機器のカメラ姿勢を決定すること。
３． モバイル機器のエンド・ユーザの関心対象を特定すること。
４． モバイル機器ユーザの関心の対象を合焦状態にし、より近い、かつより遠いシーン要素をぼやけた状態にし、前記３次元深度情報を用いて全方位コンテンツのための人為的被写界深度を生成すること。
先の過焦点コンテンツは、ユーザに影響された被写界深度を伴って、モバイル機器のエンド・ユーザの個別の視聴体験にマッチするように変換される。このコンテンツは、ＶＲ装置や従来のディスプレイ上で同コンテンツをライブの状態、あるいは、ライブ後の状態でコンテンツを見ているユーザにストリーミングすることができる。
【００４２】
このように、本願発明の実施形態は、イベントに対し、没入型コンテンツ・キャプチャ・デバイス （任意タイプのＯＣＣデバイス）に加え、第２のカメラアングルを提供することができ、没入型コンテンツ・キャプチャ・デバイス によって実行される、所謂“定番型”過焦点コンテンツ・キャプチャの個人化バージョンを生成するのを助けることができる。
【００４３】
本願発明のいくつかの実施形態において、エンド・ユーザデバイス提供のカメラアングルに基づいて決定された人為的被写界深度のカスタマイズに加え、実施形態は、ビューの中に、特定された関心対象（ＯＯＩ、оｂｊｅｃｔ  оｆ  ｉｎｔｅｒｅｓｔ）の周りにフレーミングすることの決定を含んでいる。これことは、それに限定されるものではないが、被写界深度は、そのシーンの中で意味の通った１つまたはそれ以上の物体に対して被写界深度が適用されることを確実にすることを含んでいる。例えば、人為的被写界深度は、同じ深度で人物全体を含まなければならず、顔の一部分に対してのみ深度知覚を“強める”ものであってはならない。
【００４４】
本願発明のいくつかの実施形態では、人為的被写界深度によって強められかつ個人化されたコンテンツバージョンを生成しつつ、エンド・ユーザのモバイル機器カメラ特性が継承される。これらのコンテンツのキャプチャ特性は、色相、露出等のセッティングに関係したカメラ設定とすることができる。
【００４５】
本願発明のいくつか実施形態では、エンド・ユーザモバイル機器は、後処理プロセスとして、センサ・データおよび／または画像データを送信する。このため、上述したプロセスは、より高い許容可能な処理遅延を伴ってイベント後に実行される。このようにして、エンド・ユーザ用としてカスタマイズされた複数のコンテンツバージョンを生成することになる。
【００４６】
したがって、本願発明の実施形態は、通常のユーザが、自動的にハイエンドのプロ仕様のキャプチャ・デバイスからの全方位ビデオ素材を後処理するのを可能にし、ビデオ・コンテンツの中で関心対象を強調するような個人化された素材を作るかもしれない。様々な実施形態にあっては、この個人化された全方位のコンテンツ素材は、イベント中に（例えば、ライブ・ストリーミング用として）利用できるもの、あるいは、イベント後に（例えば、ポスト・イベント処理を伴って）利用できるものであり、より高い多様性と個人化を伴って複数のユーザにより消費することができる。
【００４７】
図１は、本願発明の実施形態で使用することができ、かつ以下に説明する図４に記載した処理の１つ、またはそれ以上を実行することができる装置１００の例を示している。これに関して、装置は、モバイル機器１０４やエンド・ユーザデバイス１１０、あるいは、図１のコンテンツサーバ１０６によって具現化することができる。
【００４８】
また、図１は装置１００の構成の一例を示しているが、数多くの他の構成もまた、本願発明の実施形態を実現するために使えることに留意されたい。いくつかの実施形態では、デバイスや要素が互いに通信状態にあるものとして示されているが、これ以降、そのようなデバイスや要素は、同じデバイスや要素の中で具現化され得るものとみなされるべきであり、ひいては、通信した状態で示されているデバイスや要素は、二者択一的に同じデバイスや要素の一部分であると理解されたい。
【００４９】
図１を参照するに、一例示的実施形態による装置１００は、プロセッサ１０２、メモリ１０２、通信インターフェース回路１０６およびユーザ・インターフェース回路１０６を備えることができるか、さもなければこれらの１つまたはそれ以上と通信することができる。
【００５０】
いくつかの実施形態では、プロセッサ（および／またはコプロセッサ、あるいは、プロセッサをアシストしたり、さもなければプロセッサと連携状態にある、その他の処理回路）は、装置の構成要素間で情報を伝達するバスを介して記憶装置と通信することができる。記憶装置は、例えば１つ、またはそれ以上の揮発性および／または不揮発性メモリのような一時的でないメモリを備えることができる。言い換えるならば、例えば、記憶装置は、マシン（例えばプロセッサのようなコンピュータ・デバイス）によって取り戻せる可能性のあるデータ（例えば、ビット）を格納するように構成されたゲートを有する電子ストレージデバイス（例えば、コンピュータ読み取り可能なストレージ媒体）とすることができる。記憶装置は、本願発明の例示的実施形態にしたがって装置が様々な機能を実行できるようするための情報、データ、コンテンツ、アプリケーション、インストラクション、またはそれに類する物を格納するように構成することができる。例えば、記憶装置は、プロセッサ１０２による処理のための入力データをバッファリングするように構成される。これに加えるか、あるいは、これに代わるようにして記憶装置は、プロセッサによる実行のためのインストラクションを格納するように構成される。
【００５１】
いくつかの実施形態では、装置１００はチップやチップセットとして具現化することができる。言い換えれば、装置は、構造組立品（例えば、基板）上に材料、構成部品および配線を備えた１つ、またはそれ以上の物理的パッケージ（例えば、チップ）を有することができる。構造組立品とすることで、その上に設けられた部品回路に対し、物理的強度、サイズの維持および／または電気的相互作用の制限を提供することができる。したがって、装置は、場合によっては単一チップ上で、あるいは、単一の“システムオンチップ”として本願発明の実施形態を実現するように構成することができる。また、場合によっては、チップやチップセットは、本願明細書に記載される機能性を提供する１つ、またはそれ以上の処理を実行するための手段を構成することができる。
【００５２】
プロセッサ１０２は数多くの様々な形で具現化することができる。例えば、プロセッサは、１つ、またはそれ以上の様々なハードウエア処理手段の形で具現化することができ、そのハードウエア処理手段としては、例えばコプロセッサ、マイクロプロセッサ、コントローラ、デジタル信号プロセッサ（ＤＳＰ、ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒоｃｅｓｓоｒ）、ＤＳＰ付きまたはＤＳＰ無しの処理要素、または集積回路を備えたその他数多くの処理回路があり、集積回路としては、例えばＡＳＩＣ（特定用途向け集積回路、ａｐｐｌｉｃａｔｉоｎ  ｓｐｅｃｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）、ＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ、ｆｉｅｌｄ  ｐｒоｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）、マイクロコントローラ・ユニット（ＭＣＵ、ｍｉｃｒоｃоｎｔｒоｌｌｅｒ  ｕｎｉｔ）、ハードウエア・アクセラレータ、専用コンピュータ・チップ、またはそれに類する物がある。また、いくつかの実施形態において、プロセッサは、それぞれ別個に実行するように構成された１つ、またはそれ以上の処理コアを備えることができる。マルチコア・プロセッサは、単一の物理パッケージ内での多重処理を可能にすることができる。これに付け加えるかあるいは、これに代わる形で、プロセッサはバスを介して縦一列構成の１つ、またはそれ以上のプロセッサを備えることで、インストラクション、パイプライン化および／またはマルチスレッドの独立した実行を可能にすることができる。
【００５３】
例示的実施形態では、プロセッサ１０２は記憶装置１０４に格納されるか、さもなければそのプロセッサにアクセスできるようなインストラクションを実行するように構成することができる。これにとって代わるか、あるいは、これに付け加える形で、プロセッサは、ハードコードされた機能性を実行するように構成することができる。このように、ハードウエアやソフトウエアの方法、あるいは、それらの組み合わせで構成されるか否かにかかわらず、プロセッサは、それに応じて構成されつつ、本願発明の実施形態による処理を実行できるエンティティ（例えば、物理的には回路として具現化されるもの）を表わすことができる。したがって、例えばプロセッサがＡＳＩＣ、ＦＰＧＡ、またはそれに類する物として具体化された場合、プロセッサは、本願明細書に記載された処理を実行するべく特別に構成されたハードウエアとすることができる。あるいは、別の例として、プロセッサがソフトウエア・インストラクションの実行部として具現化された場合、インストラクションは、インストラクション実行時、本願明細書に記載されたアルゴリズムおよび／または処理を具体的に実行するプロセッサを構成することができる。しかしながら、場合によっては、プロセッサは、本願明細書に記載のアルゴリズムおよび／または処理を実行するインストラクションによるプロセッサの更なる構成によって本願発明の実施形態を採用するように構成された特定デバイスのプロセッサとすることができる。とりわけ、そのプロセッサは、プロセッサの処理をサポートするように構成されたクロック、算術論理ユニット（ＡＬＵ、ａｒｉｔｈｍｅｔｉｃ  ｌоｇｉｃ  ｕｎｉｔ）および論理ゲートを備えることができる。
【００５４】
一方、通信インターフェース１０６は、装置１００と通信状態にあるネットワークおよび／またはその他のデバイスやモジュールに対してデータを受信および／または受信するように構成されたハードウエア、あるいは、ハードウエアとソフトウエアとの組み合わせにより具体化されるデバイスや回路のような任意の手段とすることができる。この点に関して、通信インターフェースは、例えば、無線通信ネットワークとの通信を可能にするためのアンテナ（または複数アンテナ）と、サポート・ハードウエアおよび／またはソフトウエアを備えることができる。これに付け加えるかあるいは、これに代わる形で、通信インターフェースは、アンテナと相互作用する回路を備え、アンテナを介して信号を送信させたり、アンテナを介して受信した信号の受信処理することができる。また、環境によっては、通信インターフェースは、それに代わるか付け加えた形で有線通信をサポートすることができる。また、例えば通信インターフェースは、ケーブルを介した通信をサポートするための通信モデムおよび／または他のハードウエア／ソフトウエア、デジタル加入者ライン（ＤＳＬ、ｄｉｇｉｔａｌ  ｓｕｂｓｃｒｉｂｅｒ  ｌｉｎｅ）、ユニバーサル・シリアル・バス（ＵＳＢ、ｕｎｉｖｅｒｓａｌ  ｓｅｒｉａｌ  ｂｕｓ）、あるいは、その他の機構を備えることができる。
【００５５】
装置１００は、次に、プロセッサ１０２と通信することでユーザに出力を提供したり、いくつかの実施形態では、ユーザ入力の指示を受けたりすることのできるユーザ・インターフェース１０８を備えることができる。例えば、ユーザ・インターフェースはディスプレイを備えることもあり、いくつかの実施形態ではキーボード、マウス、ジョイスティック、タッチ・スクリーン、タッチエリア、ソフトキー、マイクロフォン、スピーカ、その他の入力／出力機構を備えることができる。プロセッサは、例えばディスプレイであったり、いくつかの実施形態ではスピーカ、リンガー、マイクロフォン、および／またはそれに類する物であったりするような１つまたはそれ以上のユーザ・インターフェース要素の中の、少なくともいくつかある機能を制御するように構成されたユーザ・インターフェース回路を有することができる。プロセッサおよび／またはプロセッサを有するユーザ・インターフェース回路は、プロセッサにアクセス可能なメモリ（例えばメモリ１０４、および／またはそれに類する物）に格納されているコンピュータ・プログラム・インストラクション（例えば、ソフトウエアおよび／またはファームウエア）を介して１つまたはそれ以上のユーザ・インターフェース要素の中の１つ、またはそれより多い機能を制御するように構成することができる。
【００５６】
図２Ａは、本願発明の例示的実施形態にしたがって、個人化された素材を取り込む例を示している。図２に示すように、２人のユーザ（“ユーザＵ１”２０４と“ユーザＵ２”２０６）が、左側に位置する全方位カメラ（“ＯＣＣ”２０２）によって取り込まれたシーンの個人化された素材を作成している。ユーザＵ１は、自分自身のモバイル機器を人物Ｄ（２０８）に向けており、その人物は、ユーザの個人化された素材の焦点のあった物体となる。ユーザＵ１は人物Ｖ（２１０）に狙いを定めており、その人物は、自分自身のモバイル機器を使用して個人化される別の素材のための目標物である。各ユーザは、人為的被写界深度を適用することでターゲットＤ、Ｖをそれぞれ強調した状態で、選択した意中の人を中心に配し、かつその周りをフレーミングした自分自身の素材を受け取る。
【００５７】
図２Ｂは、本願発明の例示的実施形態にしたがって、個人化された素材をキャプチャする例を示している。デフォルト・キャプチャ２２０は、被写体（例えば、人Ａ、Ｄ）が合焦状態にある全方位過焦点コンテンツを示している。パーソナル・キャプチャ２３０は、人Ｄを目標とするユーザのために生成された個人向け素材を示している。パーソナル・キャプチャ２３０では、人Ｄ（場合によっては、人Ｄに近接した物）は個人向け素材の中の合焦対象（パーソナル・キャプチャ２３０の中で暗い物体として示されている）となる。全方位キャプチャ内の他の物／人は人為的ＤＯＦを使ってピンボケ処理されている（パーソナル・キャプチャ２３０の中で明るい物体として示されている）。
【００５８】
図３は、本願発明の例示的実施形態によるシステム例に含まれるいくつかの構成要素の簡略図を示している。図３は、没入型コンテンツ・キャプチャ装置３０２（例えば、カメラアレイやＯＣＣデバイスの類い）と、エンド・ユーザ機器３０４（例えば、モバイル機器）と、エンド・ユーザ機器とＯＣＣデバイスからの情報を組み合わせる没入型キャプチャ個人化処理要素３０６とを含む、３つの不可欠な構成要素を示している。いくつかの実施形態では、没入型キャプチャ個人化処理要素は、エンド・ユーザ機器に含むことができる。他の実施形態では、没入型キャプチャ個人化処理要素は、別個のコンピュータ・デバイスに含むことができる。他の実施形態では、没入型個人化処理を、エンド・ユーザ機器と別個のコンピュータ・デバイスとの間で分担することも可能である。例えば、いくつかの実施形態では、コンピュータ的には高価な３次元再構成とカメラ姿勢推定を別個のコンピュータ・デバイスで行い、最終的なビュー・フレーミングとその他の後処理を、エンド・ユーザ機器で行うことが可能である。
【００５９】
没入型キャプチャ個人化処理要素３０６は、全方位ビデオ個人化システムの一部として様々な機能を提供することができる。例えば、没入型キャプチャ個人化処理要素３０６は、３次元再構成、エンド・ユーザ機器のカメラ姿勢の決定、関心対象の特定、人為的被写界深度の生成、および／またはインテリジェント・フレーミングの生成、を提供することができる。いくつかの実施形態では、没入型キャプチャ個人化処理要素３０６はまた、エンド・ユーザ機器の特性を継承することもできる。
【００６０】
［リアルタイム３次元再構成］
【００６１】
例示的実施形態では、既存の３次元ストラクチャ・フロム・モーションおよび／またはステレオ再構成技術を、深度情報を生成するためのマルチビュー全方位ビデオ・ストリームに適用することができる。いくつかの実施形態では、これに代わる形でデプスカメラをＯＣＣデバイスに一体化することができる。これにより、シーンの３次元モデルを提供し、シーン要素（例えば、図２中の人Ａ、Ｄ、Ｖ）の３次元位置を決定でき、それらの位置を様々なビューポイントへとマッピングすることができる。
【００６２】
いくつかの実施形態では、３次元再構成はリアルタイムで行われないかもしれない。これは、キャプチャ後のＯＣＣ型デバイスによってキャプチャされた全方位コンテンツから個人化されたコンテンツを生成することを含んだ実施形態を提供する。例えば、センサ・データは、エンド・ユーザ機器によってキャプチャされた映像の中のメタデータとして格納することができ、次いでそのセンサ・データは、そのコンテンツを、個人化されたビデオ素材を生成する際に用いる全方位カメラによって取り込まれたコンテンツと比較するために、キャプチャ後に使用することができる。このような実施形態は、よりゆとりある計算条件に備えることができる。
【００６３】
いくつかの実施形態において、エンド・ユーザが後からセンサおよび／またはビデオ・コンテンツ情報を提供するような場合、３次元再構成はリアルタイムではない形で行われることができる。
【００６４】
［モバイル機器のカメラ姿勢の決定］
【００６５】
例示的実施形態では、エンド・ユーザ（例えば、図２中のＵ１とＵ２）は自分のモバイル機器をＯＣＣデバイスによってキャプチャされたシーンに向ける。エンド・ユーザ機器のカメラ姿勢をおおよそ決定するために、例えば磁力計や加速度計および／または、シーンのサイズに応じてＧＰＳのようなセンサを使用することができる。これは、その後、例えば視覚上のカメラ姿勢トラッキングのための既知の拡張現実テクニックを用いたりして、３次元再構成をカメラ像と比較することにより更に緻密化することができる。
【００６６】
［関心対象の特定］
【００６７】
例示的実施形態では、一旦カメラ姿勢が決定されたならば、ＯＣＣデバイスからの再構成された３次元シーンの要素を、エンド・ユーザのモバイル機器のカメラ・ビューにマッピングすることができる。最も中心に位置するものを関心対象として選択することができ、あるいは、例えばモバイル機器の画面上でタッチすることにより、ユーザによって関心対象を指示することができる。
【００６８】
［人為的被写界深度およびインテリジェント・フレーミングの生成］
【００６９】
例示的実施形態では、合焦自体にある物体（例えば、関心対象）を特定した後、ＯＣＣデバイスに対するその深度を決定することが可能である。その後、ＯＣＣデバイスから個人化された素材をエンド・ユーザに対して生成することができ、関心対象を追跡するべくフレーミングすることができる。人為的被写界深度を適用し、例えばより浅い被写界深度を伴った魅力的な画像を生成することが可能である。
【００７０】
いくつかの実施形態では、その人為的被写界深度によって関心対象の意味的つながりを保つように人為的被写界深度を適用することができる。仮に情報が得られるならば、シーンにおける複数の物体の意味的まとまりが保たれる。例えば、仮に関心対象となる人／物が所定の閾値よりも別の人／物に接近しているならば、その別の人／物に対して同様な被写界深度変更が適用される。このプロセスは、被写界深度を変更したフレームがプロフェッショナルなコンテンツ・キャプチャの一般的ルールに従ったものであることに確実に該当する場合において、映画的ルールを考慮することができる。
【００７１】
［エンド・ユーザ機器のコンテンツ・キャプチャ特性の継承］
【００７２】
いくつかの実施形態では、個人化された素材を生みだすことはまた、かつて使用していたエンド・ユーザ機器（例えば、モバイル機器）の特定のコンテンツ・キャプチャ特性を吸収することで構成することができる。このことにより、エンド・ユーザにとってコンテンツの更なる個人化を見越すことが可能となる。例えば、コンテンツのキャプチャ特性には、それらに限られたことではないが、色相設定、明るさ、および／または同様なものを含むことができる。
【００７３】
一旦、個人化された素材が全方位ビデオ・コンテンツ素材から生み出されたならば、その個人化された素材は、例えばライブストリームにおいてイベント中に提供することも可能であり、例えば後処理をした形でイベント後に提供することも可能である。それゆえ、実施形態は、より高い量の多様性と個人化を伴った形での全方位コンテンツ素材の、複数のユーザによる消費を可能にする。
【００７４】
図４は、本願発明の例示的実施形態による全方位ビデオ・コンテンツ素材から個人化された素材を提供する処理例を示したフローチャートである。
【００７５】
この点に関して、例えば装置１００のような装置は、図４のブロック４０２に示すように全方位ビデオ・ストリームを受ける手段、例えばプロセッサ１０２、メモリ１０４、通信インターフェース１０６、ユーザ・インターフェース１０８、またはそれに類する物を備えることができる。例えば、全方位ビデオ・ストリームは、没入型キャプチャまたは全方位キャプチャ・デバイス（例えば、ＯＣＣデバイス、またはカメラ・デバイス・アレイ、またはそれに類する物）から提供することができる。ブロック４０４に示すように、装置１００は、深度情報を生みだすために、全方位ビデオ・ストリームの３次元再構成を生成する手段、例えばプロセッサ１０２、メモリ１０４、通信インターフェース１０６、ユーザ・インターフェース１０８、またはそれに類する物を備えることができる。例示的実施形態では、３次元再構成は、ビデオ・コンテンツのための深度情報を生成する際に使用される。いくつかの実施形態では、３次元再構成はリアルタイムで生成することができる。あるいは、いくつかの実施形態では、３次元再構成はリアルタイムではなく、むしろキャプチャ後に生成される。
【００７６】
例示的実施形態では、３次元再構成は、キャプチャ・デバイスからマルチビュー画像を用いて生成され、ストラクチャ・フロム・モーションおよび／またはステレオ再構成技術を用いて生成することができる。いくつかの実施形態では、深度カメラを、深度情報を生成する際に使用するＯＣＣデバイスと一体化することができる。例示的実施形態では、３次元再構成は、シーン要素の３次元位置を決定し、かつ様々なビューポイントへのマッピングを可能にする、シーンの３次元モデルを提供する。
【００７７】
ブロック４０６に示されるように、装置１００はまた、エンド・ユーザ機器、例えばモバイル機器からデータを受けとるような手段、例えばプロセッサ１０２、メモリ１０４、通信インターフェース１０６、ユーザ・インターフェース１０８、またはそれに類する物を備えることができる。例えば、ユーザは、自分のモバイル機器を全方向性コンテンツのシーンの中の目標物または人に向けることができ、更に／あるいは、エンド・ユーザ機器のカメラ姿勢を決定するにあたってセンサ・データおよび／または画像データを提供することができる。例示的実施形態において、１つまたはそれ以上のセンサ、例えば磁力計、加速度計、ＧＰＳ、および／またはそれに類する物は、カメラ姿勢を決定する際に使用するデータを提供することができる。ブロック４０８では、装置１００はまた、全方位ビデオ・コンテンツに対するエンド・ユーザ機器のカメラ姿勢を決定するための手段、例えばプロセッサ１０２、メモリ１０４、通信インターフェース１０６、ユーザ・インターフェース１０８、またはそれに類する物を備えることができる。
【００７８】
ブロック４１０に示されるように、装置１００はまた、決定されたカメラ姿勢に基づいて、３次元再構成からのシーン要素をエンド・ユーザ機器のカメラ・ビューにマッピングする手段、例えばプロセッサ１０２、メモリ１０４、通信インターフェース１０６、ユーザ・インターフェース１０８、またはそれに類する物を備えることができる。ブロック４１２では、装置１００はまた、エンド・ユーザの関心対象を決定するための手段、例えばプロセッサ１０２、メモリ１０４、通信インターフェース１０６、ユーザ・インターフェース１０８、またはそれに類する物を備えることができる。例えば、いくつかの実施形態においては、カメラ・ビュー内の最も中心に位置する物体を関心対象として選択することが可能である。いくつかの実施形態では、エンド・ユーザは、例えば、エンド・ユーザ機器のインターフェース、例えばタッチ・スクリーン上の物体を選択することで関心対象を指示することができる。
【００７９】
ブロック４１２に示されるように、装置１００はまた、例えば、３次元再構成からの深度情報を用いて人為的被写界深度を生成する手段、例えばプロセッサ１０２、メモリ１０４、通信インターフェース１０６、ユーザ・インターフェース１０８、またはそれに類する物を備えることができる。例示的実施形態では、カメラ・ビュー内の関心対象が特定された後、ＯＣＣデバイスに対するその深度を決定することができる。その後は、関心対象が合焦状態にあるコンテンツに対し人為的被写界深度を生成することができし、それより近いか、より遠いシーン要素（例えば、物、人等）をピンボケ状態にすることができる。
【００８０】
いくつかの実施形態では、その人為的被写界深度は、これが関心対象の意味的まとまりを保つように適用することができる。例えば、人為的被写界深度は同じような深度で人全体を含んでいなければならず、単に人の一部分、例えば顔の一部に対する深度知覚を強めるものであってはならない。いくつかの実施形態では、情報がある場合において、シーンにおける複数の物体の意味的まとまりを保つために人為的被写界深度を適用することができ、例えば別の物／人が、関心対象の所定の閾値距離内に存在する場合、同様の被写界深度変更を、その別の物体に対して適用することができる。
【００８１】
ブロック４１６において、装置１００はまた、エンド・ユーザに対して全方位コンテンツの個人化された素材を提供するための手段、例えばプロセッサ１０２、メモリ１０４、通信インターフェース１０６、ユーザ・インターフェース１０８、またはそれに類する物を備えることができまる。例えば、関心対象と人為的被写界深度に基づいて、関心対象を中心に配してその周囲をフレーミングし、更に／あるいは、関心対象を追跡した形の個人的な素材をエンド・ユーザに提示することができ、そこでは人為的被写界深度が関心対象を強調した形になっている。
【００８２】
いくつかの実施形態では、例えばエンド・ユーザ機器によって典型的にキャプチャされた映像の「見た目」を模倣するため、といったように、ブロック４１４、４１６において個人化されたコンテンツ素材のフィードを生成する際に使用するため、エンド・ユーザ機器の特定のコンテンツ・キャプチャ特性を提供することができる。例えば、いくつかの実施形態では、コンテンツ・ビューを更に個人化するために、例えば色相や露出や明るさ、および／またはそれに類する物といったようなエンド・ユーザ機器のセッティングを提供することができ、それを使用することができる。このような実施形態では、ユーザは、編集プログラムにおいて、個人化された全方位素材を自分自身の機器のビデオ映像と組み合わせることができ、最終的なビデオにおいて、より一貫性のある「見え」を実現することができる。
【００８３】
上述したように、図４は、本願発明の例示的実施形態による装置、方法、およびコンピュータ・プログラム製品のフローチャートを示している。フローチャートの各ブロック、およびフローチャート内ブロック同士の組み合わせは、例えば１つまたはそれ以上のコンピュータ・プログラム・インストラクションを含め、ソフトウエアの実行に関係するハードウエア、ファームウエア、プロセッサ、回路、および／または他のデバイス装置のような様々な手段によって実行できることが理解される。例えば、上述した手順の１つ以上は、コンピュータ・プログラム・インストラクションによって具現化することが可能である。この点に関し、上述した手順を具現化するコンピュータ・プログラム・インストラクションは、本願発明の実施形態を採用する装置のメモリ１０４に格納することができ、プロセッサ１０２によって実行することができる。当然のことながら、結果としてもたらされたコンピュータや他のプログラマブル装置がフローチャートのブロックで特定された機能を実行するように、そのようなコンピュータ・プログラム・インストラクションの全てをコンピュータや他のプログラマブル装置（例えば、ハードウエア）にロードしてマシンを成すことができる。これらのコンピュータ・プログラム・インストラクションもまた、コンピュータや他のプログラマブル装置をして特定の方法で機能するように指示可能なコンピュータ読込み可能メモリに格納することができ、その結果、コンピュータ読込み可能メモリ内に格納されたインストラクションは、それを実行することでフローチャートのブロックで特定された機能を実現するような製品を生み出すことになる。コンピュータ・プログラム・インストラクションもまた、コンピュータや他のプログラマブル装置上にロードすることで、一連の処理をコンピュータや他のプログラマブル装置に実行させ、以てコンピュータや他のプログラマブル装置上で実行するインストラクションがフローチャートのブロックで特定された機能を実行する処理を提供するような、コンピュータ実現プロセスを生むことができる。
【００８４】
したがって、フローチャートのブロックは、指定された機能を実行するための手段の組み合わせと、指定された機能を実行するための処理の組み合わせをサポートしている。また、フローチャートの１つ、またはそれ以上のブロック、およびフローチャート内ブロック同士の組み合わせは、指定された機能を実行する特殊用途ハードウエアベースのコンピュータシステム、あるいは、特殊用途ハードウエアとコンピュータ・インストラクションの組み合わせによって実施可能であることも理解される。
【００８５】
いくつかの実施形態では、上記各処理の特定のものを変更したり、更に増強させたりすことが可能である。更に、いくつかの実施形態では、例えば点線で囲ったブロックで示したように追加のオプション処理操作を含ませることが可能である。上記各処理に対し、変更、追加または増強を任意の順番および任意の組合せで実行することができる。
【００８６】
前述の説明およびそれに関連した図面に提示された教示の利益を有する、これら発明に関係する当業者であるならば、本願明細書に記載される発明についての多くの変更と他の実施形態が想起されるであろう。したがって、本願発明は、開示された特定実施形態に限定されるべきではないこと、および変更と他の実施形態は、添付した特許請求の範囲内に含まれることを意図したものであることを理解されたい。加えて、前述の説明およびそれに関連した図面は、要素および／または機能からなる特定の組合わせ例との関連で例示的実施形態を説明しているが、添付した特許請求の範囲から逸脱することなく、要素および／または機能からなる異なる組合わせを代替的実施形態によって提供できることを理解されたい。この点に関し、例えば、上に明確に記載されたもの以外の要素および／または機能からなる異なる組み合わせもまた、添付した特許請求の範囲の一部に記載可能であると考えられている。本願明細書には特殊な用語が用いられているが、それらは一般的かつ説明的な意味で使用したのに過ぎず、限定目的で使用したものではない。
【図１】
2017041242.tif 000003
【図３】
2017041242.tif 000004
【図４】
2017041242.tif 000005
【図２Ａ】
2017041242.tif 000006
【図２Ｂ】
2017041242.tif 000007
【手続補正書】
【提出日】平成28年10月7日(2016.10.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
プロセッサにより、全方位キャプチャ・デバイスからのコンテンツの３次元再構成を生成するステップと、
前記全方位キャプチャ・デバイスのコンテンツに関連したエンド・ユーザ・デバイスのカメラ姿勢を決定するステップと、
前記エンド・ユーザ・デバイスの前記カメラ姿勢に部分的に基づいて、前記コンテンツの中にある関心対象を識別するステップと、
前記関心対象が合焦状態にある場合に、前記コンテンツに対する人為的被写界深度を生成するステップと、
前記関心対象および前記人為的被写界深度に基づいて、個人化されたコンテンツのビューが提供されるようにするステップと、
を含む方法。
【請求項２】
前記コンテンツの中の１つ以上の対象物への前記人為的被写界深度の適用が、意味的にまとまったものであることを確実にするために、前記関心対象周りのフレーミングを決定するステップを更に含む請求項１に記載の方法。
【請求項３】
前記カメラ姿勢を決定するのに使用するための前記エンド・ユーザ・デバイスからのセンサ・データまたは画像データを受信するステップを更に含む請求項１に記載の方法。
【請求項４】
前記人為的被写界深度を生成するのに、前記３次元再構成からの深度情報を使用するステップを更に含む請求項１に記載の方法。
【請求項５】
前記人為的被写界深度を生成するステップは、
前記関心対象に焦点を合せ続けるステップと、
関心対象からある距離を隔てたその他の物をぼかすステップと
を含む、請求項１に記載の方法。
【請求項６】
前記全方位コンテンツからの再構成された３次元要素を、前記カメラ姿勢に基づいて前記エンド・ユーザ・デバイスのカメラ・ビューにマッピングするステップを更に含む請求項１に記載の方法。
【請求項７】
関心対象を識別する前記ステップは、
前記エンド・ユーザ・デバイスの前記カメラ・ビューにおいて最も中心にある対象物を選択するステップ、または、前記エンド・ユーザ・デバイスのユーザからの指示を受信するステップ
を含む、請求項１に記載の方法。
【請求項８】
前記センサ・データは、磁力計データ、加速計データ、ＧＰＳデータのうちの１つ以上である、請求項１に記載の方法。
【請求項９】
前記個人化されたコンテンツ・ビューを生成するのに使用するためのエンド・ユーザ・デバイスのコンテンツ・キャプチャ特性を受信するステップを更に含み、
前記コンテンツ・キャプチャ特性は、色相の設定、明るさの設定、露出の設定のうちの１つ以上を含む、を更に含む請求項１に記載の方法。
【請求項１０】
少なくとも１つのプロセッサと、プログラム命令を含む少なくとも１つのメモリとを備える装置であって、前記少なくとも１つのメモリおよび前記プログラム命令は、
前記少なくとも１つのプロセッサを用いて、前記装置に、少なくとも、
全方位キャプチャ・デバイスからのコンテンツの３次元再構成を生成させ、
前記全方位キャプチャ・デバイスのコンテンツに関連したエンド・ユーザ・デバイスのカメラ姿勢を決定させ、
前記エンド・ユーザ・デバイスの前記カメラ姿勢に部分的に基づいて、前記コンテンツの中にある関心対象を識別させ、
前記関心対象が合焦状態にある場合に、前記コンテンツに対する人為的被写界深度を生成させ、
前記関心対象と前記人為的被写界深度に基づいて、個人化されたコンテンツのビューが提供されるようにさせる、装置。
【請求項１１】
前記少なくとも１つのメモリと前記プログラム命令とが、前記少なくとも１つのプロセッサを用いて、前記装置に、前記コンテンツの中の１つ以上の対象物への前記人為的被写界深度の適用が、意味的にまとまったものであることを確実にするために、少なくとも、前記関心対象周りのフレーミングを決定させる、請求項１０に記載の装置。
【請求項１２】
前記少なくとも１つのメモリと前記プログラム命令とが、前記少なくとも１つのプロセッサを用いて、前記装置に、少なくとも、前記カメラ姿勢を決定するのに用いるための前記エンド・ユーザ・デバイスからのセンサ・データまたは画像データを受信させる、請求項１０に記載の装置。
【請求項１３】
前記少なくとも１つのメモリと前記プログラム命令とが、前記少なくとも１つのプロセッサを用いて、前記装置に、少なくとも、前記人為的被写界深度を生成するのに、前記３次元再構成からの深度情報を使用させる、請求項１０に記載の装置。
【請求項１４】
前記人為的被写界深度を生成させることは、
前記関心対象に焦点を合せ続けることと、
関心対象からある距離を隔てたその他の物をぼかすことと
を含む、請求項１０に記載の装置。
【請求項１５】
前記少なくとも１つのメモリと前記プログラム命令とが、前記少なくとも１つのプロセッサを用いて、前記装置に、少なくとも、前記全方位コンテンツから再構成された３次元要素を、前記カメラ姿勢に基づいて前記エンド・ユーザ・デバイスのカメラ・ビューにマッピングさせる、請求項１０に記載の装置。
【請求項１６】
関心対象を識別させることは、前記エンド・ユーザ・デバイスの前記カメラ・ビューで最も中心にある対象物を選択させること、または、前記エンド・ユーザ・デバイスのユーザからの指示を受信させることを含む、請求項１０に記載の装置。
【請求項１７】
前記センサ・データは、磁力計データ、加速計データ、ＧＰＳデータのうちの１つ以上である、請求項１０に記載の装置。
【請求項１８】
前記少なくとも１つのメモリと前記プログラム命令とが、前記少なくとも１つのプロセッサを用いて、前記装置に、少なくとも、前記個人化されたコンテンツ・ビューを生成するのに用いるためのエンド・ユーザ・デバイスのコンテンツ・キャプチャ特性を受信させ、
前記コンテンツ・キャプチャ特性は、色相の設定、明るさの設定、露出の設定のうちの１つ以上を含む、請求項１０に記載の装置。
【請求項１９】
プログラム命令を備えるコンピュータ・プログラムであって、該プログラム命令は、実行されるとき、コンピュータに、少なくとも、
全方位キャプチャ・デバイスからコンテンツの３次元再構成を生成させ、
前記全方位キャプチャ・デバイスのコンテンツに関連したエンド・ユーザ・デバイスのカメラ姿勢を決定させ、
前記エンド・ユーザ・デバイスの前記カメラ姿勢に部分的に基づいて、前記コンテンツの中にある関心対象を識別させ、
前記関心対象が合焦状態にある場合に、前記コンテンツに対する人為的被写界深度を生成させ、
前記関心対象と前記人為的被写界深度に基づいて、個人化されたコンテンツのビューが提供されるようにさせる、コンピュータ・プログラム。
【請求項２０】
実行されるとき、前記コンピュータに、少なくとも、前記コンテンツの中の１つ以上の対象物への前記人為的被写界深度の適用が、意味的にまとまったものであることを確実にするために、前記関心対象周りのフレーミングを決定させるプログラム命令を更に備える請求項１９に記載のコンピュータ・プログラム。
【外国語明細書】
2017041242000001.pdf