(57)【要約】【課題】ユーザ情報に応じて異なる品質の仮想視点画像を提供する。【解決手段】情報処理装置は、被写体を仮想視点から見た仮想視点画像をユーザに提供する情報処理装置であって、ユーザ情報を取得する第１の取得手段と、前記第１の取得手段が取得した前記ユーザ情報に応じて前記仮想視点画像の品質を制御する制御手段と、を有する。【選択図】図２
2020005025.tif 000002
【特許請求の範囲】
【請求項１】
被写体を仮想視点から見た仮想視点画像をユーザに提供する情報処理装置であって、
ユーザ情報を取得する第１の取得手段と、
前記第１の取得手段が取得した前記ユーザ情報に応じて前記仮想視点画像の品質を制御する制御手段と、
を有することを特徴とする情報処理装置。
【請求項２】
前記被写体の形状データを生成する第１の生成手段をさらに有し、
前記制御手段は、前記第１の生成手段で生成される前記形状データの品質を制御することで前記仮想視点画像の品質を制御する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記被写体のシルエットを表す複数のシルエット画像を取得する第２の取得手段をさらに有し、
前記第１の生成手段は、前記第２の取得手段で取得された前記複数のシルエット画像から前記被写体の形状データを生成する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記第１の生成手段は、複数の異なる精度をもつ階層的な形状データを生成し、
前記制御手段は、前記第１の生成手段で生成された前記階層的な形状データから、前記第１の取得手段で取得された前記ユーザ情報に応じた階層の形状データを選択することで前記仮想視点画像の品質を制御する
ことを特徴とする請求項２又は３に記載の情報処理装置。
【請求項５】
前記仮想視点を表す仮想視点情報を取得する第３の取得手段と、
前記第３の取得手段で取得された前記仮想視点情報を用いて前記仮想視点画像を生成する第２の生成手段と、
をさらに有することを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記制御手段は、前記仮想視点画像の生成に係るパラメータを制御することで前記仮想視点画像の品質を制御し、
前記第２の生成手段は、前記パラメータを用いて前記仮想視点画像を生成する
ことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記ユーザ情報の入力を受け付ける入力手段を介して取得した前記ユーザ情報を前記仮想視点画像の品質に反映させる設定手段
をさらに有することを特徴とする請求項１から６の何れか１項に記載の情報処理装置。
【請求項８】
前記ユーザ情報は、前記仮想視点画像を前記ユーザに提供するサービスへのユーザの登録形態を表す情報を含む
ことを特徴とする請求項１から７の何れか１項に記載の情報処理装置。
【請求項９】
前記ユーザ情報は、ユーザの課金の有無を表す情報、およびユーザの課金額を表す情報の少なくとも一方を含む
ことを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
被写体を仮想視点から見た仮想視点画像をユーザに提供する情報処理方法であって、
第１の取得手段によってユーザ情報を取得する工程と、
制御手段によって、前記第１の取得手段が取得した前記ユーザ情報に応じて前記仮想視点画像の品質を制御する工程と、
を有することを特徴とする情報処理方法。
【請求項１１】
コンピュータを請求項１から９の何れか１項に記載の情報処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想視点画像を生成する情報処理技術に関する。
【背景技術】
【０００２】
昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて仮想視点画像を生成する技術が注目されている。このような仮想視点画像の生成技術によれば、例えば、サッカーやバスケットボールなどの試合のハイライトシーンを様々な角度から視聴することができることから、通常の画像と比較してユーザに高臨場感を与えることができる。
【０００３】
特許文献１は、ユーザ情報に応じた視点条件で仮想視点画像を生成して配信する技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−４１５０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、ユーザ情報に応じて異なる品質の仮想視点画像をユーザに提供することについては考慮されていなかった。
【０００６】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、ユーザ情報に応じて異なる品質の仮想視点画像をユーザに提供することである。
【課題を解決するための手段】
【０００７】
上記課題を解決する本発明の一態様に係る情報処理装置は、被写体を仮想視点から見た仮想視点画像をユーザに提供する情報処理装置であって、ユーザ情報を取得する第１の取得手段と、前記第１の取得手段が取得した前記ユーザ情報に応じて前記仮想視点画像の品質を制御する制御手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ユーザ情報に応じて異なる品質の仮想視点画像をユーザに提供することができる。
【図面の簡単な説明】
【０００９】
【図１】情報処理装置のハードウェア構成例を示す図である。
【図２】情報処理装置の機能構成例を示すブロック図である。
【図３】情報処理手順例を示すフローチャートである。
【図４】シルエット画像例を示す図である。
【図５】形状データの表現手法例を示す図である。
【図６】形状データ生成部によるカービング処理の説明図である。
【図７】形状データ生成部による形状データ生成処理の説明図である。
【図８】形状データ生成処理の手順例を示すフローチャートである。
【図９】品質制御処理の手順例を示すフローチャートである。
【図１０】形状データの選択手法の説明図である。
【図１１】情報処理装置の機能構成例を示す図である。
【図１２】情報処理手順例を示すフローチャートである。
【図１３】画像生成処理手順例を示すフローチャートである。
【図１４】情報処理装置の機能構成例を示すブロック図である。
【図１５】情報処理手順例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面を参照して説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の範囲をそれらに限定する趣旨のものではない。また、実施形態で説明されている構成要素の組み合わせのすべてが、課題を解決するための手段に必須のものとは限らず、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形及び変更が可能である。
【００１１】
（実施形態１）
図１は、本実施形態に係る情報処理装置のハードウェア構成例を示す図である。本実施形態の情報処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤ１０４、通信部１０５、およびインターフェース１０６を有する。また、それらは、システムバス１０７により通信可能に接続されている。情報処理装置１００は、通信部１０５を介してユーザ端末１０８と接続され、インターフェース１０６を介してカメラアダプタ１０９ａ−１０９ｚと接続されている。カメラアダプタ１０９ａ−１０９ｚはそれぞれ、カメラ１１０ａ−１１０ｚと接続されている。
【００１２】
カメラ１１０ａ−１１０ｚは被写体を複数の方向から撮影した撮影画像を取得する。情報処理装置１００はカメラ１１０ａ−１１０ｚで取得した撮影画像を用いて、仮想視点画像や後述する形状データの生成と配信を行う。
【００１３】
ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３に格納されたプログラムを実行し、システムバス１０７を介して後述する各構成を統括的に制御する。これにより、後述する様々な処理が実行される。
【００１４】
ＨＤＤ１０４は、二次記憶装置としての役割を持つ。ＣＰＵ１０１は、ＨＤＤ１０４からのデータ読出し、およびＨＤＤ１０４へのデータ書き込みが可能である。なお、二次記憶装置は、ＨＤＤの他、光ディスクドライブ等の記憶デバイスでもよい。後述する情報処理装置１００の機能や処理は、ＣＰＵ１０１がＲＯＭ１０３またはＨＤＤ１０４に格納されたプログラムを読出し、このプログラムを実行することにより実現されるものである。
【００１５】
通信部１０５は、ユーザ端末１０８とのデータの送受信を行う。ユーザ端末１０８はパソコン、スマートフォン、テレビなど、ユーザが仮想視点画像の視聴を行う装置である。情報処理装置１００は、通信部１０５を介してユーザ端末１０８から仮想視点画像の配信要求や後述する仮想視点情報を受け取る。また、情報処理装置１００は通信部１０５を介してユーザ端末１０８に仮想視点画像を配信する。
【００１６】
インターフェース１０６は、カメラアダプタ１０９ａ−１０９ｚとのデータの送受信を行う。カメラアダプタ１０９ａ−１０９ｚは、カメラ１１０ａ−１１０ｚから当該カメラ１１０ａ−１１０ｚが撮影した撮影画像を受け取り、後述するシルエット画像を生成する。情報処理装置１００はインターフェース１０６を介して、カメラアダプタ１０９ａ―１０９ｚから撮影画像とシルエット画像を受け取る。
【００１７】
なお、情報処理装置１００の構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。
【００１８】
図２は、本実施形態に係る情報処理装置の機能構成例を示すブロック図である。情報処理装置１００は、画像取得部２０１、形状データ生成部２０２、ユーザ情報取得部２０３、品質制御部２０４、配信制御部２０５を有する。
【００１９】
画像取得部２０１は、インターフェース１０６を介して、カメラアダプタ１０９ａ−１０９ｚから撮影画像と後述するシルエット画像を取得する。形状データ生成部２０２は、画像取得部２０１が取得したシルエット画像を用いて、階層的に複数の形状データを生成する。ユーザ情報取得部２０３は、ＨＤＤ１０４から後述するユーザ情報を取得する。品質制御部２０４は、形状データ生成部２０２が生成した複数の階層の形状データから、ユーザ情報取得部２０３が取得したユーザ情報に応じた階層の形状データを選択する。配信制御部２０５は、画像取得部２０１が取得した撮影画像と品質制御部２０４が選択した形状データを、通信部１０５を介してユーザ端末１０８に配信する。
【００２０】
（データ配信処理）
次に、情報処理装置１００の機能ブロックで行われるデータ配信処理について、図３のフローチャートを参照して説明する。図３は、情報処理手順例を示すフローチャートである。なお、以降、記号のＳは、フローチャートにおけるステップであることを意味する。
【００２１】
Ｓ３０１では、画像取得部２０１は、インターフェース１０６を介して、カメラアダプタ１０９ａ−１０９ｚから、カメラ１０８ａ−１０８ｚが撮影しカメラ１０８ａ−１０８ｚから受け取った撮影画像と、シルエット画像を取得する。図４はシルエット画像例を示す図である。シルエット画像４００は、撮影画像の被写体領域４０１、４０２、４０３と背景領域４０４を分離し二値化した画像である。シルエット画像４００は、例えば、背景差分法などの公知の技術を用いて生成される。
【００２２】
Ｓ３０２では、形状データ生成部２０２は、画像取得部２０１が取得したシルエット画像を用いて、階層的に複数の形状データを生成する。処理の詳細については、図８を参照して後述する。図５は形状データの表現手法例を示す図である。図５に示すように、カメラ１１０ａ−１１０ｚで撮影される空間（以下、処理対象空間と呼ぶ。）は、所定のサイズの立方体をなすボクセル５００ａ−５００ｚで分割して表現される。また、ボクセル５００ａ−５００ｚを、ボクセル５０１ａ−５０１ｚのように、細かく分割されて、ボクセル５００ａ−５００ｚと比べてより小さなサイズの立方体をなすボクセルで分割することができる。これらのボクセルのうち、背景領域で表される、被写体のない空間のボクセルが削られ、被写体領域で表される、被写体のある空間のボクセルのみが残されることで、被写体の形状が表現される。ボクセルを削る処理（以下、カービング処理と呼ぶ）の詳細については、図７を参照して後述する。
【００２３】
Ｓ３０３では、ユーザ情報取得部２０３は、ＨＤＤ１０４からユーザ情報を取得する。ユーザ情報は例えば、仮想視点画像を配信するサービスへのユーザの登録形態を表す情報であって、ユーザの課金の有無を表す情報、およびユーザの課金額を表す情報の少なくとも一方を含む。例えば、ユーザは、サイトにて課金の有無や課金額を選択して、仮想視点画像の配信サービスに加入する。これにより、ユーザ情報は、ユーザに配信される（提供される）仮想視点画像の品質と紐付けて登録されることになる。ユーザの加入に伴い、情報処理装置１００は、課金の有無や課金額の情報をユーザ情報としてＨＤＤ１０４に蓄える。
【００２４】
Ｓ３０４では、品質制御部２０４は、ユーザ情報に応じて品質を制御した形状データを生成する。具体的には、品質制御部２０４は、形状データ生成部２０２が生成した複数の階層の形状データから、ユーザ情報取得部２０３が取得したユーザ情報に応じた階層の形状データを選択する。処理の詳細については、図９を参照して後述する。
【００２５】
Ｓ３０５では、配信制御部２０５は、画像取得部２０１が取得した撮影画像と品質制御部２０４が品質を制御した形状データとを、通信部１０５を介してユーザ端末１０８に配信する。ユーザ端末１０８は、仮想の視点位置や視線方向や画角などを示す仮想視点情報に基づき、撮影画像と形状データを用いてレンダリング処理を行うことで、仮想視点画像を生成する。仮想視点情報としては、ユーザの操作によりユーザ端末１０８に入力されて受け付けられた情報、もしくは、ユーザ端末１０８にて予め設定された情報が用いられる。撮影画像と形状データを用いて、仮想の視点位置から見た仮想視点画像をレンダリングする方法として、一般的なコンピュータグラフィックス技術を用いることができ、本発明の主眼ではないため、説明を省略する。
【００２６】
なお、処理の順番は必ずしも上記の通りでなくてもよい。例えば、最初にユーザ情報を取得（Ｓ３０３）してから、残りの処理（Ｓ３０１、Ｓ３０２、Ｓ３０４、Ｓ３０５）を行うようにしてもよい。後述のフローチャートについても同様に、必ずしもフローの順番通りに処理を行う必要はない。また、本発明では、情報処理装置１００からユーザ端末１０８に形状データを配信し、ユーザ端末１０８が仮想視点画像を生成する場合と、情報処理装置１００からユーザ端末１０８に仮想視点画像を直接配信する場合がある。以降、その両方について、「仮想視点画像の配信」と表現するものとする。
【００２７】
図６は、形状データ生成部２０２によるカービング処理方法の説明図である。カービング処理では、所定のサイズの立方体をなすボクセルがシルエット画像４００に投影され、その結果に基づいて、そのボクセルを削るか否かが判定される。なお、図６では説明のため、シルエット画像４００として輪郭画像を示しているが、実際は図４に示したように、被写体領域と背景領域を分離して二値化したシルエット画像に対してボクセルが投影される。
【００２８】
以下、所定のサイズの立方体をなすボクセル６００が領域６０１−６０３に投影された場合のそれぞれについて、ボクセル６００を削るか否かの判定方法を説明する。
【００２９】
ボクセル６００が領域６０１に投影された場合、領域６０１は被写体領域４０１、４０２、４０３内ではなく背景領域４０４内にあることから、ボクセル６００が示す空間には被写体は存在しないと特定される。よって、ボクセル６００が領域６０１に投影された場合、ボクセル６００を削ると判定される。
【００３０】
一方、ボクセル６００が領域６０２に投影された場合、領域６０２は背景領域４０４内ではなく被写体領域４０３内にあることから、ボクセル６００が示す空間には被写体が存在すると特定される。よって、ボクセル６００が領域６０２に投影された場合、ボクセル６００を削らずに残すと判定される。
【００３１】
また、ボクセル６００が領域６０３に投影された場合も、領域６０３は背景領域４０４だけではなく被写体領域４０３を含む場所にあることから、ボクセル６００を削らずに残すと判定される。
【００３２】
以上の処理が全シルエット画像に対して行われる。なお、詳細につき後述するように、本実施形態では階層的にボクセルが分割されてボクセルのサイズが漸減されながら形状データが生成される。よって、被写体領域と背景領域にまたがって投影されたボクセルが示す空間のうち、背景領域に投影される空間は、より深い階層（より細かいボクセル）のカービング処理によって削られることになる。また、上記の説明では、全シルエット画像のうち１枚でも背景領域に投影されたボクセルは削られているが、本実施形態はこれに限定されない。例えば、ボクセルが背景領域に投影されてもよい回数をしきい値として設定し、そのしきい値よりも多い枚数のシルエット画像で背景領域に投影された場合にボクセルが削られるようにしてもよい。
【００３３】
図７は、形状データ生成部２０２による階層的な形状データ生成処理の説明図である。図７（ａ）は、三次元的に配置された２×２×２個のボクセルを示した図である。また、図７（ｂ）は、シルエット画像を二次元的に配置された２×２個のボクセル７０１−７０４で示した図である。実際には図７（ａ）のように三次元的に配置されたボクセルに対して処理が行われるが、以下では、図７（ｂ）を用いて、階層的な形状データの生成方法について説明する。
【００３４】
先ず、シルエット画像中の全ボクセルに対して上述のカービング処理が行われる。図７（ｃ）は図７（ｂ）に対してカービング処理が行われた結果例を示す図である。カービング処理が行われることによって、ボクセル７０１、７０２、７０４は残されるが、ボクセル７０３は削られている。
【００３５】
続いて、削られずに残されたボクセル７０１、７０２、７０４それぞれが分割される。図７（ｄ）は、図７（ｃ）に対してボクセルを分割した例を示す図である。ボクセル７０１、７０２、７０４はそれぞれ２×２個の小ボクセルに分割される。すなわち、ボクセル７０１は、４つの小ボクセル７０１１、７０１２、７０１３、７０１４に分割される。ボクセル７０２は、４つの小ボクセル７０２１、７０２２、７０２３、７０２４に分割される。ボクセル７０４は、４つの小ボクセル７０４１、７０４２、７０４３、７０４４に分割される。なお、本実施形態におけるボクセルの分割数は２×２個に限定されず、１つのボクセルを任意の数の小ボクセルに分割してよい。
【００３６】
図７（ｅ）は、図７（ｄ）のボクセルに対してカービング処理が行われた結果例を示す図である。カービング処理が行われることによって、小ボクセル７０１２〜７０１４、７０２１〜７０２４、７０４１、７０４２は残されるが、小ボクセル７０１１、７０４３、７０４４は削られている。
【００３７】
上記のカービング処理と分割処理が繰り返されることで、階層的な形状データが生成される。図７の例では、図７（ｃ）に示すように、１階層目の形状データが生成され、図７（ｅ）に示すように、２階層目の形状データが生成される。階層が深くなるほどその深さに応じボクセルの分割数が増えボクセルが細かくボクセルのサイズが小さくなるため、被写体の形状はより高精度に表現されることになる。
【００３８】
図８は、形状データ生成部２０２による形状データ生成処理の手順例を示すフローチャートである。
【００３９】
Ｓ８０１では、参照する階層が設定される。例えば、参照する階層の階層番号ｉが１に設定される。
【００４０】
Ｓ８０２では、Ｓ８０１で設定された階層（以下、設定階層ともいう。）に対応したボクセルリストが生成される。例えば、Ｓ８０１で設定された階層の階層番号ｉに対応したｉ階層目のボクセルリストが生成される。ボクセルリストとは、上述の処理対象空間を埋める全ボクセルを記録したリストである。階層番号ｉが１である場合には、処理対象空間があらかじめ設定された初期ボクセルサイズで分割され、それらのボクセルがボクセルリストに登録される。階層番号ｉが１以外である場合は、ｉ−１階層目のボクセルがあらかじめ設定された分割数で分割されることにより、ｉ階層目のボクセルリストが生成される。
【００４１】
Ｓ８０３では、Ｓ８０２で生成されたボクセルリストの中から参照するボクセル（以下、参照ボクセルともいう。）が設定される。例えば、ボクセルリストの中から参照ボクセルとして、最初のボクセルが設定される。最初のボクセルとして、どのボクセルが設定されてもかまわないが、例えばボクセルのｘ座標、ｙ座標、ｚ座標の全てが最も小さい数値となる位置のボクセルが最初のボクセルとして設定される。
【００４２】
Ｓ８０４では、Ｓ８０３で設定された参照ボクセルに対して上述のカービング処理が行われる。カービング処理によって削られたボクセルは上述のボクセルリストから除外される。
【００４３】
Ｓ８０５では、処理対象であるボクセルリストの全てのボクセルについて、参照されたか否かが判定される。全てのボクセルについて参照されていない場合（Ｓ８０５：ＮＯ）には、Ｓ８０３に戻り、参照するボクセルとして未だ設定されていない新たなボクセルが参照ボクセルとして設定され（Ｓ８０３）、Ｓ８０４−Ｓ８０５の処理が再び行われることになる。ここで、参照ボクセルを設定する順番は、任意である。参照ボクセルは、例えば、ｘ座標、ｙ座標、ｚ座標の数値の小さい位置のボクセルから数値の大きい位置のボクセルへと順番に設定される。すなわち、全てのボクセルについて上述のカービング処理を終えるまで、Ｓ８０３−Ｓ８０５の処理が繰り返されることになる。これにより、処理対象であるボクセルリストの全てのボクセルに対して上述のカービング処理が行われることになる。一方、全てのボクセルについて参照された場合（Ｓ８０５：ＹＥＳ）には、Ｓ８０６に進む。
【００４４】
Ｓ８０６では、全ての階層について処理が行われたか否かが判定される。すなわち、予め設定された最大階層数の階層までの全ての階層について、Ｓ８０１−Ｓ８０５の処理が行われたか否かが判定される。全ての階層について、Ｓ８０１−Ｓ８０５の処理が行われていないと判定された場合（Ｓ８０６：ＮＯ）には、Ｓ８０１に戻る。そして、参照する階層として未だ設定されていない新たな階層が設定階層として設定され（Ｓ８０１）、Ｓ８０２−Ｓ８０６の処理が再び行われることになる。すなわち、全ての階層について、各階層のボクセルリストの全てのボクセルに対しカービング処理を終えるまで、Ｓ８０１−Ｓ８０６の処理が繰り返されることになる。ここで、最大階層数として任意の値を設定することができる。例えば、最大階層数として「３」を設定することができる。一方、全ての階層について、上述のボクセルリストの生成、参照ボクセルの設定、カービング処理が行われたと判定された場合（Ｓ８０６：ＹＥＳ）には、本フローが終了することになる。
【００４５】
以上の処理によって、階層的に複数の形状データが生成される。すなわち、各階層のボクセルリストに残されたボクセルが、各階層における被写体の形状を表現するデータとして生成される。
【００４６】
図９は、品質制御部２０４による品質制御処理の手順例を示すフローチャートである。また、図１０は、品質制御部２０４による形状データの選択手法の説明図である。
【００４７】
Ｓ９０１では、図１０（ａ）に示すように、カメラ１１０ａ−１１０ｚから注視点１００１までの距離（以下、注視点距離Ｚと呼ぶ）［ｍｍ］が取得される。なお、各カメラの注視点距離が異なる場合、その平均値が注視点距離Ｚとして取得されればよい。また、注視点距離Ｚが未知である場合や注視点が一意に定まらない場合には、被写体までのおよその距離や最もフォーカスの合う距離が注視点距離Ｚとして取得されてもよい。
【００４８】
Ｓ９０２では、仮想視点画像の表示画像幅Ｐ［ｐｉｘｅｌ］が上述のＳ３０３で取得したユーザ情報に応じて決定される。例えば、ユーザ情報がユーザの課金を含む場合には、当該ユーザに提供される（課金ユーザ向けの）仮想視点画像の表示画像幅Ｐとして、３８４０［ｐｉｘｅｌ］が決定される。一方、ユーザが未課金であって、ユーザ情報がユーザの課金を含まない場合には、当該ユーザに提供される（未課金ユーザ向けの）仮想視点画像の表示画像幅Ｐとして９６０［ｐｉｘｅｌ］が決定される。なお、本発明は、上記の表示画像幅Ｐに限定されるものではなく、ユーザの課金額が多いほどそのユーザに提供される（課金ユーザ向けの）表示画像幅Ｐが大きくなるような任意の方法で決定されてもよい。
【００４９】
Ｓ９０３では、図１０（ｂ）に示すように、注視点距離Ｚにおける表示画像幅Ｐ相当の大きさＸ［ｍｍ］が導出される。例えば、下記の式（１）により注視点距離Ｚにおける表示画像幅Ｐ相当の大きさＸが導出される。
【００５０】
【数１】
2020005025.tif 000003
【００５１】
式（１）では、θ［ｒａｄ］は予め設定される仮想視点画像の画角を示している。
【００５２】
Ｓ９０４では、注視点距離Ｚにおける表示画像１［ｐｉｘｅｌ］相当の大きさＸ´［ｍｍ］が導出される。例えば、下記の式（２）により注視点距離Ｚにおける表示画像１［ｐｉｘｅｌ］相当の大きさＸ´［ｍｍ］が導出される。
【００５３】
【数２】
2020005025.tif 000004
【００５４】
式（２）では、Ｐ［ｐｉｘｅｌ］は、Ｓ９０２で導出された仮想視点画像の表示画像幅を示している。
【００５５】
Ｓ９０５では、選択される形状データの階層が導出される。例えば、下記の式（３）により、当該式（３）を満たす階層ｈが、選択される形状データの階層として導出される。
【００５６】
【数３】
2020005025.tif 000005
【００５７】
式（３）では、Ｂは初期ボクセルサイズを示し、Ｓは上述したボクセルの分割数を示している。式（３）を満たす階層ｈは、ボクセルが表示画像幅Ｐで表現できる空間の細さに対して必要十分な大きさとなる階層である。
【００５８】
例えば、Ｐ＝３８４０、Ｚ＝１００００、θ＝π／２、Ｂ＝１６０、Ｓ＝２とした場合、式（３）を満たす階層ｈは６となる。また、Ｚ、θ、Ｂ、Ｓそれぞれを前述の数値とし、Ｐ＝９６０とした場合は、式（３）を満たす階層ｈは４となる。なお、本発明は、階層ｈの選択方法が上記の選択方法に限定されるものではなく、ユーザの課金額が多いほど、そのユーザに対し深い階層（細かいボクセル）の形状データを配信するような任意の場合に適用されてもよい。上述したように、深い階層のボクセルほど被写体の形状が高精度に表現されるため、深い階層の形状データから生成される仮想視点画像は高品質な画像となる。すなわち、課金しているユーザや課金額が多いユーザほど、そのユーザに対しては高品質な仮想視点画像が配信されることになる。
【００５９】
なお、上記では、二値化したシルエット画像４００から被写体の形状データを生成する場合を例に説明したが、本発明はこれに限定されない。例えば、各画素が被写体領域である確率を表す多値のデータを持つ画像を用いて被写体の形状データが生成されてもよい。また、例えば、ＲＧＢ画像、赤外画像、デプス画像などの被写体の撮影画像から形状データが生成されてもよい。
【００６０】
以上述べたように、本実施形態によれば、ユーザ情報に応じて異なる品質の仮想視点画像をユーザに提供することができる。また、階層的に生成した形状データからユーザ情報に応じた階層の形状データが選択されるため、異なるユーザ情報をもつ複数のユーザに対して配信が行われる場合でも、形状データの生成が一度だけ行われればよく、少ない処理負荷で品質制御処理が行われる。
【００６１】
（実施形態２）
実施形態１では、ユーザ端末が形状データから仮想視点画像を生成する構成において、ユーザ情報に応じて異なる品質の仮想視点画像をユーザに提供する例を説明した。本実施形態では、情報処理装置で生成した仮想視点画像をユーザ端末に配信する構成において、ユーザ情報に応じて異なる品質の仮想視点画像をユーザに提供する例を説明する。なお、実施形態１と重複する部分については説明を省略する。
【００６２】
図１１は、本実施形態に係る情報処理装置の機能構成例を示す図である。情報処理装置１００は、画像取得部２０１、ユーザ情報取得部２０３、品質制御部２０４、配信制御部２０５、仮想視点情報取得部１１０１、画像生成部１１０２を有する。
【００６３】
仮想視点情報取得部１１０１は、通信部１０５を介して、ユーザ端末１０８から仮想視点情報を取得する。本実施形態における品質制御部２０４は、ユーザ情報取得部２０３が取得したユーザ情報に応じて、後述する画像生成部１１０２の処理で用いるパラメータを導出する。
【００６４】
画像生成部１１０２は、画像取得部２０１が取得した撮影画像およびシルエット画像と、仮想視点情報取得部１１０１が取得した仮想視点情報とから、品質制御部２０４が導出したパラメータを用いて仮想視点画像を生成する。本実施形態における配信制御部２０５は、画像生成部１１０２が生成した仮想視点画像を、通信部１０５を介してユーザ端末１０８に配信する。その他の処理部については、実施形態１と同様であるため、その説明を省略する。
【００６５】
（データ配信処理）
次に、情報処理装置１００の機能ブロックで行われるデータ配信処理について、図１２のフローチャートを参照して説明する。図１２は、情報処理手順例を示すフローチャートである。Ｓ１２０１およびＳ１２０３は、それぞれ図３のＳ３０１およびＳ３０３と同様の処理であり、その説明を省略する。
【００６６】
Ｓ１２０２では、仮想視点情報取得部１１０１は、通信部１０５を介して、ユーザ端末１０８から仮想視点情報を取得する。
【００６７】
Ｓ１２０４では、品質制御部２０４は、Ｓ１２０３にてユーザ情報取得部２０３が取得したユーザ情報に応じて、画像生成部１１０２の処理で用いられるパラメータを導出する。パラメータの導出方法の詳細については、後述する。
【００６８】
Ｓ１２０５では、Ｓ１２０１で画像取得部２０１が取得した撮影画像およびシルエット画像と、Ｓ１２０２で仮想視点情報取得部１１０１が取得した仮想視点情報とから、Ｓ１２０４で品質制御部２０４が導出したパラメータを用いて仮想視点画像を生成する。処理の詳細については、図１３を参照して後述する。
【００６９】
Ｓ１２０６では、配信制御部２０５は、Ｓ１２０５で画像生成部１１０２が生成した仮想視点画像を、通信部１０５を介してユーザ端末１０８に配信する。
【００７０】
（仮想視点画像生成）
図１３は、画像生成部１１０２による画像生成処理手順例を示すフローチャートである。
【００７１】
Ｓ１３０１では、仮想視点画像にて、参照する画素（以下、参照画素ともいう。）が決定される。例えば、参照する画素として、仮想視点画像の最初の画素が決定される。最初の画素として、どの画素が参照されてもよい。例えば、最初の画素として、最も左上の画素が参照される。
【００７２】
Ｓ１３０２では、画像取得部２０１が取得したシルエット画像の中から、参照するシルエット画像（以下、参照シルエット画像ともいう。）が決定される。例えば、参照シルエット画像として、最初のシルエット画像が決定される。最初のシルエット画像として、どのシルエット画像が参照されてもよい。例えば、カメラ１１０ａ−１１０ｚに通し番号がつけられ、その通し番号が最も小さいカメラの撮影画像から生成したシルエット画像を、最初に参照されるシルエット画像として決定される。
【００７３】
Ｓ１３０３では、Ｓ１３０２で決定された参照シルエット画像に、Ｓ１３０１で決定された、参照する仮想視点画像の画素に対応するエピポーラ線が描画される。エピポーラ線については公知の方法で引かれ、本発明の主眼ではないため、説明を省略する。
【００７４】
Ｓ１３０４では、Ｓ１３０３で描画されたエピポーラ線がシルエット画像の被写体領域と交差するか否かが判定される。交差すると判定された場合（Ｓ１３０４：ＹＥＳ）はＳ１３０５に進み、交差していないと判定された場合（Ｓ１３０４：ＮＯ）はＳ１３０６に進む。ここで、交差判定には任意の方法が用いられる。例えば、エピポーラ線上の画素が順番に参照され、その画素が被写体領域内か否かについて確認される（観察される）ことで、判定される。
【００７５】
Ｓ１３０５では、処理対象であるシルエット画像の全てについて、上述のＳ１３０４の処理が行われたか否かが判定される。全てのシルエット画像について上述のＳ１３０４の処理が行われていないと判定された場合（Ｓ１３０５：ＮＯ）には、Ｓ１３０２に戻る。そして、参照シルエット画像として未だ決定されていない新たなシルエット画像が参照シルエット画像として決定され（Ｓ１３０２）、Ｓ１３０３−１３０５の処理が再び行われることになる。ここで、参照シルエット画像を決定する順番は、任意である。参照シルエット画像は、例えば、上述したカメラの通し番号の順番に決定される。すなわち、全てのシルエット画像に対してエピポーラ線と前景領域の交差判定処理を終えるまで、または、エピポーラ線と前景領域とが交差しないとの判定結果を得るまで、Ｓ１３０２−Ｓ１３０５の処理が繰り返されることになる。これにより、処理対象であるシルエット画像の全てに対して上述のエピポーラ線と前景領域の交差判定処理が行われることになる。一方、全てのシルエット画像について参照された場合（Ｓ１３０５：ＹＥＳ）には、Ｓ１３０７に進む。
【００７６】
Ｓ１３０６では、Ｓ１３０１で決定した参照画素が背景として描画される。背景画素の描画については、任意の方法が用いられる。例えば、予め背景の３Ｄモデルを用意しておき、仮想視点から背景３Ｄモデルをレンダリングすればよい。３Ｄモデルのレンダリングについては一般的なコンピュータグラフィックス技術を用いることができ、本発明の主眼ではないため、説明を省略する。
【００７７】
Ｓ１３０７では、Ｓ１３０１で決定した参照画素が前景として描画される。前景画素の描画については、公知のＩｍａｇｅＢａｓｅｄＶｉｓｕａｌＨｕｌｌ技術で用いられる方法が用いられ、本発明の主眼ではないため、説明を省略する。
【００７８】
Ｓ１３０８では、全ての画素を参照し終えたか否かが判定される。全ての画素について参照されていない場合（Ｓ１３０８：ＮＯ）には、Ｓ１３０１に戻り、参照する画素として未だ設定されていない新たな画素が参照画素として設定され（Ｓ１３０１）、Ｓ１３０２−Ｓ１３０８の処理が再び行われることになる。ここで、参照画素を決定する順番は、任意である。参照画素は、例えば、ラスタースキャン順に決定される。すなわち、全ての画素について背景または前景として描画し終えるまで、Ｓ１３０２−Ｓ１３０８の処理が繰り返されることになる。一方、全ての画素について参照された場合（Ｓ１３０８：ＹＥＳ）には、本フローが終了することになる。
【００７９】
（データ品質制御パラメータの導出）
続いて、本実施形態における品質制御部２０４によるパラメータ導出方法の詳細について説明する。ここで、パラメータとは、仮想視点画像の画素数やシルエット画像の枚数などである。例えば、パラメータとして仮想視点画像の画素数が導出される場合、画像配信サービスへのユーザの登録形態に応じて決定された品質の仮想視点画像は、ユーザが使用するユーザ端末１０８に配信される。具体的には、画像配信サービスに課金しており有料登録しているユーザのユーザ端末１０８には相対的に画素数が多く設定された仮想視点画像が配信される。画像配信サービスに未課金であり無料登録しているユーザのユーザ端末１０８には相対的に画素数が少なく設定された仮想視点画像が配信される。このように設定することで、画像配信サービスに有料登録しているユーザのユーザ端末１０８には、相対的に品質の高い仮想視点画像が配信されることになる。画像配信サービスに無料登録しているユーザのユーザ端末１０８には、相対的に品質の低い仮想視点画像が配信されることになる。また、無料登録しているユーザのユーザ端末１０８に配信される仮想視点画像が、相対的に画素数が少なく設定されることによって、図１３のＳ１３０２からＳ１３０８の処理回数が減ることになる。その結果、処理回数が減少した分、仮想視点画像の生成処理の負荷が低減される。
【００８０】
また、シルエット画像として最大でカメラ１１０ａ−１１０ｚの台数分だけ利用でき、多くのシルエット画像を利用した方が仮想視点画像の品質が高くなるが、必ずしも全てのシルエット画像を利用する必要はない場合がある。そこで、課金しているユーザのユーザ端末１０８に配信される仮想視点画像の生成に用いられるシルエット画像の数が相対的に多く設定される。一方、未課金のユーザのユーザ端末１０８に配信される仮想視点画像の生成に用いられるシルエット画像の数を少なく設定される。よって、ユーザによる課金の有無に応じて、シルエット画像の設定数を変えることで、仮想視点画像の品質を制御することもできる。また、課金をしていないユーザのユーザ端末１０８に配信される仮想視点画像のシルエット画像の数が少なく設定されることで、図１３のＳ１３０２からＳ１３０５の処理回数が減ることになる。その結果、処理回数が減少した分、仮想視点画像の生成処理の負荷が低減される。なお、品質制御部２０４が導出するパラメータは上記のものに限定されず、課金をしているユーザや課金額の多いユーザのユーザ端末１０８に配信される仮想視点画像の品質が相対的に高くなるように設定される任意のパラメータを対象とすることができる。
【００８１】
以上述べたように、本実施形態によれば、情報処理装置で生成した仮想視点画像をユーザ端末に配信する構成において、ユーザ情報に応じて異なる品質の仮想視点画像をユーザのユーザ端末に提供することができる。また、課金をしていないユーザのユーザ端末に配信する仮想視点画像を生成するためのパラメータを制御することによって、処理負荷を低減することができる。
【００８２】
（実施形態３）
実施形態１及び２では、予めＨＤＤに保存したユーザ情報を用いて仮想視点画像の品質を制御する例を説明した。実施形態３では、ユーザ端末から受け取ったユーザ情報やその変更操作情報に基づいて課金に関するユーザ情報の書き換えを行い、そのユーザ情報を仮想視点画像の品質に反映させる例を説明する。なお、実施形態１及び２と重複する部分については説明を省略する。
【００８３】
図１４は、本実施形態に係る情報処理装置の機能構成例を示す図である。情報処理装置１００は、画像取得部２０１、形状データ生成部２０２、ユーザ情報取得部２０３、品質制御部２０４、配信制御部２０５、ユーザ情報設定部１４０１を有する。また、情報処理装置１００のユーザ情報設定部１４０１は、課金情報制御部１４０２をもつ課金サーバ１４００と接続されている。
【００８４】
（データ配信処理）
次に、情報処理装置１００の機能ブロックで行われるデータ配信処理について、図１５のフローチャートを参照して説明する。図１５は、情報処理手順例を示すフローチャートである。
【００８５】
Ｓ１５０１では、ユーザ情報設定部１４０１によって、課金サーバ１４００からユーザ情報が取得される。課金サーバ１４００は、課金情報制御部１４０２を有しており、ユーザ端末１０８から受け付けた（入力された）課金操作に基づいてユーザ情報の生成や変更が行われる。例えば、ユーザにより課金操作が行われると、課金情報制御部１４０２は、ユーザ情報の中の課金有無の情報が変更される。なお、ユーザが無課金ユーザ用の仮想視点画像を視聴し、より高品質な画像を視聴したいと希望する場合に、ユーザによって課金操作が行われてもよいし、仮想視点画像の視聴前に課金操作が行われ、初めから高品質な画像が視聴される。
【００８６】
Ｓ１５０２では、ユーザ情報設定部１４０１によって、取得したユーザ情報がＨＤＤ１０４に記録される。
【００８７】
Ｓ１５０３では、配信制御部２０５は、画像取得部２０１が取得した撮影画像と品質制御部２０４が品質を制御した形状データとを、通信部１０５を介してユーザ端末１０８に配信する。ユーザ端末１０８は、仮想視点情報に基づき、撮影画像と形状データを用いてレンダリング処理を行うことで、仮想視点画像を生成する。Ｓ１５０３の処理は、実施形態１のＳ３０１−Ｓ３０５の処理に相当する。配信する形状データはＳ１５０２でＨＤＤ１０４に記録したユーザ情報に基づく品質となるため、動的に仮想視点画像の品質を制御することが可能である。
【００８８】
なお、ユーザ情報をＨＤＤ１０４に記録した後に、ユーザ情報取得部２０３を介して取得した形状データの品質を制御するものに限定されない。例えば、ユーザ情報設定部１４０１が取得したユーザ情報を品質制御部２０４に直接送信して、形状データの品質を制御するようにしてもよい。
【００８９】
また、情報処理装置１００が課金サーバ１４００と接続される構成に限定されない。例えば、情報処理装置１００が課金情報制御部１４０２を有する構成にしてもよい。その場合、情報処理装置１００がユーザ端末１０８から直接課金操作を受け付け、その課金操作に基づいて、課金情報制御部１４０２がユーザ情報の設定や変更が行われる。
【００９０】
実施形態２、３を組み合わせた情報処理装置とすることも可能である。この場合、Ｓ１５０３では、仮想視点画像を生成し配信する処理が行われ、実施形態２のＳ１２０１−Ｓ１２０６の処理に相当する。配信する仮想視点画像はＳ１５０２でＨＤＤ１０４に記録したユーザ情報に基づく品質となるため、動的に仮想視点画像の品質を制御することが可能である。
【００９１】
以上述べたように、本実施形態によれば、ユーザ端末からユーザ情報やその変更操作情報を受け取り、仮想視点画像の品質に反映させることができる。また、これらの処理を仮想視点画像の配信中に行うことで、動的にユーザのユーザ端末に提供する仮想視点画像の品質を制御することができる。
【００９２】
（その他の実施形態）
以上の各実施形態では、仮想視点画像の生成過程において品質を制御する場合を例に挙げて説明した。しかしながら、本発明はこれに限定されず、仮想視点画像を生成したのちに、画像圧縮やノイズ付加によって、課金をしていないユーザに配信する仮想視点画像の品質を低下させるようにしてもよい。また、仮想視点画像を生成したのちに、ノイズ除去や超解像によって、課金をしているユーザに配信する仮想視点画像の品質を向上させるようにしてもよい。また課金以外の方法によってユーザ毎に提供する画像の内容を変更させるようにしてもよい。
【００９３】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2020005025.tif 000006
【図２】
2020005025.tif 000007
【図３】
2020005025.tif 000008
【図４】
2020005025.tif 000009
【図５】
2020005025.tif 000010
【図６】
2020005025.tif 000011
【図７】
2020005025.tif 000012
【図８】
2020005025.tif 000013
【図９】
2020005025.tif 000014
【図１０】
2020005025.tif 000015
【図１１】
2020005025.tif 000016
【図１２】
2020005025.tif 000017
【図１３】
2020005025.tif 000018
【図１４】
2020005025.tif 000019
【図１５】
2020005025.tif 000020