(57)【要約】      （修正有）【課題】撮像装置により撮像された画像から生成される前景画像と背景画像を送信する際に、背景画像をすべて同じタイミングで送信することによる不具合が発生する可能性を低減する。【解決手段】画像処理装置において、背景データ分割部は、背景生成部によって生成された背景Ｍ４０１を分割後の背景画像を前景画像と同じタイミングで送信できるよう、前景画像の送信フレームレートに基づいて６０分割し、分割データ５０１、５０２〜５６０を生成する。送信タイミング制御部は、背景データ分割部によって分割されたデータを一時的にメモリ上に蓄積し、前景生成部によって前景画像が生成されるタイミングで蓄積された分割データを順次、送信部を介して仮想視点画像生成装置に伝送する。送信される前景画像、背景画像には、どのタイミングで撮像された画像に基づいて生成された画像か識別できるように、時間情報（タイムコード）が付与される。【選択図】図６
2020167472.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトを含む前景画像と、前記オブジェクトを含まない背景画像と、を組み合わせることにより生成される所定の画像を再生するために、前記前景画像と前記背景画像を送信可能な画像処理装置であって、
撮像装置により撮像された画像から生成された前記前景画像と、前記撮像装置により撮像された画像から生成された前記背景画像であって、前記所定の画像の再生のために必要とされる頻度が前記前景画像よりも低い前記背景画像と、を取得する取得手段と、
前記取得手段により取得した背景画像を分割する分割手段と、
前記取得手段により取得した前景画像を送信する送信手段と、
を有し、
前記送信手段は、前記分割手段により分割された後の背景画像を異なるタイミングで送信することを特徴とする画像処理装置。
【請求項２】
撮像装置により撮像された画像から前記前景画像を生成する第１の生成手段と、
前記撮像装置により撮像された画像から前記背景画像を生成する第２の生成手段と、
を有し、
前記取得手段は、前記第１の生成手段により生成された前記前景画像と、前記第２の生成手段により生成された背景画像と、を取得することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第２の生成手段は、前記第１の生成手段が前記前景画像を生成する頻度よりも低い頻度で前記背景画像を生成することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記第１の生成手段は、第１の周期で前記前景画像を生成し、
前記第２の生成手段は、前記第１の周期よりも長い第２の周期で前記背景画像を生成することを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記撮像装置は前記第１の周期で画像を撮像し、
前記第１の生成手段は、前記第１の周期で撮像された複数の画像それぞれから前記前景画像を生成することを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記送信手段は、前記前景画像を前記第１の周期で送信することを特徴とする請求項３または４記載の画像処理装置。
【請求項７】
前記分割手段は、前記第１の周期に基づいて前記背景画像を分割することを特徴とする請求項３から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記送信手段は、前記分割手段により分割した前記背景画像を前記第１の周期で送信することを特徴とする請求項７記載の画像処理装置。
【請求項９】
前記第１の生成手段は、第１のフレームレートで前記前景画像を生成し、
前記第２の生成手段は、前記第１のフレームレートよりも低い第２のフレームレートで前記背景画像を生成することを特徴とする請求項３記載の画像処理装置。
【請求項１０】
前記撮像装置は前記第１のフレームレートで画像を撮像し、
前記第１の生成手段は、前記第１のフレームレートで撮像された複数の画像それぞれから前記前景画像を生成することを特徴とする請求項９記載の画像処理装置。
【請求項１１】
前記送信手段は、前記第１のフレームレートで前記前景画像を送信することを特徴とする請求項９または１０記載の画像処理装置。
【請求項１２】
前記分割手段は、前記第１のフレームレートに基づいて前記背景画像を分割することを特徴とする請求項９から１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記送信手段は、前記分割手段により分割した前記背景画像を前記第１のフレームレートで送信することを特徴とする請求項１２記載の画像処理装置。
【請求項１４】
前記分割手段は、分割後の背景画像のデータサイズに基づいて分割することを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
【請求項１５】
前記分割手段は、前記取得手段により取得した前記背景画像の色、階調、輝度の少なくともいずれか一つの情報を用いて分割することを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
【請求項１６】
前記分割手段は、ブロック単位で圧縮する圧縮方式を用いたデータを送信する場合に、ブロック単位で分割することを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
【請求項１７】
前記所定の画像は、任意の視点に基づく仮想視点画像であることを特徴とする請求項１から１６のいずれか１項に記載の画像処理装置。
【請求項１８】
前記送信手段により送信された前記前景画像と前記背景画像と、１つ以上の他の画像処理装置により送信された前景画像と背景画像と、に基づいて、前記仮想視点画像が生成されることを特徴とする請求項１７記載の画像処理装置。
【請求項１９】
前記画像処理装置は、前記１つ以上の他の画像処理装置とデイジーチェーン接続されており、前記デイジーチェーン接続を介して送信された複数の前記前景画像と複数の前記背景画像と、に基づいて、前記仮想視点画像が生成されることを特徴とする請求項１８記載の画像処理装置。
【請求項２０】
前記オブジェクトは、選手、ボール、審判の少なくともいずれかを含むことを特徴とする請求項１から１９のいずれか１項に記載の画像処理装置。
【請求項２１】
コンピュータを、請求項１から２０のいずれか１項に記載の画像処理装置として動作させるためのプログラム。
【請求項２２】
オブジェクトを含む前景画像と、前記オブジェクトを含まない背景画像と、を組み合わせることにより生成される所定の画像を再生するために、前記前景画像と前記背景画像を送信する送信方法であって、
撮像装置により撮像された画像から生成された前記前景画像を取得する工程と、
前記撮像装置により撮像された画像から生成された前記背景画像であって、前記所定の画像の再生のために必要とされる頻度が前記前景画像よりも低い前記背景画像と、を取得する工程と、
取得した前記前景画像を送信する工程と、
取得した前記背景画像を分割し、分割された後の前記背景画像を異なるタイミングで送信する工程と、
を有することを特徴とする送信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、送信方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、異なる位置に設置した複数の撮像装置により複数の方向から被写体を同期撮影し、当該撮影により得られた複数の撮影画像を用いて、任意の視点に基づく仮想視点画像を生成する技術が注目されている。このような技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができるため、通常の画像と比較してユーザに高臨場感を与えることができる。
【０００３】
仮想視点画像の生成及び閲覧には、複数の撮像装置が撮影した画像をサーバ等の画像生成装置に集約し、当該画像生成装置にて三次元モデル生成、レンダリングなどの画像処理が必要となる。ここで、ユーザによって違和感のない仮想視点画像を生成するためには、複数の撮像装置が同時刻に撮影した画像を次の撮影時刻までに画像生成装置へ送信し、各種画像処理を行う必要がある。その結果、単一の撮像装置を用いた撮影と比較して伝送する画像のデータ量が増加するため、伝送帯域を破綻させない手法が必要である。
【０００４】
特許文献１には、人物などの動きのあるオブジェクトを含む前景画像の生成フレームレートよりも、オブジェクトを含まない背景画像の生成フレームレートを低くすることが開示されている。これにより、選手などの重要な撮影対象を含む前景画像は、高フレームレートで出力することにより画質の劣化を防ぎつつ、そのような撮影対象を含まない背景画像は、低フレームレートで出力することにより伝送データ量を抑えることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１７−２１１８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の技術では、背景画像を伝送するタイミングにおいては、前記画像と背景画像の両方を伝送することになるため、背景画像を伝送しないときよりデータ伝送量が増加する。その結果、背景画像を伝送するタイミングのみ、次の撮影時刻までに伝送が完了しない場合が起こり得る。また、伝送が完了した場合であっても、後段の画像生成装置は背景画像を受信したタイミングのみ当該背景画像の分だけ処理量が増加するため、次の撮影画像を処理する時刻までに処理を完了できない場合が起こり得る。その結果、仮想視点画像を生成できない時刻が生じ、生成した仮想視点画像を連続して再生すると不連続が生じ、ユーザに違和感を与える可能性がある。
【０００７】
本発明は、撮像装置により撮像された画像から生成される前景画像と背景画像を送信する際に、前記背景画像をすべて同じタイミングで送信することによる不具合が発生する可能性を低減することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は、オブジェクトを含む前景画像と、前記オブジェクトを含まない背景画像と、を組み合わせることにより生成される所定の画像を再生するために、前記前景画像と前記背景画像を送信可能な画像処理装置であって、撮像装置により撮像された画像から生成された前記前景画像と、前記撮像装置により撮像された画像から生成された前記背景画像であって、前記所定の画像の再生のために必要とされる頻度が前記前景画像よりも低い前記背景画像と、を取得する取得手段と、前記取得手段により取得した背景画像を分割する分割手段と、前記取得手段により取得した前景画像を送信する送信手段と、を有し、前記送信手段は、前記分割手段により分割された後の背景画像を異なるタイミングで送信することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮像装置により撮像された画像から生成される前景画像と背景画像を送信する際に、前記背景画像をすべて同じタイミングで送信することによる不具合が発生する可能性を低減することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】仮想視点画像生成システムを示す構成図
【図２】画像処理装置の機能構成図、及びハードウェア構成図
【図３】画像処理装置が生成する前景画像、背景画像を説明するためのイメージ図
【図４】前景画像、背景画像を送信するタイミングを説明するための図（従来例）
【図５】ネットワーク上を流れるデータ容量を説明するための図（従来例）
【図６】前景画像、背景画像を送信するタイミングを説明するための図
【図７】ネットワーク上を流れるデータ容量を説明するための図
【図８】画像処理装置の処理を説明するためのフローチャート図
【発明を実施するための形態】
【００１１】
本実施形態では、異なる位置に設置された複数の撮像装置によって撮影された複数視点画像に基づいて、任意の視点に基づく仮想視点画像を生成する例について説明する。本実施形態の説明に入る前に、用語について確認しておく。まず、仮想視点画像とは、エンドユーザ及び／又は選任のオペレータ等が自由に仮想カメラの位置及び姿勢を操作することによって生成される映像であり、自由視点画像や任意視点画像などとも呼ばれる。また、生成される仮想視点画像やその元になる複数視点画像は、動画であっても、静止画であってもよい。すなわち、本明細書において「画像」という文言は、動画と静止画の双方の概念を含み得るものとして用いる。以下では、入力される複数視点画像及び出力される仮想視点画像が、共に動画である場合の例を中心に説明するものとする。
【００１２】
図１は、本実施形態の仮想視点画像生成システムを示す構成図である。
【００１３】
仮想視点画像生成装置１００は、画像処理装置１０２−１〜１０２−４から、後述する前景画像と背景画像とを受信し、背景画像に前景画像を組み合わせることで仮想視点画像を生成する装置である。生成された仮想視点画像は、仮想視点画像生成装置１００で再生されるようにしてもよいし、携帯電話やタブレット、テレビなどの他の情報処理装置で再生されるようにしてもよい。
【００１４】
撮像装置１０１−１〜１０１−４は、デジタルビデオカメラなどの画像を撮影する装置である。なお、特に断りがない限り撮像装置１０１−１〜１０１−４を総じて撮像装置１０１と記載する。不図示であるが、撮像装置１０１は撮影領域であるスタジアム（競技場）２０１のフィールドを囲むように配置される。本実施形態では４台の撮像装置が配置された例について説明するが、配置台数を限定するわけではなく何台の撮像装置を配置してもよい。また、撮像装置１０１は、画像だけではなく音声やその他センサ情報をキャプチャリングしてもよい。本実施形態では、撮像装置１０１のフレームレートは６０ｆｐｓとする。すなわち、撮像装置１０１は１秒間で６０フレームの画像を撮像する。その他ＩＳＯ感度、シャッタースピードなどの撮影パラメータは撮影に適したパラメータが設定されているとする。
【００１５】
画像処理装置１０２−１〜１０２−４は、各撮像装置１０１が撮影した画像に対して後述する画像処理を行う装置であり、デイジーチェーン接続されている。特に断りがない限り画像処理装置１０２−１〜１０２−４を総じて画像処理装置１０２と記載する。
【００１６】
画像処理装置１０２は、撮像装置１０１が撮像した撮像画像を前景画像と背景画像に分離する機能を有する。例えば、画像処理装置１０２は、撮像装置１０１が撮像した撮像画像（以下、画像と記載することもある。）から、選手２０２などの動きのある物体（動体）を抽出した前景画像と、芝生などの静止又は静止に近い状態が継続する物体の背景画像とに分離する。ここでは、選手などの動体をオブジェクト（前景）とする。オブジェクト（前景）は、ボールや審判等を含んでもよい。なお、前景画像と背景画像の分離方法は背景差分法に限定されるものではなく、公知の方法を適用可能である。なお、静止物体は、静止または、ほとんど静止している状態が継続している物体を指す。
【００１７】
画像処理装置１０２−１は、撮像装置１０１−１により撮影された画像から前景画像と背景画像を生成し、隣接する画像処理装置１０２−２へ転送する。画像処理装置１０２−２は、撮像装置１０１−２が撮影した画像から前景画像と背景画像を生成し、画像処理装置１０２−１から受信したデータと共に、隣接する画像処理装置１０２−３へ転送する。こうした動作を続けることにより、各画像処理装置１０２で生成された前景画像と背景画像が最終的には仮想視点画像生成装置１００へ転送される。本実施形態では前景画像を６０ｆｐｓで、背景画像を１ｆｐｓで伝送し、仮想視点画像生成装置１００では６０ｆｐｓで仮想視点画像を更新する例について説明する。また、本実施形態では４台の画像処理装置が配置された例について説明しているが、配置台数を限定するわけではなく、撮像装置１０１の台数に合わせて配置すればよい。また本実施形態では、画像処理装置１０２と撮像装置１０１は異なる装置としているが、同一筐体に設けてもよいし、機能ブロックごとに異なる装置としてもよい。
【００１８】
撮像装置１０１、画像処理装置１０２および仮想視点画像生成装置１００はスタジアム２０１に設置されている。なお、仮想視点画像生成装置１００の設置場所はスタジアム２０１の中に限定されるわけではなく、スタジアム２０１の外に設置しても良いし、クラウド等の仮想サーバ上に設置してもよい。
【００１９】
選手２０２は、撮影領域内に存在するオブジェクトである。本図では１人の場合を示しているが１人に限定するわけではなく、何人いてもよい。
【００２０】
また、本実施形態のネットワークトポロジはデイジーチェーン接続であるが、デイジーチェーン接続に限定されるものではない。Ｈｕｂなどの中継装置を介してスター、バス、メッシュ型接続でもよい。また有線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）だけではなく、他の有線接続や、無線ＬＡＮ、公衆無線、インターネットを介してもよい。
【００２１】
次に画像処理装置１０２の機能構成について図２（ａ）を用いて説明する。
【００２２】
画像入力部１２０は、撮像装置１０１が撮影した６０ｆｐｓの画像を受信する機能を有している。
【００２３】
前景生成部１２１は、画像入力部１２０が撮像装置１０１から受信した撮像画像から選手２０２が写っている箇所を切り出し、前景画像を生成する機能を有している。前景生成部１２１は、前景画像を６０ｆｐｓで生成する。すなわち、撮像装置１０１において６０ｆｐｓで周期的に撮影されたすべての画像について、前景画像が生成される。
【００２４】
背景生成部１２２は、画像入力部１２０が撮像装置１０１から受信した画像から選手２０２を除く背景画像を作成する機能を有している。選手２０２の存在により画像に写っていない背景部分については、過去に受信した画像と合成するものとする。背景生成部１２２は、背景画像を１ｆｐｓで生成する。すなわち、撮像装置１０１において１秒間で撮影された６０フレームの画像すべてについて背景画像が生成されるわけではなく、１フレーム分の画像から背景画像が生成される。
【００２５】
ここで、前景生成部１２１および背景生成部１２２にて生成される前景画像、背景画像について図３を用いて説明する。
【００２６】
入力画像２５０は、画像入力部１２０が撮像装置１０１から受け取った画像である。前景生成部１２１は、入力画像２５０から選手２０２が写っている箇所を特定し、選手２０２を含む前景領域の座標２５１を抽出する。さらに、抽出した座標情報に基づき、前景画像２５２を作成する。本実施形態では前景画像２５２として矩形の形状の画像を作成しているが、選手２０２が写っている画素を含んでいれば形状は問わないものとする。
【００２７】
背景生成部１２２は、入力画像２５０から、前景生成部１２１が抽出した選手２０２を除く背景領域（フィールド等）を示す背景画像２５３を作成する。なお、背景画像として、観客席、観客席にいる人、看板などを含んでもよい。
【００２８】
次に、背景データ分割部１２３は、背景生成部１２２が生成した背景画像２５３を分割する機能を有している。背景画像２５３を分割する方法については後述する。
【００２９】
送信タイミング制御部１２４は、前景生成部１２１により生成された前景画像２５２及び背景データ分割部１２３により分割された後の背景画像を、後段の画像処理装置１０２または仮想視点画像生成装置１００に送信するタイミングを制御する機能を有している。
【００３０】
送信部１２５は、前景生成部１２１により生成された前景画像２５２及び背景データ分割部１２３により分割された後の背景画像を、後段の画像処理装置１０２または仮想視点画像生成装置１００に送信する機能を有している。
【００３１】
次に、画像処理装置１０２のハードウェア構成について、図２（ｂ）を用いて説明する。なお、仮想視点画像生成装置１００のハードウェア構成も、以下で説明する画像処理装置１０２の構成と同様である。
【００３２】
１０２は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、表示部２１５、操作部２１６、通信Ｉ／Ｆ２１７、及びバス２１８を有する。
【００３３】
ＣＰＵ２１１は、ＲＯＭ２１２やＲＡＭ２１３に格納されているコンピュータプログラムやデータを用いて画像処理装置１０２の全体を制御することで、図１に示す画像処理装置１０２の各機能を実現する。なお、画像処理装置１０２がＣＰＵ２１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ２１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。
【００３４】
表示部２１５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが画像処理装置１０２を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部２１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２１１に入力する。ＣＰＵ２１１は、表示部２１５を制御する表示制御部、及び操作部２１６を制御する操作制御部として動作する。なお、本実施形態では表示部２１５と操作部２１６が画像処理装置１０２の内部に存在するものとするが、表示部２１５と操作部２１６との少なくとも一方が画像処理装置１０２の外部に別の装置として存在していてもよい。
【００３５】
通信Ｉ／Ｆ２１７は、画像処理装置１０２の外部の装置との通信に用いられる。例えば、画像処理装置１０２が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１７に接続される。画像処理装置１０２が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１７はアンテナを備える。バス２１８は、画像処理装置１０２の各部をつないで情報を伝達する。
【００３６】
次に、前景画像２５２および背景画像２５３を送信するタイミングについて図４を用いて説明する。なお図４では、従来例（背景生成部１２２で生成した背景画像２５３を分割せずに送信する場合）について説明する。ｔ０〜ｔ１、ｔ１〜ｔ２の間隔はそれぞれ１秒である。
【００３７】
前景画像２５２は、前景生成部１２１により１／６０秒ごとに生成され、送信タイミング制御部１２４の制御に基づいて送信部１２５により送信される。具体的には、ｔ０からｔ１までの１秒間に前景Ｎ（３０１）、前景Ｎ＋１（３０２）・・・、前景Ｎ＋５９（３０３）の其々が生成され、送信される。同様に、ｔ１〜ｔ２までの１秒間に前景Ｎ＋６０（３０４）、前景Ｎ＋６１（３０５）・・・、前景Ｎ＋１１９（３０６）の其々が生成、送信される。また、次の１秒間に前景Ｎ＋１２０（３０７）、前景Ｎ＋１２１（３０８）・・・、前景Ｎ＋１７９（３０９）の其々が生成、送信される。本図では前景Ｎ＋２〜前景Ｎ＋５８、前景Ｎ＋６２〜前景Ｎ＋１１８、前景Ｎ＋１２２〜前景Ｎ＋１７８は省略している。
【００３８】
背景画像２５３は、背景生成部１２２によって、１秒ごとに生成され、送信タイミング制御部１２４の制御に基づいて送信部１２５により送信される。具体的には、ｔ０からｔ１までの１秒間に背景Ｍ（４０１）が生成され、送信される。同様に、ｔ１〜ｔ２までの１秒間に背景Ｍ＋１（４０２）が生成、送信され、次の１秒間に背景Ｍ＋２（４０３）が生成、送信される。
【００３９】
このように、前景画像、背景画像共に周期的に撮像される画像に基づいて周期的に生成されるが、背景画像の生成フレームレート及び送信フレームレートは、前景画像の生成フレームレート及び送信フレームレートよりも低くなっている。これは、選手などの動きのある撮影対象を含む前景画像は、高フレームレートで出力することにより画質の劣化を防ぐ必要がある一方、背景画像は時間による変化がさほどないため、低フレームレートで出力することにより伝送データ量を抑えるためである。なお、上述した通り、仮想視点画像生成装置１００では、６０ｆｐｓで仮想視点画像を更新する。１秒当たり６０フレーム分の仮想視点画像を生成するにあたり、画像処理装置１０２から受信した６０フレーム分の前景画像と、１フレーム分の背景画像を用いて生成する。その際、当該１フレーム分の背景画像は、残り５９フレーム分の背景画像としても使用される。
【００４０】
次に、送信タイミング制御部１２４が、前景生成部１２１及び背景生成部１２２の其々が生成した前景画像、背景画像を受け取ったタイミングで送信するよう制御した時のネットワーク上を流れるデータ容量について図５を用いて説明する。
【００４１】
図５に示すように、背景Ｍ（４１０）、背景Ｍ＋１（４１１）、背景Ｍ＋２（４１２）を送信している期間のみ一時的にネットワーク上を流れるデータ量が増大している。このように、一時的にデータ量が増大することによって、仮想視点画像生成装置１００に至るまでのネットワーク経路上の帯域、または、仮想視点画像生成装置１００で処理できる処理性能を超える可能性が発生する。例えばネットワーク帯域の上限（５００）を超えた場合は、その間、画像処理装置１０２又は仮想視点画像生成装置１００の間でフロー制御（ＸＯＮ／ＸＯＦＦ）が行われ、そのオーバヘッドのためデータが輻輳する可能性がある。また、送信可能なデータ量が低下する可能性もある。
【００４２】
上記課題を解決するため、本実施形態では、背景データ分割部１２３で背景画像を分割し、分割後の背景画像を別のタイミングで送信することで一時的な伝送データ量の増大を防止する例について説明する。
【００４３】
図６は、前景画像と、背景データ分割部１２３で分割した背景画像を伝送するタイミングを説明するための図である。
【００４４】
前景画像、背景画像の生成については、図５を用いて説明した通りである。背景データ分割部１２３は、背景生成部１２２によって生成された背景Ｍ（４０１）を６０分割し、分割データ５０１、５０２〜５６０を生成する。つまり、分割後の背景画像を前景画像と同じタイミングで送信できるよう、前景画像の送信フレームレートに基づいて６０分割する。同様に、背景データＭ＋１（４０２）および背景データＭ＋２（４０３）を６０分割し、分割データ１５０１、１５０２〜１５６０及び分割データ２５０１、２５０２〜２５６０を生成する。
【００４５】
送信タイミング制御部１２４は、背景データ分割部１２３によって分割されたデータを一時的にメモリ上に蓄積する。そして、送信タイミング制御部１２４は、前景生成部１２１によって前景画像が生成されるタイミングで蓄積された分割データを順次、送信部１２５を介して仮想視点画像生成装置１００に伝送する。すなわち、分割後の背景画像は、前景画像の送信フレームレートと同じく、６０ｆｐｓで送信される。
【００４６】
なお、送信される前景画像、背景画像には、どのタイミングで撮像された画像に基づいて生成された画像か識別できるように、時間情報（タイムコード）が付与される。例えば、前景Ｎ（３０１）、前景Ｎ＋１（３０２）、・・・、前景Ｎ＋５９（３０３）の其々には、タイムコードＴ０、Ｔ０＋１、・・・、Ｔ０＋５９が付与される。また、前景Ｎ＋６０（３０４）、前景Ｎ＋６１（３０５）・・・、前景Ｎ＋１１９（３０６）の其々には、タイムコードＴ１、Ｔ１＋１、・・・、Ｔ１＋５９が付与される。また、分割後の背景画像５０１、５０２、・・・、５０６の其々には、Ｔ０＋ｄ０、Ｔ０＋ｄ１、・・・、Ｔ０＋ｄ５９が付与される。仮想視点画像生成装置１００は、画像処理装置１０２から送信された分割後の背景画像をタイムコードに基づいて再構成する。上記例であれば、タイムコードがＴ０＋ｄ０、Ｔ０＋ｄ１、・・・、Ｔ０＋ｄ５９の分割後背景画像からタイムコードＴ０の背景Ｍ（４０１）が再構成される。そして、仮想視点画像生成装置１００は、対応するタイムコードが付与された前景画像を、再構成後の背景画像に重畳させることにより、任意の視点に基づく仮想視点画像を生成する。上記例であれば、背景Ｍ（４０１）に対応するタイムコードＴ０、Ｔ０＋１、・・・、Ｔ０＋５９が付与された前景Ｎ（３０１）、前景Ｎ＋１（３０２）、・・・、前景Ｎ＋５９（３０３）が背景Ｍ（４０１）に重畳されることになる。
【００４７】
図７は、このときにネットワーク上を流れるデータを示した図である。このように、背景Ｍ（４０１）、背景画像Ｍ＋１（４０２）および背景データＭ＋２（４０３）を分割してから送信することで、これらのデータは平準化されて伝送される。そのため、仮想視点画像生成装置１００に至るまでのネットワークの帯域を効率よく使用でき、また仮想視点画像生成装置１００に対して急激に大量のデータが到達することを防ぐことが出来る。その結果、ネットワーク帯域の上限（５００）の範囲内でデータ伝送を完了することが可能となる。また、背景画像を送る際にも前景画像の伝送量を減らす必要がないため、仮想視点画像生成装置１００で作成する仮想視点画像の品質が劣化することもない。
【００４８】
次に、送信タイミング制御部１２４の処理フローについて図８を用いて説明する。
【００４９】
送信タイミング制御部１２４は、前景生成部１２１または背景生成部により生成されたデータを受信する（Ｓ６０１）。上述した通り、前景画像は６０ｆｐｓ、背景画像は１ｆｐｓで生成される。なお、送信タイミング制御部１２４は、前景生成部１２１が前景画像を生成するタイミングと同期して１／６０秒ごとに起動し、前景生成部１２１または背景生成部が生成したデータが保存されるメモリにアクセスしてデータを取得してもよい。
【００５０】
次に、送信タイミング制御部１２４は、受信したデータが前景画像のみか否かを確認する（Ｓ６０２）。
【００５１】
Ｓ６０２での確認の結果、受信したデータは前景画像と背景画像の両方もしくは背景画像のみの場合は、送信タイミング制御部１２４は背景データ分割部１２３に背景画像の分割を行わせる（Ｓ６０３）。ここでは、前景生成部１２１が前景画像を生成、送信するフレームレートに基づいて６０分割させる。なお、分割方法としては以下の方法があるが、これらの方法に限定するわけではない。
（１）分割後の各背景画像のデータサイズが同等になるよう、背景画像を等分に分割する。
（２）送信するデータのサイズが仮想視点画像生成装置１００に至るまでのネットワークの中で最小ＭＴＵ（Ｍａｘｉｍｕｍ  Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｕｎｉｔ）サイズの倍数となるサイズとする。最小ＭＴＵサイズの倍数とすることによってネットワークの途中でデータのフラグメントを抑制することができる。
（３）色差で分割する。例えばＲＧＢ色空間の場合は、ＲＧＢごとに３分割、分割したデータの其々をさらに２０分割する。またＲＧＢで３分割後に圧縮してもよい。
（４）階調で分割する、例えば１０ｂｉｔの場合は上位７ｂｉｔと３ｂｉｔに分割する。分割した其々をさらに分割し、上位ｂｉｔから送信する。例えば前景画像データ２５２のデータ量が増えた場合に、上位ｂｉｔのみ送信し下位ｂｉｔのデータは送信しないようにすることで、帯域溢れを抑制することができる。
（５）ブロック単位で分割する。例えばＪｐｅｇなどブロック単位で圧縮する圧縮方式を用いる場合は、ブロック単位で分割する。このことによって仮想視点画像生成装置１００が受信した分割データを再構成せずに、都度、伸長処理を行うことができる。
（６）輝度と色差で分割し、さらに其々を分割する。その際、輝度を先に送信したほうが望ましい。
（７）仮想視点画像生成装置１００の要求に基づき分割する。その際、仮想視点画像生成装置１００は分割する座標とサイズと送信順番を指定する。
【００５２】
次に、Ｓ６０３で分割されたデータは一時的にメモリ上に保存される（Ｓ６０４）。送信タイミング制御部１２４は、カウンタＮに０をセットする（Ｓ６０５）。
【００５３】
次に、送信タイミング制御部１２４は前景送信処理を行う（Ｓ６０６）。Ｓ６０１で前景データを受信している場合は、当該前景データが、送信部１２５を介して後段の画像処理装置１０２または仮想視点画像生成装置１００に送信される。
【００５４】
次に、送信タイミング制御部１２４は、Ｓ６０４でメモリに保存されたＮ番目の分割済み背景画像を、送信部１２５を介して後段の画像処理装置１０２または仮想視点画像生成装置１００に送信し（６０７）、カウンタＮをインクリメントする（６０８）。このようにすることで、次の前景画像を受信した際には、当該前景画像とともに、次の分割済み背景画像が送信される。こうして、６０分割されたすべての背景画像が前景画像の送信フレームレートで送信されることとなる。
【００５５】
このように、異なるフレームレートで前景画像と背景画像が生成されても、背景画像を分割送信することによって、データ伝送量を平準化することが出来る。これにより、仮想視点画像生成装置１００の性能や仮想視点画像生成装置１００に至るまでの帯域を効率よく使用することができ、仮想視点画像生成装置１００にて安定した仮想視点画像を作成することが出来る。
【００５６】
なお、上記説明では、分割後の背景画像は、仮想視点画像の次の更新タイミングまでに送信が完了するものとして説明した。例えば、図７に示す通り、ｔ１に撮像された画像から生成された背景Ｍ＋１を分割したデータ１５００〜１５６０は時間ｔ２までに送信が完了するものとして説明した。時間ｔ２までに送信が完了した場合、上述した通り、分割後の背景画像１５００〜１５６０から背景Ｍ＋１を再構成し、前景Ｎ＋６０〜Ｎ＋１１９のそれぞれと組み合わせることで仮想視点画像を更新することができる。しかしながら、ネットワークの状況によっては、たとえ背景画像を分割して送信したとしても、帯域不足等の理由によりｔ２までに背景画像１５００〜１５６０の送信が完了しない場合も想定しうる。その場合、分割後の背景画像がすべて揃わないため、背景画像の更新は行わないようにしてもよい。その場合、一つ前のタイミングの背景Ｍを用いて仮想視点画像を生成してもよい。
【００５７】
なお、上記説明では、前景画像の生成・送信フレームレートを、撮像装置のフレームレートと同じく６０ｆｐｓとしたが、これに限るものではない。フレームレートが高いほど、仮想視点画像生成装置１００で生成される仮想視点映像も滑らかになる一方、処理容量や伝送データ量も大きくなる。よって、使用する環境に応じた適切なフレームレートを設定することが望ましい。
【００５８】
また、上記説明では、背景画像の生成フレームレートを１ｆｐｓとしたが、これに限るものではなく、前景画像の生成フレームレートより低いフレームレートであればよい。すなわち、前景画像を生成する頻度よりも背景画像を生成する頻度が低ければよい。
【００５９】
また、前景画像と背景画像を同じフレームレートで生成し、前景画像に関しては生成した分すべてを送信し、背景画像については生成したすべての背景画像を送信するのではなく、一部を間引いて送信するようにしてもよい。例えば、前景画像、背景画像ともに６０ｆｐｓで生成し、前景画像については１秒間で生成された６０フレームの画像をすべて送信し、背景画像については６０フレームのうち１フレーム分の画像のみ送信するようにしてもよい。すなわち、仮想視点画像の再生のために必要とされる頻度が前景画像よりも背景画像の方が低ければ本発明は適用可能である。
【００６０】
また、上記説明では、背景画像を分割するにあたって、前景画像が送信される度に分割後の背景画像も送信されるよう、６０分割する例について説明したが、これに限定するものではない。例えば、３０分割とし、分割後の背景画像データを３０ｆｐｓで送信してもよい。また、分割後の背景画像について、必ずしもすべて別のタイミングで送信しなくてもよい。例えば、６０分割した背景画像のうち、１つ目〜３つ目の分割後背景画像を第１のタイミングで送信し、４つ目〜６つ目の分割後背景画像を第２のタイミングで送信する、等の処理をしてもかまわない。
【００６１】
また、上記説明では、前景画像、背景画像ともに所定の周期で生成されるものとして説明したが、生成、送信タイミングは周期的でなくとも構わない。例えば、１ｆｐｓで背景画像を生成する場合、１秒の間に１フレーム分の撮像画像から背景画像を生成すればよく、必ずしも１秒ごとに生成しなくてもよい。
【００６２】
また、上記説明では、画像処理装置１０２が前景画像、背景画像を生成する例について説明したが、別の装置が前景画像、背景画像の両方またはいずれか一方を生成するようにしてもよい。例えば、撮像装置１０１が前景画像、背景画像の生成まで行い、画像処理装置１０２は撮像装置１０１から前景画像、背景画像を取得し、後段の画像処理装置１０２、または仮想視点画像生成装置１００へ送信するようにしてもよい。
【００６３】
また、上記説明では、画像処理装置１０２が送信した前景画像、背景画像に基づいて仮想視点画像生成装置１００が仮想視点画像を生成するシステムについて説明したが、他のシステムにも本発明は適用可能である。
【００６４】
以上のように、上記各実施形態の画像処理装置は、撮像装置により撮像された画像からオブジェクトを含む前景画像と当該オブジェクトを含まない背景画像を生成するにあたり、前景画像を生成する頻度よりも低い頻度で背景画像を生成する。これにより、時間の経過により動きのある人物等のオブジェクトを含む前景画像については、画質が劣化するのを防ぎつつ、時間が経過しても変化がない、または小さい背景画像については、伝送データ量を削減することができる。そして、生成した背景画像を分割し、分割後の背景画像を前記前景画像と共に他の画像処理装置、または仮想視点画像生成装置に送信する。これにより、伝送帯域を平準化して使用することができるため、伝送可能な帯域の上限を超える可能性や、仮想視点画像生成する装置における処理性能を超える可能性を低減することができる。その結果、ユーザに違和感のない仮想視点画像を提供することが可能となる。
【００６５】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。
【符号の説明】
【００６６】
１００  仮想視点画像生成装置
１０１−１〜１０１−４  撮像装置
１０２−１〜１０２−４  画像処理装置
【図１】
2020167472.tif 000003
【図２】
2020167472.tif 000004
【図３】
2020167472.tif 000005
【図４】
2020167472.tif 000006
【図５】
2020167472.tif 000007
【図６】
2020167472.tif 000008
【図７】
2020167472.tif 000009
【図８】
2020167472.tif 000010