(57)【要約】  データ通信量を低減できると共に、臨場感のある画像を表示装置に表示するための技術を提供する。  情報処理装置は、通信部と、前記通信部が外部から受信した対象物の３次元モデルに基づいて、複数の視点毎に前記視点に応じた視点画像を含む表示画像を生成する多視点画像生成部と、前記複数の視点に対応した画像を表示する多視点表示装置に前記表示画像を表示させるための表示制御部と、を備える。
2017094543.tif 000002
【特許請求の範囲】
【請求項１】
情報処理装置であって、
通信部と、
前記通信部が外部から受信した対象物の３次元モデルに基づいて、複数の視点毎に前記視点に応じた視点画像を含む表示画像を生成する多視点画像生成部と
前記複数の視点に対応した画像を表示する多視点表示装置に前記表示画像を表示させるための表示制御部と、を備える、情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、更に、
前記複数の視点に応じた前記視点画像を生成するために用いるパラメーターを記憶する記憶部を備え、
前記多視点画像生成部は、前記記憶部に記憶された前記パラメーターに基づいて前記視点画像を生成する、情報処理装置。
【請求項３】
請求項２に記載の情報処理装置であって、
前記パラメーターは、前記複数の視点に応じて設定される、前記３次元モデルを回転させるための回転角度情報を含む、情報処理装置。
【請求項４】
請求項３に記載の情報処理装置であって、更に、
前記複数の視点によらず、前記表示制御部が多視点表示装置に表示させた前記対象物の画像に基づいて、前記回転角度情報を設定するためのパラメーター設定部を有する、情報処理装置。
【請求項５】
請求項１から請求項４までのいずれか一項に記載の情報処理装置であって、
前記通信部は、前記対象物の背景画像を受信し、
前記多視点画像生成部は、前記背景画像と前記視点画像とを合成した合成画像を生成し、
前記表示制御部は、前記合成画像を前記表示画像として前記多視点表示装置に表示させる、情報処理装置。
【請求項６】
情報処理装置であって、
通信部と、
前記通信部が外部から受信した対象物の３次元モデルに基づいて、複数の視点毎に前記視点に応じた視点画像を含む表示画像を生成する多視点画像生成部と
前記複数の視点に対応した画像を表示する多視点表示装置に前記表示画像を表示させるための表示制御部と、
複数の撮像部が撮像対象物を撮像した画像を取得するための撮像制御部と、
前記複数の撮像部が撮像した画像に基づいて、前記撮像対象物の３次元モデルを生成する３次元モデル生成部と、を備え、
前記通信部は、前記撮像対象物の３次元モデルを外部に送信する、情報処理装置。
【請求項７】
請求項６に記載の情報処理装置であって、更に、
前記複数の撮像部が撮像した画像から前記撮像対象物の背景となる背景画像を抽出する抽出部を備え、
前記通信部は、前記背景画像を外部に送信する、情報処理装置。
【請求項８】
請求項６又は請求項７に記載の情報処理装置であって、
前記撮像制御部は、前記複数の撮像部がそれぞれ有する深度センサーが検出した深度情報を取得可能であり、
前記３次元モデル生成部は、前記複数の撮像部がそれぞれ撮像した画像と、複数の前記深度センサーが検出した深度情報とに基づいて前記撮像対象物の３次元モデルを生成する、情報処理装置。
【請求項９】
情報処理システムであって、
複数の視点に対応した画像を表示する多視点表示装置と、
請求項１から請求項８までのいずれか一項に記載の情報処理装置と、を備える、情報処理システム。
【請求項１０】
請求項９に記載の情報処理システムであって、さらに、
画像を撮像するための複数の撮像部を有する、情報処理システム。
【請求項１１】
請求項１０に記載の情報処理システムであって、
前記複数の撮像部はそれぞれ深度センサーを有する、情報処理システム。
【請求項１２】
情報処理装置の制御方法であって、
（ａ）外部から受信した対象物の３次元モデルに基づいて、複数の視点毎に前記視点に応じた視点画像を含む表示画像を生成する工程と、
（ｂ）前記複数の視点に対応した画像を表示する多視点表示装置に前記表示画像を表示させる工程と、を備える、情報処理装置の制御方法。
【請求項１３】
複数の視点毎に、前記視点に応じた視点画像を含む表示画像を、対象物の３次元モデルを元に生成する際に用いるパラメーターの設定方法であって、
（ａ）前記複数の視点によらず表示装置に対象物の画像を表示させる工程と、
（ｂ）前記工程（ａ）によって表示された前記対象物の画像に基づいて、前記視点に応じた前記３次元モデルを回転させるための回転角度情報を設定する工程と、を備える、パラメーターの設定方法。
【請求項１４】
請求項１３に記載の設定方法であって、
前記工程（ａ）は、
第１の場所に配置された前記表示装置としての第１表示装置とは異なる第２表示装置に表示された、前記第１表示装置を視認する特定の人物が位置する方向を、前記第２表示装置が配置された第２の場所側に位置する前記対象物が向くように、前記第２の場所側の前記対象物を配置させる工程を含み、
前記工程（ｂ）は、
前記工程（ａ）によって前記第２の場所側の前記対象物を配置した状態において、前記第１表示装置に表示された前記対象物の画像が、前記特定の人物の方向を向くように前記対象物の画像を変化させたときの、前記対象物の画像の回転角度と回転の向きを前記回転角度情報として設定する工程を含む、パラメーターの設定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元モデルから表示画像を表示するための技術に関する。
【背景技術】
【０００２】
従来、テレビ会議の臨場感を高める方法として、撮像側の空間の３次元画像を生成し、３次元画像から表示側の視点位置に応じた２次元画像を表示装置に表示させる技術が知られている（例えば、特許文献１）。また従来、通信相手と視線が合った状態で会話を行うために、多数の方向から撮影した画像を、視聴者の視線方向に応じて表示する技術が知られている（例えば、特許文献２）。また従来、任意の方向から複数人により観測可能な立体ディスプレイが知られている（例えば、特許文献３）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−７２８８０号公報
【特許文献２】特開平５−２２７２２号公報
【特許文献３】特開２００９−９２７８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の技術では、複数人の参加者が表示画面を見ている場合に、表示側の複数人の参加者は同じ表示画面を見ることになる。これにより、表示側の特定の参加者が撮像側の参加者と視線を合わせることが困難となる。【０００５】
また、特許文献１，２の技術では、テレビ会議の画面越しに、特定の参加者と視線を合わすための具体的な調整方法については開示されていない。また、テレビ会議の場合、動画を互いの会議室へと送信する必要があり、特許文献２の技術のように、複数の方向から撮像した動画を互いに送信する場合、テレビ会議を行うために必要となる通信速度や通信量などの通信スペックを高くする必要があり、通信コストが高くなる場合がある。更に、従来の技術において、撮像側の特定の参加者と表示側の特定の参加者とが視線を合わすためには参加者の左右の移動だけではなく、参加者の上下方向の視線についても調整する必要がある。特許文献１，２に開示の技術では、被写体の視線高さに合わせてカメラをセットする必要があり、様々な状況（参加者の身長差や参加者が座っているか立っているかなどの状況）に柔軟に対応することが困難な場合がある。また、特許文献３の技術に開示された複数の立体ディスプレイを、テレビ会議などの双方向のデータ通信を行う場面に適用した場合、コストが高くなったり、立体ディスプレイの配置位置の確保が困難となる等の構造的な不具合が生じたりする場合がある。【０００６】
よって、データ通信量を低減できると共に、臨場感のある画像を表示装置に表示するための技術が望まれている。また、従来の技術において、低コスト化、省資源化、製造の容易化、使い勝手の向上等が望まれている。
【課題を解決するための手段】
【０００７】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。【０００８】
（１）本発明の一形態によれば、情報処理装置が提供される。この情報処理装置は、通信部と、前記通信部が外部から受信した対象物の３次元モデルに基づいて、複数の視点毎に前記視点に応じた視点画像を含む表示画像を生成する多視点画像生成部と、前記複数の視点に対応した画像を表示する多視点表示装置に前記表示画像を表示させるための表示制御部と、を備える。
この形態によれば、対象物の３次元モデルに基づいて、異なる複数の視点に応じた視点画像を生成して視点画像を含む表示画像を多視点表示装置に表示できることから、臨場感を高めた表示画像を表示できる。また、受信した３次元モデルに基づいて視点画像を生成することから、複数の異なる視点ごとの視点画像そのものを受信する場合よりもデータ通信量を低減できる。【０００９】
（２）上記形態の情報処理装置であって、更に、前記複数の視点に応じた前記視点画像を生成するために用いるパラメーターを記憶する記憶部を備え、前記多視点画像生成部は、前記記憶部に記憶された前記パラメーターに基づいて前記視点画像を生成しても良い。この形態によれば、パラメーターに基づいて視点画像を容易に生成できる。【００１０】
（３）上記形態の情報処理装置であって、前記パラメーターは、前記複数の視点に応じて設定される、前記３次元モデルを回転させるための回転角度情報を含んでも良い。この形態によれば、回転角度情報に用いて容易に３次元モデルに基づいて視点画像を生成できる。【００１１】
（４）上記形態の情報処理装置であって、更に、前記複数の視点によらず、前記表示制御部が多視点表示装置に表示させた前記対象物の画像に基づいて、前記回転角度情報を設定するためのパラメーター設定部を有しても良い。この形態によれば、対象物の画像に基づいて容易に回転角度情報を設定できる。【００１２】
（５）上記形態の情報処理装置であって、前記通信部は、前記対象物の背景画像を受信し、前記多視点画像生成部は、前記背景画像と前記視点画像とを合成した合成画像を生成し、前記表示制御部は、前記合成画像を前記表示画像として前記多視点表示装置に表示させても良い。この形態によれば、背景画像と視点画像とを合成した合成画像を多視点表示装置に表示させるため臨場感をより高めた表示画像を表示できる。【００１３】
（６）本発明の他の形態によれば、情報処理装置が提供される。この情報処理装置は、通信部と、前記通信部が外部から受信した対象物の３次元モデルに基づいて、複数の視点毎に前記視点に応じた視点画像を含む表示画像を生成する多視点画像生成部と、前記複数の視点に対応した画像を表示する多視点表示装置に前記表示画像を表示させるための表示制御部と、複数の撮像部が撮像対象物を撮像した画像を取得するための撮像制御部と、前記複数の撮像部が撮像した画像に基づいて、前記撮像対象物の３次元モデルを生成する３次元モデル生成部と、を備え、前記通信部は、前記撮像対象物の３次元モデルを外部に送信しても良い。この形態によれば、撮像した画像に基づいて撮像対象物の３次元モデルを生成して外部に送信できる。【００１４】
（７）上記形態の情報処理装置であって、更に、前記複数の撮像部が撮像した画像から前記撮像対象物の背景となる背景画像を抽出する抽出部を備え、前記通信部は、前記背景画像を外部に送信しても良い。この形態によれば、背景画像を抽出して外部に送信できる。【００１５】
（８）上記形態の情報処理装置であって、前記撮像制御部は、前記複数の撮像部がそれぞれ有する深度センサーが検出した深度情報を取得可能であり、前記３次元モデル生成部は、前記複数の撮像部がそれぞれ撮像した画像と、複数の前記深度センサーが検出した深度情報とに基づいて前記撮像対象物の３次元モデルを生成しても良い。この形態によれば、撮像した画像と深度情報とに基づいて撮像対象物の３次元モデルを容易に生成できる。【００１６】
（９）本発明の他の形態によれば、異なる複数の視点に応じた視点画像を含む表示画像を、対象物の３次元モデルを元に生成する際に用いるパラメーターの設定方法が提供される。この設定方法は、（ａ）前記複数の視点によらず表示装置に対象物の画像を表示させる工程と、（ｂ）前記工程（ａ）によって表示された前記対象物の画像に基づいて、前記視点に応じた前記３次元モデルを回転させるための回転角度情報を設定する工程と、を備える。この形態によれば、対象物の画像に基づいて回転角度情報を設定できる。【００１７】
（１０）上記形態のパラメーターの設定方法であって、前記工程（ａ）は、第１の場所に配置された前記表示装置としての第１表示装置とは異なる第２表示装置に表示された、前記第１表示装置を視認する特定の人物が位置する方向を、前記第２表示装置が配置された第２の場所側に位置する前記対象物が向くように、前記第２の場所側の前記対象物を配置させる工程を含み、前記工程（ｂ）は、前記工程（ａ）によって前記第２の場所側の前記対象物を配置した状態において、前記第１表示装置に表示された前記対象物の画像が、前記特定の人物の方向を向くように前記対象物の画像を変化させたときの、前記対象物の画像の回転角度と回転の向きを前記回転角度情報として設定する工程を含んでも良い。この形態によれば、対象物の画像を変化させることで容易に回転角度情報を設定できる。【００１８】
例えば、本発明の一形態において、通信部と、表示制御部と、多視点画像生成部と、の複数の要素の内の１つ以上の要素を備えた装置としても実現可能である。すなわち、この装置は、通信部を有していても良く、有していなくても良い。また、この装置は、表示制御部を有していても良く、有していなくても良い。また、この装置は、多視点画像生成部を有していても良く、有していなくても良い。このような各種形態によれば、装置の小型化、低コスト化、省資源化、製造の容易化、使い勝手の向上等の種々の課題の少なくとも１つを解決できる。また前述した情報処理装置やパラメーターの設定方法の各形態の技術的特徴の一部又は全部は、いずれもこの装置又は方法に適用することが可能である。【００１９】
なお、本発明は、種々の形態で実現することが可能であり、情報処理装置、パラメーターの設定方法の他に、情報処理装置を含む情報処理システム、情報処理装置の制御方法、これらの方法、装置、システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記憶した記憶媒体等の形態で実現することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態としての画像送受信システムを説明するための図である。
【図２】多視点表示装置を説明するための図である。
【図３】撮像部と送信側情報処理装置を機能的に示すブロック図である。
【図４】３次元モデルの生成工程のフロー図である。
【図５】受信側情報処理装置と多視点表示装置を機能的に示すブロック図である。
【図６】多視点画像生成部が実行する表示画像の生成処理のフロー図である。
【図７】視点画像を生成するための概念図である。
【図８】画素列によって表示される表示画像の例を示す図である。
【図９】画素列によって表示される表示画像の例を示す図である。
【図１０】画素列によって表示される表示画像の例を示す図である。
【図１１】パラメーターの設定工程のフロー図である。
【図１２】パラメーターの設定工程を説明するための第１の図である。
【図１３】パラメーターの設定工程を説明するための第２の図である。
【図１４】多視点表示装置の変形例の説明図である。
【図１５】パラメーターの設定方法の変形例について説明するための図である。
【図１６】パラメーターの設定工程のフロー図である。
【図１７】パラメーターに基づいて生成した表示画像を示す図である。
【発明を実施するための形態】
【００２１】
Ａ．実施形態：
Ａ−１：画像送受信システムの構成：
図１は、本発明の実施形態としての画像送受信システム１００を説明するための図である。画像送受信システム１００は、会議室などの異なる場所１０，３０間で、互いに動画と音声をデータ通信で送受信してリアルタイムに会議を行うシステム（テレビ会議システム）である。例えば３０フレーム毎秒のフレームレートで動画のフレーム画像が相手側の場所に向けて送信されることにより、動画が表示画面に表示される。なお、送信される動画のフレーム画像は、１フレーム前のフレーム画像との差分のみを送信しても良い。
【００２２】
画像送受信システム１００においては、場所１０と場所３０とにおいて、データ通信の機能は同じ機能（データ送信機能及びデータ受信機能）を有している。しかしながら、以下の説明においては説明を容易にするために、場所１０内には、データ送信機能についての機能部のみを図示し、場所３０内にはデータ受信機能についての機能部のみを図示している。よって、場所１０を送信側１０とも呼び、場所３０を受信側３０とも呼ぶ。
【００２３】
画像送受信システム１００において、送信側１０では人物１２が会議に出席し、受信側３０では３人の人物３２Ａ，３２Ｂ，３２Ｃが会議に出席している。人物１２の背後には、ホワイトボードなどの背景物１３が配置されている。また、人物３２Ａ，３２Ｂ，３３Ｃの背後にも同様にホワイトボードなどの背景物３３が配置されている。図１では、人物３２Ａ，３２Ｂ，３２Ｃが後述する多視点表示装置２０の表示画面に表示された送信側１０の人物１２を含む動画を見ながら会議を行っている。
【００２４】
画像送受信システム１００は、データ送信を行う機能を実現するために２つの撮像部５０Ａ，５０Ｂと、送信側情報処理装置６０と、を備える。この２つの撮像部５０Ａ，５０Ｂと送信側情報処理装置６０は、送信側１０に設けられている。
撮像部５０Ａは人物１２の前方左側に配置され、撮像部５０Ｂは人物１２の前方右側に配置されている。２つの撮像部５０Ａ，５０Ｂはそれぞれ異なる方向から人物１２を含む領域を撮像する。なお、２つの撮像部５０Ａ，５０Ｂを区別することなく用いる場合は符号「５０」を用いる。
【００２５】
画像送受信システム１００は、更に、データ受信を行う機能を実現するために受信側情報処理装置７０を備える。受信側情報処理装置７０は、受信側３０に設けられている。また、画像送受信システム１００は、受信側情報処理装置７０によって生成された画像を表示するための多視点表示装置２０と、送信側１０の送信側情報処理装置６０から送信された音声を出力する２台のスピーカー４０と、を備える。
【００２６】
送信側情報処理装置６０と受信側情報処理装置７０とは、インターネットＩＮＴを介してデータ通信が可能である。受信側３０の人物３２Ａ，３２Ｂ，３２Ｃが多視点表示装置２０を見るときの視点Ａ，Ｂ，Ｃの位置、及び視線の方向ＤＡ，ＤＢ，ＤＣはそれぞれ異なっている。視点Ａ，Ｂ，Ｃは、多視点表示装置２０を見るときの立脚点であり、例えば、人物３２Ａ，３２Ｂ，３２Ｃの両眼の中央の点である。
【００２７】
図１では、画像送受信システム１００は、送信側１０と受信側３０の双方において撮像画像や音声情報などのデータを送受信可能に構成されている。すなわち、図示を省略したが、送信側１０にも多視点表示装置２０と受信側情報処理装置７０と、スピーカー４０とが配置され、受信側３０にも撮像部５０と送信側情報処理装置６０とスピーカー４０とが配置されている。
【００２８】
図２は、多視点表示装置２０を説明するための図である。多視点表示装置２０は、異なる複数の視点Ａ，Ｂ，Ｃに応じた２次元画像を表示する。多視点表示装置２０は、直視型の表示装置である。多視点表示装置２０は、マトリックス状に配置された複数の画素２４と、複数の画素２４の視認側に配置されたレンチキュラーレンズ２６と、表示画面（スクリーン）２９を有する。複数の画素２４は、鉛直方向（紙面奥行き方向）に沿って配列される３種類の画素列２４Ａ，２４Ｂ，２４Ｃを有する。
画素列２４Ａは、視点Ａ（図１）に応じた画像を表示するために用いられる。画素列２４Ｂは、視点Ｂ（図１）に応じた画像を表示するために用いられる。画素列２４Ｃは、視点Ｃ（図１）に応じた画像を表示するために用いられる。
レンチキュラーレンズ２６は、画素列２４Ａが構成する第１の画像ＬＭＡと、画素列２４Ｂが構成する第２の画像ＬＭＢと、画素列２４Ｃが構成する第３の画像ＬＭＣとを異なる視点Ａ，Ｂ，Ｃに向けて射出する。
これにより、多視点表示装置２０の画面において、人物３２Ａは第１の画像ＬＭＡを見ることになり、人物３２Ｂは第２の画像ＬＭＢを見ることになり、人物３２Ｃは第３の画像ＬＭＣを見ることになる。
表示画面２９は、多視点表示装置２０の表面を構成する。表示画面２９は、例えば平板状の部材（例えば、ガラス板）によって構成されている。
【００２９】
図３は、撮像部５０と送信側情報処理装置６０を機能的に示すブロック図である。撮像部５０は、カメラ５２と、深度センサー５４と、マイクロフォン５６とを備える。
【００３０】
カメラ５２は、外部からの光を受光して撮像する機能を有する。撮像された画像は動画を構成するフレーム画像ＦＭＲとして送信側情報処理装置６０に送信される。カメラ５２は、人物１２と背景物１３とを含む領域を撮像している。
【００３１】
深度センサー５４は、カメラ５２によって撮像される対象物までの距離を検出する。深度センサー５４を用いた距離の検出方式としては、例えば、光源からの射出した光が対象物によって反射して受光部によって受光される時間に基づいて距離を検出する方式（ＴＯＦ方法）や、光の射出位置と受光位置とに基づいた三角測距方式が用いられる。深度センサー５４によって検出された対象物までの距離を表す深度情報は、フレーム画像ＦＭＲに付加情報として付加されて、送信側情報処理装置６０に送信される。
【００３２】
マイクロフォン５６は、音声を電気信号に変換する。電気信号としての音声情報ＳＤはフレーム画像ＦＭＲに同期して送信側情報処理装置６０に送信される。
【００３３】
送信側情報処理装置６０は、通信部６２と、ＲＯＭ６４と、ＲＡＭ６５と、制御部としてのＣＰＵ６６と、を備える。通信部６２と、ＲＯＭ６４と、ＲＡＭ６５と、ＣＰＵ６６とは互いにバスを介して接続されている。
【００３４】
通信部６２は、ＵＳＢ、ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ等の規格に準拠した入出力インターフェイスを備え、データを送受信する。例えば、通信部６２は、撮像部５０から深度情報が付加されたフレーム画像ＦＭＲと音声情報ＳＤを受信する。また例えば、通信部６２は、受信側情報処理装置７０にデータを送信する。本実施形態では、通信部６２は、後述するＲＡＭ６５に記憶された人物の３次元モデルＦＭＴと背景画像ＦＭＶと音声情報ＳＤとを受信側情報処理装置７０に送信する。
【００３５】
ＣＰＵ６６は、ＲＯＭ６４に記憶された各種プログラムをＲＡＭ６５にロードして実行することで、後述する種々の処理を実現する。なお、後述する種々の処理は、各種プログラムに基づく動作によって実現されるが、各種プログラムの少なくとも一部は、回路などのハード的な構成によって実現しても良い。
【００３６】
ＣＰＵ６６は、ＲＯＭ６４に記憶された各種プログラムを実行することで、撮像制御部６６２と、抽出部６６４と、３次元モデル生成部６６５として機能する。
【００３７】
撮像制御部６６２は、複数の撮像部５０Ａ、５０Ｂを制御する。撮像制御部６６２は、通信部６２を介して深度情報が付加されたフレーム画像ＦＭＲと音声情報ＳＤとを取得する。また、撮像制御部６６２は、深度情報が付加されたフレーム画像ＦＭＲと音声情報ＳＤとをＲＡＭ６５に記憶する。
【００３８】
抽出部６６４は、フレーム画像ＦＭＲから対象物を表す対象物画像と、対象物以外の背景を表す背景画像とを抽出する。例えば、抽出部６６４は、フレーム画像ＦＭＲから人物のエッジ（特徴部）を検出することで対象物画像としての人物画像を抽出する。また例えば、抽出部６６４は、フレーム画像ＦＭＲのデータのうち、人物画像以外の画像を背景画像ＦＭＶとして抽出する。人物画像と背景画像ＦＭＶとは、ＲＡＭ６５に記憶される。
【００３９】
３次元モデル生成部６６５は、２つの撮像部５０Ａ，５０Ｂが撮像した画像に基づいて、対象物である人物の３次元モデルを生成する。すなわち、３次元モデル生成部６６５は、計測点が異なる２つの撮像部５０Ａ，５０Ｂから取得した深度情報と、フレーム画像ＦＭＲ（詳細には、抽出した人物画像）とに基づいて３次元モデルＦＭＴを生成する。生成された３次元モデルＦＭＴはＲＡＭ６５に記憶される。具体的には、３次元モデルＦＭＴは、撮像部５０Ａ，５０Ｂのそれぞれから取得した画像を深度情報に基づいてつなぎ合わせる（Ｔｒａｉａｎｇｕｌａｔｉｏｎ）。そして、２方向からのデータを合成し、合成した画像に赤・緑・青色（ＲＧＢ）の色情報を含む表面情報を付加する（テクスチャーマッピング）。この３次元モデルの生成工程については後述する。
【００４０】
なお、送信側情報処理装置６０はＨＤＤなどの外部記憶装置を有し、ＣＰＵ６６によって生成された各種データ（例えば、３次元モデルＦＭＴ）は外部記憶装置に記憶されても良い。
【００４１】
図４は、３次元モデルの生成工程のフロー図である。はじめにＣＰＵ６６は、２つの撮像部５０Ａ，５０Ｂの位置と方向（姿勢）をワールド座標系で特定する（ステップＳ１０）。ここでワールド座標系とは、２つの撮像部５０Ａ，５０Ｂの個々の座標系（モデル座標系）から独立している３軸直交座標系である。このワールド座標系から対象物である人物を任意の視点から見るための座標系（視点座標系）への変換は、視野変換によって行われる。また、視点座標系から多視点表示装置２０に表示するためのスクリーン座標系への変換は、視点座標系に置かれた対象物である人物に対して透視変換等の射影変換によって行われる。
【００４２】
２つの撮像部５０Ａ，５０Ｂのそれぞれの位置関係と方向が正確に分かると、適当な原点を定めることにより２つの撮像部５０Ａ，５０Ｂの位置と方向をワールド座標系で定めることができる。実際には、キャリブレーションを実施することにより定めることができる。例えば、キャリブレーション用の既知のターゲット周辺の、予め決められたおよその位置に予め決められたおよその姿勢で、２つの撮像部５０Ａ，５０Ｂを設置する。２つの深度センサー５４のそれぞれが生成する深度情報に基づいて導出される既知のターゲットの形状の一部が既知のターゲットの同一領域を表していることを前提として、撮像部５０Ａ，５０Ｂの位置と方向、すなわち撮像位置と撮像方向と深度の計測位置と深度の計測方向を導出する。
具体的には、各撮像部５０Ａ，５０Ｂが生成する深度情報に基づいて、実際の撮像部５０Ａ，５０Ｂの位置と方向を、例えばＩＣＰ（iterative closest point）等のパターンマッチングの手法を用いてワールド座標系で数学的に特定しておけば良い。各撮像部５０Ａ、５０Ｂの位置を示す座標と方向を示す単位ベクトルがワールド座標系で特定されると、各撮像部に固有の座標系（モデル座標系）をワールド座標系に変換するための変換行列式を導出可能になる。この変換行列式を記憶しておき、後述する３次元モデルを生成する際に使用する。
【００４３】
ＣＰＵ６６は、ボタンが押下される等の人物１２からの３次元モデルを生成するための指示を受け付けると、撮像制御部６６２が撮像部５０Ａ，５０Ｂから深度情報とフレーム画像ＦＭＲとを取得する（ステップＳ１２）。本実施形態では、撮像制御部６６２が、深度情報が付加されたフレーム画像ＦＭＲを取得する。
【００４４】
次に、抽出部６６４はフレーム画像ＦＭＲから対象物画像と背景画像とを抽出する（ステップＳ１４）。次に、３次元モデル生成部６６５は、２つの撮像部５０Ａ，５０Ｂから取得した２つの深度情報に基づいて３次元モデルを生成する（ステップＳ１６）。具体的には、３次元モデル生成部６６５は、撮像部５０Ａ，５０Ｂから取得した深度情報毎に対象である人物１２のポリゴンモデルを上述した変換行列式を用いてワールド座標系で特定する。また３次元モデル生成部６６５は、特定したポリゴンモデルの各ポリゴンとフレーム画像ＦＭＲとしてのＲＧＢ画像との対応付けを撮像部５０Ａ，５０Ｂ毎に生成する。すなわち、ポリゴンモデルの各ポリゴンの表面に、ＲＧＢの情報（色情報）をテクスチャとして貼り付けて３次元モデルＦＭＴを生成する。
以上のように、３次元モデル生成部６６５は、２つの撮像部５０がそれぞれ撮像した画像と、２つの撮像部５０が有するそれぞれの深度センサー５４から取得した深度情報とに基づいて３次元モデルＦＭＴを生成する。
【００４５】
図５は、受信側情報処理装置７０と多視点表示装置２０を機能的に示すブロック図である。受信側情報処理装置７０は、通信部７２と、ＲＯＭ７４と、ＲＡＭ７５と、制御部としてのＣＰＵ７６と、入力部７８とを備える。通信部７２と、ＲＯＭ７４と、ＲＡＭ７５と、ＣＰＵ７６と、入力部７８とは互いにバスを介して接続されている。
【００４６】
通信部７２は、ＵＳＢ、ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ等の規格に準拠した入出力インターフェイスを備え、データを送受信する。例えば、通信部７２は、送信側情報処理装置６０から送信された３次元モデルＦＭＴと音声情報ＳＤと背景画像ＦＭＶを受信する。また、通信部７２は、表示画像ＩＭＡ，ＩＭＢ，ＩＭＣと、音声情報ＳＤとを多視点表示装置２０に送信する。なお、表示画像ＩＭＡ，ＩＭＢ，ＩＭＣを区別することなく用いる場合は符号「ＩＭ」を用いる。
【００４７】
ＣＰＵ７６は、ＲＯＭ７４に記憶された各種プログラムを実行することで、多視点画像生成部７６２と、表示制御部７６４と、パラメーター設定部７６５として機能する。
【００４８】
記憶部としてのＲＡＭ７５は、複数の視点Ａ，Ｂ，Ｃに応じた、視点画像ＦＭＷＡ，ＦＭＷＢ，ＦＭＷＣを生成するために用いるパラメーター７５１を記憶する。パラメーター７５１は、ワールド座標系の３次元モデルＦＭＴを視点座標系を経由してスクリーン座標系に変換するためのパラメーターである。このパラメーターは、ワールド座標系に配置された３次元モデルＦＭＴの座標をスクリーン座標系の座標に変換するための回転角度情報Ｒを含む。
回転角度情報Ｒは、受信側３０の多視点表示装置２０に表示される人物１２の画像における、基準視線方向ＬＳに対する回転角度と回転の方向を表す。本実施形態では、基準視線方向ＬＳは、送信側１０の多視点表示装置２０（図１では図示省略）の表示画面２９に対して垂直な方向である。回転角度情報Ｒは、複数の視点Ａ，Ｂ，Ｃに応じて設定される。この回転角度情報Ｒが設定されることで、ワールド座標系における視点Ａ，Ｂ，Ｃの位置と、視点Ａ，Ｂ，Ｃからの視線方向を示す単位ベクトルとが設定される。すなわち、回転角度情報Ｒが設定されることで、ワールド座標系（Ｘｗ，Ｙｗ，Ｚｗ）から視点座標系（Ｘ，Ｙ，Ｚ）への変換行列式と、視点座標系（Ｘ，Ｙ，Ｚ）からスクリーン座標系（ｘ、ｙ）への変換行列式が、ＲＡＭ７５に記憶された変換テーブル７５２を用いてパラメーター設定部７６５によって設定される。ここで、視点Ａに応じた回転角度情報には符号「ＲＡ」を用い、視点Ｂに応じた回転角度情報には符号「ＲＢ」を用い、視点Ｃに応じた回転角度情報には符号「ＲＣ」を用いる。
【００４９】
多視点画像生成部７６２は、送信側情報処理装置６０から受信した３次元モデルＦＭＴに基づいて複数の視点Ａ，Ｂ，Ｃに応じた視点画像ＦＭＷＡ，ＦＭＷＢ，ＦＭＷＣを生成する。具体的には、多視点画像生成部７６２は、複数の視点Ａ，Ｂ，Ｃに応じて設定された変換行列式を用いて視点画像ＦＭＷＡ，ＦＭＷＢ，ＦＭＷＣを生成する。また、多視点画像生成部７６２は、視点画像ＦＭＷＡ，ＦＭＷＢ，ＦＭＷＣに背景画像ＦＭＶを合成した合成画像を表示画像ＩＭＡ，ＩＭＢ，ＩＭＣとして生成する。ここで、視点画像ＦＭＷＡ，ＦＭＷＢ，ＦＭＷＣを区別することなく用いる場合は、符号「ＦＭＷ」を用いる。
【００５０】
表示制御部７６４は、多視点表示装置２０を制御する。具体的には、視点画像ＦＭＷＡ，ＦＭＷＢ，ＦＭＷＣを含む表示画像ＩＭＡ，ＩＭＢ，ＩＭＣと、多視点表示装置２０の画素列２４Ａ〜２４Ｃの対応付けを行って、対応する画素列２４Ａ〜２４Ｃに表示画像ＩＭＡ，ＩＭＢ，ＩＭＣを表示させる。視点画像ＦＭＷＡを含む表示画像ＩＭＡは画素列２４Ａによって表示され、視点画像ＦＭＷＢを含む表示画像ＩＭＢは画素列２４Ｂによって表示され、視点画像ＦＭＷＣを含む表示画像ＩＭＣは画素列２４Ｃによって表示されるように、表示制御部７６４は多視点表示装置２０を制御する。
【００５１】
パラメーター設定部７６５は、パラメーター７５１をキャリブレーションによって設定して、ＲＡＭ７５に記憶させる。詳細には、パラメーター設定部７６５は、複数の視点Ａ，Ｂ，Ｃによらない単一の基準視点座標系及び単一の基準スクリーン座標系を用いて変換され、多視点表示装置２０に表示された対象物である人物１２の画像に基づいて、回転角度情報Ｒを設定する。基準視点座標系及び基準スクリーン座標系は、人物１２が基準視線方向ＬＳを向いているときに、受信側３０の多視点表示装置２０に表示される人物１２の視線方向が受信側３０の表示画面２９に対して垂直となるように変換される座標系である。
【００５２】
入力部７８は、パラメーター７５１を設定する際の、利用者からの入力を受け付ける。入力部７８は、例えば、マウスやキーボードや音声を用いた入力を受け付ける。なお、受信側情報処理装置７０はＨＤＤなどの外部記憶装置を有し、ＣＰＵ７６によって生成された各種データ（例えば、パラメーター７５１）や通信部７２により受信した各種データ（例えば、３次元モデルＦＭＴや背景画像ＦＭＶや音声情報ＳＤ等）は外部記憶装置に記憶されても良い。
【００５３】
図６は、多視点画像生成部７６２が実行する表示画像ＩＭＡ，ＩＭＢ，ＩＭＣの生成処理のフロー図である。図７は、視点画像を生成するための概念図である。図８は、画素列２４Ａによって表示される表示画像ＩＭＡの例を示す図である。図９は、画素列２４Ｂによって表示される表示画像ＩＭＢの例を示す図である。図１０は、画素列２４Ｃによって表示される表示画像ＩＭＣの例を示す図である。図８〜図１０は、図１に示す状態での表示画像ＩＭＡ〜ＩＭＣである。図７には、互いに直交するＸｗ軸，Ｙｗ軸，Ｚｗ軸を座標軸とするワールド座標系に人物１２の３次元モデルが配置されている。また、図７には、人物１２の３次元モデルを見る異なる複数の視点（原点）Ａ，Ｂ，Ｃ及び表示画面２９（画素列２４Ａ，２４Ｂ，２４Ｂ）を概念的に図示している。
【００５４】
図６に示すように、多視点画像生成部７６２は、視点Ａ，Ｂ，Ｃに応じた視点画像ＦＭＷＡ，ＦＭＷＢ，ＦＭＷＣを生成する（ステップＳ２０）。ステップＳ２０では、以下の数１〜数３の式を用いて、ワールド座標系に配置された３次元モデルＦＭＴを視点座標系の座標に変換する。そして、視点座標系に変換した３次元モデルＦＭＴを射影変換パラメーター（変換行列式）を用いて射影変換することで、視点画像ＦＭＷＡ，ＦＭＷＢ，ＦＭＷＣが生成される。次に、多視点画像生成部７６２は、視点画像ＦＭＷＡ，ＦＭＷＢ，ＦＭＷＣに背景画像ＦＭＶを合成する（ステップＳ２２）。これにより、表示画像ＩＭが生成される。
【００５５】
【数１】
2017094543.tif 000003
ここで、左辺のＸ，Ｙ、Ｚは、視点座標系で表された３次元モデルの座標であり、右辺のPは３×３の回転行列であり、右辺のＸｗ，Ｙｗ，Ｚｗは、ワールド座標系で表された空間の位置であり、右辺の第２項のｔは平行移動ベクトルである。
【００５６】
【数２】
2017094543.tif 000004
ここで、αはＸ軸まわりの角度であり、βはＹ軸まわりの角度であり、γはＺ軸まわりの角度である。
【００５７】
【数３】
2017094543.tif 000005
ここで、ｔｘ，ｔｙ，ｔｚは、Ｘ軸成分、Ｙ軸成分、Ｚ軸成分の平行移動ベクトルである。
【００５８】
図７に示すように、各視点Ａ，Ｂ，Ｃの回転角度情報ＲＡ，ＲＢ，ＲＣは、後述するパラメーター設定工程によって設定されている。回転角度情報ＲＡ，ＲＢ，ＲＣは、人物１２が送信側１０の多視点表示装置２０（図１では図示省略）に表示された人物３２Ａ，３２Ｂ，３２Ｃのうちの特定の人物を見ているときに、特定の人物の視点において、受信側３０の多視点表示装置２０に表示された人物１２が特定の人物を見ているように人物の画像が表示されるように設定される。
【００５９】
上記のように、回転角度情報ＲＡ，ＲＢ，ＲＣが設定されることで、例えば、図１に示す状態（人物１２が基準視線方向ＬＳを向いている状態）では、図８〜図１０に示すように、表示画像ＩＭＡ，ＩＭＢ，ＩＭＣが表示される。
図１に示す状態において、人物１２は、図示しない送信側１０の多視点表示装置２０に表示された人物３２Ａ，３２Ｂ，３２Ｃのうち、人物３２Ｂを見ている。このとき、図８に示すように、画素列２４Ａによって表示される表示画像ＩＭＡ中の視点画像ＦＭＷＡは、人物１２が人物３２Ａから見て左斜め前を向いているように表示される。また、図９に示すように、画素列２４Ｂによって表示される表示画像ＩＭＢ中の視点画像ＦＭＷＢは、人物３２Ｂから見て人物１２が真正面を向いているように表示される。また、図１０に示すように、画素列２４Ｃによって表示される表示画像ＩＭＣの視点画像ＦＭＷＣは、人物３２Ｃから見て人物１２が右斜め前を向いているように表示される。
各視点Ａ，Ｂ，Ｃに応じた３次元モデルＦＭＴの回転を行わない場合、各画素列２４Ａ〜２４Ｃに表示される視点画像の人物１２は、全て図９のように真正面を向いているように表示される。
【００６０】
図１１は、パラメーターの設定工程のフロー図である。図１２は、パラメーターの設定工程を説明するための第１の図である。図１３は、パラメーターの設定工程を説明するための第２の図である。このパラメーターの設定処理は、回転角度情報ＲＡ，ＲＢ，ＲＣがゼロのとき（すなわち、基準視点座標系及び基準スクリーン座標系を用いた場合）の元画像を画素列２４Ａ，２４Ｂ，２４Ｃに表示した状態で実行される。以下では、主に、人物３２Ａの視点Ａに応じた回転角度情報ＲＡの設定方法について説明する。
【００６１】
まず、受信側３０は、送信側１０の人物１２の向きを設定する（ステップＳ３０）。送信側１０の多視点表示装置２０に表示された受信側３０の人物３２Ａの方向（特定視線方向ＬＡ）を向くように、人物１２は姿勢を変える。
すなわち、図１２では、多視点表示装置２０の表示画面２９に対して垂直な基準視線方向ＬＳとなる位置から、人物３２Ａが表示されている特定視線方向ＬＡへと人物１２は体を、左方向に角度θＡだけ回転させる。一方で、人物３２Ｃに対して、人物１２は右方向に体を角度θＣだけ回転させることで基準視線方向ＬＳから特定視線方向ＬＣへ視線方向が変化する。この際、頭部のみを回転してもかまわない。なお、図１２では、人物３２Ｂに対しては、人物１２は基準視線方向ＬＳが特定視線方向ＬＢとなっている。
【００６２】
次に、受信側３０において送信側１０の人物の画像を回転させる（ステップＳ３２）。受信側３０の多視点表示装置２０に表示された人物１２の画像の視線方向ＬＡが、人物３２Ａの方向を向くように、表示画面２９のスクロール操作や音声指示によって、表示された人物１２と自身の視線が合うように、人物１２の画像を回転させる。つまり、人物１２の視線方向ＬＡに人物３２Ａが位置し、人物３２の視線方向ＤＡに人物１２が位置することで、人物１２，３２Ａのお互いの視線を一致させるように、人物１２の画像が回転される。
図１３では、多視点表示装置２０の画素列２４Ａに表示された人物１２を、基準視線方向ＬＳ（ＬＢ）から左向きに角度θＡａ回転させる。この回転の際のスクロール操作や音声指示などの入力情報は、変換テーブル７５２によって、ワールド座標系における視点の位置及び視線方向を示す単位ベクトルに関連付けられている。
よって、パラメーター設定部７６５は、入力情報（回転角度情報Ｒ）と変換テーブル７５２に基づいて視点Ａの位置と視線方向を示す単位ベクトルを設定する。つまり、パラメーター設定部７６５は、回転角度情報Ｒに基づいて、ワールド座標系（Ｘｗ，Ｙｗ，Ｚｗ）から視点座標系（Ｘ，Ｙ，Ｚ）への変換行列式と、視点座標系（Ｘ，Ｙ，Ｚ）からスクリーン座標系（ｘ、ｙ）への変換行列式を設定する。
【００６３】
次に、パラメーター設定部７６５は、回転角度情報ＲＡをＲＡＭ７５に記憶する（ステップＳ３４）。また、パラメーター設定部７６５は、ワールド座標系（Ｘｗ，Ｙｗ，Ｚｗ）から視点座標系（Ｘ，Ｙ，Ｚ）への変換行列式と、視点座標系（Ｘ，Ｙ，Ｚ）からスクリーン座標系（ｘ、ｙ）への変換行列式もＲＡＭ７５に記憶する。
【００６４】
以上のステップＳ３０〜ステップＳ３４について、人物３２Ｂ，３２Ｃに対しても同様に実行することで、各視点Ａ，Ｂ，Ｃに応じた回転角度情報ＲＡ，ＲＢ，ＲＣと変換行列式がＲＡＭ７５に記憶される。なお本実施形態では、回転角度情報Ｒは、多視点表示装置２０の表示画面２９において、横方向（水平方向）の回転角度とその向きについての情報に加え、縦方向（重力方向）の回転角度とその向きの情報も含む。本実施形態では、縦方向の回転角度はいずれもゼロである。
【００６５】
受信側情報処理装置７０は、パラメーター設定工程終了後に、この回転角度情報ＲＡ，ＲＢ，ＲＣを用いて設定された変換行列式を用いて表示画像ＩＭＡ，ＩＭＢ，ＩＭＣを生成して、所定のフレームレートで多視点表示装置２０に表示画像ＩＭＡ，ＩＭＢ，ＩＭＣを表示させる。
【００６６】
上記のパラメーターの設定工程は、受信側３０の人物３２Ａ，３２Ｂ，３２Ｃの多視点表示装置２０への視線方向に適した角度に３次元モデルＦＭＴを回転させる方法である。よって、送信側１０の人物１２が受信側３０の特定の人物の画像を見る際の、基準視線方向と視線方向との成す角度と、受信側３０の特定の人物が送信側１０の人物１２の画像を見る際の基準視線方向と視線方向との成す角度と、が異なる場合でも、臨場感のある表示画像ＩＭＡ，ＩＭＢ，ＩＭＣを表示できる。
【００６７】
なお、上記のパラメーターの設定工程では、受信側３０の全ての人物３２Ａ，３２Ｂ，３２Ｃの視点Ａ，Ｂ，ＣごとにステップＳ３０〜ステップＳ３４の工程を行ったが、視点Ａ，Ｂ，Ｃに応じた回転角度情報ＲＡ，ＲＢ，ＲＣを設定できれば視点Ａ，Ｂ，ＣごとにステップＳ３０〜ステップＳ３４の工程を行わなくても良い。例えば、受信側３０の多視点表示装置２０の表示画面２９に対する視点Ａ，Ｂ，Ｃの位置と、表示画面２９に対する視点Ａ，Ｂ，Ｃからの視線の方向ＤＡ，ＤＢ，ＤＣの角度が既値であれば、以下のような工程によって回転角度情報ＲＡ，ＲＢ，ＲＣは設定されても良い。すなわち、視点Ａ，Ｂ，Ｃのうちの１つの視点についてステップＳ３０〜ステップＳ３４の工程によって回転角度情報Ｒを設定した後に、他の視点の回転角度情報Ｒは比例計算によって求めても良い。
【００６８】
上記のごとく、パラメーターの設定方法は、まず、複数の視点Ａ，Ｂ，Ｃによらずに多視点表示装置２０に対象物の画像（人物１２）を表示させる工程（ステップＳ３０）と、第１の場所である受信側３０に配置された多視点表示装置２０に表示された対象物の画像（人物１２）に基づいて、視点Ａ，Ｂ，Ｃに応じた回転角度情報を設定する工程（ステップＳ３２）とを備える。
また、ステップＳ３０では、受信側３０に配置された多視点表示装置（第１表示装置）２０とは異なる多視点表示装置２０（第２表示装置）が配置された送信側（第２の場所側）１０の人物１２が、多視点表示装置２０（第２表示装置）に表示された受信側３０の特定の人物の方向を向くように、配置される。
そして、ステップＳ３２では、送信側１０の人物１２が多視点表示装置２０に表示された特定の人物の方向を向いた状態において、受信側３０の多視点表示装置２０に表示された人物１２の画像を、特定の人物の方向を向くように変化させたときの表示画面２９上での回転角度とその向きを回転角度情報Ｒとして設定する。
【００６９】
上記実施形態によれば、対象物の３次元モデルＦＭＴに基づいて、異なる複数の視点Ａ，Ｂ，Ｃに応じた視点画像ＦＭＷＡ，ＦＭＷＢ，ＦＭＷＣを生成して視点画像ＦＭＷＡ，ＦＭＷＢ，ＦＭＷＣを含む表示画像ＩＭＡ，ＩＭＢ，ＩＭＣを多視点表示装置２０に表示できる。これにより、臨場感を高めた表示画像ＩＭＡ，ＩＭＢ，ＩＭＣを多視点表示装置２０に表示できる。
本実施形態では、受信側３０の特定の人物に対する回転角度情報Ｒは、送信側１０の人物１２が送信側１０の多視点表示装置２０上で特定の人物を見ている状態で設定される。これにより、人物１２が特定の人物を送信側１０の多視点表示装置２０上で見ているときには、受信側３０の多視点表示装置２０に表示された視点画像ＦＭＷＡ，ＦＭＷＢ，ＦＭＷＣは特定の人物を見ているように表示される。よって、例えば、送信側１０の人物１２が特定の人物を指差している画像などを多視点表示装置２０に表示できるため、臨場感をより高めることができる。また、多視点表示装置２０は、背景画像ＦＭＶと視点画像ＦＭＷＡ，ＦＭＷＢ，ＦＭＷＣとを合成した合成画像を多視点表示装置２０に表示させる。これにより、臨場感をより一層高めることができる。
【００７０】
また、受信側情報処理装置７０は、受信した３次元モデルＦＭＴに基づいて視点画像ＦＭＷＡ，ＦＭＷＢ，ＦＭＷＣを生成することから、複数の異なる視点Ａ，Ｂ，Ｃごとの視点画像ＦＭＷそのものを外部から受信する場合よりもデータ通信量を低減できる。
【００７１】
上記実施形態において、送信側情報処理装置６０と受信側情報処理装置７０とが課題を解決するための手段に記載の「情報処理装置」に相当し、送信側情報処理装置６０と受信側情報処理装置７０と撮像部５０と多視点表示装置２０とが課題を解決するための手段に記載する「情報処理システム」を構成する。
【００７２】
Ｂ．多視点表示装置２０の変形例：
上記実施形態では、多視点表示装置２０は、レンチキュラーレンズ２６を用いて異なる視点Ａ，Ｂ，Ｃの位置に応じた表示画像ＩＭＡ，ＩＭＢ，ＩＭＣを表示させていたが（図２）、レンチキュラーレンズ２６のような光学スクリーンを用いる方法に限定されるものではない。図１４は、多視点表示装置の変形例である多視点表示装置２０ａの説明図である。多視点表示装置２０ａでは、多視点表示装置２０と同様の構成については同一の符号を付すと共に説明を省略する。
【００７３】
多視点表示装置２０ａは、画素２４の前方に配置されたスリット板２７を有する。スリット板２７は、各画素列２４Ａ〜２４Ｃから射出されるそれぞれの光について、特定の方向の光ＬＡＡ，ＬＡＢ，ＬＡＣのみを透過させるスリット２８を有する。第１の画像ＬＭＡを形成するための光ＬＡＡは視点Ａに向かい、第２の画像ＬＭＢを形成するための光ＬＡＢは視点Ｂに向かい、第３の画像ＬＭＣを形成するための光ＬＡＣは視点Ｃに向かう。このようにしても、異なる視点Ａ，Ｂ，Ｃに応じた表示画像を多視点表示装置２０ａは表示できる。
【００７４】
また、上記実施形態では、３視点Ａ，Ｂ，Ｃに応じた表示画像ＩＭを表示するための多視点表示装置２０，２０ａを説明したが、視点の数はこれに限定されるものではない。例えば、多視点表示装置２０，２０ａは、会議などに出席する人物の数以上の視点に対応していても良い。例えば、多視点表示装置２０が１２視点に応じた表示画像ＩＭを表示できる場合、１２方向から多視点表示装置２０を見たときの表示画像ＩＭを表示できる。これにより、有効視野角が１２０度の場合に、１０度毎の視点に応じた表示画像ＩＭを表示できるので、多視点表示装置２０の表示画面２９を見る人物が視点の位置を変えた場合でも、違和感なく表示画像ＩＭを表示できる。
【００７５】
また、上記実施形態では、多視点表示装置２０は、直視型の表示装置を例に説明を行ったが、プロジェクターなどの投写型の表示装置であっても良い。投写型の表示装置を用いる場合は、例えば、視点の数のプロジェクターを準備し、人物の背面から再帰反射型のスクリーンに対して表示画像ＩＭを投射すれば良い。また、多視点表示装置２０として、特許文献３に開示された表示装置を用いても良い。
【００７６】
Ｃ．パラメーターの設定工程の変形例：
視点画像ＦＭＷを生成するために用いるパラメーターの設定方法は上記実施形態に限定されるものではない。以下にパラメーター７５１の設定方法の変形例について説明する。図１５は、パラメーターの設定方法の変形例について説明するための図である。図１６は、パラメーターの設定工程のフロー図である。
【００７７】
送信側１０と受信側３０において同じ大きさの表示領域を有する多視点表示装置２０を備える場合は、送信側１０の人物１２と受信側３０の人物３２Ａ，３２Ｂ，３２Ｃが同じ多視点表示装置２０を挟んで位置する仮想空間ＶＳを想定できる。この場合、パラメーターの設定工程を以下に説明するように簡略化できる。なお、図１２と同様に図１５においては、人物３２Ｂに対して、人物１２の基準視線方向ＬＳと特定視線方向ＬＢは同じである。
【００７８】
図１６に示すように、受信側３０は、送信側１０の人物１２の向きを設定する（ステップＳ４０）。これは、上記実施形態の図１１に示すステップＳ３０と同じ工程である。
【００７９】
ステップＳ４０において、パラメーター設定部７６５は、送信側１０の人物１２が受信側３０の特定の人物（例えば、人物３２Ａ）の方向を向いた状態において、２つの撮像部５０Ａ，５０Ｂから取得した深度情報が付加されたフレーム画像ＦＭＲ（ステップＳ４２の「画像データ」に相当する）を解析して、三角測量によって、距離Ｌｘと回転角度情報Ｒ（θＡａ）とを求める（ステップＳ４２）。距離Ｌｘは、多視点表示装置２０の表示画面２９と人物１２との距離である。距離Ｌｘにおける人物１２の測定基準点は、例えば人物１２の両眼の中央位置である。
【００８０】
次にパラメーター設定部７６５は、受信側３０の他の人物（例えば、人物３２Ｃ）についても回転角度情報Ｒを算出したか否かを判断する（ステップＳ４４）。ステップＳ４４において回転角度情報Ｒを算出していないと判断した場合（ステップＳ４４：ＮＯ）は、ステップＳ４０とステップＳ４２の工程を再び実行する。この場合、前回のステップＳ４２において距離Ｌｘは算出されているため、今回のステップＳ４２においては距離Ｌｘは算出せずに、回転角度情報Ｒのみを算出しても良い。
【００８１】
ステップＳ４４において、他の人物についても回転角度情報Ｒを算出したと判断した場合（ステップＳ４４：ＹＥＳ）は、パラメーター設定部７６５は、距離Ｌｘと、受信側３０のそれぞれの人物３２Ａ，３２Ｂ，３２Ｃに対応付けられた回転角度情報Ｒから、対象物移動ベクトルＶＬを算出する（ステップＳ４６）。ステップＳ４６の後に、パラメーター設定部７６５は、算出した対象物移動ベクトルＶＬ及び回転角度情報ＲをパラメーターとしてＲＡＭ７５に記憶する（ステップＳ４８）。対象物移動ベクトルＶＬは、スクリーン座標系に透視変換される人物画像を背景画像に対して移動させるためのパラメーターである。
【００８２】
図１７は、変形例のパラメーター設定工程で設定されたパラメーターを用いて表示される表示画像ＩＭＡａを説明するための図である。図１７では、画素列２４Ａに表示された表示画像ＩＭＡａを用いて説明する。多視点画像生成部７６２は、視点Ａに応じた視点画像ＦＭＷＡを生成する。この視点画像ＦＭＷＡには、対象物移動ベクトルＶＬに基づいて決定された背景画像ＦＭＶに対する視点画像ＦＭＷＡの位置情報も含まれる。図１７では、対象物移動ベクトルＶＬがゼロである場合の人物１２の視点画像ＦＭＷＡを点線で示している。次に、多視点画像生成部７６２は、視点画像ＦＭＷＡに背景画像ＦＭＶを合成する。このとき、対象物移動ベクトルＶＬだけ、スクリーン座標系における視点画像ＦＭＷＡの座標位置を移動させる。
【００８３】
このようにすれば、視点Ａ，Ｂ，Ｃの位置に応じて、背景画像ＦＭＶに対する視点画像ＦＭＷＡの位置を変更できるため、より臨場感を高めることができる。
なお上記の、Ｃ．パラメーターの設定工程の変形例は、送信側１０と受信側３０の多視点表示装置２０の表示領域の大きさが異なっても良い。この場合、多視点表示装置２０がまるで窓ガラスのように認識され、窓ガラスを挟んで送信側１０の人物１２と、受信側３０の人物３２Ａ、３２Ｂ、３２Ｃと、が対向する仮想空間ＶＳを想定できることが条件となる。
【００８４】
Ｄ．その他の変形例
Ｄ−１．第１変形例：
受信側３０の人物が一人の場合、人物の位置を把握することにより、一人の人物の位置に応じた視点画像を生成するのみでもよい。画像送受信システム１００がＴＶ会議システムの場合は、受信側３０の表示画像も送信側１０に配信するための撮像部が用意されるので、その撮像部の画像を受信側情報処理装置７０が解析することにより、人物の位置を容易に把握できる。
【００８５】
Ｄ−２．第２変形例：
画像送受信システム１００がＴＶ会議システムの場合、場所１０と場所３０の双方が相手側に画像を送信することになる。その場合、多視点表示装置２０の左右にマイクロフォンとカメラを含む撮像部５０を配置し、双方の場所１０，３０に多視点表示装置２０を用意し、場所１０側の撮像部５０が撮像した対象物の３次元モデルＦＭＴを、場所１０側の通信部６２が場所３０側の通信部７２に向けて送信する。他方、場所３０側の撮像部５０が撮像した撮像対象物の３次元モデルＦＭＴを、場所３０側の通信部６２が場所１０側の通信部７２に向けて送信する、これにより双方向で臨場感あふれたＴＶ会議を開催することが可能である。
【００８６】
Ｄ−３．第３変形例：
上記実施形態の画像送受信システム１００は、ＴＶ会議システムに限らず種々の場面に採用できる。例えば、画像送受信システム１００を、学校において通信放送で授業をする場面に適用しても良い。こうすることで画面に表示された講師が受信側の生徒を指差して、指名をすることができる。また、画像送受信システム１００は、外国語教室に適用してもよい。人気の講師と離れた場所でも外国語の習得をすることができる。また、臨場感あふれるクラスとなるので、外国語の習得に有利である。
【００８７】
Ｄ−４．第４変形例：
多視点表示装置２０は、人物の左右の眼に異なる表示画像を見せても良い。こうすることで、各人物において多視点表示装置２０の表示画面において立体画像を見せることが可能となるため、より臨場感を高めることができる。
【００８８】
Ｄ−５．第５変形例：
上記実施形態では、撮像部５０は深度センサー５４を備えていたが省略しても良い。この場合、３次元モデル生成部６６５は、異なる位置に配置された複数のカメラ５２から取得した画像に基づいて三角測量を用いて深度情報を算出し、３次元モデルＦＭＴを生成する。また、抽出部６６４は、異なる位置に配置された複数のカメラ５２から取得した画像に基づいて三角測量を用いて深度情報を算出し、対象物画像と背景画像とをそれぞれ抽出しても良い。
【００８９】
Ｄ−６．第６変形例：
パラメーターの設定方法は、人物１２の視線方向に基づいたが、人物でない対象物の向きに応じて設定しても良い。この場合、対象物に棒部材などの目印を付けて、目印が示す方向を視線方向とみなしてパラメーターを設定すれば良い。
【００９０】
Ｄ−７．第７変形例：
上記実施形態の画像送受信システム１００は、ＴＶ会議システムに限らず種々の場面に採用できる。例えば、画像送受信システム１００を、店舗に適用しても良い。こうすることにより、実際の店舗の数より多くの仮想店舗を出店できるので、全国に店舗展開が可能になる。また、単なる店舗の映像中継とは異なり臨場感があふれる接客が可能となり、売上増加を見込むことができる。
【００９１】
Ｄ−８．第８変形例：
上記実施形態の画像送受信システム１００は、ＴＶ会議システムに限らず種々の場面に採用できる。例えば、画像送受信システム１００を、アミューズメントパークなどのアトラクションに適用しても良い。複数の参加者がひとつの乗り物に乗車し、バーチャルな体験をするアトラクションでは、参加者一人一人が異なる視点の映像を体験できる。特に、シューティングゲームなどにおいて、敵の射撃方向がリアルに伝わる。こうすることにより、臨場感あふれる体験をすることができる。なおこの場合は、３Dモデルのみを用意すればよく、相手側のカメラ等は不要である。
【００９２】
Ｄ−９．第９変形例：
上記実施形態の画像送受信システム１００は、ＴＶ会議システムに限らず種々の場面に採用できる。例えば、画像送受信システム１００を、パーティーに適用しても良い。こうすることにより、ある場所で開催されているパーティーに、別会場から参加ができる。この場合、単なる映像中継とは異なり、別会場の参加者も臨場感を味わうことができる。パーティーの会場と別会場が同じ系列の飲食店である場合、両会場で同じ料理や飲み物を味わうことも可能である。
【００９３】
Ｄ−１０．第１０変形例：
上記実施形態の画像送受信システム１００は、ＴＶ会議システムに限らず種々の場面に採用できる。例えば、画像送受信システム１００を、スポーツや演劇等のパブリックビューイングに適用しても良い。こうすることにより、単なる映像中継とは異なり、臨場感あふれるパブリックビューイングを体験することができる。
【００９４】
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【符号の説明】
【００９５】
１０…送信側、１２…人物、１３…背景物、２０，２０ａ…多視点表示装置、２４…画素、２４Ａ，２４Ｂ，２４Ｃ…画素列、２６…レンチキュラーレンズ、２７…スリット板、２８…スリット、２９…表示画面、３０…受信側、３２Ａ，３２Ｂ，３２Ｃ…人物、３３…背景物、４０…スピーカー、５０，５０Ａ，５０Ｂ…撮像部、５２…カメラ、５４…深度センサー、５６…マイクロフォン、６０…送信側情報処理装置、６２…通信部、６４…ＲＯＭ、６５…ＲＡＭ、６６…ＣＰＵ、７０…受信側情報処理装置、７２…通信部、７４…ＲＯＭ、７５…ＲＡＭ、７６…ＣＰＵ、７８…入力部、１００…画像送受信システム、６６２…撮像制御部、６６４…抽出部、６６５…３次元モデル生成部、７５１…パラメーター、７６２…多視点画像生成部、７６４…表示制御部、７６５…パラメーター設定部、Ａ，Ｂ，Ｃ…視点、ＦＭＲ…フレーム画像、ＦＭＴ…３次元モデル、ＦＭＶ…背景画像、ＦＭＷＡ，ＦＭＷＢ，ＦＭＷＣ…視点画像、ＩＭＡ，ＩＭＢ，ＩＭＣ，ＩＭＡａ…表示画像、ＬＡ，ＬＢ，ＬＣ…特定視線方向、ＬＡＡ、ＬＡＢ，ＬＡＣ…光、ＬＭＡ…第１の画像、ＬＭＢ…第２の画像、ＬＭＣ…第３の画像、ＬＳ…基準視線方向、Ｌｘ…距離、Ｒ，ＲＡ，ＲＢ，ＲＣ…回転角度情報、ＳＤ…音声情報、ＶＬ…対象物移動ベクトル、ＶＳ…仮想空間、ｔ…平行移動ベクトル情報。
【図１】
2017094543.tif 000006
【図２】
2017094543.tif 000007
【図３】
2017094543.tif 000008
【図４】
2017094543.tif 000009
【図５】
2017094543.tif 000010
【図６】
2017094543.tif 000011
【図７】
2017094543.tif 000012
【図８】
2017094543.tif 000013
【図９】
2017094543.tif 000014
【図１０】
2017094543.tif 000015
【図１１】
2017094543.tif 000016
【図１２】
2017094543.tif 000017
【図１３】
2017094543.tif 000018
【図１４】
2017094543.tif 000019
【図１５】
2017094543.tif 000020
【図１６】
2017094543.tif 000021
【図１７】
2017094543.tif 000022
【手続補正書】
【提出日】平成29年4月12日(2017.4.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
情報処理装置であって、
通信部と、
前記通信部が外部から受信した、複数の撮像部が撮像した対象物の画像から生成される前記対象物の３次元モデルと前記対象物の画像から抽出される前記対象物の背景画像とに基づいて、複数の視点毎に前記視点に応じた視点画像を含む表示画像を生成する多視点画像生成部と
前記複数の視点に対応した画像を表示する多視点表示装置に前記表示画像を表示させるための表示制御部と、を備える、情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、更に、
前記複数の視点に応じた前記視点画像を生成するために用いるパラメーターを記憶する記憶部を備え、
前記多視点画像生成部は、前記記憶部に記憶された前記パラメーターに基づいて前記視点画像を生成する、情報処理装置。
【請求項３】
請求項２に記載の情報処理装置であって、
前記パラメーターは、前記複数の視点に応じて設定される、前記３次元モデルを回転させるための回転角度情報を含む、情報処理装置。
【請求項４】
請求項３に記載の情報処理装置であって、更に、
前記複数の視点によらず、前記表示制御部が多視点表示装置に表示させた前記対象物の画像に基づいて、前記回転角度情報を設定するためのパラメーター設定部を有する、情報処理装置。
【請求項５】
請求項１から請求項４までのいずれか一項に記載の情報処理装置であって、
前記通信部は、前記対象物の背景画像を受信し、
前記多視点画像生成部は、前記背景画像と前記視点画像とを合成した合成画像を生成し、
前記表示制御部は、前記合成画像を前記表示画像として前記多視点表示装置に表示させる、情報処理装置。
【請求項６】
情報処理装置であって、
通信部と、
複数の撮像部が撮像対象物を撮像した画像を取得するための撮像制御部と、
前記複数の撮像部が撮像した画像に基づいて、前記撮像対象物の３次元モデルを生成する３次元モデル生成部と、
前記複数の撮像部が撮像した画像から前記撮像対象物の背景となる背景画像を抽出する抽出部と、
を備え、
前記通信部は、前記撮像対象物の３次元モデルと前記背景画像を外部に送信する、情報処理装置。
【請求項７】
（削除）
【請求項８】
請求項６に記載の情報処理装置であって、
前記撮像制御部は、前記複数の撮像部がそれぞれ有する深度センサーが検出した深度情報を取得可能であり、
前記３次元モデル生成部は、前記複数の撮像部がそれぞれ撮像した画像と、複数の前記深度センサーが検出した深度情報とに基づいて前記撮像対象物の３次元モデルを生成する、情報処理装置。
【請求項９】
情報処理システムであって、
複数の視点に対応した画像を表示する多視点表示装置と、
請求項１から請求項８までのいずれか一項に記載の情報処理装置と、を備える、情報処理システム。
【請求項１０】
請求項９に記載の情報処理システムであって、さらに、
画像を撮像するための複数の撮像部を有する、情報処理システム。
【請求項１１】
請求項１０に記載の情報処理システムであって、
前記複数の撮像部はそれぞれ深度センサーを有する、情報処理システム。
【請求項１２】
情報処理装置の制御方法であって、
（ａ）外部から受信した、複数の撮像部が撮像した対象物の画像から生成される前記対象物の３次元モデルと前記対象物の画像から抽出される前記対象物の背景画像とに基づいて、複数の視点毎に前記視点に応じた視点画像を含む表示画像を生成する工程と、
（ｂ）前記複数の視点に対応した画像を表示する多視点表示装置に前記表示画像を表示させる工程と、を備える、情報処理装置の制御方法。
【請求項１３】
複数の視点毎に、前記視点に応じた視点画像を含む表示画像を、対象物の３次元モデルを元に生成する際に用いるパラメーターの設定方法であって、
（ａ）前記複数の視点によらず表示装置に対象物の画像を表示させる工程と、
（ｂ）前記工程（ａ）によって表示された前記対象物の画像に基づいて、前記視点に応じた前記３次元モデルを回転させるための回転角度情報を設定する工程と、を備える、パラメーターの設定方法。
【請求項１４】
請求項１３に記載の設定方法であって、
前記工程（ａ）は、
第１の場所に配置された前記表示装置としての第１表示装置とは異なる第２表示装置に表示された、前記第１表示装置を視認する特定の人物が位置する方向を、前記第２表示装置が配置された第２の場所側に位置する前記対象物が向くように、前記第２の場所側の前記対象物を配置させる工程を含み、
前記工程（ｂ）は、
前記工程（ａ）によって前記第２の場所側の前記対象物を配置した状態において、前記第１表示装置に表示された前記対象物の画像が、前記特定の人物の方向を向くように前記対象物の画像を変化させたときの、前記対象物の画像の回転角度と回転の向きを前記回転角度情報として設定する工程を含む、パラメーターの設定方法。
【国際調査報告】
2017094543.tif 000023
2017094543.tif 000024
2017094543.tif 000025
2017094543.tif 000026