(57)【要約】【課題】浮遊した状態でＶＲ空間を体験すること。【解決手段】貯水空間を形成する壁体と、上記貯水空間内に向けた、上記壁体に表示される立体視画像を生成する画像生成部と、を備える、画像処理装置が提供される。【選択図】図１
2016031417.tif 000002
【特許請求の範囲】
【請求項１】
貯水空間を形成する壁体と、
前記貯水空間内に向けた、前記壁体に表示される立体視画像を生成する画像生成部と、
を備える、画像処理装置。
【請求項２】
前記画像生成部は、前記貯水空間内の視点位置に応じた前記壁体からの奥行きを表現する前記立体視画像を生成する、請求項１に記載の画像処理装置。
【請求項３】
前記貯水空間内の前記視点位置を推定する位置推定部をさらに備え、
前記画像生成部は、前記位置推定部により推定された前記視点位置に応じた立体視画像を生成する、請求項２に記載の画像処理装置。
【請求項４】
前記位置推定部は、前記貯水空間内に存在するユーザの眼の位置を前記視点位置として推定する、請求項３に記載の画像処理装置。
【請求項５】
前記位置推定部は、前記ユーザに装着される標識部材の位置に基づいて前記ユーザの眼の位置を推定する、請求項４に記載の画像処理装置。
【請求項６】
前記標識部材は、前記ユーザの頭部に装着される、請求項５に記載の画像処理装置。
【請求項７】
前記標識部材の位置は、一又は複数の撮像装置により特定される、請求項５に記載の画像処理装置。
【請求項８】
前記貯水空間内に貯められた水の流動に係る流速を制御する水流制御部をさらに備え、
前記画像生成部は、前記視点位置の前記水の流動方向における変化および前記流速に応じて前記ユーザの前記水の流動方向における仮想移動量を推定し、前記仮想移動量に応じた前記立体視画像を生成する、請求項４に記載の画像処理装置。
【請求項９】
前記画像生成部は、前記ユーザの位置を固定するための固定部材に対して前記ユーザにより与えられる力の大きさおよび前記力の向きに応じた前記立体視画像を生成する、請求項４に記載の画像処理装置。
【請求項１０】
前記画像生成部は、センサにより検出される前記ユーザの行動に応じた前記立体視画像を生成する、請求項４に記載の画像処理装置。
【請求項１１】
前記センサは、前記貯水空間内に設けられる、接触を検出するセンサであり、
前記ユーザの行動は、前記センサに対する接触である、請求項１０に記載の画像処理装置。
【請求項１２】
前記センサは、前記ユーザの身体の一部の動きを検出し、
前記画像生成部は、前記身体の一部の動きに応じた立体視画像を生成する、請求項１０に記載の画像処理装置。
【請求項１３】
前記ユーザに対して出力される音を生成する音響生成部をさらに備える、請求項４に記載の画像処理装置。
【請求項１４】
前記画像生成部によりユーザごとの視点位置に応じて生成された立体視画像の各々を異なるタイミングで前記壁体に表示する制御を行う出力制御部と、
前記タイミングに応じて前記ユーザごとの視界の遮蔽の有無を切り替える制御を行う視界制御部と、
をさらに備える、請求項４に記載の画像処理装置。
【請求項１５】
前記画像生成部は、前記視点位置が前記貯水空間に貯められた水の水位より高い場合に、前記貯水空間内に向けた前記立体視画像とは異なる、前記壁体のうち前記水位より高い領域に表示される立体視画像を生成する、請求項２に記載の画像処理装置。
【請求項１６】
前記立体視画像は、前記壁体の側面または底面の少なくともいずれかに表示される、請求項１に記載の画像処理装置。
【請求項１７】
前記壁体には投影フィルムが貼り付けられ、
前記立体視画像は、一または複数の投影装置により前記投影フィルムに表示される、請求項１に記載の画像処理装置。
【請求項１８】
貯水空間を形成する壁体と、
前記貯水空間内に向けた、前記壁体に表示される立体視画像を生成する画像生成部と、
を備える、画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、及び画像処理システムに関する。
【背景技術】
【０００２】
近年、没入型の仮想現実（VR：Virtual  Reality）空間をユーザに提示する技術が注目されている。例えば、下記非特許文献１には、部屋の内部に存在するユーザに向けて、部屋の壁面や底面等に、ユーザの視点位置に応じて立体視画像を表示する技術（いわゆるＣＡＶＥ）が開示されている。かかる技術により、ユーザは、部屋の壁面を意識することなく、ＶＲ空間の中に存在するような感覚を体験することができる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Carolina  Cruz-Neira,  Daniel  J.  Sandin,  Thomas  A.  DeFanti,  Robert  V.  Kenyon  and  John  C.  Hart.  "The  Cave:  Audio  Visual  Experience  Automatic  Virtual  Environment",  Communications  of  the  ACM,  Vol.35(6),  1992,  pp.64-72
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記非特許文献１に開示された技術では、ユーザは、立位や座位など、様々な姿勢でＶＲ空間を体験することができる。しかしながら、身体が浮遊した状態を感じながらＶＲ空間を体験することはできなかった。【０００５】
そこで、本開示では、浮遊した状態でＶＲ空間を体験することが可能な、新規かつ改良された画像処理装置、及び画像処理システムを提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、貯水空間を形成する壁体と、上記貯水空間内に向けた、上記壁体に表示される立体視画像を生成する画像生成部と、を備える画像処理装置が提供される。【０００７】
また、本開示によれば、貯水空間を形成する壁体と、上記貯水空間内に向けた、上記壁体に表示される立体視画像を生成する画像生成部と、を備える、画像処理システムが提供される。
【発明の効果】
【０００８】
以上説明したように本開示によれば、浮遊した状態でＶＲ空間を体験することができる。【０００９】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１０】
【図１】本開示の第１の実施形態に係る画像処理システムの構成の概要を示す図である。
【図２】同実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図３】同実施形態に係る画像処理装置の動作を示すフローチャートである。
【図４】同実施形態に係る画像処理システムの実施例を示す図である。
【図５】同実施形態の変形例に係る画像処理システムの構成の概要を示す図である。
【図６】本開示の第２の実施形態に係る画像処理システムの構成の概要を示す図である。
【図７】同実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図８】同実施形態に係る画像処理装置の動作を示すフローチャートである。
【図９】同実施形態に係る画像処理システムの実施例を示す図である。
【図１０】本開示の第３の実施形態に係る画像処理システムの構成の概要を示す図である。
【図１１】同実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図１２】同実施形態に係る画像処理装置の動作を示すフローチャートである。
【図１３】同実施形態の変形例に係る画像処理システムの構成の概要を示す図である。
【図１４】本開示の第４の実施形態に係る画像処理システムの構成の概要を示す図である。
【図１５】同実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図１６】同実施形態に係る画像処理装置の動作を示すフローチャートである。
【図１７】同実施形態に係る画像処理システムの実施例を示す図である。
【図１８】本開示の第５の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図１９】同実施形態に係る画像処理装置の動作を示すフローチャートである。
【図２０】同実施形態に係る画像処理システムの第１の実施例を示す図である。
【図２１】同実施形態に係る画像処理システムの第２の実施例を示す図である。
【図２２】本開示の第６の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図２３】同実施形態に係る画像処理装置の動作を示すフローチャートである。
【図２４】本開示の第７の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図２５】同実施形態に係る画像処理装置の動作を示すフローチャートである。
【図２６】本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１．１．画像処理システムの構成
１．２．画像処理装置の構成例
１．３．画像処理装置の動作例
１．４．効果と補足
１．５．変形例
２．第２の実施形態
３．第３の実施形態
４．第４の実施形態
５．第５の実施形態
６．第６の実施形態
７．第７の実施形態
８．ハードウェア構成
９．まとめ
【００１３】
＜１．第１の実施形態＞
［１．１．画像処理システムの構成例］
図１は、本開示の第１の実施形態に係る画像処理システム１１の構成の概要を示す図である。図１に示すように、画像処理システム１１は、画像処理装置２１、ゴーグル３０、撮像装置４０、投影装置５１〜５４、および水槽１００を備える。撮像装置４０、および投影装置５１〜５４は、画像処理装置２１と、有線または無線の各種ネットワークにより接続される。なお、図１のＡは画像処理システム１１をＹ軸方向から見た構成であり、図１のＡは画像処理システム１１をＸ軸方向から見た構成である。図１のＡおよびＢに示される構成は、同一の構成を有する。
【００１４】
（水槽）
水槽１００は、貯水空間を形成する。図１に示すように、水槽１００は、壁体として側面１０１、１０３、１０４、および１０５、並びに底面１０２（以下、これらを区別しない場合には、単に「壁面」と呼称する）を有する。各壁面は、例えば、他の壁面の端部と接合される。それらの接合箇所は、水３が漏れないように、適宜防水加工がされ得る。これにより、水槽１００は、各壁面により包囲された空間に水３を貯めることができる。また、各壁面は、一体となって形成されてもよい。図１に示した例において、水槽１００は、略直方体の形状を有するが、本技術はかかる例に限定されない。水を貯めることが可能な構造であれば、水槽１００の形状は特に限定されない。例えば、水槽１００は円柱や円錐台の形状であってもよい。水槽１００の大きさは、例えば、少なくとも一人の人間が身体を水３に浮かせることが可能な大きさであればよい。
【００１５】
水槽１００の各壁面は、例えばアクリルやガラス等の、透明かつ高強度の特性を有する素材により形成される。これにより、水槽１００に貯められた水３の内圧や、ユーザ２による各壁面への衝突による圧力に耐えつつ、外部から投影される画像を、水槽１００の内部に向けて表示することができる。なお、各壁面には、後述する投影装置５０により投影される立体視画像を映写するための投影フィルムが貼り付けられていてもよい。投影フィルムは、例えば、投影装置５０の投影方向に画像を表示するためのリアプロジェクションフィルムであってもよい。また、投影装置５０が水槽１００内に設置される場合、水槽１００の各壁面の内側に立体視画像が投影される。この場合、水槽１００の各壁面は、非透明素材により形成されてもよい。
【００１６】
（画像処理装置）
画像処理装置２１は、画像処理機能を有する情報処理装置によって構成される。画像処理装置２１は、例えば、ＰＣ（Personal  Computer）、タブレット、スマートフォンなど、画像処理機能を有するあらゆる装置により実現される。また、画像処理装置２１は、ネットワーク上の１または複数の情報処理装置によって構成されてもよい。画像処理装置２１を構成する情報処理装置は、処理回路と、通信装置とを含み得る。例えば、画像処理装置２１は、通信装置を用いて撮像装置４０からゴーグル３０の位置情報を取得し、処理回路によってユーザの視点位置の推定処理および推定された視点位置に基づく画像生成処理を実行し、通信装置を用いて生成された立体視画像を投影装置５０に出力する。画像処理装置２１の各機能を実現する機能構成については後述する。
【００１７】
（ゴーグル）
ゴーグル３０は、ユーザ２の頭部に装着される。ゴーグル３０は、液晶シャッターを備える。液晶シャッターは、ユーザ２の左右の視界を、立体視画像の表示タイミングに合わせて遮蔽する機能を有する。液晶シャッターは、左右の視界の遮蔽を制御する不図示の制御部を備える。例えば、左眼用の立体視画像が表示されたタイミングにおいて、液晶シャッターは左眼の視界を開放し、右眼の視界を遮蔽する。また、右眼用の立体視画像が表示されたタイミングにおいて、液晶シャッターは右眼の視界を開放し、左眼の視界を遮蔽する。そして、液晶シャッターの制御部は、左右の眼に対応する立体視画像の表示タイミングと、左右の液晶シャッターの遮蔽タイミングとを同期させ、左右の眼に対応する立体視画像を交互に表示する制御を行う（いわゆるフレーム・シーケンシャル方式）。これにより、ユーザ２に対して適切な立体像を連続的に表示することができる。
【００１８】
なお、液晶シャッターの遮蔽制御方法については特に限定されない。例えば、当該遮蔽制御方法は、ＤＬＰ（Digital  Light  Processing）を用いたＤＬＰ−Ｌｉｎｋ方式であってもよい。具体的には、画像処理装置２１により出力制御される画像を連続的に表示するための複数のフレームの間に、液晶シャッターの左右の視界の遮蔽タイミングを立体視画像の表示タイミングと同期させるための同期フレームが挿入される。ゴーグル３０に設けられたフォトセンサは、当該フレームを立体視画像の同期信号として認識する。そして、液晶シャッターの制御部は、その認識結果に基づいて、液晶シャッターの左右の視界の遮蔽の有無を制御してもよい。これにより、ゴーグル３０を装着したユーザ２が水槽１００の各壁面に表示された立体視画像を見るだけで、左右の眼に対応する立体視画像の表示タイミングと液晶シャッターの視界の遮蔽タイミングが自動的に同期される。また、当該方式により、立体視画像に対する視点位置にかかわらず、液晶シャッターの視界の遮蔽制御が可能である。また、液晶シャッターの遮蔽制御は、画像処理装置２１により無線通信を介して実行されてもよい。例えば、画像処理装置２１により、左眼用の立体視画像が各壁面に表示タイミングに合わせて、液晶シャッターが左眼の視界を開放し、右眼の視界を遮蔽する制御が行われてもよい。
【００１９】
また、ゴーグル３０には、マーカが付されていてもよい。マーカは、例えば、赤外ＬＥＤのような発光源や、特徴的な印字パターン等であってもよい。マーカをゴーグル３０に付することにより、後述する撮像装置４０は、マーカの位置を認識する。これにより、ゴーグル３０を装着したユーザの位置を推定することができる。なお、ゴーグル３０、およびマーカは、標識部材の一例である。
【００２０】
（撮像装置）
撮像装置４０は、ＣＣＤ（Charge  Coupled  Device）またはＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像する装置である。撮像装置４０は、貯水空間に存在するユーザ２に装着されたゴーグル３０に付されたマーカの位置を認識する。図１に示した例では、撮像装置４０の撮像方向が貯水空間の内部の方向となるように、撮像装置４０は水槽１００の底面付近に設置される。これにより、撮像装置４０は、貯水空間の内部において泳いでいるユーザ２の装着しているゴーグル３０を高い確率で撮像することができる。撮像装置４０は、マーカの認識結果を画像処理装置２１に出力する。なお、設置される撮像装置４０の数は特に限定されない。撮像装置４０の設置数が増加すれば、マーカについて複数の認識結果を得ることができる。したがって、マーカの位置に係る認識結果の精度を向上させることができる。なお、撮像装置４０は、ゴーグル３０のマーカを認識可能であれば、水槽１００の内部または外部の任意の箇所に設置されてもよい。また、ゴーグル３０にマーカが付されない場合、撮像装置４０は、ゴーグル３０の形状等を認識することにより、ゴーグル３０の位置を認識してもよい。例えば、撮像装置４０は、認識したゴーグル３０の形状、大きさ、または向きに応じて、ゴーグル３０の位置を認識してもよい。
【００２１】
（投影装置）
投影装置５１〜５４（以降、特に区別しない場合は、「投影装置５０」と総称する）は、光源から発せられた光を、表示デバイスを介して照射することにより投影画像を投影面に投影させる装置である。投影装置５０は、例えば、ＤＬＰプロジェクタ（登録商標）、液晶プロジェクタ、またはＬＣＯＳ（Liquid  Crystal  On  Silicon）プロジェクタ等であってもよい。本実施形態においては、投影装置５０は、水槽１００の各壁面に対して、１秒間に１２０フレームの画像を投影してもよい。その場合、結果的には、投影装置５０は、各壁面に対して、１秒間に６０フレームの立体視画像を投影することとなる。これにより、ユーザ２は、連続的に立体像を見ることができる。なお、投影装置５０の投影フレーム数は、特に制限されない。投影装置５０は、画像処理装置２１から出力された立体視画像を水槽１００の壁面に投影するために、水槽１００の外部または内部において適切な位置に設置される。図１に示した例では、投影装置５１は、水槽１００の側面１０１に立体視画像を投影するために、側面１０１の外部に設置される。投影装置５２Ａおよび５２Ｂは水槽１００の底面１０２に立体視画像を投影するために、底面１０２の下部に設置される。投影装置５３は水槽１００の側面１０３に立体視画像を投影するために、側面１０３の外部に設置される。投影装置５４は水槽１００の側面１０４に立体視画像を投影するために、側面１０４の外部に設置される。なお、設置される投影装置５０の数は特に限定されない。例えば、投影される面の数、面積、または必要な光量等に応じて、投影装置５０の数は適宜調整され得る。また、本実施形態においては、水槽１００の側面１０５には立体視画像は投影されないが、他の実施形態においては、側面１０５に立体視画像が投影されてもよい。さらに、本実施形態においては、水槽１００は上部に開口を形成しているが、他の実施形態においては、水槽１００の上部に天面が形成され、当該天面に立体視画像が投影されてもよい。
【００２２】
本実施形態に係る画像処理システム１１によれば、ユーザ２に装着されたゴーグル３０に付されたマーカの位置を撮像装置４０が認識し、画像処理装置２１が撮像装置４０により認識されたマーカの位置に基づいてユーザ２の視点位置を推定する。また、画像処理装置２１は、視点位置に応じた立体視画像を生成し、水槽１００の各壁面に表示する制御を行う。これにより、ユーザ２は、貯水空間の内部において水３の浮力により浮遊しながら、あらゆる位置において水槽１００の各壁面に表示された立体視画像により表現される立体像を見ることとなる。例えば、ユーザ２は、貯水空間の内部で泳ぎながら、立体視画像により表現される魚の立体像３０１を見ることができる。したがって、ユーザ２は、液晶シャッターが設けられたゴーグル３０を装着するだけで、海中を泳いでいるようなＶＲ空間を体験することができる。すなわち、ユーザ２は、例えば、ＨＭＤ（Head  Mount  Display）のような装着感の強いデバイスを装着することなく、水泳ゴーグルをかけるような感覚で、浮遊感を伴うＶＲ空間を体験することができる。以下、上述した本実施形態に係る画像処理システム１１を実現するための画像処理装置２１について説明する。
【００２３】
［１．２．画像処理装置の構成例］
図２は、本開示の第１の実施形態に係る画像処理装置２１の機能構成例を示すブロック図である。図２を参照すると、画像処理装置２１は、位置推定部２１０、画像生成部２２０、および出力制御部２３０を含む。
【００２４】
（位置推定部）
位置推定部２１０は、貯水空間の内部における視点位置を推定する。視点位置とは、例えば、貯水空間の内部に存在するユーザ２の眼の位置である。ユーザ２の眼の位置は、ユーザ２の左眼の位置、および右眼の位置である。位置推定部２１０は、例えば、撮像装置４０により認識されたゴーグル３０に付されたマーカの位置情報に基づいて視点位置を推定する。マーカが付されるゴーグル３０は、ユーザ２の頭部に装着される。そのため、マーカはユーザ２の頭部付近に位置する。これは、マーカとユーザ２の眼との相対的な位置関係が変化しないためである。したがって、位置推定部２１０は、マーカの位置を基準とするユーザ２の眼の相対的な位置を用いて、マーカの位置からユーザ２の眼の位置を推定することができる。上記のような相対的な位置は、例えば、マーカの位置を原点とする３次元座標系により定義されてもよい。なお、上記のような相対的位置は、固定であってもよく、ユーザ２の頭部を含む身体の特徴等に応じて適宜変更されてもよい。位置推定部２１０は、視点位置の推定結果を画像生成部２２０に出力する。
【００２５】
（画像生成部）
画像生成部２２０は、貯水空間の内部に向けた水槽１００の各壁面に表示される立体視画像を生成する。立体視画像は、両眼の視差を利用した画像であり、ユーザ２の左眼と右眼との間で視差を生じさせる異なる画像により構成される。画像生成部２２０は左眼用の立体視画像と右眼用の立体視画像とをそれぞれ生成し、表示面においてこれらの立体視画像が交互に表示される。ユーザ２は、左右の眼に応じた立体視画像をそれぞれ左右の眼で見ることにより、立体像を見ることができる。
【００２６】
画像生成部２２０は、例えば、貯水空間の内部のある視点位置に応じた各壁面からの奥行きを表現する立体視画像を生成する。各立体視画像について、視点位置における視差を調整することにより、貯水空間の内部において奥行きのついたＶＲ空間を表現することができる。これにより、例えば、ユーザ２が立体視画像が表示された各壁面を上記の視点位置から見た場合に、ユーザ２は、立体視画像により表現される立体像を見ることができる。なお、視点位置に応じた奥行きを表現する立体視画像は、公知の技術を用いて生成することが可能である。
【００２７】
また、画像生成部２２０は、位置推定部２１０により推定された視点位置に応じた立体視画像を生成してもよい。より具体的には、画像生成部２２０は、位置推定部２１０により推定された視点位置に応じて調整された視差がつけられた０立体視画像を生成してもよい。これにより、例えば、ユーザ２の視点位置が変化した場合においても、画像生成部２２０は、ユーザ２に対して適切な奥行きが表現された立体視画像を生成する。したがって、ユーザ２が貯水空間の内部において移動した場合においても、移動位置においてユーザ２は立体像を見ることができる。
【００２８】
さらに、画像生成部２２０は、水槽１００の各壁面に対応して表示される立体視画像を生成してもよい。例えば、画像生成部２２０は、側面１０１、１０３および１０４、並びに底面１０２の各々に表示される立体視画像を生成してもよい。
【００２９】
画像生成部２２０は、生成した立体視画像を出力制御部２３０に出力する。
【００３０】
（出力制御部）
出力制御部２３０は、画像生成部２２０により生成された立体視画像を出力する制御を行う。例えば、出力制御部２３０は、生成された立体視画像を投影装置５０に出力する制御を行う。より具体的には、出力制御部２３０は、生成された立体視画像の各々について、表示面である各壁面に対応する投影装置５０にそれぞれ出力する制御を行う。例えば、図１を参照すると、出力制御部２３０は、水槽１００の側面１０１に表示すべき立体視画像を投影装置５１に出力する制御を行う。
【００３１】
また、出力制御部２３０は、生成された立体視画像のうち左眼用または右眼用の立体視画像を、所定のタイミングにおいて水槽１００の各壁面に出力する制御を行う。出力制御部２３０は、各壁面に左眼用の立体視画像と右眼用の立体視画像とを交互に出力する制御を行う。この際、出力制御部２３０は、立体視画像の他に、ゴーグル３０の液晶シャッターによる左右の視界の遮蔽のタイミングを立体視画像の表示タイミングと同期させるための特別なフレームを出力する制御を行ってもよい。
【００３２】
［１．３．画像処理装置の動作例］
図３は、本開示の第１の実施形態に係る画像処理装置２１の動作を示すフローチャートである。図３を参照すると、まず、画像処理装置２１は、ユーザ２に係る位置情報を取得する（Ｓ１０１）。具体的には、撮像装置４０が、ユーザ２に装着されたゴーグル３０に付されたマーカの位置を認識し、位置推定部２１０が、認識されたマーカの位置情報を取得する。マーカの位置情報は、画像処理装置２１に備えられる通信装置を介して、撮像装置４０との通信により取得され得る。
【００３３】
次に、画像処理装置２１は、マーカの位置情報に基づいて、ユーザ２の眼の位置を推定する（Ｓ１０３）。具体的には、位置推定部２１０が、ユーザ２の眼の位置を視点位置として推定する。そして、画像処理装置２１は、ユーザ２の視点位置に応じた立体視画像を生成する（Ｓ１０５）。具体的には、画像生成部２２０は、位置推定部２１０において推定されたユーザ２の視点位置に応じた立体視画像を生成する。
【００３４】
次に、画像処理装置２１は、立体視画像を出力する制御を行う（Ｓ１０７）。具体的には、出力制御部２３０は、画像生成部２２０により生成された立体視画像を、投影装置５０に出力する制御を行う。
【００３５】
画像処理装置２１において、上記ステップＳ１０１〜Ｓ１０７が繰り返し実行される。
【００３６】
［１．４．効果と補足］
図１に示したように、本実施形態の画像処理システム１１によれば、水槽１００により形成される貯水空間の内部において浮遊しているユーザ２の視点位置を推定し、視点位置に応じた立体視画像を生成し、貯水空間内に向けて立体視画像を出力する制御を画像処理装置２１が実行する。これにより、貯水空間内のユーザ２は、浮遊している状態において、様々な位置から立体像により構成されるＶＲ空間を体験することができる。
【００３７】
かかる構成により、例えば、水泳運動をより長続きさせることができる。トレーニングとして長時間水泳を行う場合、ユーザは長時間プールの底を眺めながら泳ぎ続けなければならず、トレーニングのモチベーションの維持が困難であった。そこで、本実施形態に係る画像処理システム１１によれば、図１に示したように、水槽１００の各壁面に熱帯地方の海に関する立体視画像を貯水空間の内部に向けて表示することができる。これにより、貯水空間の内部で泳ぐユーザ２は、ゴーグル３０を通して、例えば、サンゴ礁や魚などの立体像を見ることができる。したがって、ユーザ２は、サンゴ礁が繁茂している海において魚とともに泳いでいるような感覚を体験することができる。よって、ユーザは、長時間退屈することなく泳ぎ続けるモチベーションを維持することができる。
【００３８】
さらに、本実施形態に係る画像処理システム１１を用いることにより、例えば、水泳のトレーニング効率を改善することができる。従来、水泳フォームを改善するには、熟練者のフォームを真似る必要があった。しかし、実際に熟練者のフォームを見て真似ることは困難であった。そこで、本実施形態に係る画像処理システム１１によれば、例えば、水槽１００の底面１０２に熟練者のフォームに係る画像を表示することができる。
【００３９】
図４は、本開示の第１の実施形態に係る画像処理システム１１の実施例を示す図である。図４を参照すると、水槽１００の底面１０２には、熟練者のフォームに係る立体視画像１０２Ａが表示されている。貯水空間の内部で泳ぐユーザ２は、ゴーグル３０を通して、立体視画像１０２Ａにより表現される熟練者のフォームの立体像３０２を見ることができる。したがって、ユーザ２は、水泳のフォームの改善に係るトレーニングを効率よく行うことができる。
【００４０】
また、水槽１００の壁面に表示される立体視画像は、かかる例に限定されない。例えば、宇宙空間、または飛行映像などの立体視画像を用いることにより、ユーザ２は、宇宙遊泳や空中浮遊などの感覚を体験することができる。これらの立体視画像は、例えば、全方位カメラを用いて取得された全方位画像、または、OpenGLのGLUT（OpenGL  Utility  Toolkit）ライブラリを用いて作成された画像等を用いて、画像生成部２２０により生成される。
【００４１】
［１．５．変形例］
続いて、本実施形態の画像処理システム１１の変形例として、ユーザ２の視点位置を推定するために用いられる位置情報が、ユーザ２に装着されるシュノーケルに付されたマーカにより取得される例について説明する。図５は、本開示の第１の実施形態の変形例に係る画像処理システム１１の構成の概要を示す図である。図５に示すように、本変形例の画像処理システム１１は、画像処理装置２１、ゴーグル３０、シュノーケル３１、マーカ３２、撮像装置４１Ａおよび４１Ｂ、投影装置５１〜５４（５０）、並びに水槽１００を備える。画像処理装置２１は、撮像装置４１Ａおよび４１Ｂ、並びに投影装置５１〜５４と、有線または無線の各種ネットワークにより接続される。また、画像処理装置２１は、ゴーグル３０と、例えばBluetooth（登録商標）等の無線通信によって接続される。なお、図５のＡは本変形例の画像処理システム１１をＹ軸方向から見た構成であり、図５のＢは本変形例の画像処理システム１１をＸ軸方向から見た構成である。図５のＡおよびＢに示される構成は、同一の構成を有する。また、シュノーケル３１、およびマーカ３２以外の各構成は本実施形態に係る各構成と同一であるので、説明を省略する。
【００４２】
（シュノーケル・マーカ）
シュノーケル３１は、ユーザ２の頭部に装着される。シュノーケル３１は、例えば、内部が中空の略円筒形である。シュノーケル３１の一端はユーザ２により咥えられ、他端は水３の水面上に露出される。シュノーケル３１は、ユーザ２の頭部に安定して保持されるように、ゴーグル３０に接着されていてもよい。当該他端には、マーカ３２が付される。マーカ３２は、例えば、ＬＥＤのような発光源や、特徴的な印字パターン等であってもよい。マーカ３２をシュノーケル３１の上記他端に付することにより、後述する撮像装置４１Ａおよび４１Ｂは、マーカ３２の位置を認識する。これにより、シュノーケル３１を装着したユーザの位置を推定することができる。
【００４３】
（撮像装置）
撮像装置４１Ａおよび４１Ｂは、本変形例においては、図５に示したように、水槽１００の上部に設置される。より具体的には、図５のＢに示したように、撮像装置４１Ａおよび４１Ｂは、水槽上部において、同一の高さに、Ｘ軸を基準として左右対称となるように、かつ、Ｙ軸方向に水平に設置されている。また、撮像装置４１Ａおよび４１Ｂの撮像方向は、水槽１００の内部の方向である。これにより、貯水空間の内部において泳いでいるユーザ２の位置に関わらず、ユーザ２の装着しているシュノーケル３１を漏れなく撮像することができる。なお、本変形例では撮像装置の数を２としたが、撮像装置の数は特に限定されない。
【００４４】
撮像装置４１Ａおよび４１Ｂは、シュノーケル３１に付されているマーカ３２を認識する。当該認識結果を用いて、位置推定部２１０は、ユーザ２の位置を推定することができる。ここで、シュノーケル３１に付されたマーカ３２は水槽１００に貯められた水３の水面上に存在し、また、撮像装置４１Ａおよび４１Ｂは、水槽１００の上部に設置される。かかる構成によれば、撮像装置４１Ａおよび４１Ｂは、マーカ３２を、水３を介さないで認識する。これにより、撮像装置４１Ａおよび４１Ｂは、水３による光の減衰や散乱の影響を受けないでマーカ３２を認識することができるので、マーカ３２の認識可能範囲を拡張することが可能であり、また、マーカ３２の認識精度が向上する。よって、ユーザ２に対してより適切な立体視画像を表示することが可能となる。
【００４５】
また、本実施形態によれば、撮像装置４０がゴーグル３０等に付されたマーカを認識し、その認識結果に基づいてユーザ２の視点位置を推定するとしたが、本技術はかかる例に限定されない。例えば、上記のマーカに変えて、ユーザ２の位置情報を取得するセンサがユーザに装着されてもよい。上記センサは、例えば、磁気センサ等であってもよい。また、上記センサは、水槽１００に貯められた水３等による媒質の物性（例えば透磁率など）によって精度が変化しないセンサであることが好ましい。また、複数のセンサや撮像装置等の組み合わせによりユーザ２の位置情報が取得されてもよい。
【００４６】
また、本実施形態によれば、立体視画像は、投影装置５０により投影されることにより水槽１００の各壁面に表示されるとしたが、本技術はかかる例に限定されない。例えば、水槽１００の各壁面には、ディスプレイ装置が付設されてもよい。より具体的には、各壁面の内側または外側に、貯水空間に向かって表示される方向に、ディスプレイ装置が設置されてもよい。ディスプレイ装置は、例えば、ＬＣＤ（Liquid  Crystal  Display）、ＯＬＥＤ（Organic  light-Emitting  Diode）ディスプレイ、ＰＤＰ（Plasma  Display  Panel）またはＣＲＴ（Cathode  Ray  Tube）などの表示デバイスであってもよい。
【００４７】
＜２．第２の実施形態＞
次に、本開示の第２の実施形態に係る画像処理システム１２について説明する。本実施形態に係る画像処理システム１２は、水槽１００に貯められた水を流動させるための水流発生装置等をさらに備える。かかる構成により、ユーザ２は、貯水空間の内部において、略同一の位置に留まりながら泳ぎ続けることができる。さらに、ユーザ２は、自身の遊泳に応じて変化するＶＲ空間を体験することができる。
【００４８】
［２．１．構成例］
図６は、本開示の第２の実施形態に係る画像処理システム１２の構成の概要を示す図である。図６に示すように、画像処理システム１２は、画像処理装置２２、ゴーグル３０、撮像装置４０、投影装置５１〜５４、水流発生装置６０、および水槽１００を備える。画像処理装置２２の内部機能構成、および水流発生装置６０以外の各構成については、第１の実施形態に係る画像処理システム１１の各構成と同一であるため、説明を省略する。
【００４９】
（水流発生装置）
水流発生装置６０は、水槽１００に貯められた水３に水流を発生させる装置である。図６に示した例においては、水流発生装置６０は、貯水空間の内部におけるユーザ２の泳ぐ方向（Ｘ方向）と逆向きの水流３Ａを、ユーザ２の存在する方向へ供給する。水流発生装置６０による水流３Ａの発生方法については特に限定されない。例えば、水流発生装置６０は、その内部に備えられるポンプ、スクリュー、またはパドル等を用いて、水３を不図示の吸引口から吸引し、吸引した水に推進力を与えて吐出口から吐出することにより、水流３Ａを発生させてもよい。また、図６に示した例においては、水流発生装置６０は水槽１００の側面１０１の内部に設置されているが、設置位置については特に限定されない。また、本実施形態においては、水流発生装置６０は水槽１００と分離して設けられているが、水流発生装置６０は水槽１００と一体となって構成されてもよい。
【００５０】
水流発生装置６０は、画像処理装置２２と、有線または無線の各種ネットワークにより接続される。水流発生装置６０は、画像処理装置２２から出力される信号に従って、水流３Ａの流速を調整する。例えば、水流発生装置６０は、水流３Ａの流速として、画像処理装置２２において算出された流速を設定する。例えば、ユーザ２が水流３Ａに押し戻されている場合、画像処理装置２２は水流３Ａの流速を下げるための制御信号を水流発生装置６０に出力し、水流発生装置６０は水流３Ａの流速を下げる調整を行う。一方、ユーザ２が水流３Ａに逆らって前進している場合、画像処理装置２２は水流３Ａの流速を上げるための制御信号を水流発生装置６０に出力し、水流発生装置６０は水流３Ａの流速を上げる調整を行う。これにより、水流発生装置６０は、ユーザ２を略同一の位置に留めるように、流速を調整することができる。
【００５１】
図７は、本開示の第２の実施形態に係る画像処理装置２２の機能構成例を示すブロック図である。図７を参照すると、画像処理装置２２は、位置推定部２１０、画像生成部２２０、出力制御部２３０、および水流制御部２４０を含む。本実施形態に係る位置推定部２１０、および出力制御部２３０は、第１の実施形態に係る画像処理装置２１に含まれる位置推定部２１０、および出力制御部２３０と同一であるので、詳細な説明を省略する。
【００５２】
（水流制御部）
水流制御部２４０は、水流発生装置６０により発生される水流３Ａの流速を制御する機能を有する。つまり、水流発生装置６０は、水流制御部２４０より取得した流速に係る制御内容に基づいて、水流３Ａの流速を調整する。
【００５３】
水流制御部２４０は、例えば、貯水空間の内部において泳いでいるユーザ２の視点位置の変化に基づいて、流速を制御する。視点位置の変化とは、具体的には、水流３Ａの流動方向における視点位置の変化である。例えば、位置推定部２１０は、ユーザ２の一時刻前における視点位置と現時刻における視点位置との差を、視点位置の変化量として算出する。例えば、ユーザ２が水流３Ａにより押し戻されている場合は、ユーザ２の視点位置は、水流方向に変化する。その場合、位置推定部２１０は視点位置の変化量（Ｘ軸方向を正とする）として負の値を算出する。そのため、水流制御部２４０は、視点位置の変化量をゼロに近づけるために、水流３Ａの流速を下げる制御を行う。一方、ユーザ２が水流３Ａを押し返している場合は、ユーザ２の視点位置は、水流３Ａの逆方向に変化する。その場合、位置推定部２１０は視点位置の変化量として正の値を算出する。そのため、水流制御部２４０は、視点位置の変化量をゼロに近づけるために、水流３Ａの流速を上げる制御を行う。これにより、ユーザ２は同じ位置に留まり続けながら泳ぐことができる。また、水流制御部２４０は、流速に係る制御内容を、画像生成部２２０に出力する。
【００５４】
本実施形態に係る画像生成部２２０は、位置推定部２１０により推定されたユーザ２の視点位置、およびユーザ２の仮想移動量に応じた立体視画像を生成する。ここで、本実施形態において仮想移動量とは、ユーザ２の視点位置の変化量および水流制御部２４０より取得した流速に係る制御内容に応じて推定される、ユーザ２が本来ならば移動したであろう仮想的な移動量である。仮想移動量は、例えば、単位時間に水流３Ａの流速を乗じた値に、単位時間の前後において水流方向に変化したユーザ２の視点位置の変化量を加えた値であってもよい。
【００５５】
［２．２．動作例］
図８は、本開示の第２の実施形態に係る画像処理装置２２の動作を示すフローチャートである。図８を参照すると、まず、画像処理装置２２は、ユーザに係る位置情報を取得する（Ｓ２０１）。具体的には、撮像装置４０が、ユーザ２に装着されたゴーグル３０に付されたマーカの位置を認識し、位置推定部２１０が、認識されたマーカの位置情報を取得する。マーカの位置情報は、画像処理装置２２に備えられる通信装置を介して、撮像装置４０との通信により取得され得る。
【００５６】
次に、画像処理装置２２は、マーカの位置情報に基づいて、ユーザ２の眼の位置を推定する（Ｓ２０３）。具体的には、位置推定部２１０が、ユーザ２の眼の位置を視点位置として推定する。また、画像処理装置２２は、ユーザ２の視点位置の変化量を推定する（Ｓ２０５）。具体的には、位置推定部２１０は、一時刻前および現時刻における視点位置の変化量を算出する。次に、画像処理装置２２は、ユーザ２の仮想移動量を推定する（Ｓ２０７）。具体的には、画像生成部２２０が、位置推定部２１０により算出された視点位置の変化量、および水流制御部２４０より出力された水流３Ａの流速に基づいて、ユーザ２の仮想移動量を推定する。
【００５７】
そして、画像処理装置２２は、ユーザ２の視点位置、および仮想移動量に応じた立体視画像を生成する（Ｓ２０９）。具体的には、画像生成部２２０が、位置推定部２１０において推定されたユーザ２の視点位置、および仮想移動量に応じた立体視画像を生成する。
【００５８】
次に、画像処理装置２２は、立体視画像を出力する制御を行う（Ｓ２１１）。具体的には、出力制御部２３０は、画像生成部２２０により生成された立体視画像を、投影装置５０に出力する制御を行う。また、画像処理装置２２は、水流発生装置６０の水流３Ａの流速の制御を行う（Ｓ２１３）。具体的には、水流制御部２４０が、位置推定部２１０により推定された一時刻前と現時刻との視点位置の変化量を算出し、算出結果に基づいて水流３Ａの流速の制御を行う。
【００５９】
画像処理装置２２において、上記ステップＳ２０１〜Ｓ２１３が繰り返し実行される。
【００６０】
［２．３．効果と補足］
図８に示したように、本実施形態の画像処理システム１２によれば、水流発生装置６０により発生される水流３Ａによりユーザ２の位置を固定しつつ、画像処理装置２２がユーザ２の仮想移動量に応じた立体視画像を生成する。例えば、画像処理装置２２は、ユーザ２の仮想移動量に応じて周囲の環境が相対的に移動する状態を表現する立体視画像を生成してもよい。したがって、ユーザ２は、仮想移動量に対応する距離だけ泳いだような感覚を体験することができる。
【００６１】
かかる構成により、例えば、ＶＲ空間内を浮遊しながら移動しているような体験をすることができる。一例として、画像生成部２２０は、ユーザ２の仮想移動量に応じて、ユーザ２が水流３Ａの流動方向の逆方向に移動しているような感覚を体験できるような立体視画像を生成してもよい。より具体的には、立体視画像が、熱帯地方の海底付近の環境を表現する画像である場合、ユーザ２の仮想移動量に応じて、海底の岩石やサンゴ礁等がユーザ２の後方に相対的に移動するような立体視画像を、画像生成部２２０は生成してもよい。これにより、ユーザ２は、実際に海底を自ら泳ぎ進んでいるような感覚を体験することができる。
【００６２】
さらに、本実施形態に係る画像処理システム１２を用いることにより、例えば、水泳のトレーニングをより効果的に行うことができる。図９は、本開示の第２の実施形態に係る画像処理システム１２の実施例を示す図である。図９を参照すると、水槽１００の内部には、立体像３１１〜３１３が表されている。これらの立体像３１１〜３１３は、側面１０１、１０３、および１０４、並びに底面１０２に表示された立体視画像により表現される立体像である。これらの立体像は、水泳におけるレコードラインを示す像であり、ユーザ２が静止している場合には、各立体像は、側面１０１の方向に向かって移動するように表現される。例えば、立体像３１１は、「Personal  Best」と描画されているように、ユーザ２の個人記録を示すレコードラインである。同様に、立体像３１２は、「Olympic  Record」と描画されているように、オリンピックの公式最高記録を示すレコードラインである。また、立体像３１３は、「World  Record」と描画されているように、世界記録を示すレコードラインである。
【００６３】
ユーザ２が側面１０１に向かって泳いでいる場合、立体像３１１〜３１３の位置は、ユーザ２の仮想移動量に応じて変化する。例えば、ユーザ２が立体像３１１に対応する記録を上回るペースで泳いでいる場合、立体像３１１は、ユーザ２の泳ぐ方向と逆の方向に移動するように表現される。一方で、ユーザ２が立体像３１３に対応する記録を下回るペースで泳いでいる場合、立体像３１３は、ユーザ２の泳ぐ方向に移動するように表現される。本実施例においては、これらのレコードラインが立体像により表現されることにより、ユーザ２が各記録からどの程度遅れているか（もしくは上回っているか）を直感的に把握することができる。これにより、ユーザ２は、泳ぎのスピードやペース配分の調整を、より容易に行うことができる。
【００６４】
＜３．第３の実施形態＞
次に、本開示の第３の実施形態に係る画像処理システム１３について説明する。本実施形態に係る画像処理システム１３は、ユーザ２を略同一の位置に固定するための固定部材（作用力測定装置７０、ロープ７１）をさらに備える。かかる構成により、ユーザ２は、貯水空間の内部において、略同一の位置に留まりながら泳ぎ続けることができる。さらに、ユーザ２は、自身の遊泳に応じて変化するＶＲ空間を体験することができる。
【００６５】
［３．１．構成例］
図１０は、本開示の第３の実施形態に係る画像処理システム１３の構成の概要を示す図である。図１０に示すように、画像処理システム１３は、画像処理装置２２、ゴーグル３０、撮像装置４０、投影装置５１〜５４、作用力測定装置７０、ロープ７１、および水槽１００を備える。画像処理装置２３の内部機能構成、作用力測定装置７０、およびロープ７１以外の各構成については、第１の実施形態に係る画像処理システム１１の各構成と同一であるため、説明を省略する。
【００６６】
（作用力測定装置・ロープ）
作用力測定装置７０は、ロープ７１が受ける張力を測定する装置である。図１０に示した例においては、作用力測定装置７０は、貯水空間の内部において泳ぐユーザ２により引っ張られるロープ７１の張力を測定する。例えば、ロープ７１の一端はユーザ２の身体の一部（例えば、ユーザ２の腰に装着されたベルト）に括り止められ、ロープ７１の他端は、作用力測定装置７０の有する測定子に固定される。かかる構成により、ユーザ２が図１０のＸ方向に向かって泳ぐ場合、ユーザ２はロープ７１にかかる張力の反力により略同一の位置に留まる一方で、作用力測定装置７０は、ロープ７１がユーザ２から受ける張力の大きさを測定する。これによって、ユーザ２の泳ぐ方向にかかる力の大きさを測定することができる。
【００６７】
作用力測定装置７０は、画像処理装置２３と、有線または無線の各種ネットワークにより接続される。作用力測定装置７０は、ユーザ２よりロープ７１に与えられた張力に係る測定結果を画像処理装置２３に出力する。画像処理装置２３は、作用力測定装置７０より取得した張力に係る測定結果に応じた立体視画像を生成する。具体的には、画像処理装置２３は、作用力測定装置７０より取得した張力の大きさおよび向きからユーザ２の仮想移動量を推定し、上記仮想移動量に応じた立体視画像を生成する。これにより、ユーザ２は、自らの泳ぎにより変化する立体像を見ることができる。
【００６８】
なお、図１０に示した例においては、力を受けるロープ７１と、ロープ７１の受ける力を測定する作用力測定装置７０とが分離して設けられているが、本技術はかかる例に限定されない。例えば、作用力測定装置７０とロープ７１が一体となって構成されていてもよい。より具体的には、ロープ７１にひずみゲージ等の測定子やバネが設けられ、これらにより測定された張力に係る測定結果を画像処理装置２３が取得してもよい。
【００６９】
図１１は、本開示の第３の実施形態に係る画像処理装置２３の機能構成例を示すブロック図である。図１１を参照すると、画像処理装置２３は、位置推定部２１０、画像生成部２２０、出力制御部２３０、および作用力取得部２５０を含む。本実施形態に係る位置推定部２１０、および出力制御部２３０は、第１の実施形態に係る画像処理装置２１に含まれる位置推定部２１０、および出力制御部２３０と同一であるので、詳細な説明を省略する。
【００７０】
（作用力取得部）
作用力取得部２５０は、作用力測定装置７０により測定された力に係る情報を取得する機能を有する。力に係る情報は、例えば、作用力測定装置７０により測定された、ロープ７１がユーザ２から受ける張力の大きさおよび向きであってもよい。作用力取得部２５０は、力に係る情報を画像生成部２２０に出力する。
【００７１】
本実施形態に係る画像生成部２２０は、位置推定部２１０により推定されたユーザ２の視点位置、およびユーザ２の仮想移動量に応じた立体視画像を生成する。ここで、本実施形態において仮想移動量とは、作用力取得部２５０より取得した力に係る情報に応じて推定される、ユーザ２が本来ならば移動したであろう仮想的な移動量である。仮想移動量は、例えば、ユーザ２の泳ぐ方向における張力の大きさに基づいて算出される値であってもよい。
【００７２】
［３．２．動作例］
図１２は、本開示の第３の実施形態に係る画像処理装置２３の動作を示すフローチャートである。図１２を参照すると、まず、画像処理装置２３は、ユーザに係る位置情報を取得する（Ｓ３０１）。撮像装置４０が、ユーザ２に装着されたゴーグル３０に付されたマーカの位置を認識し、位置推定部２１０が、認識されたマーカの位置情報を取得する。マーカの位置情報は、画像処理装置２３に備えられる通信装置を介して、撮像装置４０との通信により取得され得る。
【００７３】
次に、画像処理装置２３は、マーカの位置情報に基づいて、ユーザ２の眼の位置を推定する（Ｓ３０３）。具体的には、位置推定部２１０が、ユーザ２の眼の位置を視点位置として推定する。また、画像処理装置２２は、作用力測定装置７０により測定された、ロープ７１がユーザ２から受ける力に係る情報を取得する（Ｓ３０５）。具体的には、作用力取得部２５０が、ユーザ２から受ける張力の大きさおよび向き等に係る情報を取得する。次に、画像処理装置２２は、ユーザ２の仮想移動量を推定する（Ｓ３０７）。具体的には、画像生成部２２０が、作用力取得部２５０より取得した張力の大きさおよび向きに基づいて、ユーザ２の仮想移動量を推定する。
【００７４】
そして、画像処理装置２３は、ユーザ２の視点位置、および仮想移動量に応じた立体視画像を生成する（Ｓ３０９）。具体的には、画像生成部２２０が、位置推定部２１０において推定されたユーザ２の視点位置、および仮想移動量に応じた立体視画像を生成する。
【００７５】
次に、画像処理装置２３は、立体視画像を出力する制御を行う（Ｓ３１１）。具体的には、出力制御部２３０は画像生成部２２０により生成された立体視画像を、投影装置５０に出力する制御を行う。
【００７６】
画像処理装置２３において、上記ステップＳ３０１〜Ｓ３１１が繰り返し実行される。
【００７７】
［３．３．効果と補足］
図１０に示したように、本実施形態の画像処理システム１３によれば、ロープ７１がユーザ２の位置を固定しつつ、作用力測定装置７０により測定された力の大きさ等に基づいて算出されるユーザ２の仮想移動量に応じた立体視画像を画像処理装置２３が生成する。これにより、ユーザ２の水泳による運動を反映した立体像がユーザ２に提示される。したがって、ユーザ２は、自らの泳ぎにより変化する立体像を見ることができる。また、本実施形態によれば、第２の実施形態により実現される画像処理システムを、水流発生装置を用いなくても実現することが可能である。
【００７８】
［３．４．変形例］
本実施形態の画像処理システム１３の変形例として、ユーザ２の仮想移動量を推定するために、貯水空間の内部において用いられるデバイスによりユーザ２から受ける力に係る情報を取得する構成について説明する。図１３は、本開示の第３の実施形態の変形例に係る画像処理システム１３の構成の概要を示す図である。図１３を参照すると、本変形例に係る画像処理システム１３は、作用力測定装置７０およびロープ７１に代えて、作用力測定板７２を備える。
【００７９】
（作用力測定板）
作用力測定板７２は、水槽１００の内部に固定して設置される装置である。作用力測定板７２は、例えば、水槽１００の各壁面のいずれかに固定されて設置されてもよい。本変形例においては、作用力測定板７２は、底面１０２から延設される梁を介して固定されて設置される。作用力測定板７２の形状は特に限定されない。本変形例においては、作用力測定板７２は、板状の形状を有する。ユーザ２は、作用力測定板７２を把持して泳ぐことにより、略同一の位置に留まり続けることができる。
【００８０】
作用力測定板７２は、ユーザ２の泳ぎ等の動作から受ける力を測定する。作用力測定板７２による力の測定の方法に関しては特に限定されない。また、作用力測定板７２は、画像処理装置２３と、有線または無線の各種ネットワークにより接続される。作用力測定板７２は、ユーザ２より与えられた力に係る測定結果を画像処理装置２３に出力する。画像処理装置２３は、作用力測定板７２より取得した力に係る測定結果に応じた立体視画像を生成する。具体的には、画像処理装置２３は、作用力測定板７２より取得した力の大きさおよび向きからユーザ２の仮想移動量を推定し、上記仮想移動量に応じた立体視画像を生成する。これにより、ユーザ２は、自らの泳ぎに応じて変化する立体像を見ることができる。
【００８１】
なお、本変形例に係る作用力測定板７２は水槽１００に固定されて設置されるが、本技術はかかる例に限定されない。例えば、作用力測定板７２は、水槽１００に固定されず、水中を自律的に移動することが可能な構成であってもよい。これにより、ユーザ２は、貯水空間の内部において、同一の位置に留まることなく、自らの泳ぎに応じて変化するＶＲ空間を体験することができる。
【００８２】
＜４．第４の実施形態＞
次に、本開示の第４の実施形態に係る画像処理システム１４について説明する。本実施形態に係る画像処理システム１４は、水槽１００に貯められた水３の水位を計測する水位計８０をさらに備える。かかる構成により、ユーザ２は、水面の上部と下部において、異なるＶＲ空間を体験することができる。
【００８３】
［４．１．構成例］
図１４は、本開示の第４の実施形態に係る画像処理システム１４の構成の概要を示す図である。図１４に示すように、画像処理システム１４は、画像処理装置２４、ゴーグル３０、撮像装置４０、投影装置５１〜５４、水位計８０、および水槽１００を備える。画像処理装置２２の内部機能構成、および水位計８０以外の各構成については、第１の実施形態に係る画像処理システム１１の各構成と同一であるため、説明を省略する。
【００８４】
（水位計）
水位計８０は、水槽１００に貯められた水３の水位を計測する装置である。図１４に示した例においては、水位計８０は、水槽１００内の側面１０５（ユーザ２の後方）に設置されているが、設置位置については特に限定されない。ただし、各壁面に表示される立体視画像を見るのに障害にならない位置に水位計８０が設置されることが好ましい。水位計８０による水位の計測方法、および水位計８０の種類は特に限定されない。例えば、水位計８０は、接触式の水位計や、非接触式の水位計であってもよい。水３の水位は、例えば、水槽１００の底面１０２から水３の水面３Ｂまでの距離である。
【００８５】
水位計８０は、画像処理装置２４と、有線または無線の各種ネットワークにより接続される。水位計８０は、水３の水位に係る測定結果を画像処理装置２４に出力する。画像処理装置２４は、水位計８０より取得した水位に係る測定結果に応じた立体視画像を生成する。具体的には、画像処理装置２４は、水槽１００の各側面において、水位計８０より取得した水位より高い領域と、当該水位より低い領域とにそれぞれ表示させる立体視画像を生成する。図１４に示した例においては、画像処理装置２４は、側面１０１のうち、水面３Ｂの下部領域１０１Ａ、および水面３Ｂの上部領域１０１Ｂの各々に表示させるための異なる立体視画像を生成する。これにより、ユーザ２は、水面３Ｂの上下の各々において異なる立体像を体験することができる。
【００８６】
図１５は、本開示の第４の実施形態に係る画像処理装置２４の機能構成例を示すブロック図である。図１５を参照すると、画像処理装置２４は、位置推定部２１０、画像生成部２２０、出力制御部２３０、および水位取得部２６０を含む。本実施形態に係る位置推定部２１０、および出力制御部２３０は、第１の実施形態に係る画像処理装置２１に含まれる位置推定部２１０、および出力制御部２３０と同一であるので、詳細な説明を省略する。
【００８７】
（水位取得部）
水位取得部２６０は、水位計８０により測定された水槽１００に貯められた水３の水位に係る情報を取得する機能を有する。水位に係る情報は、例えば、水槽１００の底面１０２から水３の水面３Ｂまでの距離であってもよい。水位取得部２６０は、水位に係る情報を画像生成部２２０に出力する。
【００８８】
本実施形態に係る画像生成部２２０は、位置推定部２１０により推定されたユーザ２の視点位置、および水位（底面１０２から水面３Ｂまでの距離）に応じた立体視画像を生成する。例えば、画像生成部２２０は、水槽１００の側面１０１、１０３および１０４において、水位取得部２６０により測定された水位よりも高い領域と低い領域とに表示する立体視画像を異ならせて生成してもよい。
【００８９】
［４．２．動作例］
図１６は、本開示の第４の実施形態に係る画像処理装置２４の動作を示すフローチャートである。図１６を参照すると、まず、画像処理装置２４は、ユーザに係る位置情報を取得する（Ｓ４０１）。具体的には、撮像装置４０が、ユーザ２に装着されたゴーグル３０に付されたマーカの位置を認識し、位置推定部２１０が、認識されたマーカの位置情報を取得する。マーカの位置情報は、画像処理装置２４に備えられる通信装置を介して、撮像装置４０との通信により取得され得る。
【００９０】
次に、画像処理装置２４は、マーカの位置情報に基づいて、ユーザ２の眼の位置を推定する（Ｓ４０３）。具体的には、位置推定部２１０が、ユーザ２の眼の位置を視点位置として推定する。また、画像処理装置２４は、水位計８０により測定された水槽１００に貯められた水３の水位に係る情報を取得する（Ｓ４０５）。具体的には、水位取得部２６０が、水位計８０により測定された水位に係る情報を取得する。
【００９１】
そして、画像処理装置２４は、ユーザ２の視点位置、および水槽１００に貯められた水３の水位に応じた立体視画像を生成する（Ｓ４０７）。具体的には、画像生成部２２０が、位置推定部２１０において推定されたユーザ２の視点位置、および水位に応じた立体視画像を生成する。
【００９２】
次に、画像処理装置２４は、立体視画像を出力する制御を行う（Ｓ４０９）。具体的には、出力制御部２３０は画像生成部２２０により生成された立体視画像を、投影装置５０に出力する制御を行う。
【００９３】
画像処理装置２４において、上記ステップＳ４０１〜Ｓ４０９が繰り返し実行される。
【００９４】
［４．３．効果と補足］
図１４に示したように、本実施形態の画像処理システム１４によれば、水位計８０により測定された水槽１００に貯められた水３の水位に基づいて、水面３Ｂの上部の領域と下部の領域で異なる立体視画像を画像処理装置２４が生成する。これにより、水面３Ｂの上部と下部においてそれぞれ異なる環境を表現する立体像がユーザ２に提示される。したがって、ユーザ２は、水面３Ｂから顔を出した状態において、水中にいる場合とは異なる立体像を見ることができる。これにより、ユーザ２は、視点位置の水中から水上への移動に伴うＶＲ環境の変化を体験することができる。
【００９５】
図１７は、本開示の第４の実施形態に係る画像処理システム１４の実施例を示す図である。図１７を参照すると、水槽１００の側面１０１のうち、水面３Ｂの下部領域１０１Ａと、水面３Ｂの上部領域１０１Ｂとにおいて、それぞれ異なる立体視画像が表示されている。具体的には、下部領域１０１Ａには海中の環境に係る画像が表示されている一方で、上部領域１０１Ｂには、雲や太陽などの水面上の環境に係る画像が表示されている。
【００９６】
例えば、ユーザ２が貯水空間の内部を泳いでいる場合、ユーザ２は、下部領域１０１Ａに表示されている立体視画像により表現される立体像を見ることとなる。また、ユーザ２が水面３Ｂから顔を出した場合、ユーザ２は、上部領域１０１Ｂに表示されている立体視画像により表現される立体像を見ることとなる。したがって、ユーザ２は、実際で海の水面近くで泳いでいるときと同様の感覚を体験することができる。
【００９７】
＜５．第５の実施形態＞
次に、本開示の第５の実施形態に係る画像処理システム１５について説明する。本実施形態に係る画像処理システム１５は、ユーザ２の身体の動きを検出するためのセンサをさらに備える。かかる構成により、ユーザ２は、貯水空間の内部において単に泳ぐだけではなく、水中におけるインタラクティブなＶＲ空間を体験することができる。
【００９８】
［５．１．構成例］
画像処理システム１５の構成は本開示の第１の実施形態に係る画像処理システム１１と同一の構成であるので、説明を省略する。
【００９９】
図１８は、本開示の第５の実施形態に係る画像処理装置２５の機能構成例を示すブロック図である。図１８を参照すると、画像処理装置２５は、位置推定部２１０、画像生成部２２０、出力制御部２３０、および検出結果取得部２７０を含む。本実施形態に係る位置推定部２１０、および出力制御部２３０は、第１の実施形態に係る画像処理装置２１に含まれる位置推定部２１０、および出力制御部２３０と同一であるので、詳細な説明を省略する。
【０１００】
（検出結果取得部）
検出結果取得部２７０は、不図示のセンサにより検出されるユーザ２の行動に関する検出結果を取得する機能を有する。検出結果は、例えば、貯水空間の内部にいるユーザ２のセンサへの接触や、ユーザ２の身体の一部の動作などが含まれる。検出結果は、画像生成部２２０に出力される。
【０１０１】
上記センサは、例えば、接触を検出する接触センサであってもよい。接触センサは、例えば、水槽１００の各壁面に設置されてもよい。接触センサは、ユーザ２による接触を検出し、検出結果取得部２７０は、その検出結果を画像生成部２２０に出力してもよい。
【０１０２】
また、上記センサは、ユーザ２の身体の一部の動きを検出するモーションセンサであってもよい。モーションセンサは、例えば、ユーザ２の身体の一部に装着されてもよい。身体の一部とは、ユーザ２の腕や足等であってもよい。例えば、モーションセンサは、ユーザ２による腕の動作を検出してもよい。そして、検出結果取得部２７０が、モーションセンサにより検出されたユーザ２の腕の動作に係る検出結果を取得し、その検出結果を画像生成部２２０に出力してもよい。なお、モーションセンサにより検出されるユーザ２の身体の一部の動作は、例えば、機械学習や回帰分析等の公知の技術を用いた方法により推定されてもよい。身体の一部の動作の推定は、画像処理装置２５（例えば検出結果取得部２７０）、またはモーションセンサにより実行されてもよい。
【０１０３】
また、上記センサは接触センサ、またはモーションセンサに限られず、ユーザの行動を検出し得るセンサであれば、種々のセンサが用いられ得る。また、センサは、ユーザ２の頭部に装着されたゴーグル３０に設置されていてもよい。これにより、ユーザ２の頭部の動作を検出することが可能となる。
【０１０４】
本実施形態に係る画像生成部２２０は、位置推定部２１０により推定されたユーザ２の視点位置、およびセンサによる検出結果に応じた立体視画像を生成する。例えば、画像生成部２２０は、センサによる検出結果を取得した場合に、立体視画像により表現されるＶＲ空間の環境や雰囲気を変えるような新たな立体視画像を生成してもよい。
【０１０５】
［５．２．動作例］
図１９は、本開示の第５の実施形態に係る画像処理装置２５の動作を示すフローチャートである。図１９を参照すると、まず、画像処理装置２５は、ユーザに係る位置情報を取得する（Ｓ５０１）。具体的には、撮像装置４０が、ユーザ２に装着されたゴーグル３０に付されたマーカの位置を認識し、位置推定部２１０が、認識されたマーカの位置情報を取得する。マーカの位置情報は、画像処理装置２５に備えられる通信装置を介して、撮像装置４０との通信により取得され得る。
【０１０６】
次に、画像処理装置２５は、マーカの位置情報に基づいて、ユーザ２の眼の位置を推定する（Ｓ５０３）。具体的には、位置推定部２１０が、ユーザ２の眼の位置を視点位置として推定する。また、画像処理装置２５は、センサにより検出された検出結果を取得する（Ｓ５０５）。具体的には、検出結果取得部２７０が、センサにより検出されたユーザ２の動作に係る検出結果を取得する。
【０１０７】
そして、画像処理装置２５は、ユーザ２の視点位置、およびユーザ２の動作の検出結果に応じた立体視画像を生成する（Ｓ５０７）。具体的には、画像生成部２２０が、位置推定部２１０において推定されたユーザ２の視点位置、およびユーザ２の動作の検出結果に応じた立体視画像を生成する。
【０１０８】
次に、画像処理装置２５は、立体視画像を出力する制御を行う（Ｓ５０９）。具体的には、出力制御部２３０は画像生成部２２０により生成された立体視画像を、投影装置５０に出力する制御を行う。
【０１０９】
画像処理装置２５において、上記ステップＳ５０１〜Ｓ５０９が繰り返し実行される。
【０１１０】
［５．３．効果と補足］
本実施形態に係る画像処理システム１５によれば、センサにより検出されたユーザ２の動作に応じた立体視画像を画像処理装置２５が生成する。これにより、ユーザ２の動作に対応する立体像がユーザ２に提示される。したがって、ユーザ２は、貯水空間の内部において、水泳に限らず、水中におけるインタラクティブなＶＲ環境を体験することができる。
【０１１１】
図２０は、本開示の第５の実施形態に係る画像処理システム１５の第１の実施例を示す図である。図２０に示した例においては、水槽１００の底面１０２の一部、または全部に、接触センサ３００が設置されている。ここで、底面１０２の領域１０２Ｂには、球の立体像４２１を表現するための立体視画像が表示されている。つまり、ユーザ２は、ゴーグル３０を通して、球の立体像４２１を見ることができる。
【０１１２】
このとき、例えば、ユーザ２が球の立体像４２１を触ろうとするために、ユーザ２は、底面１０２に向かって潜り、底面１０２の領域１０２Ｂに触れたとする。すると、接触センサ３００はユーザ２による接触を検出し、検出結果が画像処理装置２５へ出力される。そして、画像処理装置２５は、ユーザ２による接触に係る検出結果に応じた立体視画像を生成し、出力する制御を行う。例えば、画像処理装置２５は、球の立体像４２１が破裂するような立体像を表現するための立体視画像を生成してもよい。これにより、ユーザ２は、球の立体像４２１を触ったことにより球の立体像４２１が実際に破裂したような感覚を体験することができる。
【０１１３】
図２１は、本開示の第５の実施形態に係る画像処理システム１５の第２の実施例を示す図である。図２１のＡおよびＢに示した例においては、貯水空間の内部にいるユーザ２は、モーションセンサ３３を腕に装着している。モーションセンサ３３は、ユーザ２の腕の動作を検出する。また、水槽１００の各壁面には、イルカの立体像４３１を表現するための立体視画像が表示されている。つまり、ユーザ２は、ゴーグル３０を通して、イルカの立体像４３１を見ることができる。
【０１１４】
ここで、図２１のＡに示した例において、ユーザ２は、イルカの立体像４３１に対向し、モーションセンサ３３が装着されている方の腕の掌をイルカの立体像４３１の正面に向けている。その後、ユーザ２がモーションセンサ３３が装着されている方の腕を特定の方向（例えば上方向）等に移動させるなど、特定の動作をした場合、モーションセンサ３３が上記特定の動作を検出し、検出結果が画像処理装置２５へ出力される。画像処理装置２５は、上記検出結果に応じて、イルカの立体像４３１の移動を表現するための立体視画像を生成し、出力する制御を行う。例えば、図２１のＢに示した例においては、ユーザ２が腕を上方向に上げたことをモーションセンサ３３が検出し、画像処理装置２５が検出結果に応じて、イルカの立体像４３１がユーザ２から離れる方向に泳ぐことを表現するための立体視画像を逐次的に生成する。これにより、ユーザ２は、腕を上方向に上げたことにより、イルカの立体像４３１がユーザ２から遠ざかる方向に移動するのを見ることができる。したがって、イルカが自らのジェスチャに応じた動きをするような感覚を、ユーザ２は体験することができる。
【０１１５】
＜６．第６の実施形態＞
次に、本開示の第６の実施形態に係る画像処理システム１６について説明する。本実施形態に係る画像処理システム１６は、ユーザ２に対して音を出力する構成をさらに備える。かかる構成により、ユーザ２は、より臨場感の高いＶＲ空間を体験することができる。
【０１１６】
［６．１．構成例］
画像処理システム１６の構成は本開示の第１の実施形態に係る画像処理システム１１と同一の構成であるので、説明を省略する。
【０１１７】
図２２は、本開示の第６の実施形態に係る画像処理装置２６の機能構成例を示すブロック図である。図２２を参照すると、画像処理装置２６は、位置推定部２１０、画像生成部２２０、出力制御部２３０、および音響生成部２８０を含む。本実施形態に係る位置推定部２１０、および画像生成部２２０は、第１の実施形態に係る画像処理装置２１に含まれる位置推定部２１０、および画像生成部２２０と同一であるので、詳細な説明を省略する。
【０１１８】
（音響生成部）
音響生成部２８０は、ユーザ２に対して出力するための音を生成する機能を有する。例えば、音響生成部２８０は、ユーザ２が体験しているＶＲ空間の環境に応じた音を生成する。これにより、ＶＲ空間の臨場感をより増すことができる。生成された音は、出力制御部２３０に出力される。
【０１１９】
本実施形態に係る出力制御部２３０は、画像生成部２２０により生成された立体視画像だけではなく、音響生成部２８０により生成された音を出力する制御を行う。音は、例えば、ユーザ２に装着されるヘッドホン、またはイヤホン等の音響出力装置に出力されてもよい。なお、音響生成部２８０において生成される音は、例えば、立体音響であってもよい。立体音響は、例えばバイノーラル方式により生成されてもよい。これにより、ＶＲ空間の臨場感をさらに増すことができる。
【０１２０】
［６．２．動作例］
図２３は、本開示の第６の実施形態に係る画像処理装置２６の動作を示すフローチャートである。図２３を参照すると、まず、画像処理装置２６は、ユーザに係る位置情報を取得する（Ｓ６０１）。具体的には、撮像装置４０が、ユーザ２に装着されたゴーグル３０に付されたマーカの位置を認識し、位置推定部２１０が、認識されたマーカの位置情報を取得する。マーカの位置情報は、画像処理装置２３に備えられる通信装置を介して、撮像装置４０との通信により取得され得る。
【０１２１】
次に、画像処理装置２６は、マーカの位置情報に基づいて、ユーザ２の眼の位置を推定する（Ｓ６０３）。具体的には、位置推定部２１０が、ユーザ２の眼の位置を視点位置として推定する。
【０１２２】
そして、画像処理装置２６は、ユーザ２の視点位置に応じた立体視画像を生成する（Ｓ６０５）。具体的には、画像生成部２２０が、位置推定部２１０において推定されたユーザ２の視点位置に応じた立体視画像を生成する。また、画像処理装置２６は、ユーザ２に対して出力するための音を生成する（Ｓ６０７）。具体的には、音響生成部２８０が、ユーザ２に対して出力するための音を生成する。
【０１２３】
次に、画像処理装置２６は、立体視画像および音を出力する制御を行う（Ｓ６０９）。具体的には、出力制御部２３０は、画像生成部２２０により生成された立体視画像を投影装置５０に出力する制御を行い、また、音響生成部２８０により生成された音をユーザに装着された音響出力装置に出力する制御を行う。
【０１２４】
画像処理装置２６において、上記ステップＳ６０１〜Ｓ６０９が繰り返し実行される。
【０１２５】
［６．３．効果と補足］
本実施形態の画像処理システム１６によれば、ユーザ２に出力するための音を生成する音響生成部２８０が、画像処理装置２６に含まれる。これにより、ユーザ２は、貯水空間の内部において、より臨場感の高いＶＲ環境を体験することができる。また、立体像を含むＶＲ空間を表現する立体視画像に対応する音を生成することにより、ＶＲ空間をより効果的に体験することができる。例えば、本開示の第２の実施形態の実施例で示したレコードラインを表現する立体像が表現されている場合、画像処理装置２６は、レコードラインとユーザ２との距離に応じた音（立体音響）を生成してもよい。これにより、ユーザ２は、視覚によりレコードラインを示す立体像を認識するだけではなく、聴覚によりレコードラインとの距離を認識することができる。したがって、ユーザ２は、トレーニングに係る情報をより直感的に得ることができる。
【０１２６】
＜７．第７の実施形態＞
次に、本開示の第７の実施形態に係る画像処理システム１７について説明する。本実施形態に係る画像処理システム１７は、複数のユーザが同一の貯水空間の内部に存在する場合において、ユーザごとの視点位置に応じた立体視画像を表示する構成、および複数のユーザの視界の遮蔽を制御する構成をさらに備える。かかる構成により、複数のユーザが貯水空間の内部において立体像を見る場合においても、各ユーザが同時に各々のＶＲ空間を体験することができる。
【０１２７】
［７．１．構成例］
画像処理システム１７の構成は本開示の第１の実施形態に係る画像処理システム１１と同一の構成であるので、説明を省略する。なお、本実施形態においては、画像処理装置２７は、複数のユーザに装着されたゴーグル３０と無線による通信を行う。
【０１２８】
図２４は、本開示の第７の実施形態に係る画像処理装置２７の機能構成例を示すブロック図である。図２４を参照すると、画像処理装置２７は、位置推定部２１０、画像生成部２２０、出力制御部２３０、および視界制御部２９０を含む。本実施形態に係る位置推定部２１０、画像生成部２２０、および出力制御部２３０は、第１の実施形態に係る画像処理装置２１に含まれる位置推定部２１０、画像生成部２２０、および出力制御部２３０と同一であるので、詳細な説明を省略する。
【０１２９】
（視界制御部）
視界制御部２９０は、複数のユーザのうち一のユーザの視点位置に応じて生成された立体視画像が表示されるタイミングに合わせて、上記複数のユーザの視界の遮蔽の有無を切り替える制御を行う。例えば、出力制御部２３０が上記一のユーザの視点位置に応じて生成された立体視画像を水槽１００の各壁面に出力する制御を行う際、上記立体視画像が各壁面に表示されるタイミングに合わせて、視界制御部２９０は、上記一のユーザの視界を開放する制御を行い、かつ、他のユーザの視界を遮蔽する制御を行う。
【０１３０】
例えば、同一の貯水空間に２のユーザ（ユーザＡ、ユーザＢと呼称する）が存在しているとする。画像生成部２２０は、まず、ユーザＡの左眼用の立体視画像を生成する。出力制御部２３０は、ユーザＡの左眼用の立体視画像を第１の時刻に水槽１００の各壁面に表示する制御を行う。このとき、視界制御部２９０は、出力制御部２３０から、第１の時刻においてユーザＡの左眼用の立体視画像を表示する旨の情報を取得する。そして、視界制御部２９０は、ユーザＡの左眼の視界を第１の時刻に開放するための制御をゴーグル３０の液晶シャッターに対して実行する。このとき、視界制御部２９０は、ユーザＡの右眼の視界、およびユーザＢの全ての視界を第１の時刻に遮蔽するための制御を液晶シャッターに対して実行する。
【０１３１】
次に、画像生成部２２０は、ユーザＢの左眼用の立体視画像を生成する。出力制御部２３０は、ユーザＢの左眼用の立体視画像を、第１の時刻に連続する第２の時刻に表示する制御を行う。このとき、視界制御部２９０は、第２の時刻においてユーザＢの左眼用の立体視画像を表示する旨の情報を取得する。そして、視界制御部２９０は、ユーザＢの左眼の視界を第２の時刻に開放するための制御を液晶シャッターに対して実行する。このとき、視界制御部２９０は、ユーザＢの右眼の視界、およびユーザＡの全ての視界を第２の時刻に遮蔽するための制御を液晶シャッターに対して実行する。
【０１３２】
以下、画像生成部２２０は、ユーザＡまたはＢの左眼用または右眼用の立体視画像を交互に繰り返し生成する。出力制御部２３０は、生成された立体視画像を水槽１００の各壁面に表示する制御を行い、視界制御部２９０は、各壁面に表示されるタイミングに応じた各ユーザの視界の遮蔽の有無を切り替える制御を実行する。
【０１３３】
［７．２．動作例］
図２５は、本開示の第７の実施形態に係る画像処理装置２７の動作を示すフローチャートである。図２５を参照すると、まず、画像処理装置２７は、一のユーザに係る位置情報を取得する（Ｓ７０１）。具体的には、撮像装置４０が、上記一のユーザに装着されたゴーグル３０に付されたマーカの位置を認識し、位置推定部２１０が、認識されたマーカの位置情報を取得する。マーカの位置情報は、画像処理装置２７に備えられる通信装置を介して、撮像装置４０との通信により取得され得る。
【０１３４】
次に、画像処理装置２７は、マーカの位置情報に基づいて、上記一のユーザの眼の位置を推定する（Ｓ７０３）。具体的には、位置推定部２１０が、上記一のユーザの眼の位置を視点位置として推定する。
【０１３５】
そして、画像処理装置２７は、上記一のユーザの視点位置に応じた立体視画像を生成する（Ｓ７０５）。具体的には、画像生成部２２０が、位置推定部２１０において推定された上記一のユーザの視点位置に応じた立体視画像を生成する。
【０１３６】
次に、画像処理装置２７は、立体視画像を出力する制御を行う（Ｓ７０７）。具体的には、出力制御部２３０は、画像生成部２２０により生成された立体視画像を投影装置５０に出力する制御を行う。
【０１３７】
そして、画像処理装置２７は、複数のユーザに装着されたゴーグル３０の液晶シャッターの遮蔽の有無を制御する（Ｓ７０９）。具体的には、視界制御部２９０が、上記一のユーザの視界を開放するための制御を液晶シャッターに対して行う。また、視界制御部２９０は、他のユーザの視界を遮蔽するための制御を液晶シャッターに対して行う。
【０１３８】
画像処理装置２７において、上記ステップＳ７０１〜Ｓ７０９が繰り返し実行される。例えば、上記ステップＳ７０１〜Ｓ７０９が実行された後は、上記一のユーザとは異なる他のユーザについて、上記ステップＳ７０１〜Ｓ７０９が実行されてもよい。
【０１３９】
［７．３．効果と補足］
本実施形態に係る画像処理システム１７によれば、水槽１００の各壁面に表示される立体視画像に応じて、複数のユーザの視界の遮蔽の有無を制御する視界制御部２９０が、画像処理装置２７に含まれる。これにより、複数のユーザが貯水空間の内部に存在する場合において、各ユーザの視点位置に応じた立体視画像が水槽１００の各壁面に交互に表示される。したがって、複数のユーザが貯水空間の内部において同時に各々のＶＲ空間を体験することができる。
【０１４０】
なお、本実施形態においては、画像処理装置２７に含まれる視界制御部２９０が複数のユーザに装着されるゴーグル３０の液晶シャッターの遮蔽の有無を制御するとしたが、本技術はかかる例に限定されない。例えば、本開示の第１の実施形態において示したように、ＤＬＰ−Ｌｉｎｋ方式が用いられてもよい。この場合、例えば、視界の遮蔽タイミングを立体視画像の表示タイミングと同期させるための同期フレームが、ユーザの数だけ表示フレームに挿入される。出力制御部２３０は、上記同期フレームを出力する制御を行うゴーグル３０の液晶シャッターのフォトセンサは、上記同期フレームのうち当該ゴーグルを装着しているユーザに対応する同期フレームを、当該ユーザに対応する立体視画像の同期信号として認識する。これにより、液晶シャッターは、遮蔽の有無を切り替える制御を適切に行うことができる。したがって、複数のユーザが貯水空間の内部において立体像を見る場合においても、各ユーザが同時に各々のＶＲ空間を体験することができる。なお、上記のＤＬＰ−Ｌｉｎｋ方式を用いる構成が本実施形態に係る画像処理システム１７に適用される場合は、本実施形態に係る画像処理装置２７は、必ずしも視界制御部２９０を含まなくてもよい。
【０１４１】
＜８．ハードウェア構成＞
次に、図２６を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図２６は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置９００は、例えば、上記の実施形態における画像処理装置２１〜２７を実現しうる。
【０１４２】
情報処理装置９００は、ＣＰＵ（Central  Processing  unit）９０１、ＲＯＭ（Read  Only  Memory）９０３、およびＲＡＭ（Random  Access  Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２５、通信装置９２９を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital  Signal  Processor）またはＡＳＩＣ（Application  Specific  Integrated  Circuit）と呼ばれるような処理回路を有してもよい。
【０１４３】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２３に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。例えば、ＣＰＵ９０１は、上記の実施形態における画像処理装置２１〜２７に含まれる各機能部の動作全般を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral  Component  Interconnect/Interface）バスなどの外部バス９１１に接続されている。
【０１４４】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２７であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。
【０１４５】
出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ、ＰＤＰ、ＯＥＬＤなどの表示装置、スピーカおよびヘッドホンなどの音響出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音響などの音として出力したりする。
【０１４６】
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard  Disk  Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
【０１４７】
ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２３のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２３に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２３に記録を書き込む。
【０１４８】
接続ポート９２５は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９２５は、例えば、ＵＳＢ（Universal  Serial  Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small  Computer  System  Interface）ポートなどでありうる。また、接続ポート９２５は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition  Multimedia  Interface）ポートなどであってもよい。接続ポート９２５に外部接続機器９２７を接続することで、情報処理装置９００と外部接続機器９２７との間で各種のデータが交換されうる。
【０１４９】
通信装置９２９は、例えば、通信ネットワークＮＷに接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２９は、例えば、有線または無線ＬＡＮ（Local  Area  Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless  USB）用の通信カードなどでありうる。また、通信装置９２９は、光通信用のルータ、ＡＤＳＬ（Asymmetric  Digital  Subscriber  Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２９は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２９に接続される通信ネットワークＮＷは、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
【０１５０】
以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
【０１５１】
＜９．まとめ＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１５２】
例えば、上記実施形態において画像処理システムは、水槽と、画像処理装置とが分離した構成としたが、本技術はかかる例に限定されない。例えば、画像処理装置は、水槽と一体となった画像処理装置として構成されてもよい。
【０１５３】
また、画像処理装置の動作は、必ずしもフローチャートに記載された順序に沿って時系列になされる必要はない。例えば、画像処理装置の動作は、フローチャートに記載した順序と異なる順序でなされてもよいし、フローチャートに記載された動作の少なくとも一部が並列的になされてもよい。
【０１５４】
また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した画像処理装置が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
【０１５５】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１５６】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
貯水空間を形成する壁体と、
前記貯水空間内に向けた、前記壁体に表示される立体視画像を生成する画像生成部と、
を備える、画像処理装置。
（２）
前記画像生成部は、前記貯水空間内の視点位置に応じた前記壁体からの奥行きを表現する前記立体視画像を生成する、前記（１）に記載の画像処理装置。
（３）
前記貯水空間内の前記視点位置を推定する位置推定部をさらに備え、
前記画像生成部は、前記位置推定部により推定された前記視点位置に応じた立体視画像を生成する、前記（２）に記載の画像処理装置。
（４）
前記位置推定部は、前記貯水空間内に存在するユーザの眼の位置を前記視点位置として推定する、前記（３）に記載の画像処理装置。
（５）
前記位置推定部は、前記ユーザに装着される標識部材の位置に基づいて前記ユーザの眼の位置を推定する、前記（４）に記載の画像処理装置。
（６）
前記標識部材は、前記ユーザの頭部に装着される、前記（５）に記載の画像処理装置。
（７）
前記標識部材の位置は、一又は複数の撮像装置により特定される、前記（５）または（６）に記載の画像処理装置。
（８）
前記貯水空間内に貯められた水の流動に係る流速を制御する水流制御部をさらに備え、
前記画像生成部は、前記視点位置の前記水の流動方向における変化および前記流速に応じて前記ユーザの前記水の流動方向における仮想移動量を推定し、前記仮想移動量に応じた前記立体視画像を生成する、前記（４）〜（７）のいずれか一項に記載の画像処理装置。
（９）
前記画像生成部は、前記ユーザの位置を固定するための固定部材に対して前記ユーザにより与えられる力の大きさおよび前記力の向きに応じた前記立体視画像を生成する、前記（４）〜（８）のいずれか一項に記載の画像処理装置。
（１０）
前記画像生成部は、センサにより検出される前記ユーザの行動に応じた前記立体視画像を生成する、前記（４）〜（９）のいずれか一項に記載の画像処理装置。
（１１）
前記センサは、前記貯水空間内に設けられる、接触を検出するセンサであり、
前記ユーザの行動は、前記センサに対する接触である、前記（１０）に記載の画像処理装置。
（１２）
前記センサは、前記ユーザの身体の一部の動きを検出し、
前記画像生成部は、前記身体の一部の動きに応じた立体視画像を生成する、前記（１０）または（１１）に記載の画像処理装置。
（１３）
前記ユーザに対して出力される音を生成する音響生成部をさらに備える、前記（４）〜（１２）のいずれか一項に記載の画像処理装置。
（１４）
前記画像生成部によりユーザごとの視点位置に応じて生成された立体視画像の各々を異なるタイミングで前記壁体に表示する制御を行う出力制御部と、
前記タイミングに応じて前記ユーザごとの視界の遮蔽の有無を切り替える制御を行う視界制御部と、
をさらに備える、前記（４）〜（１３）のいずれか一項に記載の画像処理装置。
（１５）
前記画像生成部は、前記視点位置が前記貯水空間に貯められた水の水位より高い場合に、前記貯水空間内に向けた前記立体視画像とは異なる、前記壁体のうち前記水位より高い領域に表示される立体視画像を生成する、前記（２）〜（１４）のいずれか一項に記載の画像処理装置。
（１６）
前記立体視画像は、前記壁体の側面または底面の少なくともいずれかに表示される、前記（１）〜（１５）のいずれか一項に記載の画像処理装置。
（１７）
前記壁体には投影フィルムが貼り付けられ、
前記立体視画像は、一または複数の投影装置により前記投影フィルムに表示される、前記（１）〜（１６）のいずれか一項に記載の画像処理装置。
（１８）
貯水空間を形成する壁体と、
前記貯水空間内に向けた、前記壁体に表示される立体視画像を生成する画像生成部と、
を備える、画像処理システム。
【符号の説明】
【０１５７】
１１〜１７        画像処理システム
２１〜２７        画像処理装置
３０        ゴーグル
３１        シュノーケル
３２        マーカ
３３        モーションセンサ
４０        撮像装置
５１〜５４  投影装置
６０        水流発生装置
７０        作用力測定装置
７１        ロープ
７２        作用力測定板
８０        水位計
１００      水槽
２１０      位置推定部
２２０      画像生成部
２３０      出力制御部
２４０      水流制御部
２５０      作用力取得部
２６０      水位取得部
２７０      検出結果取得部
２８０      音響生成部
２９０      視界制御部
３００      接触センサ
【図１】
2016031417.tif 000003
【図２】
2016031417.tif 000004
【図３】
2016031417.tif 000005
【図４】
2016031417.tif 000006
【図５】
2016031417.tif 000007
【図６】
2016031417.tif 000008
【図７】
2016031417.tif 000009
【図８】
2016031417.tif 000010
【図９】
2016031417.tif 000011
【図１０】
2016031417.tif 000012
【図１１】
2016031417.tif 000013
【図１２】
2016031417.tif 000014
【図１３】
2016031417.tif 000015
【図１４】
2016031417.tif 000016
【図１５】
2016031417.tif 000017
【図１６】
2016031417.tif 000018
【図１７】
2016031417.tif 000019
【図１８】
2016031417.tif 000020
【図１９】
2016031417.tif 000021
【図２０】
2016031417.tif 000022
【図２１】
2016031417.tif 000023
【図２２】
2016031417.tif 000024
【図２３】
2016031417.tif 000025
【図２４】
2016031417.tif 000026
【図２５】
2016031417.tif 000027
【図２６】
2016031417.tif 000028
【国際調査報告】
2016031417.tif 000029
2016031417.tif 000030
2016031417.tif 000031
2016031417.tif 000032