(57)【要約】【課題】ジオメトリパイプライン立体視画像生成処理により生成された立体視画像を利用者端末に表示させる場合に、利用者端末が正面方向から左右方向を向いたときに生じる、左眼対応カメラと右眼対応カメラとの間の視差の減少を抑制する。【解決手段】視点設定部５６は、ユーザ端末１６の向きに基づいて、ワールド座標系内の左眼対応立体モデル７４Ｌに対する左眼視点、及び、ワールド座標系内の右眼対応立体モデル７４Ｒに対する右眼視点を設定する。これにより、左眼視点及び右眼視点それぞれに対して、視線方向をＺ軸負方向、上方ベクトルの向きをＹ軸正方向、Ｚ軸及びＹ軸に対して右手系を構成する向き方向をＸ軸正方向とするビュー座標系が定義される。視点補正部５８は、左眼ビュー座標系におけるＸＶＬ軸負方向に前記左眼視点を移動させ、右眼ビュー座標系におけるＸＶＲ軸正方向に前記右眼視点を移動させる。【選択図】図５
2018137679.tif 000002
【特許請求の範囲】
【請求項１】
所定距離離間して同じ方向を向くように設置された左眼対応カメラ及び右眼対応カメラからの画像を処理して、利用者が利用する利用者端末に表示する画像を生成する画像処理装置であって、
前記左眼対応カメラで撮像された左眼対応画像、及び、前記右眼対応カメラで撮像された右眼対応画像をそれぞれ立体モデルに投影変換して、ワールド座標系において左眼対応立体モデル及び右眼対応立体モデルを構築するモデリング部と、
前記利用者端末の向きに基づいて、前記ワールド座標系において、前記左眼対応立体モデルに対する左眼視点の位置、前記左眼視点からの視点方向である左眼視線方向、及び、前記左眼視点の上方向を示す左眼上方ベクトルの向きを設定し、前記利用者端末の向きに基づいて、前記ワールド座標系において、前記右眼対応立体モデルに対する右眼視点の位置、前記右眼視点からの視点方向である右眼視線方向、及び、前記右眼視点の上方向を示す右眼上方ベクトルの向きを設定する視点設定部と、
前記利用者端末の向きが、キャリブレーションにより定められる正面方向から左右方向に向けられた場合に、前記左眼視線方向とは反対の方向をＺＶＬ軸正方向とし、前記左眼上方ベクトルの向きをＹＶＬ軸正方向とし、前記ＺＶＬ軸及びＹＶＬ軸に対して右手系を構成する向きがＸＶＬ軸正方向である左眼ビュー座標系におけるＸＶＬ軸負方向に前記左眼視点を移動させ、前記右眼視線方向とは反対の方向をＺＶＲ軸正方向とし、前記右眼上方ベクトルの向きをＹＶＲ軸正方向とし、前記ＺＶＲ軸及びＹＶＲ軸に対して右手系を構成する向きがＸＶＲ軸正方向である右眼ビュー座標系におけるＸＶＲ軸正方向に前記右眼視点を移動させることで、前記左眼視点及び前記右眼視点の位置を補正する視点補正部と、
補正された前記左眼視点の位置、前記左眼視線方向、及び前記左眼上方ベクトルの向きに基づいて、前記左眼対応立体モデルを２次元投影することで処理済左眼対応画像を生成し、補正された前記右眼視点の位置、前記右眼視線方向、及び前記右眼上方ベクトルの向きに基づいて、前記右眼対応立体モデルを２次元投影することで処理済左眼対応画像を生成する投影変換部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記視点補正部は、前記所定距離と、前記利用者端末の向きに応じて演算される前記左眼対応カメラと前記右眼対応カメラとの間の視差との差の半分である補正距離に応じた距離分、前記左眼視点及び前記右眼視点の位置を移動させる、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記モデリング部は、前記左眼対応立体モデルにおける、前記左眼対応カメラの撮像対象の像が描画された描画領域のうち、前記左眼対応カメラの撮像対象の像が描画されていない無描画領域側の境界領域において、当該無描画領域へ向かって描画像を徐々に透過させる処理を行い、前記右眼対応立体モデルにおける、前記右眼対応カメラの撮像対象の像が描画された描画領域のうち、前記右眼対応カメラの撮像対象の像が描画されていない無描画領域側の境界領域において、当該無描画領域へ向かって描画像を徐々に透過させる処理を行う、
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
所定距離離間して同じ方向を向くように設置された左眼対応カメラ及び右眼対応カメラからの画像を処理して、利用者が利用する利用者端末に表示する画像を生成するコンピュータを、
前記左眼対応カメラで撮像された左眼対応画像、及び、前記右眼対応カメラで撮像された右眼対応画像をそれぞれ立体モデルに投影変換して、ワールド座標系において左眼対応立体モデル及び右眼対応立体モデルを構築するモデリング部と、
前記利用者端末の向きに基づいて、前記ワールド座標系において、前記左眼対応立体モデルに対する左眼視点の位置、前記左眼視点からの視点方向である左眼視線方向、及び、前記左眼視点の上方向を示す左眼上方ベクトルの向きを設定し、前記利用者端末の向きに基づいて、前記ワールド座標系において、前記右眼対応立体モデルに対する右眼視点の位置、前記右眼視点からの視点方向である右眼視線方向、及び、前記右眼視点の上方向を示す右眼上方ベクトルの向きを設定する視点設定部と、
前記利用者端末の向きが、キャリブレーションにより定められる正面方向から左右方向に向けられた場合に、前記左眼視線方向とは反対の方向をＺＶＬ軸正方向とし、前記左眼上方ベクトルの向きをＹＶＬ軸正方向とし、前記ＺＶＬ軸及びＹＶＬ軸に対して右手系を構成する向きがＸＶＬ軸正方向である左眼ビュー座標系におけるＸＶＬ軸負方向に前記左眼視点を移動させ、前記右眼視線方向とは反対の方向をＺＶＲ軸正方向とし、前記右眼上方ベクトルの向きをＹＶＲ軸正方向とし、前記ＺＶＲ軸及びＹＶＲ軸に対して右手系を構成する向きがＸＶＲ軸正方向である右眼ビュー座標系におけるＸＶＲ軸正方向に前記右眼視点を移動させることで、前記左眼視点及び前記右眼視点の位置を補正する視点補正部と、
補正された前記左眼視点の位置、前記左眼視線方向、及び前記左眼上方ベクトルの向きに基づいて、前記左眼対応立体モデルを２次元投影することで処理済左眼対応画像を生成し、補正された前記右眼視点の位置、前記右眼視線方向、及び前記右眼上方ベクトルの向きに基づいて、前記右眼対応立体モデルを２次元投影することで処理済左眼対応画像を生成する投影変換部と、
として機能させることを特徴とする画像処理プログラム。
【請求項５】
所定距離離間して同じ方向を向くように設置された左眼対応カメラ及び右眼対応カメラからの画像を処理して、利用者が利用する利用者端末に表示する画像を生成する画像処理方法であって、
前記左眼対応カメラで撮像された左眼対応画像、及び、前記右眼対応カメラで撮像された右眼対応画像をそれぞれ立体モデルに投影変換して、ワールド座標系において左眼対応立体モデル及び右眼対応立体モデルを構築するモデリングステップと、
前記利用者端末の向きに基づいて、前記ワールド座標系において、前記左眼対応立体モデルに対する左眼視点の位置、前記左眼視点からの視点方向である左眼視線方向、及び、前記左眼視点の上方向を示す左眼上方ベクトルの向きを設定し、前記利用者端末の向きに基づいて、前記ワールド座標系において、前記右眼対応立体モデルに対する右眼視点の位置、前記右眼視点からの視点方向である右眼視線方向、及び、前記右眼視点の上方向を示す右眼上方ベクトルの向きを設定する視点設定ステップと、
前記利用者端末の向きが、キャリブレーションにより定められる正面方向から左右方向に向けられた場合に、前記左眼視線方向とは反対の方向をＺＶＬ軸正方向とし、前記左眼上方ベクトルの向きをＹＶＬ軸正方向とし、前記ＺＶＬ軸及びＹＶＬ軸に対して右手系を構成する向きがＸＶＬ軸正方向である左眼ビュー座標系におけるＸＶＬ軸負方向に前記左眼視点を移動させ、前記右眼視線方向とは反対の方向をＺＶＲ軸正方向とし、前記右眼上方ベクトルの向きをＹＶＲ軸正方向とし、前記ＺＶＲ軸及びＹＶＲ軸に対して右手系を構成する向きがＸＶＲ軸正方向である右眼ビュー座標系におけるＸＶＲ軸正方向に前記右眼視点を移動させることで、前記左眼視点及び前記右眼視点の位置を補正する視点補正ステップと、
補正された前記左眼視点の位置、前記左眼視線方向、及び前記左眼上方ベクトルの向きに基づいて、前記左眼対応立体モデルを２次元投影することで処理済左眼対応画像を生成し、補正された前記右眼視点の位置、前記右眼視線方向、及び前記右眼上方ベクトルの向きに基づいて、前記右眼対応立体モデルを２次元投影することで処理済左眼対応画像を生成する投影変換ステップと、
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理プログラム、及び、画像処理方法に関する。
【背景技術】
【０００２】
人間の左右の眼は異なる位置にある（所定距離離れている）ため、左右の眼で得られる像が僅かに異なる。この左右の眼で得られる像の差異によって、人間は立体感を得ることができる。左右の眼で得られる像の差異は、両眼視差と呼ばれる。
【０００３】
従来、両眼視差を模擬して、鑑賞者が立体感を得ることのできる画像（以下「立体視画像」と記載する）を提供するシステムが提案されている（例えば特許文献１）。具体的には、左眼対応カメラと右眼対応カメラを所定距離離して設置し、左眼対応カメラで左眼対応画像を撮像し、右眼対応カメラで右眼対応画像を撮像するシステムが提案されている。両カメラ間の所定距離は人間の両眼の間隔に基づいて決定される。左眼対応カメラと右眼対応カメラは所定距離離して設置されていることから、左眼対応カメラと右眼対応カメラとの間に視差が生じ、その結果、左眼対応画像と右眼対応画像とでは、当該視差に応じて僅かに異なる画像になる。そして、左眼対応画像と右眼対応画像とを結合して立体視画像が生成される。立体視画像としては様々な態様が提案されている。例えば、左眼対応画像と右眼対応画像が交互に表示されるもの、水平方向の１ラインおきに左眼対応画像と右眼対応画像の各ラインが交互に配置されたもの、あるいは左眼対応画像と右眼対応画像が並列に並べられたものなどである。このような立体視画像に対して、利用者は、左眼対応画像を左眼で見るようにし、右眼対応画像を右眼で見るようにすることで、立体感を得ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２３２９１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
左眼対応画像及び右眼対応画像に基づいて生成された立体視画像を、鑑賞者（利用者）が利用する利用者端末に表示させるシステムが考えられる。利用者端末としては、例えば、タブレット端末やＨＭＤ（Head Mounted Display）などが考えられる。このようなシステムによれば、例えば、アーティストのライブを左眼対応カメラ及び右眼対応カメラで撮影し、得られた左眼対応画像及び右眼対応画像に基づく立体視画像であるライブ映像を利用者端末に表示させることで、利用者は、当該アーティストのライブ映像を立体感を得ながら観賞することができる。
【０００６】
このようなシステムにおいては、利用者がＶＲ（Virtual Reality）をより感じられるよう、以下のような処理が行うことが考えられる。まず、左眼対応カメラ及び右眼対応カメラで撮像された各画像が、一旦、ワールド座標系において定義される立体モデルに投影される。これにより左眼対応画像と右眼対応画像にそれぞれ対応する２つの立体画像モデルが生成される。その上で、ワールド座標系において、左眼対応の立体画像モデルに対する左眼視点が設定され、また、右眼対応の立体画像モデルに対する右眼視点が設定される。ここで、各視点から各立体画像モデルへの視線方向は、利用者端末の向きに応じて設定される。そして、設定された各視点及び視線方向に基づいて、各立体画像モデルが２次元投影されることで、処理済の左眼対応画像と右眼対応画像が得られる。この処理済左眼対応画像及び処理済右眼対応画像とに基づいて、立体視画像が生成される。本明細書では、上記のような一連の処理を「ジオメトリパイプライン立体視画像生成処理」と呼ぶ。
【０００７】
ジオメトリパイプライン立体視画像生成処理によれば、利用者端末の向きに応じて、利用者端末に表示される立体視画像を変化させることができる。例えば、利用者端末が正面を向いているときは、各立体画像モデルの正面領域（つまり左眼対応カメラ及び右眼対応カメラの正面方向からの入射光により撮像された画像領域）が表示され、利用者が利用者端末を右側へ向けると、各立体画像モデルの右側領域（つまり左眼対応カメラ及び右眼対応カメラの右側方向からの入射光により撮像された画像領域）が表示される。しかも、利用者はそれらの画像を立体感を感じながら見ることができる。これにより、利用者は、あたかも画像が撮像された場所（例えばライブ会場）にいるような感覚を得ることができる。
【０００８】
上述の通り、利用者が立体視画像から立体感を得られるのは、左眼対応カメラと右眼対応カメラとの間に視差があるからである。しかしながら、ジオメトリパイプライン立体視画像生成処理においては、利用者が左右方向に利用者端末を向けて、各立体画像モデルの左右側領域を表示させた場合、左眼対応カメラと右眼対応カメラとの間の視差が小さくなるという問題が生じる。これにより、左右側領域においては、利用者が得ることのできる立体感が減少するという問題が生じる。図１７を参照して、当該問題について説明する。
【０００９】
図１７には、水平面であるｘｙ平面において所定距離ｄ離れて設置された左眼対応レンズと右眼対応レンズが示されている。上述のように、ｄは人間の左眼と右眼の間隔に基づいて設定される。図１７に示される通り、各レンズから正面を見るときは、各レンズからの視線方向が正面方向（ｘ軸に平行）となる。このとき、左眼対応レンズと右眼対応レンズとの間の視差は、両レンズ間の間隔、すなわちｄといえる。一方、利用者端末が左右方向に向けられ、各立体画像モデルの左右側領域（これは左眼対応カメラ及び右眼対応カメラの撮像領域の左右側領域でもある）が利用者端末に表示される場合を考えると、その場合であっても、左眼対応レンズ及び右眼対応レンズの向きは一定（正面向き）であることから、各レンズからの視線方向は、正面方向に対して角度を有することになる。例えば、図１７に示すように、各レンズから右側方向を見る場合、各レンズからの視線方向は正面方向（ｘ軸方向）から角度（９０−φ）、真横方向（ｙ軸方向）から角度φを持った方向となる。これにより、図１７に示される通り、左眼対応レンズと右眼対応レンズとの間の視差は、両レンズ間の間隔ｄよりも小さいｄ’となってしまう。具体的には、ｄ’＝ｄｓｉｎφとなる。このように、利用者が利用者端末を左右に向けて、各立体画像モデルの左右側領域を見ようとすると、左眼対応レンズと右眼対応レンズとの間の視差が小さくなってしまう。
【００１０】
本発明の目的は、ジオメトリパイプライン立体視画像生成処理により生成された立体視画像を利用者端末に表示させる場合に、利用者端末が正面方向から左右方向を向いたときに生じる、左眼対応カメラと右眼対応カメラとの間の視差の減少を抑制することにある。
【課題を解決するための手段】
【００１１】
本発明は、所定距離離間して同じ方向を向くように設置された左眼対応カメラ及び右眼対応カメラからの画像を処理して、利用者が利用する利用者端末に表示する画像を生成する画像処理装置であって、前記左眼対応カメラで撮像された左眼対応画像、及び、前記右眼対応カメラで撮像された右眼対応画像をそれぞれ立体モデルに投影変換して、ワールド座標系において左眼対応立体モデル及び右眼対応立体モデルを構築するモデリング部と、前記利用者端末の向きに基づいて、前記ワールド座標系において、前記左眼対応立体モデルに対する左眼視点の位置、前記左眼視点からの視点方向である左眼視線方向、及び、前記左眼視点の上方向を示す左眼上方ベクトルの向きを設定し、前記利用者端末の向きに基づいて、前記ワールド座標系において、前記右眼対応立体モデルに対する右眼視点の位置、前記右眼視点からの視点方向である右眼視線方向、及び、前記右眼視点の上方向を示す右眼上方ベクトルの向きを設定する視点設定部と、前記利用者端末の向きが、キャリブレーションにより定められる正面方向から左右方向に向けられた場合に、前記左眼視線方向とは反対の方向をＺＶＬ軸正方向とし、前記左眼上方ベクトルの向きをＹＶＬ軸正方向とし、前記ＺＶＬ軸及びＹＶＬ軸に対して右手系を構成する向きがＸＶＬ軸正方向である左眼ビュー座標系におけるＸＶＬ軸負方向に前記左眼視点を移動させ、前記右眼視線方向とは反対の方向をＺＶＲ軸正方向とし、前記右眼上方ベクトルの向きをＹＶＲ軸正方向とし、前記ＺＶＲ軸及びＹＶＲ軸に対して右手系を構成する向きがＸＶＲ軸正方向である右眼ビュー座標系におけるＸＶＲ軸正方向に前記右眼視点を移動させることで、前記左眼視点及び前記右眼視点の位置を補正する視点補正部と、補正された前記左眼視点の位置、前記左眼視線方向、及び前記左眼上方ベクトルの向きに基づいて、前記左眼対応立体モデルを２次元投影することで処理済左眼対応画像を生成し、補正された前記右眼視点の位置、前記右眼視線方向、及び前記右眼上方ベクトルの向きに基づいて、前記右眼対応立体モデルを２次元投影することで処理済左眼対応画像を生成する投影変換部と、を備えることを特徴とする画像処理装置である。
【００１２】
望ましくは、前記視点補正部は、前記所定距離と、前記利用者端末の向きに応じて演算される前記左眼対応カメラと前記右眼対応カメラとの間の視差との差の半分である補正距離に応じた距離分、前記左眼視点及び前記右眼視点の位置を移動させる、ことを特徴とする。
【００１３】
望ましくは、前記モデリング部は、前記左眼対応立体モデルにおける、前記左眼対応カメラの撮像対象の像が描画された描画領域のうち、前記左眼対応カメラの撮像対象の像が描画されていない無描画領域側の境界領域において、当該無描画領域へ向かって描画像を徐々に透過させる処理を行い、前記右眼対応立体モデルにおける、前記右眼対応カメラの撮像対象の像が描画された描画領域のうち、前記右眼対応カメラの撮像対象の像が描画されていない無描画領域側の境界領域において、当該無描画領域へ向かって描画像を徐々に透過させる処理を行う、ことを特徴とする。
【００１４】
また、本発明は、所定距離離間して同じ方向を向くように設置された左眼対応カメラ及び右眼対応カメラからの画像を処理して、利用者が利用する利用者端末に表示する画像を生成するコンピュータを、前記左眼対応カメラで撮像された左眼対応画像、及び、前記右眼対応カメラで撮像された右眼対応画像をそれぞれ立体モデルに投影変換して、ワールド座標系において左眼対応立体モデル及び右眼対応立体モデルを構築するモデリング部と、前記利用者端末の向きに基づいて、前記ワールド座標系において、前記左眼対応立体モデルに対する左眼視点の位置、前記左眼視点からの視点方向である左眼視線方向、及び、前記左眼視点の上方向を示す左眼上方ベクトルの向きを設定し、前記利用者端末の向きに基づいて、前記ワールド座標系において、前記右眼対応立体モデルに対する右眼視点の位置、前記右眼視点からの視点方向である右眼視線方向、及び、前記右眼視点の上方向を示す右眼上方ベクトルの向きを設定する視点設定部と、前記利用者端末の向きが、キャリブレーションにより定められる正面方向から左右方向に向けられた場合に、前記左眼視線方向とは反対の方向をＺＶＬ軸正方向とし、前記左眼上方ベクトルの向きをＹＶＬ軸正方向とし、前記ＺＶＬ軸及びＹＶＬ軸に対して右手系を構成する向きがＸＶＬ軸正方向である左眼ビュー座標系におけるＸＶＬ軸負方向に前記左眼視点を移動させ、前記右眼視線方向とは反対の方向をＺＶＲ軸正方向とし、前記右眼上方ベクトルの向きをＹＶＲ軸正方向とし、前記ＺＶＲ軸及びＹＶＲ軸に対して右手系を構成する向きがＸＶＲ軸正方向である右眼ビュー座標系におけるＸＶＲ軸正方向に前記右眼視点を移動させることで、前記左眼視点及び前記右眼視点の位置を補正する視点補正部と、補正された前記左眼視点の位置、前記左眼視線方向、及び前記左眼上方ベクトルの向きに基づいて、前記左眼対応立体モデルを２次元投影することで処理済左眼対応画像を生成し、補正された前記右眼視点の位置、前記右眼視線方向、及び前記右眼上方ベクトルの向きに基づいて、前記右眼対応立体モデルを２次元投影することで処理済左眼対応画像を生成する投影変換部と、として機能させることを特徴とする画像処理プログラムである。
【００１５】
また、本発明は、所定距離離間して同じ方向を向くように設置された左眼対応カメラ及び右眼対応カメラからの画像を処理して、利用者が利用する利用者端末に表示する画像を生成する画像処理方法であって、前記左眼対応カメラで撮像された左眼対応画像、及び、前記右眼対応カメラで撮像された右眼対応画像をそれぞれ立体モデルに投影変換して、ワールド座標系において左眼対応立体モデル及び右眼対応立体モデルを構築するモデリングステップと、前記利用者端末の向きに基づいて、前記ワールド座標系において、前記左眼対応立体モデルに対する左眼視点の位置、前記左眼視点からの視点方向である左眼視線方向、及び、前記左眼視点の上方向を示す左眼上方ベクトルの向きを設定し、前記利用者端末の向きに基づいて、前記ワールド座標系において、前記右眼対応立体モデルに対する右眼視点の位置、前記右眼視点からの視点方向である右眼視線方向、及び、前記右眼視点の上方向を示す右眼上方ベクトルの向きを設定する視点設定ステップと、前記利用者端末の向きが、キャリブレーションにより定められる正面方向から左右方向に向けられた場合に、前記左眼視線方向とは反対の方向をＺＶＬ軸正方向とし、前記左眼上方ベクトルの向きをＹＶＬ軸正方向とし、前記ＺＶＬ軸及びＹＶＬ軸に対して右手系を構成する向きがＸＶＬ軸正方向である左眼ビュー座標系におけるＸＶＬ軸負方向に前記左眼視点を移動させ、前記右眼視線方向とは反対の方向をＺＶＲ軸正方向とし、前記右眼上方ベクトルの向きをＹＶＲ軸正方向とし、前記ＺＶＲ軸及びＹＶＲ軸に対して右手系を構成する向きがＸＶＲ軸正方向である右眼ビュー座標系におけるＸＶＲ軸正方向に前記右眼視点を移動させることで、前記左眼視点及び前記右眼視点の位置を補正する視点補正ステップと、補正された前記左眼視点の位置、前記左眼視線方向、及び前記左眼上方ベクトルの向きに基づいて、前記左眼対応立体モデルを２次元投影することで処理済左眼対応画像を生成し、補正された前記右眼視点の位置、前記右眼視線方向、及び前記右眼上方ベクトルの向きに基づいて、前記右眼対応立体モデルを２次元投影することで処理済左眼対応画像を生成する投影変換ステップと、を備えることを特徴とする画像処理方法である。
【発明の効果】
【００１６】
本発明によれば、ジオメトリパイプライン立体視画像生成処理により生成された立体視画像を利用者端末に表示させる場合に、利用者端末が正面方向から左右方向を向いたときに生じる、左眼対応カメラと右眼対応カメラとの間の視差の減少を抑制することができる。
【図面の簡単な説明】
【００１７】
【図１】本実施形態に係る立体視画像提供システムの構成概略図である。
【図２】左眼対応カメラ及び右眼対応カメラの構成概略図である。
【図３】左眼対応カメラの魚眼レンズと右眼対応カメラの魚眼レンズとの間隔を示す図である。
【図４】画像配信サーバの構成概略図である。
【図５】ユーザ端末の構成概略図である。
【図６】ユーザ端末に立体視画像が表示される様子を示す図である。
【図７】球状立体モデルの例を示す概念図である。
【図８】魚眼レンズへの入射角と魚眼画像における位置との対応関係を示す図である。
【図９】球状立体モデルへの左眼対応画像の投影処理の様子を示す概念図である。
【図１０】左眼対応立体モデルの描画領域に対する処理内容を示す概念図である。
【図１１】ワールド座標系において設定された左眼視点を示す概念図である。
【図１２】ユーザ端末が左右方向に向けられる様子を示す図である。
【図１３】ユーザ端末が左右方向に向けられたときの視差補正距離Δｄを示す図である。
【図１４】左眼視点の位置が補正される様子を示す概念図である。
【図１５】右眼視点の位置が補正される様子を示す概念図である。
【図１６】本実施形態に係るユーザ端末の処理の流れを示すフローチャートである。
【図１７】ユーザ端末が左右方向に向けられたときに両レンズ間の視差が減少する様子を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について説明する。
【００１９】
図１に、本実施形態に係る立体視画像提供システム１０の構成概略図が示されている。立体視画像提供システム１０は、左眼対応カメラ１２Ｌ、右眼対応カメラ１２Ｒ、画像配信サーバ１４、及び利用者端末としてのユーザ端末１６を含んで構成されている。左眼対応カメラ１２Ｌ及び右眼対応カメラ１２Ｒと画像配信サーバ１４との間、並びに、画像配信サーバ１４とユーザ端末１６との間は、通信回線１８を介して互いに通信可能に接続されている。通信回線１８は、例えばインターネット、ローカルエリアネットワーク（ＬＡＮ）、あるいは近距離無線通信などによって構成される。
【００２０】
立体視画像提供システム１０においては、左眼対応カメラ１２Ｌ及び右眼対応カメラ１２Ｒで撮像した左眼対応画像及び右眼対応画像（動画含む）が一旦画像配信サーバ１４へ格納された後、ユーザ端末１６からの要求に応じて、画像配信サーバ１４から左眼対応画像及び右眼対応画像がユーザ端末１６へ送信される。そして、ユーザ端末１６の表示部に、左眼対応画像及び右眼対応画像に基づく立体視画像が表示される。これにより利用者としてのユーザは立体感のある画像を閲覧することができる。詳細は後述するが、立体視画像提供システム１０において利用者に提供される立体視画像は、ジオメトリパイプライン立体視画像生成処理によって生成される。なお、立体視画像提供システム１０により提供される立体視画像の内容（コンテンツ）は、例えばアーティストやアイドルのライブ映像であるが、これらに限定されるものではない。
【００２１】
図２（ａ）には、左眼対応カメラ１２Ｌの構成概略図が示されている。
【００２２】
左眼対応カメラ１２Ｌは魚眼レンズ２０Ｌを備えており、つまり左眼対応カメラ１２Ｌは魚眼カメラである。魚眼レンズ２０Ｌは、半球状の凸レンズを有しており、当該凸レンズによって、撮像対象を平面でなく球面で捕らえることを可能としたレンズである。魚眼レンズは一般的に画角が広いため、１つのレンズで向きを固定した場合であっても撮像領域を比較的広範囲とすることができる。本実施形態における魚眼レンズ２０Ｌは、２３０°の画角を有している。なお、魚眼レンズには、様々な射影方式が知られているが、本実施形態における魚眼レンズ２０Ｌは、等立体角射影が採用されたものである。ただし、魚眼レンズ２０Ｌとしては、その他の射影方式（例えば正射影、等距離射影、あるいは立体射影）が採用されたものであってもよい。
【００２３】
撮像素子２２Ｌは、例えばＣＣＤ（Charge Coupled Device）イメージセンサなどから構成される。撮像素子２２Ｌは、２次元配列された複数の受光素子を有している。複数の受光素子は、生成される左眼対応画像の各画素に対応するものである。撮像素子２２Ｌが有する複数の受光素子は、魚眼レンズ２０Ｌに入射した光を受けて、受けた光を電気信号に変換する。魚眼レンズ２０Ｌへの光の入射角に応じて、当該光を受信する受光素子が決定される。本実施形態においては、撮像素子２２Ｌの各受光素子は、光を受信することで、当該光に応じてＲ（赤）、Ｇ（緑）、Ｂ（青）の各値を有する画素値に変換する。撮像素子２２Ｌにより上述の処理が行われることで、２次元画像である左眼対応画像が形成される。
【００２４】
通信部２４Ｌは、例えばネットワークアダプタなどから構成される。通信部２４Ｌはいわゆる通信インターフェースであり、通信回線１８を介して、画像配信サーバ１４に左眼対応画像を送信する機能を備えている。通信部２４Ｌは、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。
【００２５】
図２（ｂ）には、右眼対応カメラ１２Ｒの構成概略図が示されている。右眼対応カメラ１２Ｒは、右眼対応画像を生成して画像配信サーバ１４へ送信するものである。右眼対応カメラ１２Ｒが有する各部の構成及び機能は、左眼対応カメラ１２Ｌが有する各部と同様であるため、説明は省略する。
【００２６】
図３には、左眼対応カメラ１２Ｌが備える魚眼レンズ２０Ｌと、右眼対応カメラ１２Ｒが備える魚眼レンズ２０Ｒの位置関係が示されている。図３は平面視であり、魚眼レンズ２０Ｌ及び２０Ｒは、実空間座標系の水平面であるＸＲ１ＹＲ１平面において所定距離ｄ離して設置されている。詳しくは、所定距離ｄは、魚眼レンズ２０Ｌの中心と、魚眼レンズ２０Ｒの中心との間の距離である。所定距離ｄは、人間の左眼と右眼の間隔に基づいて決定されており、本実施形態では６４ｍｍに設定されている。魚眼レンズ２０Ｌ及び２０Ｒは同じ方向を向くように設置されている。本実施形態では、魚眼レンズ２０Ｌ及び２０Ｒは、いずれもＸＲ１軸に沿った水平方向に向けられている。本明細書においては、魚眼レンズ２０ＬからＸＲ１軸正方向に向かう方向、及び魚眼レンズ２０ＲからＸＲ１軸正方向に向かう方向を「正面方向」と記載する。また、ＹＲ１軸方向を「左右方向」と記載する。
【００２７】
上述の通り、魚眼レンズ２０Ｌ及び２０Ｒは画角が２３０°であるから、魚眼レンズ２０Ｌの正面方向を中心とした左右、上下、及び斜め方向の２３０°が魚眼レンズ２０Ｌの撮像領域である。魚眼レンズ２０Ｒについても同様である。
【００２８】
図４に、画像配信サーバ１４の構成概略図が示されている。画像配信サーバ１４は、以下に説明する機能を発揮するコンピュータであればどのような装置であってもよい。
【００２９】
通信部３０は、例えばネットワークアダプタなどから構成される。通信部３０は、通信回線１８を介して、左眼対応カメラ１２Ｌから左眼対応画像を、右眼対応カメラ１２Ｒから右眼対応画像をそれぞれ受信する機能を有する。また、通信部３０は、通信回線１８を介して、ユーザ端末１６から画像の配信要求情報を受信する機能を有する。さらに、通信部３０は、通信回線１８を介して、左眼対応カメラ１２Ｌ及び右眼対応カメラ１２Ｒから受信し記憶部３２に記憶された左眼対応画像３４Ｌ及び右眼対応画像３４Ｒをユーザ端末１６に送信（配信）する機能を有する。このとき、左眼対応画像３４Ｌ及び右眼対応画像３４Ｒは同時に一つの画像として送信（配信）されるのが好適である。
【００３０】
記憶部３２は、ハードディスク、ＲＯＭ（Read Only Memory）、あるいはＲＡＭ（Random Access Memory）などを含んで構成される。記憶部３２には、画像配信サーバ１４の各部を動作させるためのプログラムが記憶される。また、記憶部３２には、左眼対応カメラ１２Ｌ及び右眼対応カメラ１２Ｒから受信した左眼対応画像３４Ｌ及び右眼対応画像３４Ｒが記憶される。
【００３１】
制御部３６は、例えばＣＰＵ（Central Processing Unit）などから構成され、記憶部３２に記憶されたプログラムに従って、画像配信サーバ１４の各部の動作を制御する。また、制御部３６は、ユーザ端末１６から配信要求情報を受信すると、配信要求情報を送信したユーザ端末１６に対して、配信要求に係る左眼対応画像３４Ｌ及び右眼対応画像３４Ｒを送信する制御を行う。
【００３２】
図５に、ユーザ端末１６の構成概略図が示されている。本実施形態に係るユーザ端末１６はスマートフォンなどのタブレット端末であるが、ユーザ端末１６としては、以下に説明する機能を発揮するコンピュータであればどのような装置であってもよい。例えば、ヘッドマウントディスプレイ（ＨＭＤ）などであってもよい。ユーザ端末１６においては、画像配信サーバ１４から配信される左眼対応画像３４Ｌ及び右眼対応画像３４Ｒに基づく立体視画像を閲覧するためのアプリケーションを動作させることが可能になっている。
【００３３】
本実施形態においては、ユーザ端末１６が、画像配信サーバ１４から受信した左眼対応画像３４Ｌ及び右眼対応画像３４Ｒを処理して立体視画像を生成する。つまり、本実施形態では、ユーザ端末１６は利用者端末であると同時に画像処理装置としての機能を発揮する。
【００３４】
制御部４０は、例えばＣＰＵあるいはマイクロコントローラなどから構成され、後述の記憶部４８に記憶されたプログラムに従って、ユーザ端末１６の各部の動作を制御する。また、制御部４０は、ユーザから画像の配信要求の送信指示を受け付けた場合は、画像配信サーバ１４に対して配信要求情報を送信する制御を行う。
【００３５】
通信部４２は、例えばネットワークアダプタなどから構成される。通信部４２は、通信回線１８を介して、画像配信サーバ１４へ配信要求情報を送信する機能を有する。また、通信部４２は、通信回線１８を介して、画像配信サーバ１４から左眼対応画像３４Ｌ及び右眼対応画像３４Ｒを受信する機能を有する。
【００３６】
表示部４４は、例えば液晶パネルなどから構成される。表示部４４には、ユーザが各種操作を行うためのユーザインターフェース画面が表示される。また、表示部４４には、画像配信サーバ１４から受信し左眼対応画像３４Ｌ及び右眼対応画像３４Ｒに基づいて生成された立体視画像が表示される。本実施形態では、図６に示される通り、立体視画像は、後述の画像処理部５２によって処理された処理済左眼対応画像と処理済右眼対応画像とが並列に並べられて生成されるものである。ユーザは、左眼で処理済左眼対応画像を、右眼で処理済右眼対応画像を見るための特殊レンズなどの器具をユーザ端末１６に取りつけた上で当該立体視画像を見る。このようにすることで、ユーザは、表示部４４に表示された立体視画像を立体感を得ながら観賞することができる。
【００３７】
図５に戻り、入力部４６は、例えばタッチパネルあるいはボタンなどから構成される。入力部４６は、ユーザの指示をユーザ端末１６に入力するためのものである。
【００３８】
記憶部４８は、例えばＲＯＭあるいはＲＡＭなどを含んで構成される。記憶部４８には、ユーザ端末１６の各部を動作させるためのプログラムが記憶される。また、記憶部４８には、後述の画像処理部５２が有する各機能を発揮させるための画像処理プログラム、及び、立体視画像を閲覧するためのアプリケーションが記憶される。その他、記憶部４８には、各種の処理データなどが記憶される。
【００３９】
角速度センサ５０は、例えばジャイロセンサなどを含んで構成される。角速度センサ５０は、実空間座標系における３軸回り、すなわちＸＲ２軸回り、ＹＲ２軸回り、ＺＲ２軸回りそれぞれにおけるユーザ端末１６の回転速度（角速度）を計測する。また、角速度センサ５０は、キャリブレーションを行った上で、計測した各軸周りの角速度をキャリブレーション時点からの時間で積分することで、ユーザ端末１６の各軸周りの角度、すなわち向きを算出することができる。
【００４０】
画像処理部５２は、例えばＧＰＵ（Graphics Processing Unit）などを含んで構成される。画像処理部５２は、記憶部４８に記憶された立体視画像生成プログラムとの協働により、ジオメトリパイプライン立体視画像生成処理を行うものである。図５に示すように、画像処理部５２は、モデリング部５４、視点設定部５６、視点補正部５８、投影変換部６０、及び立体視画像生成部６２の各機能ブロックを有している。以下、図７以降の参照しながら、画像処理部５２が有する各機能ブロックについて説明する。
【００４１】
モデリング部５４は、仮想空間座標系であるワールド座標系において定義された立体モデル（３次元モデル）に対して、画像配信サーバ１４から受信した左眼対応画像３４Ｌを投影変換して、左眼対応立体モデルを構築する。同様に、モデリング部５４は、ワールド座標系において定義された立体モデルに対して、画像配信サーバ１４から受信した右眼対応画像３４Ｒを投影変換して、左眼対応立体モデルを構築する。
【００４２】
本実施形態では、球状の立体モデルを使用する。図７に、本実施形態で使用する球状立体モデル７０が示されている。本実施形態では、ワールド座標系は、原点をＯＷとする直交座標系であるＸＷ軸、ＹＷ軸、及びＺＷ軸で定義されている。ワールド座標系のスケールは適宜設定されてよいが、本実施形態では実空間座標系と同じスケールが設定される。球状立体モデル７０は、原点ＯＷを中心としており、その表面は複数の三角ポリゴン７２で形成されている。具体的には、球状立体モデル７０の両極（ＹＷ座標の最大値及び最小値）を繋ぐように経度方向に並ぶ複数の経度線と、当該球面の表面において各経度線に直交し、緯度方向に並ぶ複数の緯度線とが定義され、複数の経度線と複数の緯度線との交点が頂点として定義される。複数の頂点に対する複数の頂点座標を示す情報は予め記憶部４８などに記憶され、モデリング部５４が参照可能となっている。球状立体モデル７０（の表面）上に定義された複数の頂点のうち、隣接する３つの頂点によって１つの三角ポリゴン７２が定義される。
【００４３】
モデリング部５４は、左眼対応画像３４Ｌを球状立体モデル７０に投影変換して、球状立体モデル７０が有する各三角ポリゴン７２に対して描画処理を行う。これにより、球状の左眼対応立体モデルが構築される。同様に、モデリング部５４は、右眼対応画像３４Ｒを球状立体モデル７０に投影変換して、球状立体モデル７０が有する各三角ポリゴン７２に対して描画処理を行う。これにより、球状の右眼対応立体モデルが構築される。
【００４４】
モデリング部５４による投影変換について説明する前に、魚眼カメラである左眼対応カメラ１２Ｌ及び右眼対応カメラ１２Ｒで撮像された、魚眼画像である左眼対応画像３４Ｌ及び右眼対応画像３４Ｒについて説明する。
【００４５】
図８に、魚眼レンズへの入射角と、魚眼画像における位置との対応関係を示す図が示されている。なお、図８はモデル図であり、図８に示された魚眼レンズの画角は１８０°となっている。また、図８には、等立体角射影の場合の例が示されている。図８においては、左側に魚眼レンズを正面から見た図と魚眼画像が重ねて示されており、右側に魚眼レンズを側面から見た図が示されている。また、図８に示された魚眼画像の各画素の座標は、魚眼画像の左上隅を原点ＯＰとする、水平（横）方向の位置を示すＸＰ軸座標と、垂直（縦）方向の位置を示すＹＰ軸座標で表現されるものとする。
【００４６】
等立体角射影においては、魚眼レンズへの入射角θと、撮像素子における像高ｙは、次式で与えられる。
ｙ＝２ｆｓｉｎ（θ／２）  ・・・  （式１）
ここで、入射角θとは、魚眼レンズの正面方向に対する入射光の角度であり、像高ｙとは、撮像素子の中央からの物理的な距離であり、ｆは焦点距離である。
【００４７】
例えば、入射角θ＝０°の場合、すなわち、魚眼レンズの正面方向からの入射光については、ｙ＝０となる。これは、撮像素子が有する２次元配列された受光素子のうち中央に位置する受光素子が、入射角０°の入射光を受光することを表している。つまり、入射角０°（魚眼レンズの正面方向から）の入射光に対応する魚眼画像における画素は、魚眼画像の中心座標、すなわち、最大ＸＰ座標がＸＰＭＡＸ、最大ＹＰ座標がＹＰＭＡＸであるとすると座標（ＸＰＭＡＸ／２，ＹＰＭＡＸ／２）の画素となる。
【００４８】
次に、入射角θが０°ではない場合は、像高ｙがある値を持つことになる。例えば、入射角θ＝３０°である場合は、像高ｙ＝ｆとなる。これは、入射角３０°の入射光については、撮像素子の中央を中心とする半径ｙ＝ｆの円周上に位置する受光素子が受光することを表している。入射角３０°の入射光に対応する魚眼画像における画素は、魚眼画像の中心座標を中心とする半径ｙ’の円周上に位置する画素となる。ここで、ｙは、あくまで撮像素子上における物理的な距離であるため、魚眼画像における半径ｙ’は、魚眼画像のサイズ（ＸＰＭＡＸ及びＹＰＭＡＸ）に基づいてｙに対して変換処理をかけて取得される。
【００４９】
なお、本実施形態では、魚眼レンズ２０Ｌ及び２０Ｒの射影方式が等立体角射影であるために、像高ｙは式１で算出されたが、
魚眼レンズ２０Ｌ及び２０Ｒの射影方式が正射影である場合には、
ｙ＝ｆｓｉｎθ  ・・・  （式２）で、
魚眼レンズ２０Ｌ及び２０Ｒの射影方式が等距離射影である場合には、
ｙ＝ｆθ  ・・・  （式３）で、
魚眼レンズ２０Ｌ及び２０Ｒの射影方式が立体射影である場合には、
ｙ＝２ｆｔａｎ（θ／２）  ・・・  （式４）で、
それぞれ像高ｙが求められる。
【００５０】
上述のように、魚眼画像においては、魚眼レンズへの入射角に応じて同心円周上の画素に像が形成されるため、図８に示される通り、魚眼画像の四隅には像が形成されないのが一般的である。以下、魚眼画像のうち、像が形成されない四隅の部分を「無画像領域」と、それ以外の部分を「画像領域」と記載する。
【００５１】
図９には、モデリング部５４によって左眼対応画像３４Ｌが球状立体モデル７０に対して投影変換される様子が示されている。図９に示される通り、概念的には、モデリング部５４は、球状立体モデル７０よりもＺＷ軸の負方向側のＸＷＹＷ平面と平行な面に、その上側がＹＷ軸正方向となるように左眼対応画像３４Ｌを配置した上で、球状立体モデル７０を左眼対応画像３４Ｌで包み込むようなイメージで、左眼対応画像３４Ｌの各画素と球状立体モデル７０の各三角ポリゴン７２を対応させた上で、左眼対応画像３４Ｌの各画素を対応する三角ポリゴン７２に投影する。これにより、球状立体モデル７０の各三角ポリゴン７２に対して描画処理を行う。
【００５２】
具体的には、モデリング部５４は、描画対象の三角ポリゴン７２とワールド座標系の原点（球状立体モデル７０の中心）ＯＷとを結ぶ線分と、原点ＯＷからＺＷ軸負方向へ伸びる線が成す角（以下「対ＺＷ軸角」と記載する）に基づいて、当該描画対象の三角ポリゴン７２に投影する左眼対応画像３４Ｌの画素を選択する。具体的には、対ＺＷ軸角がθ１である三角ポリゴン群に対しては、左眼対応画像３４Ｌの画素のうち、当該対ＺＷ軸角と同じ入射角θ１に対応する画素群（図９において左眼対応画像３４Ｌ上に一点鎖線で示す）が投影される。上述の通り、左眼対応画像３４の中心座標からの距離ｙ’は、入射角に基づいて算出されるから、距離ｙ’に基づいて、左眼対応画像３４Ｌ上において、入射角θ１に対応する画素群を特定することができる。なお、１つの三角ポリゴン７２に対応する左眼対応画像３４Ｌの画素が複数ある場合は、当該三角ポリゴン７２に対しては、当該複数の画素に基づいて描画処理が行われていてよい。その場合は、例えば、複数の画素が有する複数の画素値の代表値（例えば平均値など）を用いて描画されてよい。
【００５３】
このように、球状立体モデル７０に対して左眼対応画像３４Ｌが投影されることで、２次元画像であった左眼対応画像３４Ｌが左眼対応立体モデルに変換される。
【００５４】
右眼対応画像３４Ｒについても同様に、球状立体モデル７０に対して右眼対応画像３４Ｒを投影変換することで、右眼対応立体モデルが構築される。
【００５５】
図１０には、モデリング部５４の投影処理により構築された左眼対応立体モデル７４ＬのＸＷＺＷ平面における断面図が示されている。上述の通り、本実施形態における魚眼レンズ２０Ｌの画角は２３０°であり、また、魚眼画像の四隅には無画像領域が存在しているから、図１０に示される通り、左眼対応立体モデル７４Ｌの後側（ＺＷ軸正方向側）に位置する三角ポリゴン群は、左眼対応画像３４Ｌが投影されなかった領域、及び、左眼対応画像３４Ｌの無画像領域が投影された領域を含む（すなわち左眼対応カメラ１２Ｌの撮像対象の像が描画されていない）無描画領域となっている。具体的には、ＺＷ軸の負方向を真ん中とした中心角２３０°よりも後側に位置する三角ポリゴン群が無描画領域となっている。なお、本実施形態では、無描画領域に含まれる三角ポリゴン群は黒一色となっている。一方、ＺＷ軸の負方向を真ん中とした中心角２３０°よりも前側（ＺＷ軸負方向側）に位置する三角ポリゴン群は、左眼対応画像３４Ｌの画像領域、すなわち、左眼対応カメラ１２Ｌの撮像対象の像が投影されて描画された描画領域となっている。
【００５６】
ここで、モデリング部５４は、描画領域のうち、ＺＷ軸の負方向を真ん中とした中心角１８０°よりも後側に位置する三角ポリゴン群に描画された描画像を削除する。当該削除処理により描画像が削除される領域を「描画像削除領域」と呼ぶ（図１０参照）。これは、図３に示された通り、左眼対応カメラ１２Ｌの魚眼レンズ２０Ｌと、右眼対応カメラ１２Ｒの魚眼レンズ２０Ｒとが左右方向に並べられて配置されているため、左眼対応立体モデル７４Ｌの右側（ＸＷ軸正方向側）にある描画像削除領域には、魚眼レンズ２０Ｒの像が描画されてしまう。同様に、右眼対応立体モデル７４Ｒの左側（ＸＷ軸負方向側）にある描画像削除領域には、魚眼レンズ２０Ｌの像が描画されてしまう。本実施形態では、描画像削除領域を含む領域が２次元投影されることにより立体視画像が生成された場合（当該２次元投影処理については詳細後述）に、ユーザに魚眼レンズ２０Ｌ及び２０Ｒが見えてしまわないように、モデリング部５４は、描画像削除領域において描画像を削除している。描画像削除領域において描画像が削除されることにより、ＺＷ軸の負方向を真ん中とした中心角１８０°よりも前側が描画領域となり、ＺＷ軸の負方向を真ん中とした中心角１８０°よりも後側が無描画領域となる。
【００５７】
さらに、モデリング部５４は、左眼対応立体モデル７４Ｌの描画領域のうち、無描画領域との境界領域（描画領域の左右両端の領域）において、無描画領域へ向かって描画像を徐々に透過させる透過処理を行う。透過処理が行われる領域を「透過処理領域」と呼ぶ（図１０参照）。上述の通り、無描画領域には何も描画されておらず、本実施形態では黒一色となっている。したがって、描画領域と無描画領域との境界を含む領域が２次元投影されることにより立体視画像が生成された場合、当該立体視画像において突然無描画領域に対応する画素が現れるようになってしまう。例えば、立体視画像上に境界線が現れ、当該境界線の一方側は撮影された像に対応する画像があるのに、当該境界線を境に突然黒画素で塗りつぶされた領域が出現するようになってしまう。これにより、ユーザが違和感を感じてしまう場合が考えられる。
【００５８】
そこで、モデリング部５４が透過処理領域に対して透過処理を行うことにより、描画領域と無描画領域との境界を含む領域が２次元投影されて立体視画像が生成された場合であっても、当該立体視画像において、描画領域に対応する画素領域から無描画領域に対応する画素領域に行くにつれ徐々に画素が透過していくから、ユーザが感じる違和感を低減させることができる。
【００５９】
モデリング部５４は、右眼対応立体モデル７４Ｒに対しても、描画像削除領域に対する描画像削除処理及び透過処理領域に対する透過処理を行う。
【００６０】
視点設定部５６は、ワールド座標系において、モデリング部５４が構築した左眼対応立体モデル７４Ｌに対する左眼視点に関する設定、モデリング部５４が構築した右眼対応立体モデル７４Ｒに対する右眼視点に関する設定を行う。具体的には、左眼視点の位置及び右眼視点の位置、左眼視点からの視線方向である左眼視線方向及び右眼視点からの視線方向である右眼視線方向、並びに、左眼視点の上方向を示す左眼上方ベクトルの向き及び右眼視点の上方向を示す右眼上方ベクトルの向きを設定する。
【００６１】
視点設定部５６は、ユーザ端末１６の向きに応じて、左眼視点及び右眼視点の位置、左眼視線方向及び右眼視線方向、並びに左眼上方ベクトルの向き及び右眼上方ベクトルの向きを決定する。図１１には水平面であるＸＲ２ＹＲ２平面上において、ユーザ端末１６の向きが右方向に変更される様子が示されている。本実施形態では、ユーザ端末１６において、立体視画像を閲覧するためのアプリケーションが起動したタイミングで、角速度センサ５０がキャリブレーションを行う。キャリブレーションを行ったときのユーザ端末１６の向きが正面方向として設定される。図１１においては、水平方向であってＸＲ２軸正方向が正面方向となっており、当該正面方向を向いたユーザ端末１６が破線で示されている。図１１には、キャリブレーション後、ユーザによってユーザ端末１６の向きが変更され、正面方向から時計回り（右側方向）に（９０−φ）°、すなわちＹＲ軸方向（真横方向）に対して角度φの向きに、回転させられた様子が示されている。なお、当然ながら、ユーザ端末１６は、表示部４４がユーザ側を向く状態が維持されながらその向きが変更される。
【００６２】
図１２に、ワールド座標系において設定される左眼視点が示されている。図１２は、図１０同様、左眼対応立体モデル７４ＬのＸＷＺＷ平面における断面図である。本実施形態では、左眼視点は、ワールド座標系の原点ＯＷ、すなわち、球状の左眼対応立体モデル７４Ｌの中心点から所定距離離れた位置に設定される。後述のように、左眼視点の位置は、ユーザ端末１６の向きに応じて変更され得るが、原点ＯＷから左眼視点までの距離は不変となっている。したがって、左眼視点の移動軌跡は、原点ＯＷを中心とした球面上となる。
【００６３】
左眼視点からの左眼視線方向は、左眼視点の位置から原点ＯＷへ向かう方向である。したがって、左眼視点の位置が決定すると、それに従って左眼視線方向も決定するといえる。また、本実施形態では、左眼対応立体モデル７４Ｌに対しては、ＹＷ軸正方向と左眼対応画像３４Ｌの上側方向を一致させた上で、左眼対応画像３４Ｌが球状立体モデル７０に投影されているから、左眼視点がＸＷＺＷ平面上にある場合は、左眼視点の上方ベクトルの向きはＹＷ軸正方向となる。なお、左眼視線方向と左眼視点の上方ベクトルの向きとの間の方向関係は、左眼視点の位置に関わらず一定（直交）に維持される。
【００６４】
ワールド座標系において構築された左眼対応立体モデル７４Ｌにおいては、ＺＷ軸負方向が正面方向に対応するため、視点設定部５６は、ワールド座標系におけるＺＷ軸負方向に対する左眼視線方向が、正面方向に対するユーザ端末１６の向きに一致するように左眼視点の位置を設定する。
【００６５】
まず、ユーザ端末１６が正面方向を向いているときは、視点設定部５６は、左眼視線方向がＺＷ軸負方向を向くように、原点ＯＷからＺＷ軸正方向の位置に左眼視点を設定する。図１２においては、当該位置が点ＶＰＬｉｎｉで示されている。この場合の左眼上方ベクトルの向きはＹＷ軸正方向である。
【００６６】
その後、図１１に示すように、ユーザ端末１６がＸＲ２ＹＲ２平面上において、正面方向から右側方向に（９０−φ）°回転させられた場合、視点設定部５６は、左眼視点をその移動軌跡上において移動させて、ワールド座標系における左眼視線方向を、原点ＯＷからＺＷ軸負方向へ延びる線との成す角が（９０−φ）°となるように左眼視点の位置を設定する。図１２には、そのように設定された左眼視点の位置が点ＶＰＬ１で示されている。なお、この例においては、左眼視点は、ＸＷＺＷ平面上を移動しただけなので、左眼上方ベクトルの向きはＹＷ軸正方向に維持される。
【００６７】
視点設定部５６によって左眼視点の位置が設定されると、左眼視点を原点とした左眼ビュー座標系が定義される。本実施形態における左眼ビュー座標系は、左眼視線方向とは反対の方向をＺＶＬ軸正方向とし（つまり左眼視線方向がＺＶＬ軸負方向）、左眼上方ベクトルの向きをＹＶＬ軸正方向とし、ＺＶＬ軸及びＹＶＬ軸に対して右手系を構成する向きがＸＶＬ軸正方向に設定される。したがって、左眼視点の位置が変更されると、ワールド座標系に対する左眼ビュー座標系の原点の位置、及び、ＸＶＬ軸ＹＶＬ軸ＺＶＬ軸各軸の方向も変更されることになる。
【００６８】
なお、後述の視点補正部５８により左眼視点の位置が補正されなかったとすると、後述の投影変換部６０によって、左眼視線方向を中心とした所定の視野角に含まれる左眼対応立体モデル７４Ｌの一部分、すなわち、図１２において左眼対応立体モデル７４Ｌ上で太線で表された部分が２次元投影されて左眼に対応する２次元画像が生成される。つまり、図１２の太線部分に対応する２次元画像が表示部４４に表示される（ユーザが見える）部分である。
【００６９】
右眼対応立体モデル７４Ｒに対する右眼視点についても、上記同様の処理によって設定される。そして、右眼視点を原点とした右眼ビュー座標系が定義される。本実施形態における右眼ビュー座標系は、右眼視線方向とは反対の方向をＺＶＲ軸正方向とし（つまり右眼視線方向がＺＶＲ軸負方向）、右眼上方ベクトルの向きをＹＶＲ軸正方向とし、ＺＶＲ軸及びＹＶＲ軸に対して右手系を構成する向きがＸＶＲ軸正方向に設定される。
【００７０】
視点補正部５８は、ユーザ端末１６が正面方向から左右方向に向けられた場合に、ユーザ端末１６の向きに基づいて、設定された左眼視点の位置を左眼ビュー座標系上で移動させ、設定された右眼視点の位置を右眼ビュー座標系上で移動させることで左眼視点及び右眼視点の位置を補正する処理を行う。詳しくは、左眼対応カメラ１２Ｌと右眼対応カメラ１２Ｒとの間の視差を拡げる方向に、左眼視点及び右眼視点の位置を移動させる。以下、当該補正処理の詳細について説明する。
【００７１】
図１７において示したのと同様に、本実施形態においても、ユーザがユーザ端末１６を左右方向に向けた場合、左眼対応カメラ１２Ｌと右眼対応カメラ１２Ｒとの間の視差が小さくなるという問題が生じる。当該問題が図１３において改めて示されている。ここでも、ユーザがユーザ端末１６を正面方向から右側に（９０−φ）°向けた場合、すなわち真横方向から角度φとなる方向に向けた場合を考える。この場合、上述のように、投影変換部６０により生成される２次元画像は、左眼対応立体モデル７４ＬのＺＷ軸負方向（ワールド座標系における正面方向）から右側方向に対応する画像となる。一方において、魚眼レンズ２０Ｌ及び２０Ｒの向きは正面方向を向いたままであるため、実空間上で考えると、魚眼レンズ２０Ｌ及び２０Ｒからの視線方向は、レンズの向き（正面方向）から右側に（９０−φ）°向いた状態となる。したがって、左眼対応カメラ１２Ｌと右眼対応カメラ１２Ｒとの間の視差はｄ’となり、これは上述のようにｄ’＝ｄｓｉｎφとなる。したがって、視差ｄ’は、魚眼レンズ２０Ｌと２０Ｒとの間の距離、すなわち、視線方向が魚眼レンズ２０Ｌと２０Ｒから正面方向である場合の左眼対応カメラ１２Ｌと右眼対応カメラ１２Ｒとの間の視差ｄよりも小さくなる。
【００７２】
ユーザ端末１６が左右方向に向けられたときの、左眼対応カメラ１２Ｌと右眼対応カメラ１２Ｒとの間の視差の減少を抑制するには、魚眼レンズ２０Ｌの現在の視点ＬＰＬ１及び魚眼レンズ２０Ｒの現在の視点ＬＰＲ１を、それぞれ、視差が広がる方向に移動させればよい。視差を正確にｄに維持するならば、視線方向が正面のときの視差ｄと現在の視差ｄ’との差分を算出し、魚眼レンズ２０Ｌの視点及び魚眼レンズ２０Ｒの視点を当該差分の半分であるΔｄづつ、視差が広がる方向に移動させればよいことになる。
【００７３】
ここで、ｄ’＝ｄｓｉｎφであるから、補正距離Δｄは、
Δｄ＝｛ｄ（１−ｓｉｎφ）｝／２  ・・・  （式５）
で与えられる。
【００７４】
したがって、仮に、魚眼レンズ２０Ｌの視点を視線方向に直交する方向であって視差が広がる方向に距離Δｄだけ移動させて、当該視点を図１３における点ＬＰＬ２で示される位置にし、同様に、魚眼レンズ２０Ｒの視点を視線方向に直交する方向であって視差が広がる方向に距離Δｄだけ移動させて、当該視点を図１３における点ＬＰＲ２で示される位置にすることで、ユーザ端末１６が左右方向に向けられたときに生じ得る視差の減少を解消することができると考えられる。
【００７５】
本実施形態では、このような実空間上における視点の移動がワールド座標系上で実現されるように、視点補正部５８は、ワールド座標系において設定された左眼視点及び右眼視点の位置を移動させる。
【００７６】
図１４には、左眼視点の位置が補正される様子が示されている。図１４には、図１２などと同様、左眼対応立体モデル７４ＬのＸＷＺＷ平面における断面図である。視点設定部５６により左眼視点が点ＶＰＬ１の位置に設定された状態から考える。左眼対応カメラ１２Ｌと右眼対応カメラ１２Ｒとの間の視差を拡げるための、左眼視点の移動方向は、左眼上方ベクトルの向きを上にして、左眼視点から左眼視線方向を向いたときの左側方向である。これは、左眼視線方向とは反対の方向をＺＶＬ軸正方向とし、左眼上方ベクトルの向きをＹＶＬ軸正方向とし、ＺＶＬ軸及びＹＶＬ軸に対して右手系を構成する向きがＸＶＬ軸正方向である左眼ビュー座標系におけるＸＶＬ軸負方向であるといえる。換言すれば、左眼視点方向をＺ軸正方向とし、左眼上方ベクトルの向きをＹ軸正方向としたときに、当該Ｚ軸とＹ軸に対して右手系を構成するＸ軸正方向の方向であるといえる。また、左眼視点の位置を移動させるにあたり、左眼視線方向及び左眼上方ベクトルの向きは維持される。
【００７７】
左眼視点方向及び左眼上方ベクトルの向きを維持しつつ、左眼ビュー座標系におけるＸＶＬ軸負方向に左眼視点を移動させることは、図１３に示した、実座標系における魚眼レンズ２０Ｌの視点を、その視線方向及び魚眼レンズ２０Ｌの上側方向を維持しながら点ＬＰＬ１から点ＬＰＬ２方向へ移動させることに相当する。したがって、左眼視点をＸＶＬ軸負方向に移動させることで左眼対応カメラ１２Ｌと右眼対応カメラ１２Ｒとの間の視差の減少を抑制することができる。
【００７８】
図１５には、右眼視点の位置が補正される様子が示されている。図１５には、右眼対応立体モデル７４ＲのＸＷＺＷ平面における断面図である。左眼対応カメラ１２Ｌと右眼対応カメラ１２Ｒとの間の視差を拡げるための、右眼視点の移動方向は、右眼上方ベクトルの向きを上にして、右眼視点から右眼視線方向を向いたときの右側方向である。これは、右眼視線方向とは反対の方向をＺＶＲ軸正方向とし、右眼上方ベクトルの向きをＹＶＲ軸正方向とし、ＺＶＲ軸及びＹＶＲ軸に対して右手系を構成する向きがＸＶＲ軸正方向である右眼ビュー座標系におけるＸＶＲ軸正方向であるといえる。換言すれば、右眼視点方向をＺ軸正方向とし、右眼上方ベクトルの向きをＹ軸正方向としたときに、当該Ｚ軸とＹ軸に対して左手系を構成するＸ軸正方向の方向であるといえる。また、右眼視点の位置を移動させるにあたっても、右眼視線方向及び右眼上方ベクトルの向きは維持される。
【００７９】
右眼視点方向及び右眼上方ベクトルの向きを維持しつつ、右眼ビュー座標系におけるＸＶＲ軸正方向に右眼視点を移動させることは、図１３に示した、実座標系における魚眼レンズ２０Ｒの視点を、その視線方向及び魚眼レンズ２０Ｒの上側方向を維持しながら点ＬＰＲ１から点ＬＰＲ２方向へ移動させることに相当する。したがって、右眼視点をＸＶＲ軸正方向に移動させることで左眼対応カメラ１２Ｌと右眼対応カメラ１２Ｒとの間の視差の減少を抑制することができる。
【００８０】
また、左眼視点及び右眼視点を補正することにより、左眼対応カメラ１２Ｌと右眼対応カメラ１２Ｒとの間の視差がｄに一致するのが好ましい。視差をｄに一致させるため、視点補正部５８は、左眼視点及び右眼視点の補正距離を算出する。
【００８１】
ここでも、図１１に示されるように、ユーザ端末１６が正面方向から右側方向（９０−φ）°傾けられ、図１４の点ＶＰＬ１が示す位置に設定された左眼視点の位置を補正する場合を考える。視点補正部５８は、魚眼レンズ２０Ｌと魚眼レンズ２０Ｒとの間の距離ｄと、角速度センサ５０が演算したユーザ端末１６の向きを示す角度φを用いて、上述の式５に基づいて、補正距離Δｄを算出する。なお、距離ｄは予め計測されて、距離ｄを示す上方が記憶部４８に記憶されていてよい。
【００８２】
視点補正部５８は、左眼視点を上述の方向に算出した補正距離Δｄ移動させる。同様に、右眼視点を上述の方向に補正距離Δｄ移動させる。これにより、ユーザ端末１６がいずれの向きを向いていても、魚眼レンズ２０Ｌと魚眼レンズ２０Ｒとの間の視差を常にｄとすることができる。なお、本実施形態においては、ワールド座標系と実空間座標系とのスケールが同じとなっているので、左眼視点及び右眼視点を補正距離Δｄ移動させたが、ワールド座標系と実空間座標系のスケールが異なる場合は、算出した補正距離Δｄに両座標系のスケールを考慮した補正をかけた上で補正後の距離分だけ左眼視点及び右眼視点を移動させるようにしてもよい。
【００８３】
投影変換部６０は、視点設定部５６により設定され、必要に応じて視点補正部５８により補正された左眼視点、左眼視線方向、及び左眼上方ベクトルの向きに基づいて、左眼対応立体モデル７４Ｌを２次元投影することで、２次元画像である処理済左眼対応画像を生成する。図１４に示すように、補正後の左眼視点の位置である点ＶＰＬ２から左眼視線方向を中心とした所定の視野角の範囲内に含まれる左眼対応立体モデル７４Ｌの一部である投影対象領域８０Ｌが２次元投影の対象となる。具体的には、補正後の左眼視点を基準とした左眼ビュー座標系において定義された２次元スクリーン上に、投影対象領域８０Ｌに含まれる三角ポリゴン群の描画像が投影されて処理済左眼対応画像が生成される。本実施形態として、２次元投影の方法として透視投影変換が用いられるが、その他の変換方法が用いられてもよい。
【００８４】
投影変換部６０は、同様に、視点設定部５６により設定され、必要に応じて視点補正部５８により補正された右眼視点、右眼視線方向、及び右眼上方ベクトルの向きに基づいて、右眼対応立体モデル７４Ｒを２次元投影することで、２次元画像である処理済右眼対応画像を生成する。図１５に示すように、補正後の右眼視点の位置である点ＶＰＲ２から右眼視線方向を中心とした所定の視野角の範囲内に含まれる右眼対応立体モデル７４Ｒの一部である投影対象領域８０Ｒが２次元投影の対象となる。２次元投影の方法は、左眼対応立体モデル７４Ｌの投影方法と同様であってよい。
【００８５】
立体視画像生成部６２は、投影変換部６０により生成された処理済左眼対応画像及び処理済右眼対応画像に基づいて、立体視画像を生成する。図６に示される通り、本実施形態における立体視画像は、処理済左眼対応画像及び処理済右眼対応画像が並列に並べられた画像である。もちろん、立体視画像としては、処理済左眼対応画像をユーザの左眼で見ることができ、処理済右眼対応画像をユーザの右眼で見ることができる限りにおいてその他の態様であってもよい。
【００８６】
また、立体視画像生成部６２は、表示部４４のサイズに応じて、生成した立体視画像のサイズを変更するビューポート変換を行う。これにより、表示部４４のサイズに適した立体視画像が生成される。
【００８７】
生成された立体視画像は、制御部４０により表示部４４に表示される。
【００８８】
本実施形態に係る立体視画像提供システム１０の構成は以上の通りである。立体視画像提供システム１０によれば、ジオメトリパイプライン立体視画像生成処理によって立体視画像が生成されるにあたり、ユーザ端末１６が正面方向から左右方向に向けられた場合に、視点補正部５８によって、ワールド座標系において設定された左眼視点及び右眼視点の位置がユーザ端末１６の向きに応じて、左眼対応カメラ１２Ｌと右眼対応カメラ１２Ｒとの間の視差が拡がる方向に移動される。これにより、ユーザ端末１６が左右方向を向けられたときに生じる、左眼対応カメラ１２Ｌと右眼対応カメラ１２Ｒとの間の視差の減少が抑制される。その結果、ユーザ端末１６が左右方向に向けられた場合であっても、ユーザに対して好適に立体感を感じることができる立体視画像を提供することができる。
【００８９】
好適には、ユーザ端末の向きに応じて算出された補正距離Δｄに応じた距離だけ、左眼視点及び右眼視点が移動されるから、ユーザ端末１６がどの向きを向いていたとしても、左眼対応カメラ１２Ｌと右眼対応カメラ１２Ｒとの間の視差はｄに維持される。これにより、より好適に立体感を感じることのできる立体視画像を提供することが可能になると共に、ユーザ端末１６の向きに応じて表示部４４に表示される立体視画像が刻々変化する場合に、ユーザに与える違和感を低減することができる。
【００９０】
上述の実施形態においては、画像処理部５２、すなわち、モデリング部５４、視点設定部５６、視点補正部５８、投影変換部６０、及び立体視画像生成部６２はユーザ端末１６が有していたが、これらの各部が画像配信サーバ１４が有する態様を取ることもできる。その場合は、画像配信サーバ１４が立体視画像生成装置として機能する。画像配信サーバ１４において立体視画像が生成される場合、生成された立体視画像がユーザ端末１６に配信される。なお、この態様を採用する場合は、ユーザ端末１６の角速度センサ５０の計測値は逐次画像配信サーバ１４へ送信される。
【００９１】
以下、図１６に示されたフローチャートに従って、本実施形態に係るユーザ端末１６の処理の流れを説明する。
【００９２】
ステップＳ１０において、ユーザの指示に応じて、ユーザ端末１６から画像配信サーバ１４に対して画像の配信要求情報が送信される。ユーザ端末１６は、それを受けた画像配信サーバ１４から左眼対応画像３４Ｌ及び右眼対応画像３４Ｒを受信する。
【００９３】
ステップＳ１２において、モデリング部５４は、受信した左眼対応画像３４Ｌをワールド座標系において定義された球状立体モデル７０に投影変換して左眼対応立体モデル７４Ｌを構築する。同様に、モデリング部５４は、受信した右眼対応画像３４Ｒをワールド座標系において定義された球状立体モデル７０に投影変換して右眼対応立体モデル７４Ｒを構築する。
【００９４】
ステップＳ１４において、角速度センサ５０は、ユーザ端末１６の向きを取得する。
【００９５】
ステップＳ１６において、視点設定部５６は、ステップＳ１４において取得されたユーザ端末１６の向きに基づいて、ワールド座標系において、左眼対応立体モデル７４Ｌに対する左眼視点、左眼視線方向、及び左眼上方ベクトルの向きを設定する。同様に、視点設定部５６は、ステップＳ１４において取得されたユーザ端末１６の向きに基づいて、ワールド座標系において、右眼対応立体モデル７４Ｒに対する右眼視点、右眼視線方向、及び右眼上方ベクトルの向きを設定する。
【００９６】
ステップＳ１８において、視点補正部５８は、ステップＳ１４で取得したユーザ端末１６の向きに基づいて、補正距離Δｄを算出する。
【００９７】
ステップＳ２０において、視点補正部５８は、ステップＳ１８で算出した補正距離Δｄに応じた距離分、左眼視点及び右眼視点をそれぞれのビュー座標系上で移動させる。上述の通り、左眼視点の移動方向は、左眼ビュー座標系のＸＶＬ軸負方向であり、右眼視点の移動方向は、右眼ビュー座標系のＸＶＲ軸正方向である。
【００９８】
ステップＳ２２において、投影変換部６０は、ステップＳ２０で補正された左眼視点の位置、左眼視線方向、及び左眼上方ベクトルの向きに基づいて、左眼対応立体モデル７４Ｌを２次元投影することで、処理済左眼対応画像を生成する。同様に、投影変換部６０は、ステップＳ２０で補正された右眼視点の位置、右眼視線方向、及び右眼上方ベクトルの向きに基づいて、右眼対応立体モデル７４Ｒを２次元投影することで、処理済右眼対応画像を生成する。
【００９９】
ステップＳ２４において、立体視画像生成部６２は、ステップＳ２２で生成された処理済左眼対応画像及び処理済右眼対応画像を並列に並べることにより、立体視画像を生成する。
【０１００】
ステップＳ２６において、制御部４０は、ステップＳ２４で生成された立体視画像を表示部４４に表示させる。
【０１０１】
以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。
【符号の説明】
【０１０２】
１０  立体視画像提供システム、１２Ｌ  左眼対応カメラ、１２Ｒ  右眼対応カメラ、１４  画像配信サーバ、１６  ユーザ端末、１８  通信回線、２０Ｌ，２０Ｒ  魚眼レンズ、２２Ｌ，２２Ｒ  撮像素子、２４Ｌ，２４Ｒ，３０，４２  通信部、３２，４８  記憶部、３４Ｌ  左眼対応画像、３４Ｒ  右眼対応画像、３６，４０  制御部、４４  表示部、４６  入力部、５０  角速度センサ、５２  画像処理部、５４  モデリング部、５６  視点設定部、５８  視点補正部、６０  投影変換部、６２  立体視画像生成部。
【図１】
2018137679.tif 000003
【図２】
2018137679.tif 000004
【図３】
2018137679.tif 000005
【図４】
2018137679.tif 000006
【図５】
2018137679.tif 000007
【図６】
2018137679.tif 000008
【図７】
2018137679.tif 000009
【図８】
2018137679.tif 000010
【図９】
2018137679.tif 000011
【図１０】
2018137679.tif 000012
【図１１】
2018137679.tif 000013
【図１２】
2018137679.tif 000014
【図１３】
2018137679.tif 000015
【図１４】
2018137679.tif 000016
【図１５】
2018137679.tif 000017
【図１６】
2018137679.tif 000018
【図１７】
2018137679.tif 000019
【手続補正書】
【提出日】平成30年4月4日(2018.4.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
所定距離離間して同じ方向を向くように設置された左眼対応カメラ及び右眼対応カメラからの画像を処理して、利用者が利用する利用者端末に表示する画像を生成する画像処理装置であって、
前記左眼対応カメラで撮像された左眼対応画像、及び、前記右眼対応カメラで撮像された右眼対応画像をそれぞれ立体モデルに投影変換して、ワールド座標系において左眼対応立体モデル及び右眼対応立体モデルを構築するモデリング部と、
前記利用者端末の向きに基づいて、前記ワールド座標系において、前記左眼対応立体モデルに対する左眼視点の位置、前記左眼視点からの視点方向である左眼視線方向、及び、前記左眼視点の上方向を示す左眼上方ベクトルの向きを設定し、前記利用者端末の向きに基づいて、前記ワールド座標系において、前記右眼対応立体モデルに対する右眼視点の位置、前記右眼視点からの視点方向である右眼視線方向、及び、前記右眼視点の上方向を示す右眼上方ベクトルの向きを設定する視点設定部と、
前記利用者端末の向きが、キャリブレーションにより定められる正面方向から左右方向に向けられた場合に、前記左眼視線方向とは反対の方向をＺＶＬ軸正方向とし、前記左眼上方ベクトルの向きをＹＶＬ軸正方向とし、前記ＺＶＬ軸及びＹＶＬ軸に対して右手系を構成する向きがＸＶＬ軸正方向である左眼ビュー座標系におけるＸＶＬ軸負方向に前記左眼視点を移動させ、前記右眼視線方向とは反対の方向をＺＶＲ軸正方向とし、前記右眼上方ベクトルの向きをＹＶＲ軸正方向とし、前記ＺＶＲ軸及びＹＶＲ軸に対して右手系を構成する向きがＸＶＲ軸正方向である右眼ビュー座標系におけるＸＶＲ軸正方向に前記右眼視点を移動させることで、前記左眼視点及び前記右眼視点の位置を補正する視点補正部と、
補正された前記左眼視点の位置、前記左眼視線方向、及び前記左眼上方ベクトルの向きに基づいて、前記左眼対応立体モデルを２次元投影することで処理済左眼対応画像を生成し、補正された前記右眼視点の位置、前記右眼視線方向、及び前記右眼上方ベクトルの向きに基づいて、前記右眼対応立体モデルを２次元投影することで処理済右眼対応画像を生成する投影変換部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記視点補正部は、前記所定距離と、前記利用者端末の向きに応じて演算される前記左眼対応カメラと前記右眼対応カメラとの間の視差との差の半分である補正距離に応じた距離分、前記左眼視点及び前記右眼視点の位置を移動させる、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記モデリング部は、前記左眼対応立体モデルにおける、前記左眼対応カメラの撮像対象の像が描画された描画領域のうち、前記左眼対応カメラの撮像対象の像が描画されていない無描画領域側の境界領域において、当該無描画領域へ向かって描画像を徐々に透過させる処理を行い、前記右眼対応立体モデルにおける、前記右眼対応カメラの撮像対象の像が描画された描画領域のうち、前記右眼対応カメラの撮像対象の像が描画されていない無描画領域側の境界領域において、当該無描画領域へ向かって描画像を徐々に透過させる処理を行う、
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
所定距離離間して同じ方向を向くように設置された左眼対応カメラ及び右眼対応カメラからの画像を処理して、利用者が利用する利用者端末に表示する画像を生成するコンピュータを、
前記左眼対応カメラで撮像された左眼対応画像、及び、前記右眼対応カメラで撮像された右眼対応画像をそれぞれ立体モデルに投影変換して、ワールド座標系において左眼対応立体モデル及び右眼対応立体モデルを構築するモデリング部と、
前記利用者端末の向きに基づいて、前記ワールド座標系において、前記左眼対応立体モデルに対する左眼視点の位置、前記左眼視点からの視点方向である左眼視線方向、及び、前記左眼視点の上方向を示す左眼上方ベクトルの向きを設定し、前記利用者端末の向きに基づいて、前記ワールド座標系において、前記右眼対応立体モデルに対する右眼視点の位置、前記右眼視点からの視点方向である右眼視線方向、及び、前記右眼視点の上方向を示す右眼上方ベクトルの向きを設定する視点設定部と、
前記利用者端末の向きが、キャリブレーションにより定められる正面方向から左右方向に向けられた場合に、前記左眼視線方向とは反対の方向をＺＶＬ軸正方向とし、前記左眼上方ベクトルの向きをＹＶＬ軸正方向とし、前記ＺＶＬ軸及びＹＶＬ軸に対して右手系を構成する向きがＸＶＬ軸正方向である左眼ビュー座標系におけるＸＶＬ軸負方向に前記左眼視点を移動させ、前記右眼視線方向とは反対の方向をＺＶＲ軸正方向とし、前記右眼上方ベクトルの向きをＹＶＲ軸正方向とし、前記ＺＶＲ軸及びＹＶＲ軸に対して右手系を構成する向きがＸＶＲ軸正方向である右眼ビュー座標系におけるＸＶＲ軸正方向に前記右眼視点を移動させることで、前記左眼視点及び前記右眼視点の位置を補正する視点補正部と、
補正された前記左眼視点の位置、前記左眼視線方向、及び前記左眼上方ベクトルの向きに基づいて、前記左眼対応立体モデルを２次元投影することで処理済左眼対応画像を生成し、補正された前記右眼視点の位置、前記右眼視線方向、及び前記右眼上方ベクトルの向きに基づいて、前記右眼対応立体モデルを２次元投影することで処理済右眼対応画像を生成する投影変換部と、
として機能させることを特徴とする画像処理プログラム。
【請求項５】
所定距離離間して同じ方向を向くように設置された左眼対応カメラ及び右眼対応カメラからの画像を処理して、利用者が利用する利用者端末に表示する画像を生成する画像処理方法であって、
前記左眼対応カメラで撮像された左眼対応画像、及び、前記右眼対応カメラで撮像された右眼対応画像をそれぞれ立体モデルに投影変換して、ワールド座標系において左眼対応立体モデル及び右眼対応立体モデルを構築するモデリングステップと、
前記利用者端末の向きに基づいて、前記ワールド座標系において、前記左眼対応立体モデルに対する左眼視点の位置、前記左眼視点からの視点方向である左眼視線方向、及び、前記左眼視点の上方向を示す左眼上方ベクトルの向きを設定し、前記利用者端末の向きに基づいて、前記ワールド座標系において、前記右眼対応立体モデルに対する右眼視点の位置、前記右眼視点からの視点方向である右眼視線方向、及び、前記右眼視点の上方向を示す右眼上方ベクトルの向きを設定する視点設定ステップと、
前記利用者端末の向きが、キャリブレーションにより定められる正面方向から左右方向に向けられた場合に、前記左眼視線方向とは反対の方向をＺＶＬ軸正方向とし、前記左眼上方ベクトルの向きをＹＶＬ軸正方向とし、前記ＺＶＬ軸及びＹＶＬ軸に対して右手系を構成する向きがＸＶＬ軸正方向である左眼ビュー座標系におけるＸＶＬ軸負方向に前記左眼視点を移動させ、前記右眼視線方向とは反対の方向をＺＶＲ軸正方向とし、前記右眼上方ベクトルの向きをＹＶＲ軸正方向とし、前記ＺＶＲ軸及びＹＶＲ軸に対して右手系を構成する向きがＸＶＲ軸正方向である右眼ビュー座標系におけるＸＶＲ軸正方向に前記右眼視点を移動させることで、前記左眼視点及び前記右眼視点の位置を補正する視点補正ステップと、
補正された前記左眼視点の位置、前記左眼視線方向、及び前記左眼上方ベクトルの向きに基づいて、前記左眼対応立体モデルを２次元投影することで処理済左眼対応画像を生成し、補正された前記右眼視点の位置、前記右眼視線方向、及び前記右眼上方ベクトルの向きに基づいて、前記右眼対応立体モデルを２次元投影することで処理済右眼対応画像を生成する投影変換ステップと、
を備えることを特徴とする画像処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明は、所定距離離間して同じ方向を向くように設置された左眼対応カメラ及び右眼対応カメラからの画像を処理して、利用者が利用する利用者端末に表示する画像を生成する画像処理装置であって、前記左眼対応カメラで撮像された左眼対応画像、及び、前記右眼対応カメラで撮像された右眼対応画像をそれぞれ立体モデルに投影変換して、ワールド座標系において左眼対応立体モデル及び右眼対応立体モデルを構築するモデリング部と、前記利用者端末の向きに基づいて、前記ワールド座標系において、前記左眼対応立体モデルに対する左眼視点の位置、前記左眼視点からの視点方向である左眼視線方向、及び、前記左眼視点の上方向を示す左眼上方ベクトルの向きを設定し、前記利用者端末の向きに基づいて、前記ワールド座標系において、前記右眼対応立体モデルに対する右眼視点の位置、前記右眼視点からの視点方向である右眼視線方向、及び、前記右眼視点の上方向を示す右眼上方ベクトルの向きを設定する視点設定部と、前記利用者端末の向きが、キャリブレーションにより定められる正面方向から左右方向に向けられた場合に、前記左眼視線方向とは反対の方向をＺＶＬ軸正方向とし、前記左眼上方ベクトルの向きをＹＶＬ軸正方向とし、前記ＺＶＬ軸及びＹＶＬ軸に対して右手系を構成する向きがＸＶＬ軸正方向である左眼ビュー座標系におけるＸＶＬ軸負方向に前記左眼視点を移動させ、前記右眼視線方向とは反対の方向をＺＶＲ軸正方向とし、前記右眼上方ベクトルの向きをＹＶＲ軸正方向とし、前記ＺＶＲ軸及びＹＶＲ軸に対して右手系を構成する向きがＸＶＲ軸正方向である右眼ビュー座標系におけるＸＶＲ軸正方向に前記右眼視点を移動させることで、前記左眼視点及び前記右眼視点の位置を補正する視点補正部と、補正された前記左眼視点の位置、前記左眼視線方向、及び前記左眼上方ベクトルの向きに基づいて、前記左眼対応立体モデルを２次元投影することで処理済左眼対応画像を生成し、補正された前記右眼視点の位置、前記右眼視線方向、及び前記右眼上方ベクトルの向きに基づいて、前記右眼対応立体モデルを２次元投影することで処理済右眼対応画像を生成する投影変換部と、を備えることを特徴とする画像処理装置である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
また、本発明は、所定距離離間して同じ方向を向くように設置された左眼対応カメラ及び右眼対応カメラからの画像を処理して、利用者が利用する利用者端末に表示する画像を生成するコンピュータを、前記左眼対応カメラで撮像された左眼対応画像、及び、前記右眼対応カメラで撮像された右眼対応画像をそれぞれ立体モデルに投影変換して、ワールド座標系において左眼対応立体モデル及び右眼対応立体モデルを構築するモデリング部と、前記利用者端末の向きに基づいて、前記ワールド座標系において、前記左眼対応立体モデルに対する左眼視点の位置、前記左眼視点からの視点方向である左眼視線方向、及び、前記左眼視点の上方向を示す左眼上方ベクトルの向きを設定し、前記利用者端末の向きに基づいて、前記ワールド座標系において、前記右眼対応立体モデルに対する右眼視点の位置、前記右眼視点からの視点方向である右眼視線方向、及び、前記右眼視点の上方向を示す右眼上方ベクトルの向きを設定する視点設定部と、前記利用者端末の向きが、キャリブレーションにより定められる正面方向から左右方向に向けられた場合に、前記左眼視線方向とは反対の方向をＺＶＬ軸正方向とし、前記左眼上方ベクトルの向きをＹＶＬ軸正方向とし、前記ＺＶＬ軸及びＹＶＬ軸に対して右手系を構成する向きがＸＶＬ軸正方向である左眼ビュー座標系におけるＸＶＬ軸負方向に前記左眼視点を移動させ、前記右眼視線方向とは反対の方向をＺＶＲ軸正方向とし、前記右眼上方ベクトルの向きをＹＶＲ軸正方向とし、前記ＺＶＲ軸及びＹＶＲ軸に対して右手系を構成する向きがＸＶＲ軸正方向である右眼ビュー座標系におけるＸＶＲ軸正方向に前記右眼視点を移動させることで、前記左眼視点及び前記右眼視点の位置を補正する視点補正部と、補正された前記左眼視点の位置、前記左眼視線方向、及び前記左眼上方ベクトルの向きに基づいて、前記左眼対応立体モデルを２次元投影することで処理済左眼対応画像を生成し、補正された前記右眼視点の位置、前記右眼視線方向、及び前記右眼上方ベクトルの向きに基づいて、前記右眼対応立体モデルを２次元投影することで処理済右眼対応画像を生成する投影変換部と、として機能させることを特徴とする画像処理プログラムである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
また、本発明は、所定距離離間して同じ方向を向くように設置された左眼対応カメラ及び右眼対応カメラからの画像を処理して、利用者が利用する利用者端末に表示する画像を生成する画像処理方法であって、前記左眼対応カメラで撮像された左眼対応画像、及び、前記右眼対応カメラで撮像された右眼対応画像をそれぞれ立体モデルに投影変換して、ワールド座標系において左眼対応立体モデル及び右眼対応立体モデルを構築するモデリングステップと、前記利用者端末の向きに基づいて、前記ワールド座標系において、前記左眼対応立体モデルに対する左眼視点の位置、前記左眼視点からの視点方向である左眼視線方向、及び、前記左眼視点の上方向を示す左眼上方ベクトルの向きを設定し、前記利用者端末の向きに基づいて、前記ワールド座標系において、前記右眼対応立体モデルに対する右眼視点の位置、前記右眼視点からの視点方向である右眼視線方向、及び、前記右眼視点の上方向を示す右眼上方ベクトルの向きを設定する視点設定ステップと、前記利用者端末の向きが、キャリブレーションにより定められる正面方向から左右方向に向けられた場合に、前記左眼視線方向とは反対の方向をＺＶＬ軸正方向とし、前記左眼上方ベクトルの向きをＹＶＬ軸正方向とし、前記ＺＶＬ軸及びＹＶＬ軸に対して右手系を構成する向きがＸＶＬ軸正方向である左眼ビュー座標系におけるＸＶＬ軸負方向に前記左眼視点を移動させ、前記右眼視線方向とは反対の方向をＺＶＲ軸正方向とし、前記右眼上方ベクトルの向きをＹＶＲ軸正方向とし、前記ＺＶＲ軸及びＹＶＲ軸に対して右手系を構成する向きがＸＶＲ軸正方向である右眼ビュー座標系におけるＸＶＲ軸正方向に前記右眼視点を移動させることで、前記左眼視点及び前記右眼視点の位置を補正する視点補正ステップと、補正された前記左眼視点の位置、前記左眼視線方向、及び前記左眼上方ベクトルの向きに基づいて、前記左眼対応立体モデルを２次元投影することで処理済左眼対応画像を生成し、補正された前記右眼視点の位置、前記右眼視線方向、及び前記右眼上方ベクトルの向きに基づいて、前記右眼対応立体モデルを２次元投影することで処理済右眼対応画像を生成する投影変換ステップと、を備えることを特徴とする画像処理方法である。