(57)【特許請求の範囲】
【請求項１】
観察対象の２Ｄ画像を表示する画像表示画面と、
この画像表示画面に対する、対表示画面視差角Θ１及び対表示画面離間距離Ｌｅを測定する運動視差量測定手段と、
上記対表示画面視差角Θ１に対応した角度ΔΘだけ回転した観察対象の２Ｄ画像を選択して、上記画像表示画面に送信する表示手段とを備えており、
上記複数の２Ｄ画像には、それぞれに３Ｄ情報が関連づけられており、
この３Ｄ情報は、少なくとも上記回転角ΔΘ及び仮想離間距離Ｌｏを含んでおり、
上記表示手段における２Ｄ画像の選択に際して、上記観察対象の回転角ΔΘが、下記式に基づいて決定され、
ΔΘ ＝ Θ１×Ｌｅ／（Ｌｏ＋Ｌｅ）                  
ここで、
上記対表示画面視差角Θ１は、上記画像表示画面に対する観察者の運動視差角であって、運動視差量測定手段によって特定され、
上記対表示画面離間距離Ｌｅは、観察者の眼と上記画像表示画面との離間距離であって、運動視差量測定手段によって特定され、
上記仮想離間距離Ｌｏは、観察対象と画像表示画面との仮想離間距離であって、上記画像の作成時に決定され、
上記回転角ΔΘは、観察対象の回転角であって、既知である上記のΘ１、Ｌｅ、Ｌｏから決定される、３Ｄ画像表示装置。
【請求項２】
上記表示手段による２Ｄ画像の選択に際して、上記式中の対表示画面離間距離Ｌｅが下記の式によって表され、
Ｌｅ ＝ Ｌｅ１＋ΔＬｅ                                      
上記式中の仮想離間距離Ｌｏが下記の式によって表され、
Ｌｏ ＝ Ｌｏ１＋ΔＬｏ                                      
ここで、
上記式中のＬｅ１は、変化前の観察者の眼と画像表示画面との離間距離であって、上記運動視差量測定手段によって特定され、
上記式中のＬｏ１は、変化前の観察対象と画像表示画面との仮想離間距離であって、上記画像の作成時に決定され、
上記式中のΔＬｅは、上記離間距離Ｌｅ１の変化量であって、上記運動視差量測定手段によって特定され、
上記式中のΔＬｏは、上記仮想離間距離Ｌｏ１の変化量であって、上記３Ｄ情報に含まれ、上記変化量ΔＬｅに基づいて決定される、請求項１に記載の３Ｄ画像表示装置。
【請求項３】
上記画像表示画面に表示された、観察対象の、画像表示画面に対する上記仮想離間距離が、変更設定自在にされている請求項１又は２に記載の３Ｄ画像表示装置。
【請求項４】
上記表示手段による２Ｄ画像の選択に際して、上記式中のＬｏが下記式によって表され、
Ｌｏ ＝ Ｌｏ１／Ｍ
ここで、
上記式中のＬｏ１は、変化前の観察対象と上記画像表示画面との仮想離間距離であって、上記画像の作成時に決定され、
上記式中のＭは、任意設定可能な倍率を示している、請求項１に記載の３Ｄ画像表示装置。
【請求項５】
画像表示画面に対する、対表示画面視差角Θ１及び対表示画面離間距離Ｌｅを測定する運動視差量測定ステップと、
観察対象の複数の２Ｄ画像から、上記対表示画面視差角Θ１に対応した角度ΔΘだけ回転した観察対象の２Ｄ画像を選択する画像選択ステップと、
画像選択ステップで選択された２Ｄ画像を、上記画像表示画面に表示する画像表示ステップとを含んでおり、
上記複数の２Ｄ画像には、それぞれに３Ｄ情報が関連づけられており、
この３Ｄ情報は、少なくとも上記回転角ΔΘ及び仮想離間距離Ｌｏを含んでおり、
上記画像選択ステップにおける２Ｄ画像の選択に際して、上記観察対象の回転角ΔΘが、下記式に基づいて決定され、
ΔΘ ＝ Θ１×Ｌｅ／（Ｌｏ＋Ｌｅ）                  
ここで、
上記対表示画面視差角Θ１は、上記画像表示画面に対する観察者の運動視差角であって、上記運動視差量測定ステップにおいて特定され、
上記対表示画面離間距離Ｌｅは、観察者の眼と上記画像表示画面との離間距離であって、上記運動視差量測定ステップにおいて特定され、
上記仮想離間距離Ｌｏは、観察対象と画像表示画面との仮想離間距離であって、上記画像の作成時に決定され、
上記回転角ΔΘは、観察対象の回転角であって、既知である上記のΘ１、Ｌｅ、Ｌｏから決定される、３Ｄ画像の表示方法。
【請求項６】
上記画像選択ステップにおける、２Ｄ画像の選択に際して、上記式中の対表示画面離間距離Ｌｅが下記の式によって表され、
Ｌｅ ＝ Ｌｅ１＋ΔＬｅ                                      
上記式中の仮想離間距離Ｌｏが下記の式によって表され、
Ｌｏ ＝ Ｌｏ１＋ΔＬｏ                                      
ここで、
上記式中のＬｅ１は、変化前の観察者の眼と画像表示画面との離間距離であって、上記運動視差量測定ステップにおいて特定され、
上記式中のＬｏ１は、変化前の観察対象と画像表示画面との仮想離間距離であって、上記画像の作成時に決定され、
上記式中のΔＬｅは、上記離間距離Ｌｅ１の変化量であって、上記運動視差量測定ステップにおいて特定され、
上記式中のΔＬｏは、上記仮想離間距離Ｌｏ１の変化量であって、上記３Ｄ情報に含まれ、上記変化量ΔＬｅに基づいて決定される、請求項５に記載の３Ｄ画像の表示方法。
【請求項７】
上記画像選択ステップにおける２Ｄ画像の選択が、データーベースに蓄積されている２Ｄ画像データからの選択、及び、複数の撮影手段によって収集され且つ同時に伝送されてきた２Ｄ画像データからの選択、のいずれか一方である請求項５又は６に記載の３Ｄ画像の表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観察者運動視差に基づいた画像表示装置に関する。
【背景技術】
【０００２】
特許第３９７３９０７号公報には、画像データ作成装置及び画像表示装置が記載されている。これらの装置は、撮像対象の例えば内面、外面及び変位前後を含めた多くの部位を撮影して、その画像データをストアしておく。観察者は、処理手段を操作することにより、対象物の所望の部位の画像を選択して表示手段に表示することができる。しかしながら、この画像データ作成装置及び画像表示装置では、観察者運動視差に基づいた三次元（３Ｄ）画像を観察することはできない。
【０００３】
３Ｄ画像表示装置として、観察者の両眼視差を利用した装置が知られている。この両眼視差を利用した装置は、観察者の左右の眼に、互いに異なる画像情報を視認させる作用により、当該画像を３Ｄ画像として知覚させるものである。かかる表示装置では、観察者は特殊な眼鏡を着用する必要がある。これは観察者にとって苦痛である場合が多い。
【０００４】
一方、特表２０１４−５３４６５６号公報には、両眼視差ではなく、観察者運動視差を利用した画像表示装置が記載されている。この画像表示装置では、観察対象であるシーンの複数の２次元（２Ｄ）画像を受信し、これらの複数の２Ｄ画像を用いて上記シーンに関連付けられた３Ｄ情報を決定し、ディスプレイに対するユーザー視認角を決定する。次に、これらの３Ｄ情報及びユーザー視認角を用いて、生成された画像をディスプレイ上に提示する。ユーザーがディスプレイに対して移動した場合、これに対応して新たなユーザー視認角を決定し、これらの３Ｄ情報及び新たなユーザー視認角を用いて、異なる生成画像を表示する。この画像表示装置は、いわば経時的な三次元知覚を提供する装置である。ここでは、このような画像表示装置をも、３Ｄ画像表示装置と呼ぶことにする。
【０００５】
しかし、この特表２０１４−５３４６５６号公報に開示された画像表示装置に関しては、ユーザー視認角と視角との関係が明確ではない。すなわち、ユーザー視認角に対応した視角を有するソース画像を決定する具体的な方法が示されていない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３９７３９０７号公報
【特許文献２】特表２０１４−５３４６５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、かかる現状に鑑みてなされたものであり、観察者の眼の画像表示画面に対する相対的な変位に従って、経時的な３次元的変化を伴う画像（３Ｄ画像と呼ぶ）を容易に表示することのできる３Ｄ画像表示装置及び３Ｄ画像の表示方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
本発明に係る３Ｄ画像表示装置は、
観察対象の２Ｄ画像を表示する画像表示画面と、
この画像表示画面に対する、対表示画面視差角Θ１及び対表示画面離間距離Ｌｅを測定する運動視差量測定手段と、
上記対表示画面視差角Θ１に対応した角度ΔΘだけ回転した観察対象の２Ｄ画像を選択して、上記画像表示画面に送信する表示手段とを備えており、
上記複数の２Ｄ画像には、それぞれに３Ｄ情報が関連づけられており、
この３Ｄ情報は、少なくとも上記回転角ΔΘ及び仮想離間距離Ｌｏを含んでおり、
上記表示手段における２Ｄ画像の選択に際して、上記観察対象の回転角ΔΘが、下記式に基づいて決定され、
ΔΘ ＝ Θ１×Ｌｅ／（Ｌｏ＋Ｌｅ）                  
ここで、
上記対表示画面視差角Θ１は、上記画像表示画面に対する観察者の運動視差角であって、運動視差量測定手段によって特定され、
上記対表示画面離間距離Ｌｅは、観察者の眼と上記画像表示画面との離間距離であって、運動視差量測定手段によって特定され、
上記仮想離間距離Ｌｏは、観察対象と画像表示画面との仮想離間距離であって、上記画像の作成時に決定され、
上記回転角ΔΘは、観察対象の回転角であって、既知である上記のΘ１、Ｌｅ、Ｌｏから決定される。
【０００９】
好ましくは、上記表示手段による２Ｄ画像の選択に際して、上記式中の対表示画面離間距離Ｌｅが下記の式によって表され、
Ｌｅ ＝ Ｌｅ１＋ΔＬｅ                                      
上記式中の仮想離間距離Ｌｏが下記の式によって表され、
Ｌｏ ＝ Ｌｏ１＋ΔＬｏ                                      
ここで、
上記式中のＬｅ１は、変化前の観察者の眼と画像表示画面との離間距離であって、上記運動視差量測定手段によって特定され、
上記式中のＬｏ１は、変化前の観察対象と画像表示画面との仮想離間距離であって、上記画像の作成時に決定され、
上記式中のΔＬｅは、上記離間距離Ｌｅ１の変化量であって、上記運動視差量測定手段によって特定され、
上記式中のΔＬｏは、上記仮想離間距離Ｌｏ１の変化量であって、上記３Ｄ情報に含まれ、上記変化量ΔＬｅに基づいて決定される。
【００１０】
好ましくは、上記画像表示画面に表示された、観察対象の、画像表示画面に対する上記仮想離間距離が、変更設定自在にされている。
【００１１】
好ましくは、上記表示手段による２Ｄ画像の選択に際して、上記式中のＬｏが下記式によって表され、
Ｌｏ ＝ Ｌｏ１／Ｍ
ここで、
上記式中のＬｏ１は、変化前の観察対象と上記画像表示画面との仮想離間距離であって、上記画像の作成時に決定され、
上記式中のＭは、任意設定可能な倍率を示している。
【００１２】
本発明に係る３Ｄ画像の表示方法は、
画像表示画面に対する、対表示画面視差角Θ１及び対表示画面離間距離Ｌｅを測定する運動視差量測定ステップと、
観察対象の複数の２Ｄ画像から、上記対表示画面視差角Θ１に対応した角度ΔΘだけ回転した観察対象の２Ｄ画像を選択する画像選択ステップと、
画像選択ステップで選択された２Ｄ画像を、上記画像表示画面に表示する画像表示ステップとを含んでおり、
上記複数の２Ｄ画像には、それぞれに３Ｄ情報が関連づけられており、
この３Ｄ情報は、少なくとも上記回転角ΔΘ及び仮想離間距離Ｌｏを含んでおり、
上記画像選択ステップにおける２Ｄ画像の選択に際して、上記観察対象の回転角ΔΘが、下記式に基づいて決定され、
ΔΘ ＝ Θ１×Ｌｅ／（Ｌｏ＋Ｌｅ）                  
ここで、
上記対表示画面視差角Θ１は、上記画像表示画面に対する観察者の運動視差角であって、上記運動視差量測定ステップにおいて特定され、
上記対表示画面離間距離Ｌｅは、観察者の眼と上記画像表示画面との離間距離であって、上記運動視差量測定ステップにおいて特定され、
上記仮想離間距離Ｌｏは、観察対象と画像表示画面との仮想離間距離であって、上記画像の作成時に決定され、
上記回転角ΔΘは、観察対象の回転角であって、既知である上記のΘ１、Ｌｅ、Ｌｏから決定される。
【００１３】
好ましくは、上記画像選択ステップにおける、２Ｄ画像の選択に際して、上記式中の対表示画面離間距離Ｌｅが下記の式によって表され、
Ｌｅ ＝ Ｌｅ１＋ΔＬｅ                                      
上記式中の仮想離間距離Ｌｏが下記の式によって表され、
Ｌｏ ＝ Ｌｏ１＋ΔＬｏ                                      
ここで、
上記式中のＬｅ１は、変化前の観察者の眼と画像表示画面との離間距離であって、上記運動視差量測定ステップにおいて特定され、
上記式中のＬｏ１は、変化前の観察対象と画像表示画面との仮想離間距離であって、上記画像の作成時に決定され、
上記式中のΔＬｅは、上記離間距離Ｌｅ１の変化量であって、上記運動視差量測定ステップにおいて特定され、
上記式中のΔＬｏは、上記仮想離間距離Ｌｏ１の変化量であって、上記３Ｄ情報に含まれ、上記変化量ΔＬｅに基づいて決定される。
【００１４】
好ましくは、上記画像選択ステップにおける２Ｄ画像の選択が、データーベースに蓄積されている２Ｄ画像データからの選択、及び、複数の撮影手段によって収集され且つ同時に伝送されてきた２Ｄ画像データからの選択、のいずれか一方である。
【発明の効果】
【００１５】
本発明に係る３Ｄ画像表示装置又は３Ｄ画像の表示方法によれば、観察者の眼の画像表示画面に対する相対的な変位に従って、経時的な３次元的変化を伴う画像（３Ｄ画像と呼ぶ）を容易に表示することができる。
【図面の簡単な説明】
【００１６】
【図１】図１は、本発明の一実施形態に係る３Ｄ画像表示装置を概略的に示すブロック図である。
【図２】図２は、２Ｄ画像の収集方法の一例を説明する平面図である。
【図３】図３は、２Ｄ画像の収集方法の他の例を説明する斜視図である。
【図４】図４は、観察者の運動視差に基づいて２Ｄ画像を選択するプロセスの一例を説明する平面図である。
【図５】図５は、図４に示されたプロセスによって得られた２Ｄ画像の一例を示す斜視図である。
【図６】図６は、観察者の運動視差に基づいて２Ｄ画像を選択するプロセスの他の例を説明する平面図である。
【図７】図７（ａ）、（ｂ）及び（ｃ）はいずれも、観察者の運動視差に基づいて２Ｄ画像を選択するプロセスのさらに他の例を説明する平面図である。
【図８】図８は、図２に示された方法によって得られた動画の再生プロセスの一例を示すグラフである。
【発明を実施するための形態】
【００１７】
以下、適宜図面が参照されつつ、好ましい実施形態に基づいて本発明が詳細に説明される。
【００１８】
図１には、本発明の一実施形態に係る３Ｄ画像表示装置２が概略的に示されている。この３Ｄ画像表示装置２は、データーベース４に蓄積されている画像データを通信ネットワーク６を通して受信して、これを表示する。データーベース４に蓄積された画像データには、多数の２Ｄ画像と、この２Ｄ画像に対応した３Ｄ情報とが含まれる。この３Ｄ情報とは、例えば、撮影された対象物（観察対象ともいう）の基準位置からの回転角、この物体と撮影手段との離間距離等である。通信ネットワーク６としては、ディジタル放送、インターネット通信網、ＬＡＮ、狭い有線ネットワーク等を含む。
【００１９】
３Ｄ画像表示装置２は、表示手段８、画像表示画面（単に表示画面という）１０及び運動視差量測定手段１２を有している。表示画面１０としては、タブレットを含むパソコン、テレビジョン、スマートフォン等のディスプレイ、映画のスクリーン等が該当する。ここでは、表示画面としてディスプレイ１０を例示している。例えば、スマートフォン、タブレットパソコン等の軽量小型のディスプレイは、観察者が自分の手によって容易且つ自在に傾斜、離間及び接近させることができる。一方、例えばパソコン、テレビジョン等の画面であれば、画面を傾斜させるための機構が備わっているのものが好ましい。例えば、２軸の回転用モータを備え、揺動が可能な機構である。
【００２０】
上記運動視差量測定手段１２は、ディスプレイ１０を見ている観察者の姿勢、視線等を特定し、この情報を、後述する制御部２２に提供する。運動視差量測定手段１２としては、顔瞳認識カメラ１４及び表示画面傾斜角センサ１６が採用されている。顔瞳認識カメラ１４は、ディスプレイ１０に前方を向いた状態で固定されている。表示画面傾斜角センサ１６も、ディスプレイ１０に装着されている。
【００２１】
顔瞳認識カメラ１４は、観察者の顔及び瞳を認識し、特定するためのカメラである。この顔瞳認識カメラ１４により、ディスプレイ１０の面に対して観察者の視線がなす角度（視線の方向ともいう）、及び、ディスプレイ１０の面における観察者の視線の交差位置（着目点ともいう）、及び、観察者の瞳とこの着目点との離間距離（後述する対表示画面離間距離Ｌｅ）が特定される。着目点が複数存在する場合は、観察者の視線がなす角度から、該当の着目点を推定し、特定する。ディスプレイ１０が傾斜すると、観察者の視線のディスプレイ１０の面に対してなす角度が変化する。この変化した角度を対表示画面視差角と呼ぶ。顔瞳認識カメラ１４は、ステレオ式に、少なくとも２個が互いに離間して配置されているのが好ましい。上記表示画面傾斜角センサ１６は、表示画面の左右方向及び上下方向の各傾斜角等の角度測定、及び、角速度、角加速度等の演算を行う、２軸の角度センサである。両者１４、１６の特徴量（観察者の一対の瞳を結ぶ直線の方向、瞳間の寸法、ディスプレイ１０の傾斜角度等）の閾値は、連動させて総合評価される。各ディスプレイの観察者が限定されている場合、両者１４、１６の設定時のキャリブレーションにより、この観察者の特徴量の閾値が事前に絞り込まれる。また、各ディスプレイの観察者が限定されている場合、瞳間の寸法等から、両者１４、１６により、対表示画面離間距離Ｌｅの概略値が特定されうる。
【００２２】
表示手段８は、通信ネットワーク６を介した、データベース４との送受信機能を奏しうる送受信部１８を有している。表示手段８は入力部２０を有している。観察者は、この入力部２０により、ディスプレイ１０に表示すべき画像の選択、その画像の観察対象と撮影手段との離間距離（後述する撮影離間距離Ｌ、又は、観察対象と表示画面との仮想離間距離Ｌｏ）の変更設定等を行うことができる。入力部２０としては、キーボード、タッチパネル、ディスプレイ１０の画面自体、マウス等が採用されうる。この観察対象と撮影手段との離間距離の変更については後述される。入力部２０は、そのほか、複数の注目点（後述する）のデータが収集されている場合にはこの注目点の選択等の操作も可能である。
【００２３】
表示手段８は、制御部２２を有している。制御部２２は、データーベース４に蓄積されたデータから、表示すべき画像データ（２Ｄ画像及び３Ｄ情報）を選択する。表示する画像データの選択は、入力部２０からの指示情報、運動視差量測定手段１２からの情報等に基づいて実行される。入力部２０からの指示情報としては、例えば、表示する画像の選択、画像における後述する撮影離間距離Ｌｏ、この撮影離間距離Ｌｏの比率（後述するＭ）等である。運動視差量測定手段１２からの情報としては、例えば、観察者の着目点、観察者の視線の方向、後述する対表示画面視差角Θ１、後述する対表示画面離間距離Ｌｅ及びその寸法変化等である。これらは観察者情報と呼べる。以上の指示情報及び観察者情報に基づいた画像データの選択の方法については後述する。
【００２４】
図２及び図３を参照しつつ、データーベース４に蓄積されるべき２Ｄ画像の収集方法が説明される。図２及び図３ともに、観察対象である物体Ａ及び物体Ｂの外観を撮影して、その画像を取得することを示している。観察者がこれらの画像を見るときには、一般的に、全体を散漫に見るのではなく、一点（注目点）に集中する。以下では、この注目点を物体Ａの重心位置ＣＧにあるとして、説明がなされる。
【００２５】
図２は、物体Ａ、Ｂに対して、所定形状に配置された多数個の撮影手段３２を示している。撮影手段３２としては、静止画カメラ、動画カメラ（ビデオカメラ等）等が採用されうる。これらのカメラは、自動焦点レンズ系を備えている。この実施形態では、カメラ３２は物体Ａ、Ｂを囲むように円筒状に配置されている。物体Ａの重心位置ＣＧを中心に、所定半径Ｒの円周上に、多数個のカメラが等角度Δα間隔で配置され、この円状配置が上下方向（Ｚ軸方向）に等間隔をおいて多数組配置されている。全カメラ３２の向きが、物体Ａの重心位置ＣＧを通る鉛直線に向けられている。全カメラ３２によって物体Ａ、Ｂが撮影される。これにより、Ｚ軸回りに所定角度Δα間隔で、且つ、Ｚ軸方向に所定間隔で撮影された画像データが得られる。これに加えて、各カメラ３２が、物体Ａの重心位置ＣＧを通る鉛直線を中心に、半径Ｒ方向に移動しつつ物体Ａ、Ｂを撮影してもよい。つまり、カメラ３２が物体Ａ、Ｂに離間接近しつつ画像データを生成してもよい。この半径Ｒは、後述する図４及び図６における、撮影離間距離Ｌｏに対応する。図２には、全体のうちの僅かのカメラ３２が代表して描かれている。これらのカメラ番号を１、２、３、４、５とする。このカメラ配置は、観察対象に応じて変更可能である。例えば、球状配置、部分球状配置、部分円筒配置、平面配置等である。
【００２６】
図３には、ロボット３４及びターンテーブル３６を用いた画像データの収集方法が示されている。この方法によっても、円筒状に配置された多数個のカメラによるのと同様の画像データを容易に収集することができる。観察対象である物体Ａ及び物体Ｂは、ターンテーブル３６に載置されている。この実施形態では、ターンテーブル３６の回転軸は、物体Ａの重心位置ＣＧを通る鉛直線（Ｚ軸）に一致させられている。しかし、本発明ではかかる方法には限定されない。カメラ３２は、ロボット３４の複数軸のアーム３８に取り付けられている。このロボットアーム３８は、カメラ３２を、その光軸が鉛直線回り及び水平線回りのそれぞれに回転させうる。ロボット３４は、カメラ３２の光軸の向きを自在に変更することができる。カメラ３２の姿勢は、このロボットアーム３８により、例えばカメラ３２の光軸が物体Ａの注目点を通過するように保持される。
【００２７】
この方法では、例えば、ターンテーブル３６が等速度で回転し、固定されたカメラ３２が一定時間間隔で物体Ａ、Ｂを撮影する。従って、円周方向に等角度Δα間隔で撮影された、画像データが得られる。ロボット３４によるカメラ３２の移動は、Ｚ軸方向（鉛直方向）及び半径Ｒ方向（水平方向）を含んでいる。かかる構成により、カメラ３２は、ターンテーブル３６の回転軸Ｚ回りの仮想円筒面上に位置する。さらに、ロボット３４により、カメラ３２の光軸方向が任意に変更設定されうる。従って、注目点の変更も容易になされうる。ターンテーブル３６を回転させる場合は、背景を無地にすることにより、無視する処理が可能である。
【００２８】
画像の取得段階では、前述した角度Δα、Ｚ軸方向位置、半径Ｒ、カメラの光軸方向等が、各２Ｄ画像の３Ｄ情報といえる。上記角度Δαは、後述する図４及び図６における、観察対象の対応回転角ΔΘに対応しうる。上記半径Ｒは、後述する図４及び図６における、撮影離間距離Ｌｏに対応しうる。データーベース４において、全ての２Ｄ画像が固有の３Ｄ情報に対応付けられている。図２及び図３のいずれの方法においても、通常は、これら角度α、Ｚ軸方向位置、半径Ｒ、カメラの光軸方向等は、予め定められた基準位置からの値である。撮影手段としては、上記のような地上に配置されたカメラに限らず、ヘリコプター、人工衛星等、空中を移動しうる装置に搭載されたカメラ等も採用しうる。観察対象としては、物体Ａ、Ｂのような静止体のほか、動物や人間のような動く対象も含まれる。動く対象に対しては、図３に示す方法より、図２に示すような多数個の撮影手段３２により、同時撮影して画像データを収集するのが好ましい。
【００２９】
図４には、観察者の運動視差に基づいて、ディスプレイ１０に表示すべき２Ｄ画像を選択するプロセスの一例が示されている。図４は平面図である。図４において、観察者の眼４２は、ディスプレイ１０の画面上に、観察対象である物体Ａ、Ｂの画像を見ている。この画像は、例えば、観察者が３Ｄ画像表示装置２の入力部２０（図１）を介して指定したものである。図４において、ディスプレイ１０の上方に示されている物体Ａ、Ｂの存在及びその位置は仮想のものである。実際は、ディスプレイ１０上に、物体Ａ、Ｂの像が存在している。観察者は、ディスプレイ１０上の着目点Ｓに視線を合わすことにより、上記図４中のディスプレイ１０より上方に示されている物体Ａ、Ｂを視認する。観察者が見ているディスプレイ１０上の着目点Ｓは、物体Ａの注目点ＣＧに対応している。
【００３０】
図４に示す例では、眼４２から着目点Ｓまでの距離Ｌｅは不変である。この距離Ｌｅは、観察者の眼４２とディスプレイ１０との離間距離であり、対表示画面離間距離Ｌｅと呼ぶ。この回転角Θ１は、図１に示される運動視差量測定手段１２の顔瞳認識カメラ１４及び表示画面傾斜角センサ１６によって測定され、記録される。対表示画面離間距離Ｌｅは、顔瞳認識カメラ１４によって測定され、記録される。
【００３１】
図中の距離Ｌｏは、前述した撮影離間距離であり、表示画像が撮影画像である場合、観察対象と撮影手段（カメラ）との離間距離である。また、これは、観察対象と表示画面１０との仮想離間距離ともいえる。
【００３２】
図４では、観察者の同一の眼４２が初期の位置Ｐ１から次の位置Ｐ２へ微動する。図５には、この眼４２の位置変化に伴って変更された、ディスプレイ１０上の画像が示されている。図４に示されるように、眼４２の位置変化の最中において、ディスプレイ１０上の着目点は画面上の点Ｓのまま不動である。この眼４２の位置変化は、換言すると、眼４２は固定した状態で、ディスプレイ１０の面が着目点Ｓを中心として回転したことに相当している。その回転角はΘ１で示されている。この回転角Θ１は、ディスプレイ１０に対する観察者運動視差角であり、ここでは対表示画面視差角と呼ぶ。
【００３３】
初期位置Ｐ１にある眼４２が見た物体Ａ、Ｂの画像は、図中に実線で示されている物体Ａ１、Ｂ１である。位置Ｐ１にある眼４２が見た物体Ａ１、Ｂ１の画像は、図５（ｂ）に示されるとおりである。
【００３４】
仮に、ディスプレイ１０が回転したとき、又は、眼４２の位置が変化したときに、表示する画像を変化させない場合は、位置Ｐ２における眼４２によっても、見える画像は、図５（ｂ）に示される画像のままで変化は無い。しかし、本実施形態では、図４に示されるように、ディスプレイ１０を回転させた場合、又は、眼４２の位置が周方向に変化した場合には、その回転又は位置変化に応じて、ディスプレイ１０上に見える画像が変化させられる。すなわち、観察者の運動視差に基づいて、２Ｄ画像が３Ｄ的に変化させられる。眼４２の位置がＰ２に向けて時計回りに回転すると、画像は反時計回りに回転する。換言すると、眼４２の位置がＰ１で固定され、ディスプレイ１０が角度Θ１だけ回転すると、ディスプレイ１０に表示されるのは、図中の二点鎖線で示された物体Ａ２、Ｂ２であり、図５（ａ）に示される画像である。ディスプレイ１０の回転に伴って回転した物体Ａ、Ｂの画像が表示される。かかる表示すべき画像の選択は、図１に示される制御部２２によって行われる。制御部２２は、上記運動視差量測定手段１２からの情報に基づき、データーベース４から、該当する３Ｄ情報、及び、この３Ｄ情報に対応する２Ｄ画像を選択して、これをディスプレイ１０に送信する。
【００３５】
前述の対表示画面視差角Θ１に対応する物体Ａ、Ｂの回転角ΔΘは、制御部２２において以下のようにして求められる。上記回転角ΔΘは、下記式（１）によって求められる。
ΔΘ ＝ Θｔ ＝ Θ１×Ｌｅ／（Ｌｏ＋Ｌｅ）                          （１）
ここで、
ΔΘ（単位：ラジアン）は、前述した観察対象の対応回転角であり、
Θｔ（単位：ラジアン）は、仮想の観察者運動視差角、すなわち、図示のディスプレイ１０が存在しないと仮定して、実際の物体Ａ、Ｂを見ている場合の、観察対象に対する仮想観察者運動視差角であり、
Θ１（単位：ラジアン）は、前述した対表示画面視差角、すなわち、ディスプレイに対する観察者運動視差角であり、
Ｌｅは、前述した対表示画面離間距離、すなわち、観察者の眼４２とディスプレイとの離間距離であり、
Ｌｏは、前述した撮影離間距離、すなわち、表示画像が撮影画像である場合、観察対象と撮影手段（カメラ）との離間距離である。また、これは、観察対象と表示画面との仮想離間距離ともいえる。この離間距離Ｌｏは、３Ｄ情報に含まれるが、以下に述べるように、上記式（１）においては既知の値となる。
【００３６】
上記式（１）における撮影離間距離（観察対象と表示画面との仮想離間距離）Ｌｏは、一つの観察対象に対応して多数存在する。この撮影離間距離Ｌｏは、本来選択可能な値である。しかし、この撮影離間距離Ｌｏは、ディスプレイ１０をスイッチＯＮした時点で、特定の値に自動設定されるようにしてもよい。例えば、一つの観察対象に関する多数個の撮影離間距離Ｌｏのうちの、中間の値、最小値、最大値等のいずれかに設定されてもよい。その結果、上記式（１）において、撮影離間距離Ｌｏは既知となる。また、観察者がディスプレイ１０を見る場合に、任意の撮影離間距離Ｌｏを入力部２０を介して指定することを条件として設定してもよい。また、このディスプレイ１０によって前回同一の観察対象を見終わった時点での撮影離間距離Ｌｏの値が指定されるようにしてもよい。このようにして、上記式（１）において、撮影離間距離Ｌｏは既知となる。
【００３７】
上記式（１）により、観察者運動視差である対表示画面視差角Θ１を含めた既知の情報Ｌｅ、Ｌｏから、対応する画像の３Ｄ情報ΔΘが得られる。そして、この３Ｄ情報に対応した２Ｄ画像が選択される。上記対表示画面視差角Θ１は、前述した顔瞳認識カメラ１４及び表示画面傾斜角センサ１６によって特定される。上記対表示画面離間距離Ｌｅは、顔瞳認識カメラ１４によって特定される。上記撮影離間距離Ｌｏは、例えば、ディスプレイ１０をスイッチＯＮした時点で決定される。なお、対表示画面視差角Θ１及び観察対象の回転角ΔΘは、水平方向の角度には限定されず、あらゆる方向の角度を含んでいる。観察者の視線の方向は水平方向には限定されない
【００３８】
図４における距離Ｌｔは、観察者の眼４２と観察対象との仮想離間距離である。すなわち、この距離Ｌｔは、図示のディスプレイ１０が存在しないと仮定して、実際の物体Ａ、Ｂを見ている場合の、観察者の眼４２と観察対象との離間距離であって、現実には存在しない距離である。この距離Ｌｔは、前述した撮影離間距離Ｌｏと対表示画面離間距離Ｌｅとの和に相当する。
【００３９】
図４では、理解容易のために、眼４２の位置変化が実際より大きく描かれている。すなわち、全ての角度Θ１、Θｔ、ΔΘが実際より大きく描かれている。実際は、全ての角度Θ１、Θｔ、ΔΘが微少角度である。眼４２の微少角度移動（微動）の積み重ね、又は、ディスプレイ１０の微少角度傾斜の積み重ねにより、図示のごとく大きな視差角に至る。
【００４０】
以上に説明されたのは、観察者の眼４２とディスプレイ１０との相対変位が、観察対象Ａを中心とした半径Ｒ（＝Ｌｅ）不変の円形移動の場合である。しかしながら、現実に観察者がスマートフォン等を見ているときには、多くの場合、この円形移動に、観察対象Ａへの離間接近が加わっている。まず、観察者の眼４２とディスプレイ１０との相対変位が、円形移動を含まず、直線的な離間接近のみの場合について説明する。以下の通りである。
【００４１】
図６には、観察者の眼４２が、ディスプレイ１０の面に垂直な方向に直線的に接近する例が示されている。当初、観察者の眼４２が初期位置Ｐ１にある。このときの対表示画面離間距離をＬｅ１とする。対表示画面離間距離がＬｅ１であるとき、ディスプレイ１０には、撮影離間距離がＬｏ１である画像が表示されている。このとおり、Ｌｅ１及びＬｏ１は、眼４２とディスプレイ１０との相対位置変化の前の距離を表している。次いで、眼４２がディスプレイ１０に距離ΔＬｅだけ接近して、Ｐ２の位置に至る。接近後の対表示画面離間距離Ｌｅは、下記の式（２）で表される。接近時の寸法変化ΔＬｅは、負の値である。離反時の寸法変化ΔＬｅは、正の値である。
Ｌｅ ＝ Ｌｅ１＋ΔＬｅ                                              （２）
【００４２】
制御部２２は、上記眼４２の位置変化に基づき、位置変化後の眼４２の位置Ｐ２に対応する３Ｄ情報を選択する。制御部２２は、この３Ｄ情報に対応する２Ｄ画像を選択して、これをディスプレイ１０に送信する。この３Ｄ情報である撮影離間距離Ｌｏは、下記の式（３）で表される。接近時の寸法変化ΔＬｏは、負の値である。離反時の寸法変化ΔＬｏは、正の値である。
Ｌｏ ＝ Ｌｏ１＋ΔＬｏ                                              （３）
後述するように、本実施形態では、上記寸法変化ΔＬｏは、下記の式（４）で表されるように、ΔＬｅに等しくされている。
ΔＬｏ ＝ ΔＬｅ                                                    （４）
すなわち、ディスプレイ１０には、撮影離間距離がＬｏ１のときの画像が、撮影離間距離Ｌｏ１＋ΔＬｅのときの画像に変更される。なお、本発明では、ΔＬｏ ＝ ΔＬｅには限定されない。図６に一点鎖線で示されるように、眼４２がディスプレイ１０の面に接近すると、画像上で物体Ａ、Ｂに対する視角が変化している。
【００４３】
図７を参照しながら、以下に、前述した円形移動（図４）と直線移動（図６）との組み合わせについて説明される。図７（ａ）には、観察者の眼４２が、初期位置Ｐ１から、斜め後方の位置Ｐ２に移動した例が示されている。この例では、眼４２の初期位置Ｐ１から次の位置Ｐ２への移動は、たとえそれが直線的であっても、直線的後退Ｄ１と、円形移動Ｄ２との組み合わせであると考えられる。図７（ｂ）には、観察者の眼４２が、初期位置Ｐ１から、真横の位置Ｐ２に移動した例が示されている。換言すれば、眼４２がディスプレイ１０の面に平行に移動している。この例でも、眼４２の初期位置Ｐ１から次の位置Ｐ２への移動は、たとえそれが直線的であっても、直線的後退Ｄ１と、円形移動Ｄ２との組み合わせであると考えられる。図７（ｃ）には、観察者の眼４２が、初期位置Ｐ１から、斜め前方の位置Ｐ２に移動した例が示されている。この例でも、眼４２の初期位置Ｐ１から次の位置Ｐ２への移動は、たとえそれが直線的であっても、直線的前進Ｄ１と、円形移動Ｄ２との組み合わせであると考えられる。
【００４４】
制御部２２は、位置変化後の眼４２の位置Ｐ２に対応する３Ｄ情報、及び、この３Ｄ情報に対応する２Ｄ画像を選択して、これをディスプレイ１０に送信する。図７における、円形移動Ｄ２に関しては、前述の式（１）が適用され、直線的離反Ｄ１及び後退Ｄ１に関しては、前述の式（２）、式（３）及び式（４）が適用される。詳細には、眼４２がＰ２へ位置変化した後の３Ｄ情報である物体Ａの回転角ΔΘは、式（１）によって得られる。この場合、式（１）における撮影離間距離Ｌｏ及び対表示画面離間距離Ｌｅは、式（２）、式（３）及び式（４）によって得られる。
【００４５】
以上説明された実施形態では、観察者の眼４２とディスプレイ１０との相対位置変化に対応して、ディスプレイ１０上の画像が変化するように構成されている。この３Ｄ画像表示装置２では、入力部２０を介した指示によっても、表示画像を変化させることが可能である。例えば、画像の拡大縮小、すなわち、表示倍率の変更は、公知の技術によって連続的又は段階的に行うことができる。また、画像データの収集段階において、カメラの望遠レンズを用いて、多段階の縮小拡大倍率による多数の画像データを作成するのもよい。
【００４６】
また、例えば入力部２０を介した指示により、上記撮影離間距離Ｌｏを変更設定することができる。すなわち、観察者の眼４２とディスプレイ１０との相対位置変化に依らずに、撮影離間距離Ｌｏを変更設定することができる。この実施形態においては、前述した式（１）における撮影離間距離Ｌｏが、下記の式（５）で表される。
Ｌｏ ＝ Ｌｏ１／Ｍ                                                  （５）
ここで、上記式中のＬｏ１は、変更前の撮影離間距離であり、式中のＭは、任意設定可能な倍率を示している。このように、Ｍの指定によってＬｏを変更することができる。
【００４７】
上記Ｍは、０を超え、無限大まで選択することが可能である。例えば、カメラ３２で撮影した一の画像を拡大又は縮小して表示する場合には、もとの撮影画像にＭ＝１を対応付けてもよい。そして、表示段階で、観察者がＭ値を変更することにより、上記Ｍ＝１の画像を拡大縮小して表示するようにしてもよい。また、画像の生成段階で、カメラ３２が観察対象に離間接近しながら多数の画像データを生成しているような場合は、例えば、ディスプレイ１０をスイッチＯＮしたときに画面に最初に表示された画像の倍率をＭ＝１と予め設定することができる。そして、観察者が、入力部２０を介してＭ値を連続的又は断続的に変更することができる。
【００４８】
前述した、静止画用カメラが観察対象に離間接近しながら撮影する場合、撮影位置は、離間接近方向に、連続的には変化せず、断続的に変化する。撮影画像データは、離間接近方向に所定間隔をおいて生成される。この場合、撮影位置同士の間の欠落している画像データを、表示段階で補完することが可能である。この場合、まず、多数の撮影画像のうちのいずれかにＭ＝１が設定される。そして、撮影離間距離方向に隣接した撮影画像データ同士の間（画像データが欠落している範囲）に、所定ピッチで複数のＭ値が新たに設定される。例えば、Ｌｏ＝１ｍの撮影画像データと、隣接するＬｏ＝０．９５ｍの撮影画像データとのあいだに、０．０１ピッチでＭ値が設定される。この新たに設定された各Ｍ値に対応して拡大縮小された画像データが適時に表示される。これが、欠落している画像データの補完である。この補完により、ディスプレイ１０上での観察対象の画像の変化が、より連続的で滑らかになる。なお、ビデオカメラ等の動画用カメラによって連続撮影された画像データに対しては、上記補完は不要である。
【００４９】
以上では、表示対象の画像として静止画を例にとって説明されたが、動画も上記３Ｄ画像表示装置２の表示対象となりうる。動画を表示対象とする場合には、蓄積すべき画像データの収集方法は、図２に示された方法によるのが好ましい。撮影対象には、動く物体、動物等が含まれる。この撮影対象を取り囲むように、動画カメラが、例えば円筒状に配列される。そして、全カメラが同時且つ連続して撮影対象を撮影する。各カメラにはその位置情報が、当該カメラによる画像に対応付けされている。この位置情報は、前述の３Ｄ情報に含まれ、データーベース４（図１）に蓄積される。
【００５０】
図８は、上記動画の再生プロセスの一例を示すグラフである。図８には、図２に示されるように円筒状に配置されたカメラうちの、ある段における円形配置されたカメラの動作状態が例示されている。図示していないが、円筒状配置された多数個のカメラ３２は、撮影対象物を囲んでいる。しかし、その撮影対象物は、図２に示されるような静止物体ではなく、動く対象物である。図８のグラフの横軸に示された番号１から４は、図２に示されたカメラ番号に対応している。すなわち、この番号１から４は、対象物に対するカメラの相対角度位置を示している。図８において、時間の流れに沿った太線は、対応するカメラが撮影した動画が表示されていることを示している。横向きの破線の矢印は、表示対象である動画が変化したことを示している。この表示対象動画の変更は、運動視差量測定手段１２の測定結果に基づき、制御部２２（図１）によって行われる。既に図４を参照しながら説明されているので、ここでは説明が省略される。
【００５１】
以上に説明された実施形態では、データーベース４に蓄積される画像データは、カメラ等の撮影手段によって撮影された画像が例示されている。しかし、撮像データには限定されない。例えば、コンピュータグラフィックスによって生成された画像が用いられてもよい。もちろん、この画像には静止画も動画も含まれる。コンピュータグラフィックスによる方法は、実物の写真撮影によるデーター収集に比較して、大量のデーターを容易に収集しうるので好ましい。
【００５２】
以上に説明された実施形態では、画像データはデーターベース４に蓄積され、この中から表示すべき画像データが選択された。しかし、本発明では、かかる方法には限定されず、通信や実況放送と同等の手段も採用されうる。例えば、図２に示される画像データ収集方法が採用された場合、全カメラ３２による２Ｄ画像データ及び３Ｄ情報を、同時に表示手段８に伝送する。また、カメラ３２による撮影と同時に、その２Ｄ画像データ及び３Ｄ情報が伝送される。この場合でも、表示手段８は前述と同様に動作し、機能を発揮する。この場合、観察対象の背景は不変であることが多いので、背景の画像データは、近似的に同一としうるので、まとめて共通情報として伝送してもよい。この表示方法に依れば、テレビにおける実況中継と同様に、時間遅れなく画像を表示することができる。
【００５３】
以上の説明はあくまで一例であり、本発明の本質をはずれない範囲での種々の変更が可能である。
【産業上の利用可能性】
【００５４】
本発明に係る３Ｄ画像表示装置は、例えば、インターネット通販における詳細な商品情報の提供等に適用可能である。
【符号の説明】
【００５５】
２・・・３Ｄ画像表示装置
４・・・データーベース
６・・・通信ネットワーク
８・・・表示手段
１０・・・画像表示画面（ディスプレイ）
１２・・・運動視差量測定手段
１４・・・顔瞳認識カメラ
１６・・・表示画面傾斜角センサ
１８・・・送受信部
２０・・・入力部
２２・・・制御部
３２・・・撮影手段（カメラ）
３４・・・ロボット
３６・・・ターンテーブル
３８・・・（ロボットの）アーム
４２・・・（観察者の）眼
ＣＧ・・・注目点（物体Ａの重心位置）
Ａ、Ｂ・・・（撮像対象としての）物体
Ｌｅ・・・対表示画面離間距離
Ｌｏ・・・撮影離間距離（仮想離間距離）
Ｌｅ１・・・変化前の対表示画面離間距離
Ｌｏ１・・・変化前の撮影離間距離
Ｌｔ・・・（観察者の眼と観察対象との）仮想離間距離
ΔＬｅ・・・対表示画面離間距離の変化
ΔＬｏ・・・撮影離間距離の変化
Ｐ１・・・（移動前の）眼の位置
Ｐ２・・・（移動後の）眼の位置
Θ１・・・対表示画面視差角
Θｔ・・・仮想観察者運動視差角
ΔΘ・・・観察対象の回転角
Ｓ・・・着目点
【要約】
【課題】観察者の運動視差に基づいて画像を表示する３Ｄ画像表示装置を提供すること。
【解決手段】観察対象の２Ｄ画像を表示する画像表示画面１０と、この画像表示画面１０に対する、対表示画面視差角Θ１及び対表示画面離間距離Ｌｅを測定する運動視差量測定手段１２と、上記対表示画面視差角Θ１に対応した角度ΔΘだけ回転した観察対象の２Ｄ画像を選択して、これを上記画像表示画面１０に送信する表示手段８とを備えており、上記複数の２Ｄ画像には、それぞれに３Ｄ情報が関連づけられており、この３Ｄ情報は、少なくとも上記回転角ΔΘ及び観察対象と画像表示画面との仮想離間距離Ｌｏを含んでおり、上記表示手段における２Ｄ画像の選択に際して、上記観察対象の回転角ΔΘが、下記式に基づいて決定される。
ΔΘ ＝ Θ１×Ｌｅ／（Ｌｏ＋Ｌｅ）                  
【選択図】図１【図１】
0005856344.tif 000002
【図２】
0005856344.tif 000003
【図３】
0005856344.tif 000004
【図４】
0005856344.tif 000005
【図５】
0005856344.tif 000006
【図６】
0005856344.tif 000007
【図７】
0005856344.tif 000008
【図８】
0005856344.tif 000009