"閲覧者の左眼と右眼とに、それぞれ、左眼用画像と右眼用画像とを提示する立体表示装置と、上記立体表示装置に上記左眼用画像と右眼用画像とを供給する表示制御装置と、を備え、立体写真画像表示用の左眼用画像と右眼用画像とを閲覧者に提示するステレオフォトビューアであって、立体表示装置に表示される画像における左眼用画像と右眼用画像の同じ対象物間の間隔Dについて、ズームインまたはズームアウトによる倍率の増加または減少に従って間隔Dを一定にするか単調に減少または増大させることで、ズームインまたはズームアウトにおける上記左眼用画像と右眼用画像に基づく融像による立体像の位置が、上記閲覧者からみて動かないか手前または奥に移動するようにズーミングするものであり、上記間隔Dは、上記倍率をmとし、αおよびβを定数とし、0≦nなるnについて、Dをα×1-β×mn1/mnに比例して変化させることで、ズームインまたはズームアウトにおける上記融像による立体像の位置が、上記閲覧者からみて手前または奥に移動するようにズーミングすることを特徴とする、請求項1に記載のズーミング可能なステレオフォトビューア。上記立体表示装置に表示する上記左眼用画像と右眼用画像とは、一対の立体写真画像から生成されるものであって、その生成に当たっては、上記一対の立体写真画像を倍率mで拡大または縮小して上記左眼用画像と右眼用画像を生成するものであり、上記ズーミングは、上記左眼用画像の端点と上記右眼用画像の端点とを揃えた状態を基準とし、上記倍率mの関数として上記左眼用画像の端点と上記右眼用画像の端点との距離tを変化させることで行い、ズームインまたはズームアウトにおける上記融像による立体像の位置が、上記閲覧者からみて動かないか手前または奥に移動するようにズーミングすることを特徴とする、請求項1に記載のズーミング可能なステレオフォトビューア。上記距離tは、上記倍率をmとし、c、b、kを定数とし、0≦nなるnについて、c×1/m-kn1bとなる、倍率mの関数であることを特徴とする、請求項2に記載のズーミング可能なステレオフォトビューア。上記定数bは、上記立体写真画像の選定された任意の領域について、ズームインされた前記領域に基づく融像による立体像が、上記立体表示装置の表示画面上の位置で視認されるという条件で求められたものであることを特徴とする、請求項3に記載のズーミング可能なステレオフォトビューア。上記定数cは、求められた上記定数bを用いて、上記立体写真画像の選定された任意の領域について、ズームアウトされた前記領域に基づく融像による立体像が、上記立体表示装置の表示画面上あるいはそれより後方の位置で視認されるという条件で求められたものであることを特徴とする、請求項4に記載のズーミング可能なステレオフォトビューア。上記定数kは、上記βと等しいことを特徴とする、請求項1から請求項5のいずれかの1つに記載のズーミング可能なステレオフォトビューア。上記のnの値を、上記倍率mの変化に従って、単調に増加させるか、単調に減少させるかすることを特徴とする、請求項1から請求項6のいずれか1つに記載のズーミング可能なステレオフォトビューア。上記立体表示装置は、アナグリフ方式、液晶シャッター方式、偏光フィルタ方式、視差障壁方式、またはレンチキュラーレンズ方式のいずれか1つであることを特徴とする、請求項1から請求項7のいずれか1つに記載のズーミング可能なステレオフォトビューア。上記立体表示装置に表示される画像における上記左眼用画像と上記右眼用画像は、上下のズレおよび傾きによるズレを予め除去されたものであることを特徴とする、請求項1から請求項8のいずれか1つに記載のズーミング可能なステレオフォトビューア。従来の立体写真閲覧装置でズームインすると、立体表示装置の画像の微細な領域を拡大する過程で、融像した立体像が閲覧者から遠方に離れていき、やがて融像できない状態になる。また、ズームアウトのときには、立体像が手前に来るように感じられる。このため、本発明では、ズーミングしても、融像が解かれることがなく、融像した立体像の奥行き位置について、閲覧者がその立体像の自然な融像を知覚できるようにしたズーミング可能なステレオフォトビューアの概念とそれに基づくSPVを実現する。第6章融像式の提案これまでに、閲覧者が感じる遠近的立体感を遠近ファクターという概念的な言葉だけを用いて、概括的にしか説明してこなかった。そこで本章では、遠近ファクターの意味する内容を数学的な式として定め、その式を遠近ファクターとして用いると、実際に目標とする位置に立体像を配置することが可能であるということを示すことにする。この式を本明細書では融像式と呼ぶが、この式により、第5章で示した2重像の発生5.1節、強い飛び出し効果5.2節、立体像の逆転した動き5.3節などを制御することが可能になる。最初に、融像式の前段であるズレの値を説明する。6.1節融像の解析1融像する立体像の位置まず、画面上に投影された黒丸点と白丸点の間隔Dが正の値として増大すると、立体像は画面奥の正方向に後退し、また間隔Dが負の値としてその絶対値が増大すると、立体像は画面手前の負方向に前進するその座標系については後述するという現象が知られている。この現象に基づいて、閲覧者によって視認される立体像の位置を定性的に説明しよう。図3は、図2を上部からy軸の負の方向に向かって眺めたものである。左画像と右画像に写っている光景において、それぞれの光景で互いに対応する2つの点がダブってディスプレイ画面上に投影されている。このように左右画像には、光景の左右それぞれが対応する点同士が無数に存在するが、ここではそのうちの1組を取り上げている。左右の画像はそれぞれの平板に貼られているが、この対応する画像の2点間のズレの値をdとする。図3では画面への投影について、左画像の点による投影点を黒丸点で、右画像による投影点を白丸点で示している。画面上の丸点間の間隔をDとする。閲覧者はディスプレイ画面上の投影点の白丸点を右眼で、黒丸点を左眼で眺め、閲覧者の脳は、その両丸点の間隔Dに基づいて立体像を融像する。ズレの値dと間隔Dの決定は、以下の説明する1次元座標系x軸で行う。図31に示すように左画像の黒丸点を原点起点として固定し、それに対応する右画像の白丸点との距離を左右画像間でのズレの値dとする。画像の白丸点が右側に移動すれば正の移動とし、ズレの値dは正値とする。また、白丸点が左側に移動すればズレの値dは負の移動とし、ズレの値dは負値とする。従って、左右画像のズレの値dは正、零、負の値を取る。そして、画像のズレの値dは、画面上に両丸点間の間隔Dとして投影される。4.2節で述べたように、Dとdは比例関係にあるので、画面上の間隔Dの1次元座標系x軸は投影された黒丸点を原点とし、その正負の方向は左右画像のズレの値dのx軸座標と同じである。閲覧者は、画面上に投影された黒丸点と白丸点の間隔Dの値によって、立体像が近くに見えるか遠くに見えるかの遠近感を感じるのである。立体像の融像される位置は、図4に示す量を用いて幾何学的な比例関係から、以下の式で示すことが出来る非特許文献1。立体像の位置は、ディスプレイ画面上を基準位置として、ディスプレイ装置内部に向う方向を正、閲覧者に向う方向を負として、その位置uを定める。ここで、値eは、閲覧者の瞳孔間隔一般に人間は6.5cm、hは閲覧者とディスプレイ画面までの距離、Dは画面上に投影された黒丸点と白丸点の間隔である。位置uの式は、間隔Dに関して単調増加関数である。この数2は、図4の立体視に関する三角形において比例式を立てることにより、簡単に導くことが出来る。数2から分かることは、閲覧者が融像する立体像の位置uは、閲覧者の距離hと瞳孔間隔eを固定すると、間隔Dから定量的に求めることが出来るということである。間隔Dが0から正値の方向に増加すれば、uは増加し、立体像は閲覧者側から奥まっていく。間隔Dが正値から0の方向に減少すれば、uは減少し、立体像は閲覧者側に近づいてくる。また、間隔Dが0から負値の方向にその絶対値を増加すれば、uは負方向にその絶対値を増加し、立体像は閲覧者側に近づいてくる。間隔Dが負値から0の方向にその絶対値を減少すれば、uは負値から0の方向にその絶対値を減少し、立体像は閲覧者側から奥まっていく。2融像する立体像の大きさ視認する立体像の大きさは、数2と同様に幾何学的手続きによって求めることができる。図5では、画面上に左から黒丸、白丸、黒丸、白丸が並んでいるが、2つの黒丸点間の画像部分と、2つの白丸点間の画像部分が、それぞれ左眼用と右眼用に対応し、その画面上の部分的実画像の大きさをrとする。この部分の実画像は、そのズレの間隔Dによって立体像として視認される。uは立体像の奥行きである。視認される立体像の大きさをvとし、簡単な幾何学的な比例関係の計算を行うと、vは以下の式となる。2枚の左右の立体写真から視認される立体像の奥行きと大きさは、数2と数3から決定することができる。7.4節では、この数2と数3を用いて立体像が融像する位置と大きさをシミュレートすることによって、ズレの間隔Dの立体像への影響の効果を論じることにする。なお、数2と数3は作図と比例式から導出されるが、人が立体視する場合には個人差があるので、実際には眼球の動き-輻輳-なども考慮する必要があると思われる。この論文で示した数2と数3の適用は、概念的なものとして考えて頂きたい。3ズレの値と遠近的感覚の関係図31に示すように、画像のズレの値dが正の値とし、それを増加するように右画像をx軸正方向に移動させると、画面上に投影された白丸点は同じくx軸正方向に移動するので、画面上の両丸点の間隔Dは正の値として増大する。そのため、融像する立体像の位置uは数2から正の値として増大するので、閲覧者は立体像が後退するように感じる。また、図32に示すように、画像のズレの値dが負の値とし、その絶対値を増大するように右画像をx軸負方向に移動させると、画面上に投影された白丸点は同じくx軸負方向に移動するので、画面上の両丸点の間隔Dは負の値としてその絶対値を増大させる。そのため、融像する立体像の位置uは数2から負の値としてその絶対値を増大させるので、閲覧者は立体像が近づくように感じる。また、図33に示すように、左右の画像の黒丸点と白丸点がズレなくある一点で重なった場合は、画像のズレの値dは0なので、画面上の両丸点の間隔Dの値は0となる。そのため、融像する立体像の位置uは数2のから零となるので、閲覧者は、画面上の位置に立体像が存在するように感じる。このようなことは実験でも確認され、周知の事実である非特許文献1。ここに示したように、画像のズレを増大減少させることによって、立体像は後退前進をするので、この現象を利用して、立体像の動きを制御する数学的な式を組み立てることが出来れば、それは遠近ファクターの数学的な式である融像式となるのである。6.2節融像式の導出以上のことを踏まえ、ディスプレイ画面に投影された画像の倍率mと平板に貼られた2枚の左右画像間のズレの値dとの量的関係を、以下に4段階に分けて議論する。そして、本明細書の主題である融像式を導くことにする。1第1段階dとmの反比例関係まず5.3節の問題点3に対応するために、投影された画像の倍率mを用いて、平板に貼られた左右画像のズレの値dを定量的な式で表わすことを試みる。4.2節の結論A、Bで述べたように、ズームインして倍率mがn倍となる場合、2DCGにおける平行投影の原理から、ズレの間隔Dはn倍の倍率になる。そして、画面上に投影された丸点間の間隔Dは、そのときの倍率mのもとでズレの値dに比例してn倍に拡大される。その結果、6.1節で述べたように、ズームインが進行している最中に、閲覧者は立体像が本来は手前に向かって前進するところを、あたかも後退するように感じる。これを防ぐために、まず、立体像を特定の位置に停止させることを考える。それには、図3に示す画面上の丸点間の間隔Dを、ズームインによって画像の倍率mが変化しても、一定とする必要がある。またズームアウトする場合にも、丸点間の間隔Dを一定とする必要がある。画面上に投影された黒丸点と白丸点の間隔Dは、倍率mが一定のもとでズレの値dに比例し、正負の符合も同じある。このDを倍率mに関わらず一定にするには、dとmを反比例関係にすればよい。一定値をk1とし、それを反比例定数とする。そして比例定数をk2とすれば、次の様になる。k1/k2をaとして上式を書き直すと、以下のdとmに関する反比例の式が得られる。Dは、以下のように倍率mに関係なく一定値となる。なお、図3のおける左画像の黒丸点の位置は固定されているものとするが、この場合においてaを正値とする理由は、立体像を画面の奥で融像させるためである。負値とすると、立体像全体が画面から飛び出して、一般に見にくくなる。逆に右画像の白丸点の位置を固定した場合には、aは負値とすることになる。2第2段階前進/後退ファクター数6から丸点間の間隔Dは、画面の倍率mによらず一定の値を保つことから、ズーミングによって、立体像は後退も前進もしない。このような状態でも閲覧者には、画面全体における立体像の動きの不自然さはそれほど感じられない。しかし、もう一つ改良を加えることにする。ズームインの場合には立体像が閲覧者に向かって迫ってきて、ズームアウトの場合には遠ざかるようになれば、もっと自然な動きとして閲覧者には感じられるはずである。そこで、以下のような前進/後退ファクターと呼ぶものを定義する。このファクターfは、画面の倍率mが∞無限大の時は0、倍率mがm1の時は1の値をとる関数である。m1は、縮小限界倍率と呼ぶべきものであり、この倍率m1については第7章で述べる。冪乗の指数nは、立体像の前進/後退を調節するものであり、0≦n≦2の実数値を取る。この指数nについても第7章で述べる。閲覧可能な限界倍率までズームアウトすると、立体像は徐々に小さくなっていき、立体像全体が画面サイズよりも小さくなる倍率があるが、それが閲覧可能なズームアウトの限界倍率である。倍率mと縮小限界倍率m1は、以下の関係がある。前進/後退ファクターは、式の定数aに補正因子として作用するものである。この効果は後で述べる。このファクターを用いて、数5を以下のように補正することにする。これを理想的なズレの式と呼ぶ。また間隔Dの数4に数9を代入すると、以下の間隔Dに関する式が得られる。数10から、指数nが1の場合の間隔Dは,倍率mに反比例する倍率mの逆数に比例することが分かる。数10を用いると、ズームイン操作の場合mがm1から∞に増大する場合、その投影された両丸点の間隔Dは正値から0に向かい、立体像は閲覧者に向かって前進して来る。また、ズームアウト操作の場合にはmが∞からm1に減少する場合、間隔Dは0から正値に向かい、立体像は閲覧者から後退していく。前進/後退ファクターを導入し、それを補正因子として数5の定数aに乗ずることによって、ズーミングによる立体像全体の前進と後退を自然な動きになるように制御できるのである。指数nは立体像の動きを倍率mの逆数について非線形にするために導入された人為的なパラメータであるが、その効果は、第7章で述べる。この段の最後に、数9の理想的なズレの式の定数aは、立体像の遠近感を調整するパラメータに成り得ることを示しておく。数2と数10から、画像の倍率mが一定の場合、立体像の奥行き位置uについて、位置uは間隔Dに関して単調増加関数であり数2、間隔Dは定数aに比例する数10。そして、定数aは理想的なズレの式に基づくものなので数9、その結果、立体像の位置uは理想的なズレの式の定数aに関しての単調増加関数となる。このことから、理想的なズレの式の定数aの値が増加すると、立体像の奥行きは増加し、定数aの値が減少すると、立体像の奥行きも減少することが分かる。なお、定数aの値は視覚実験から定めるが、これについては後述する。3第3段階理想的な融像式理想的なズレの式数9を用いて、さらに次のような式を定める。具体的には、次の式である。この式は、理想的なズレの式に2重像防止定数と呼んでいる定数bを付加して拡張したもので、この式を理想的な融像式と呼ぶことにする。この式は2重像の発生を防ぎ、閲覧者にとって最適な遠近的立体感を得られるような立体像を融像する役割の式である。このことから融像式と命名した。この融像式が第2章で導入した概念的な遠近ファクターの数学的な表現である。2重像防止定数bは、2重像の発生防止に関係するパラメータである。定数bは、数9の理想的なズレの式の値dを0とするときの、左画像用平板位置は固定されていると右画像用平板そのものの間でのズレの値である。定数bの値を適切に定めれば、ズームイン限界においても2重像の発生なしに、立体視可能にすることが出来るのであるが、その値は視覚実験から定める。この定数bは、画像を撮影したときの2台のカメラのレンズ間隔に関係している。理想的なズレの式から算出される値dは、閲覧者が目視で確認できる画面上の両丸点の間隔Dに対応する、左右画像におけるズレの値であるが、定数bは、左右画像における両丸点間でズレの値dを0としたときの、左画像用平板位置は固定されているに対する右画像用平板そのものの絶対的なズレの値である。それゆえ、定数bを含む融像式tは、第10章で述べる座標変換のための式として用いられる。なお、撮影カメラのレンズ間隔は、定数bを視覚実験で決定するときに吸収されてしまう属性であるので、特に拘らなくてもよいものである。融像式から得られた最適なズレの値に従って右画像用平板の配置を行えば、2重像の発生を抑え、閲覧者が最適な遠近的立体感を感じられるような立体像を融像することが可能となるのである。第3段階で導いた理想的な融像式の定数a、bを決定するには、以下の2つの方法が考えられる。A個別決定法:画面上に投影された画像の倍率mを限りなく大きな値に近づけズームインしてmが正値→∞、その投影された左右の画像黒丸点と白丸点がズレなく重なるように、視覚実験によって定数bの値を決定する。その後、定数aについて、ズームアウトしてmが正値→0、立体像の奥行きが最良になるように視覚実験によって決定する。この決定法については、第8章で詳しく述べる。B連携決定法:融像式についての倍率mに関して、ある倍率maを定め、最良に立体像が生成するような変量taを視覚実験によって決定する。再度別の倍率mbを定め、そのとき同様に最良の立体像が生成するような変量tbを同様な視覚実験によって決定する。そして、融像式の定数a、bを変数とする2元連立方程式を立て、その方程式を解く。しかし、この決定法ついては、倍率ma、倍率mbが任意の倍率であれば、それらの倍率において最良の立体像が確認できても、その組み合わせから2重像を発生しない定数bの値と最適な遠近感の立体像を生じさせる定数aの値が得られるかは、試行錯誤となる。しかし、上述の2つの方法は、ともに問題がある。Aの個別決定法については、倍率mを限りなく上げていくとmが正値→∞、画像の解像度の限界を超えて倍率が理論上無限大となってしまい、立体像の融像が困難となる。Bの連携決定法に関しては、方程式の解法をステレオフォトビューア内部で自動的に処理するにしても、閲覧者の実験操作と解法手続きの連携作業が面倒となる。というのは、2つの定数a、bを決定する視覚実験をそれぞれ相互に関連付けて行った後に、連立方程式の解を求めるという手順が、閲覧者に制約を課すことになり、使い勝手のよい立体視ツールにはならない。この場合、定数a、bの融像式における役割の意味付けもし難くなる。なお、倍率maと倍率mbを、後述する拡大限界倍率m0と縮小限界倍率m1と規定すれば、それは個別決定法と同じになってしまい、連携決定法の意味はなくなってしまう。4第4段階実用的な融像式第3段階で述べた問題点を回避するために、閲覧者が簡単に定数a、bを決定できる融像式に改良してみる。この融像式は理想的な融像式の改良式ではあるが、これを用いると、2つの定数a、bの決定において、個別決定法を簡単に適用できるようになる。その理由は、イ画像の倍率無限大の問題を回避でき、ロ視覚実験で定数aとbをそれぞれ単独に決定でき、ハその決定の際の定数a、bの役割についての意味付けも明確になるのである。また、閲覧者にとっては実験の制約もなく、作業がワンパターンになり軽減される利点がある。そこで、個別決定法を適用できるようにするために、理想的な融像式を改良してみる。まず、画面上の画像の拡大を最大にする倍率m0を導入しよう。これは、拡大限界倍率と呼ぶものであり、画像の解像度によって決まる倍率である。この倍率m0については第7章で述べる。拡大限界倍率m0と倍率mとは、以下の関係がある。その理由は、倍率mが拡大限界倍率m0を超えると、画像の解像度の限界を超えているので、生成される立体像は意味を持たなくなるからである。拡大限界倍率m0は立体写真のカメラの解像度特性に依存する。拡大限界倍率m0は視覚実験では、縮小限界倍率m1の10倍~20倍程度の値として決定される。この拡大限界倍率m0を用いて、理想的な融像式数9を実験的に取り扱いやすい融像式に変形してみよう。第1段階で定めた数5において、以下のように倍率mの逆数1/mを1/m-1/m0で置き換える。この置き換えをするのは、倍率mが拡大限界倍率m0でズレの式の値dを0とし、6.1節における図33の状況を作り出すようにすることである。これによって、黒丸点と白丸点は画面上で重なり合うことになる。それに伴い、前進/後退ファクターf数7を以下のように変更する。変更されたファクターfは、倍率mがm0の時は0、倍率mがm1での時は1の値とる関数であるmがm1≦m≦m0の範囲で、fは0≦f≦1の範囲にある。m1は、6.2節2項で示した縮小限界倍率である。冪乗の指数nは、立体像の前進/後退を調節するものであり、0≦n≦2の実数値を取る。この指数の効果については、第7章で述べる。そして、以下のように、数14の定数aに補正因子として数15の前進/後退ファクターfを作用させる。この式を実用的なズレの式と呼ぶが、以降、単にズレの式と言えば、この式を指すものとする。そして、第3段階で得たのと同じ方法で、新しい融像式を以下のように求める。この式の右辺は、c、b、kを定数とすると、c×1/m-kn1b、と、纏めることができる。新しく定められた数17の融像式は、拡大限界倍率m0がかなり大きい場合、数12の理想的な融像式に関数として近づく。数17を以降、実用的な融像式と呼ぶことにする。以降、単に融像式と言えば、この実用的な融像式を指すものとする。実用的な融像式を用いた場合、画面上の両丸点の間の間隔Dは、数4と数16の上段式と数15を用いると、以下の式が得られる。この式は、αおよびβを定数とするとき、α×1-β×mn1/mn、と、纏める事ができる。間隔Dに関する数18の中段式は、定数aに前進/後退ファクターを補正因子として掛けたものとなる。数18によって求められる間隔Dは、倍率mに関して単調減少関数である。また、それは指数nが0のとき、倍率mに関しての一次式となる。第7章実用的な融像式の特徴7.1節融像式の役割実用的な融像式の役割は、6.2節の第1段階から第3段階までで述べてきた理想的な融像式における役割と基本的には同じである。以下にその役割をまとめて述べてよう。実用的な融像式と理想的な融像式の違いは、前者への拡大限界倍率m0の導入である。実用的な融像式において拡大限界倍率m0の逆数1/m0を0とおけば、その融像式は、理想的な融像式となる。12重像の発生を防ぐ役割は、融像式の定数bが担う2重像の発生を防止する役割は、実用的な融像式の定数bが担っている。定数bは視覚実験によって、拡大限界倍率m0で2重像が発生しないように、その値が決定される。それゆえ、この定数を2重像防止定数と呼ぶ。これにより、第5章の問題点1を解決することが出来る。パラメータとしての定数bは個々の立体写真毎に定めるが、その決定法は8.2節1項で述べる。2立体像の位置を調整する遠近ファクターは、融像式の定数aが担う数17の実用的な融像式の定数aは、立体像の遠近感を調整するパラメータとなる。数2と数18から、倍率mが一定の場合、立体像の奥行き位置uについて、位置uは間隔Dに関して単調増加関数であり数2、間隔Dは定数aに関して単調増加関数である数18。そして、定数aは実用的なズレの式に基づくものなので数16、その結果、立体像の位置uは実用的なズレの式の定数aに関しての単調増加関数となる。このことから、実用的なズレの式の定数aの値が増加するに従って位置uの値は増加し、それに伴い立体像の奥行きは増加する。また、定数aの値が減少するに従って位置uの値は減少し、それに伴い立体像の奥行きも減少する。第2章で述べた遠近ファクターの実質的な役割は、定数aが担っている。定数aはパラメータとして、視覚実験によって、縮小限界倍率m1で立体像の奥行き感が最良になるように、その値が決定される。それゆえ、この定数を遠近感制御定数と呼ぶ。これによって第5章の問題点2を解決することが出来る。パラメータとしての定数aは個々の立体写真毎に定めるが、その決定法は8.2節2項で述べる。3閲覧者が視認する立体像の動きは、間隔Dに基づく左右画像間のズレに関する最良の再配置は、融像式tが担っているが、閲覧者が視認する立体像の動きは、融像式tと連動する数18の間隔Dが担っている。従って、間隔Dを用いると、閲覧者に視認される立体像の奥行きやや立体像の倍率をシミュレートすることが可能となる。これについては、7.4節で詳しく論じる。4立体像の前進/後退の調節は、前進/後退ファクターfの冪乗の指数nが担う立体像の前進/後退を行うのは、前進/後退ファクターである。指数nは0から2の間の実数を取る定数であるnは経験的に導入されたパラメータであるため、2以上であってもかまわないが、実用的な観点から上限を2とする。実用的な融像式を用いたこのファクターの閲覧者に対する効果は、その冪乗の指数nによって変わってくる。指数nの値が0から2に増加するに従って、前進/後退の効果は倍率mに反比例するが如く、mが小さくなればなるほどより強くなる。しかし、立体視感覚は個人差があり、人によっては、前進/後退の効果が強いと感じたり、弱いと感じたりすることがあるかもしれない。指数nは任意性のあるパラメータなので、ステレオフォトビューアの開発者による事前の視覚実験によって、個人差を吸収する平均的な値を決定するのがよい。指数nの導入によって第5章の問題点3を解決することができる。5拡大限界倍率m0と縮小限界倍率m1は、ステレオフォトビューアの定数とみなし得る拡大限界倍率m0と縮小限界倍率m1は、ステレオフォトビューアの定数とみなすこともできる。前者はズームインの極限での倍率であり、カメラの解像度に関係する値であるが、その値は、撮影された立体写真の内容例えば夜間風景、霧の風景、夏の海岸での風景、人物等によっても変化するものと思われる。それ故、個々の立体写真毎に拡大限界倍率m0を定めることも考えられる。しかし、事前の視覚実験によれば、一般的に使用されるデジタルカメラの間では同じ値を使用しても差し支えはない場合が多い。従ってこの値は、ステレオフォトビューアの開発者によって定める値としてもよい。また後者は、ズームアウトの極限での倍率である。ズームアウトすることによって、立体像は徐々に小さくなっていき、立体像全体が画面サイズよりも小さくなる位置があるが、それが縮小限界倍率m1であり、閲覧可能なズームアウトの限界倍率といえる。倍率を云々する場合には、基準の倍率を定めなければならないが、ステレオビューアにおいては、縮小限界倍率m1を基準倍率とし、その倍率を1と定めることにする。しかし、最小限界倍率は説明の都合上、以降もこの倍率をm1と記載する。ズーミング可能な倍率の範囲は、縮小限界倍率m1から拡大限界倍率m0までの間の倍率であり、事前の視覚実験によれば、通常、一般的に使用されるデジタルカメラを使用する場合には、拡大限界倍率m0は縮小限界倍率m1の10~20倍程度の倍率である。7.2節融像式のグラフ表現数17の実用的な融像式の様子をグラフで示そう。画面上の画像の倍率mが拡大限界倍率m0の値をとるとき、定数bは視覚実験から定まり、そのときの値をb0、融像式tの値をt0とすると、t0=b0、である。また、倍率mが縮小限界倍率m1の値をとるとき、定数aは視覚実験から定まり、そのときの値をa1、融像式tの値をt1とすると、t1=a1×1/m1-1/m0b0、である。拡大限界倍率m0、縮小限界倍率m1、および上記のt0、t1を用いて、融像式の様子の一例を図6にグラフで示す。前進/後退ファクターの冪乗の指数nを持つ融像式は、点m0、t0、点m1、t1を通る関数である。また、前進/後退ファクターの冪乗の指数nが0であるの場合の融像式は、双曲線関数となる。なお、画面上に投影された画像の倍率mの取り得る範囲ズーミング可能な範囲は、数8と数13から、次の関係がある。7.3節融像式の働き実用的な融像式の動作を、2重像防止定数bが零の場合について調べてみる。すなわち、実用的なズレの式の値dとして、数16の下段の式の動作を説明する。1値d>0の場合定数aが正値の場合である。左右画像によって画面上に投影された丸点が生成する立体像は、図31のようにディスプレイ画面の後方に融像する。そして、マウスによるズーミング操作によって、倍率を上げるmをm1→m0と、ズレの式の値dは正値から0に近づき、それに応じて平板に貼られた左右画像から投影された両丸点の間隔Dは数18によって正値から0に近づく。その場合、立体像の位置を定める数2のuは減少するので、立体像は閲覧者には近づくように感じられる。逆に倍率を下げるmをm0→m1と、ズレの式の値dは大きくなり、平板に貼られた左右画像から投影された両丸点の間隔Dは大きくなる。その場合、立体像の位置を定める数2のuは増加するので、立体像は閲覧者にから後退するように感じられる。2値d<0の場合融像式におけるズレの値dが負値というのは、定数aが負値である場合である。これまで融像式の定数aは正値を採用すると述べてきたが、定数aが負値の場合には、次のような不都合なことが生じる。画面上に投影された左右画像の黒丸点と白丸点の位置が7.3節1項とは逆になり、この場合には、図32のように立体像はディスプレイ画面より手前に融像し、一般の閲覧者には見難いといえる。そして、マウスのズーミング操作による立体像の動きは、7.3節1項とは反対であり、倍率を上げるmをm1→m0と、ズレの値dは負値から0に近づき、平板に貼られた左右画像から投影された両丸点の間隔Dは数18から負値から0に近づく。その場合、立体像の位置を定める数2のuは負値から0に近づくので、立体像は閲覧者から後退するように感じられる。逆に倍率を下げるmをm0→m1と、間隔Dは0から負値にとなっていく。その場合、立体像の位置を定める数2のuは0から負値となるので、立体像は閲覧者に向かってくるに感じられる。このような立体像は人間の感覚からすると、矛盾する動きとなるので、それ故、定数aは正値を採用する必要があるただし、左画像を固定した場合である。3値d=0の場合ちょうど平板に貼られた左右画像の投影する両丸点黒丸点と白丸点のズレがなく重なる場合であり、このとき、倍率mはm0となり、ズレの式の値dは零であり、画面上に投影された両丸点の間隔Dも0ある。この場合、図33のように立体像はディスプレイ画面上で融像する。7.4節立体像のシミュレーション解析1立体像の奥行きと大きさの解析これまで考察した式を用いると、閲覧者が視認する立体像の奥行き位置と像の大きさを定量的に求めることができる。立体像の奥行き位置の計算には、画面上における左右画像のズレの間隔D数18の下段の式と立体像の位置u数2を用いる。また、立体像の大きさvには、数3、および数18の下段の式と数2の3つの式を用いる。ただし、ステレオフォトビューアにおいては、ズーミングを行うので、立体像の大きさvは、実画像の倍率mの変化も考慮する必要がある。そこで、実画像の倍率mの変化に対して立体像の大きさvがどのように変化するのかを調べることにする。実画像の倍率がm1のとき、実画像部分の大きさ基準長をr1とすると、倍率がmのとき、その実画像部分の大きさは下記の様にrの大きさに拡大される。このため、実画像の倍率がmのとき、立体像の大きさvを求めるには、数3を以下のように書き換えればよい。実画像の倍率に対する立体像の倍率をbとし、その倍率基準を実画像の倍率m1のとき、実画像の大きさ基準長をr1とすれば、立体像の倍率bは、次式数22のように、数21から求められる立体像の大きさvをr1/m1で除算すればよい。計算のパラメータは、閲覧距離hは50.0cm、瞳孔間隔eは6.5cm、基準長r1を1.0cm、縮小限界倍率m1は1.0、拡大限界倍率m0は10.0とした。数18の定数k2×aは、17型立体ディスプレイDimen-G170Pを用いた場合に倍率m1の際、画面上でのズレの間隔Dが1cmとなるように1.2cmを採用した。また、前進/後退ファクターのべき乗の指数nは0.0、0.5、1.0および2.0の4通りとした。その計算結果を図7に示す。実線が立体像の倍率bの計算グラフnが0.0の場合であり、破線が奥行きuの計算グラフnが0.0、0.5、1.0および2,0の4通りの場合である。なお、シミュレーションとともに、自動ズーミングを行いながら視覚実験も行った。計算されて求められた立体像の倍率bは、実画像の倍率mと大まかには一致しているといってよい。仔細に精査すると、nが0.0の場合は、非線形性が僅かみられる程度の単調増加の変化をするが、nが1.0に近づくに従って非線形性は非常に弱まり、立体像の倍率bは実画像の倍率mに近づく実画像の倍率が1.0のとき、立体像の倍率はやや大きめの1.20となるが、実画倍率が100になるに従って、立体像の倍率bは滑らかな単調増加で10.0になっていく。nが0.5、1.0、および2.0の場合も同様の変化傾向にある。4つの計算値は図全体から眺めると接近していて、4本の実線はくっ付いてしまうので、図7にはnが0.0の場合のみが示されている。なお、シミュレーションによると、実画像の倍率1.0に対して、立体像の倍率の計算値がやや大きめとなる視覚実験でも計算に近い大きさの立体像が視認される。しかし、立体像の倍率はズーミングの時間進行に沿って滑らかに変化するので、倍率がやや大きめに算定され、立体像がその大きさで視認されることについては、視覚実験から閲覧者が特に違和感を感じるということはなかった。次に奥行きuであるが、図7に示すように、それは倍率mの変化に対して非線形性は顕著である。nが0.0の場合には、概略的には線形的であり、立体像の奥行き変化の動きは滑らかに進行するただ、ズーム速度が高倍率になるに従って遅くなるという難点がある。nが2.0に近づくに従って大きく湾曲した曲線となり、非線形性が顕著になってくる。すなわち、ズームインでは閲覧者にとって、倍率mが1.0から4.0付近までの間に、立体像は急激に迫ってきて、その後は緩やかに近づいてくるように感じられる。ところで、立体像の倍率mとその奥行き位置uの関係は、倍率は2倍になれば、奥行き位置は2分の1となるような反比例の関係がなければならない。そのような関係をほぼ満たす指数nは、詳細なシミュレーション解析から、0.7付近の値であることが分かった。この値は上述のように、立体像の倍率の推計にも矛盾無く使用することが出来る。そこで、前進/後退ファクターの指数nとして0.7を用いることとした。しかし、立体像の視認には一般的に個人差があるといわれているので、多数の閲覧者による視覚実験の結果から、心地よい視認を促す平均的な指数nの値を求めてもよいと思われる。なお参考のために、計算された立体像の倍率bと奥行き位置uを、表1に掲げておく。計算は指数nを0.2、0.7、1.5としている。表中の大文字のMとLは、基準とする実画像の倍率M、およびそのときの実画像における対象物までの距離対象物距離Lである。対象物距離とは、M×L=一定値という反比例関係から求められる計算上の仮想距離である。立体像の倍率bは、実画像の倍率が10倍に対応する立体像の倍率計算上は10.0を比較基準とし、また立体像の奥行き位置uは、実画像の倍率が1倍のときの立体像の奥行き位置を1.0に換算し、その値を比較基準としている。L×Mの値が10.0となるように計算を行い、指数nが0.7のときu×bが10前後となる値が得られた。本明細書に示した計算モデル方法からすると、その結果はほぼ満足すべきものと言えよう。2前進/後退ファクターの指数nの関数化図7で説明したように、前進/後退ファクターのべき乗の指数nの定め方によって、閲覧者に視認される立体像の奥行き位置立体視的に視認される奥行き位置であり、実画像の倍率から推測認知する対象物距離7.4節1項ではないことに注意されたいは変わってくる。特に自動ズーミングを行う場合には、閲覧者に対する立体像の迫り方や後退の仕方は、重要である。そこで、それを簡単に取り扱えるように、指数nを実画像の倍率mの関数として表わすことが出来るようにしてみよう。この関数は、理論から導かれるものではなく、経験的に定められるものである。図7の解析から分かったことは、イnの値が小さい場合には、実画像の倍率mをm1からm0に変化させながらズームインすると、立体像の奥行き位置は、最初は緩やかに閲覧者に向かって近づき、その後に急速に迫ってくるように視認されるズームアウトの場合には、その逆である。また、ロnの値が大きい場合には、実画像の倍率mをm1からm0に変化させながらズームインすると、立体像の奥行き位置は、最初は急速に閲覧者に向かって迫り、その後は緩やかに近づいてくるように視認されるズームアウトの場合には、その逆である。このことから、ズーミングにおいて立体像の迫り方や後退の仕方を変化させるために、以下のような式を導入することができる。そして、その式の様子を図8に掲げる。イの場合の指数nの増加関数ロの場合の指数nの減少関数pは、関数の形状を調整するパラメータで、m1≦p≦m0の範囲の実数をとる。イの場合の数23は、図8に示すように、指数nは実画像の倍率mの変化に従って0から2に変化し、ロの場合の数24は、指数nは実画像の倍率mの変化に従って2から0に変化する。指数nを変化させるこれらの式を用いると、nを固定する場合とは異なり、自動ズーミング過程において、立体像の迫り方や後退の仕方を強制的に変化させることが可能となるパラメータpを変化させることによって、その微調整ができる。事前の視覚実験では、その効果を確認することができた。ステレオフォトビューアにこのような式を実装すれば、例えば立体像が閲覧者の眼の前で急に迫ってくるような効果を演出することが可能となるのである。なお、上記の式は一例であり、ここで用いた一次関数以外の関数正弦関数や余弦関数、あるいは2次関数などを用いることも可能である。このため、本発明のズーミング可能なステレオフォトビューアにおいては、以下のような特徴をもつものとする。閲覧者の左眼と右眼とに、それぞれ、左眼用画像と右眼用画像とを提示する立体表示装置と、上記立体表示装置に上記左眼用画像と右眼用画像とを供給する表示制御装置と、を備え、立体写真画像表示用の左眼用画像と右眼用画像とを閲覧者に提示するステレオフォトビューアであって、立体表示装置に表示される画像における左眼用画像と右眼用画像の同じ対象物間の間隔Dについて、ズームインまたはズームアウトによる倍率の増加または減少に従って間隔Dを一定にするか単調に減少または増大させることで、ズームインまたはズームアウトにおける上記左眼用画像と右眼用画像との融像による立体像の位置が、上記閲覧者からみて動かないか手前または奥に移動するようにズーミングするものであり、上記間隔Dは、上記倍率をmとし、αおよびβを定数とし、0≦nなるnについて、Dをα×1-β×mn1/mnに比例して変化させることで、ズームインまたはズームアウトにおける上記融像による立体像の位置が、上記閲覧者からみて手前または奥に移動するようにズーミングする。また、上記立体表示装置に表示する上記左眼用画像と右眼用画像とは、一対の立体写真画像から生成されるものであって、その生成に当たっては、上記一対の立体写真画像を倍率mで拡大または縮小して上記左眼用画像と右眼用画像を生成するものであり、上記ズーミングは、上記左眼用画像の端点と上記右眼用画像の端点とを揃えた状態を基準とし、上記倍率mの関数として上記左眼用画像の端点と上記右眼用画像の端点との距離tを変化させることで行い、ズームインまたはズームアウトにおける上記融像による立体像の位置が、上記閲覧者からみて動かないか手前または奥に移動するようにズーミングする。また、上記距離tは、上記倍率をmとし、c、b、kを定数とし、0≦nなるnについて、c×1/m-kn1bとなる、倍率mの関数である。また、上記定数bは、上記立体写真画像の選定された任意の領域について、ズームインされた前記領域に基づく融像による立体像が、上記立体表示装置の表示画面上の位置で視認されるという条件で求められたものである。ここで上記の特徴は、上記立体写真画像のズームイン対象領域中で比較的遠景領域と比較的近景領域を選定し、上記定数bは、上記立体写真画像の中で比較的遠景のズームイン対象領域を拡大限界倍率m0までズームインし、当該領域についての融像による立体像が、上記立体表示装置の表示画面上の位置で視認されるという条件で求めるという特徴と概略同等である。また、上記定数cは、求められた上記定数bを用いて、上記立体写真画像の選定された任意の領域について、ズームアウトされた前記領域に基づく融像による立体像が、上記立体表示装置の表示画面上あるいはそれよりも後方の位置で視認されるという条件で求められたものである。ここで上記の特徴は、上記立体写真画像のズームアウト対象領域中で比較的遠景領域と比較的近景領域を選定し、上記定数cは、上記立体写真画像を縮小限界倍率m1までズームアウトし、その画像中で比較的近景の領域についての融像による立体像が、上記立体表示装置の表示画面上の位置あるいはそれよりも後方の位置で視認されるという条件で求めるという特徴と概略同等である。また、上記定数kは、上記βと等しい。また、上記のnの値を、上記倍率mの変化に従って、単調に増加させるか、単調に減少させるかする。また、上記立体表示装置は、アナグリフ方式、液晶シャッター方式、偏光フィルタ方式、視差障壁方式、またはレンチキュラーレンズ方式のいずれか1つである。また、上記立体表示装置に表示される画像における上記左眼用画像と上記右眼用画像は、上下のズレおよび傾きによるズレを予め除去されたものである。第8章実用的な融像式による最適な遠近的立体感の設定実用的な融像式の定数a、bは、簡単な視覚実験閲覧者の目視による判定実験で決定されるパラメータである。これらはステレオフォトビューアにおける立体写真1枚1枚についての立体視特性を定めるものであり、その値は閲覧者の遠近的立体感を最適にするように決められる。ただし、パラメータaは正の値とする。パラメータbは正、負、零のいずれかの値をとる。その決定方法を本章で述べる。8.1節実用的な融像式の特性を決定するパラメータ5.1節に示した問題点1のように、倍率mを大きくして画像を拡大した場合、2重像が生じるのは、投影された左右画像のズレの間隔Dが大きく拡大されることからこれは虫メガネで微細部分が拡大されて見えるのと同じである、融像の崩壊が生じるのである。これを防ぐには、まず、実用的な融像式のパラメータbの値を適切に設定して対処する必要がある。それゆえ、このパラメータbを2重像防止定数と呼ぶ。また、第5章の問題点2のように、ディスプレイ画面から立体像の全体が飛び出すように感じられる場合は、倍率mが縮小限界倍率m1に近い値であっても、パラメータaに0に近い値ただしa>0が設定されていると、融像式を構成するズレの式の値dの寄与が小さくなる。その結果、遠近的立体感による立体像が近くに感じられ、眼にきつい立体像となってしまう。これを防ぐには、パラメータaの値を適切に設定する必要がある。それゆえ、この定数を遠近感制御定数と呼ぶ。このようにパラメータa、bは融像を司る重要なものである。そこで以下に、これらのパラメータをどのように設定すればよいかについて詳しく述べる。8.2節実用的な融像式のパラメータを設定する方法閲覧者がマウスによるズーミング操作を行って、画面上の画像の倍率mを変化させると、実用的な融像式に従って右画像用平板の位置がx軸上で値tだけ平行移動する機構ただし左画像平板の位置は固定されているものとする、および、その時の値を読み取り保存する機構が、ステレオフォトビューアに備わっているものとする。パラメータの決定法は、まずパラメータbを定め、その後にパラメータaを決定するという、6.2節3項で述べた個別決定法を実用的な融像式に対して採用する。パラメータの設定は個々の立体写真毎に行う。なお、パラメータを決定する際には、画像の領域や画像に写っている景観の遠近が関係する。そこで、その領域や遠近について本明細書で言及する次の用語を定めておく。全景領域、部分領域、近景領域、遠景領域、の各用語である。全景領域とは、縮小限界倍率m1までズームアウトして画面全体に映し出された画像の全体領域を言い倍率m1がズームアウトの限界であり、その倍率が1.0であることは、7.1節5で述べた、写真の全景観が映し出される。部分領域とは全体に対する部分であり、画面に映し出された画像の一部分の領域を言う。また写真には、当然のことながら例えば、遠くの山並み景観、近くの木々などの風景、その中間の位置にある家の景色などが混在して、写真全体の景観が構成される。画像の中で遠くの景色が写っている領域を遠景領域、近くの風景が写っている領域を近景領域と言う。遠景領域と近景領域は、写真全体の一部を構成するので、全景領域に対する部分領域である。また最近景領域と言った場合には、それは近景とみなされる部分の中で最も近景となる部分領域を指す。例えば町並みを背景として3人が奥から手前に並んだ人物写真においては、画面上の画像では、背景の町並み部分が遠景領域、3人の人物の塊り部分が近景領域、そして近景領域の中で一番手前の人物の写った部分が最近景領域となる。また同様に、最遠景領域と言った場合も、遠景とみなされる部分の中で最も遠景となる部分領域を指すものとする。また、本発明においては、融像式のパラメータを決定する際に、遠景領域と近景領域それぞれに注目する。ここで、最遠景領域と最近景領域に注目すると、画面全体で良好なズーミングを行うことができるが、単に相対的に遠景領域と近景領域に注目する場合は、限られた画面の倍率mの範囲で有効なズーミングを行うことができる。本発明では、上記のいずれの場合でも適用することができるので、これらを比較的遠景領域と比較的近景領域と示し、相対的な意味で、より遠景領域あるいはより近景領域であることを意味している。1パラメータbの決定パラメータbの定め方を述べよう。ある立体写真Aについて、閲覧者は画面に映し出されている画像のズーミング対象とする任意の領域を選択し、その領域に対して画像の倍率を拡大限界倍率m0までの倍率にズームインする。任意の領域とは、画像における近景領域でも遠景領域でも、あるいは中間の領域でもかまわないが、特に小さく写っている遠方の景観をズームインして立体視閲覧したいのであれば、希望する最遠景領域を選択する。そして、閲覧者はディスプレイ画面を眺め、左画像の当該領域と右画像のそれに対応する領域との間でズレが生じている場合には、そのズレを解消すべく、右画像用平板をx軸上で平行移動して、右画像の領域と左画像の領域をズレなく重ね合わせて、図33に示す状態の如く画面上の位置に立体像が視認出来るようにする第5章の問題点1への対策。この立体像の確認は閲覧者による目視実験で行う。画面上の位置に立体像が生じるように、パラメータbの値を変化させながら目視で調整する。調整されたそのときのパラメータbの値をb0とし、その値を用いて右画像用平板をx軸上で平行移動する値t0は、融像式を用いて、次のようになる。この値t0を用いて右画像用平板の位置を再配置する。パラメータbの値b0は、立体写真Aに関する固有のパラメータとなり、ステレオフォトビューアの内部に保存されるものとする。このようにしてパラメータbが定められると、画像の拡大限界倍率m0では、左右画像に関する融像式の中のズレの式の値dは0なので、その位置では図33に示すように、2重像の発生のない立体像が融像する。2パラメータaの決定続いてパラメータaの定め方を述べよう。第5章の問題点2を解決するには、立体像の全体を画面上あるいはそれよりも後方に位置するように設定することである。パラメータbがすでに定められているので、拡大限界倍率m0においてズレのない状態が実現されている。閲覧者は、この状態から倍率を縮小限界倍率m1までズームアウトする。すなわち、画面に画像の全景領域が映し出されるようにする。この縮小限界倍率m1において、パラメータaの値を定める目視実験を行う。それは、左右画像によって融像する立体像の具合を、閲覧者が目視実験で判断する。この実験とは、パラメータbの定まった融像式において、パラメータaの値を変化させながら、閲覧者にとって最適な立体感が感じられる立体像を融像するように第5章の問題点2への対策、パラメータaの値a>0を目視で調整するのである。このとき閲覧者が感じる立体感が遠近的立体感であり、このパラメータaの設定が遠近ファクターの設定ということになる。具体的には次のように行う。立体写真Aについて、縮小限界倍率m1までズームアウトした全景領域において、閲覧者は立体ディスプレイ画面を眺めて、パラメータaの値を変化させながらただしa>0である、左画像の当該領域と右画像のそれに対応する領域から再生される立体像の全体が、立体ディスプレイ画面上の位置あるいはそれよりも後方の位置で視認出来るようにする。これは、当該立体像の立体空間が図1の真ん中の図に示されるような画面後方の立体空間にすることである。この作業は閲覧者が、縮小限界倍率m1で縮小表示された全景領域の中で最も近景となる部分領域すなわち最近景領域に注目して、パラメータaの値を変化させながら、当該部分領域についての左右の画像をズレなく互いに重ね合わせることによっても実現出来る。パラメータaの値を変化させることは、右画像用平板をx軸上で平行移動させることである調整されたそのときのパラメータaの値をa1とし、その値を用いて右画像用平板をx軸上で平行移動する値t1は、融像式を用いて、次のようになる。この値t1を用いて右画像用平板の位置を再配置する。パラメータaの値a1は、立体写真Aに関する固有のパラメータとなり、ステレオフォトビューアの内部に保存されるものとする。パラメータaについてさらに詳しく説明しよう。パラメータaが小さい値の時には、画面の手前に融像するが、パラメータaがある程度の大きさの値であれば、立体像の全体はディスプレイ画面後方に融像するので、見やすい適切な遠近的立体感が得られる。この状態はパラメータaに依存し、極端に大き過ぎる値を設定すると、閲覧者によっては遠近的立体感がかなり遠方に感じられ、違和感のある立体像となる。その限界を超えると、両画像の間でズレが大きくなりすぎ、立体像は2重像となって融像しなくなる。パラメータaの値を適切に定めることが重要であるが、事前の実験によればaの適性値はかなりの幅があるので、その設定は容易である。実用的な融像式における個別決定法の数学的な背景は以上のような説明となるが、連携決定法は、試行錯誤的に行われるので、このようなすっきりとした説明を行うのは困難である。個別決定法における定数a、bの決め方の具体例については、本発明の発明者の開発したSPVステレオフォトビューアに基づいて開発された立体写真閲覧ソフトに基づいて、11.2節と11.3節で述べる。第9章カメラ撮影で発生するステレオペアのズレ補正2台の普通のカメラただし同じメーカ製で同じ型を用いて立体写真を撮影した場合、注意深く作業を行っても2つの左右画像の間で上下のズレや傾きによるズレが生じて、そのままではステレオペアとして適当でないことが起こる。立体写真専用カメラを用いても、ズーミングを行うと、その解像度の限界点付近では、同じようなズレがしばしば生じる。2台のカメラを雲台に取り付ける際に発生する極わずかな設置ミスがそのズレの原因となるのである。このズレは、写真全体をズームアウトして眺めるような目的でその立体写真を使用する場合は、それ程問題にならないが、ズームインを行い狭い領域を精査して眺めるような目的の場合は、左右画像間のズレが顕著になるので、その立体写真はステレオペアとして使用出来ないことになる。そこでステレオフォトビューアには、ステレオペアの形成を妨げるような左右画像間のズレを補正する機構を取り入れる必要がある。図9を用いて以下に、ステレオペアにおけるズレの補正方法を示す。なお、これらの補正は、9.2節の場合を除いて、立体メガネを着用しない非立体視状態で行う方が、作業はやり易い。ズレの補正は、左右画像が完全に重なり合うように目視で調整する。9.1節上下方向のズレの補正図91に示すように、左右画像の間で上下に著しくズレている場合には、立体像は融像しないので、水平に揃える必要がある。このような上下方向のズレが生ずる原因としては、2台のカメラを雲台にネジで固定する場合、どちらか1台の締め付けが緩いような場合に起こる。この補正方法は、図91に示した右画像を貼り付けた平板をy軸に沿ってプラス方向にpだけ平行移動させ、左画像と合わせることである。9.2節左右方向のズレの補正図92に示すように、2つの画像が左右に離れ過ぎる場合である。これは2台のカメラを雲台に取り付ける際にレンズ間の距離を離し過ぎるときに起こり、しかも人物などの近くのものを写すときにより起きやすい。このままステレオフォトビューアで閲覧すると、遠近的立体感はかなり近くに感じられ、立体像は飛び出して見える。補正方法としては、図92に示した右画像の平板をx軸に沿って値dだけプラス方向に平行移動させることである。この補正方法は、すでに8.2節1項で述べた方法の中に含まれていて、融像式のパラメータbを調節することで対応できる。9.3節傾きによるズレの補正図93に示すように、右画像あるいは左画像がその原点を中心に傾いて回転してしまうことがある。これは2台のカメラを雲台に取り付ける際に、その1台が極僅かではあるが雲台に傾いて設置された場合である。ネジでの締め付け方によって0.5度程度の傾きが生ずることがある。この補正方法は、図93に示したように右画像を貼り付けた平板をその原点を中心にθラジアンだけプラス方向に回転変換させることである。9.4節その他のズレについて1x軸あるいはy軸の傾きによるズレカメラ設置による画像の傾きについては、x軸あるいはy軸の傾き回転も考えられるが、この傾きは通常の撮影作業においては微小角度に収まり、この補正は事前の実験によって他の補正にほぼ吸収されることが分かった。というのは、x軸の傾きの補正は近似的に上下方向のズレの補正、また、y軸の傾きの補正は近似的に左右方向のズレの補正とみなされ、結果としてそれぞれ上下方向と左右方向のズレの補正操作に反映されるからである。そこで、補正の複雑さを避けることからも、ステレオフォトビューアにはx軸とy軸の傾きによる直接的なズレの補正を取り入れていない。2z軸に沿う方向のズレ2台のカメラを雲台に設置するとき、1台のカメラがもう1台のカメラに比べて極々僅かではあるが、撮影対象物に近づいている、あるいは離れているというズレが生じるかもしれない。カメラ位置に関して、1台のカメラのフィルム面中央を原点とし、その面がxy平面となる3次元座標系を設定すると、このズレはz軸方向に沿ったズレと言うことができる。もしこの補正を行うとしたら、右画像を適切な値だけ拡大あるいは縮小させることになる。しかし、雲台に2台のカメラを取り付ける際のz軸方向のズレは一般に1ミリメートル以内に収まるので、カメラから撮影対象物までの距離数十メートルと比較すると、通常、その誤差は無視することが出来る。そこで、ステレオフォトビューアには、9.4節1項で述べたx軸とy軸の傾きの場合と同様、z軸に関する直接的なズレの補正を取り入れていない。第10章画像の再配置の方法10.1節アフィン変換左右画像の間で生じるズレを補正する実用上の手段は、ステレオフォトビューアが用いる2DCGの座標変換機能であり、それを使用することである。ズレの補正とは、右画像用平板を再配置することであるが、それは簡単な座標変換によって行うことが出来る。その座標変換とは拡大縮小、回転、平行移動のアフィン変換である。一般の2DCGはその内部に3×3のアフィン変換行列を持っており、変換は行列演算によってリアルタイムに行われる。アフィン変換行列を用いて右画像用平板の位置を、基準となる左画像の位置に対して適切に座標変換再配置する方法を示そう非特許文献2。中心が座標系の原点に置かれた右画像用平板の3次元行ベクトルを[001]、座標変換再配置を行ったときのその平板のその行ベクトルを[xy1]とする。なお、そのベクトルの3番目の要素の1は同次座標表現における1である。9.1節、9.2節、9.3節に示したズレ補正の手続きを手順1、手順2、手順3と呼ぶことにするが、これらの手続きにおける補正の変換行列の要素は表2に示されている。この表に記載された変換行列は概念的なものであり、実際には原点の定め方によってはさらなる変換が必要となる場合がある。この表には、後述するアスペクト比の補正の手順を手順4と呼び、その変換行列も記載されているが、この補正については10.3節で述べる。また、それらの間の変換順序は10.4節で述べるが、手順1から手順4までの順で変換再配置を行う必要がある。すると、そのときの右画像用平板の3次元行ベクトル[xy1]は、以下の数27によって座標変換再配置が行われるのである。ただし、基準となる左画像用平板に対しては、それは固定されているので、変換行列Mt1要素pは零、Mt2要素tは零、Mr要素の三角関数のθは零は単位行列となり、結果として手順4のアスペクト比補正の変換のみが行われる。なお、手順1に先立ち、閲覧用の座標変換、すなわちズーミングによる拡大縮小変換と平面内を移動することによる平行移動変換が行われるが、これについては説明を省略する。10.2節融像式を用いた画像の再配置の説明手順2の左右画像のズレ補正について、6.2節4項で述べた数17の実用的な融像式を用いて、2DCGの持つ座標変換の機能は左右画像の左右のズレの補正を如何にして行うのかを説明する。右画像用平板のx軸に対する最適な再配置の値tは、倍率mを用いて実用的な融像式によって求められる。ところで値tは、表2に示すようにアフィン変換行列Mt2の要素となっている。閲覧者がズレ補正のためのズーミンング操作を行うと、この値tは、倍率mによって融像式から算出される。そして、この値tに基づいてアフィン変換行列Mt2が演算され、右画像用平板の3次元行ベクトル[xy1]が算出される。そして、この行ベクトルを用いて、2DCGの持つ座標変換機能は、右画像用平板を最適な位置へと再配置するのである。10.3節アスペクト比の変換手順1から手順3までの補正に加え、画像に関する手順4のアスペクト比横/縦の値の補正を行う必要がある。通常の写真はアスペクト比が1.333であり、XGA4対3型解像度対応のパソコンを用いて同型画面の立体ディスプレイに出力する場合には、アスペクト比の問題は生じない。しかし、それを横長の最近のワイドに表示すると横に像が広がるために、横幅を調整する座標変換を必要がある。例えば、XGA4対3型解像度対応のパソコンを用いて5対3型画面のワイド型立体ディスプレイに出力する場合、そのままでは立体像の幅は太くなるので、本来の立体像の幅に戻すため、パソコン側の画像のアスペクト比を0.8倍にする必要が生じる。このときの修正されたアスペクト比は1.333×0.8となるが、写真のアスペクト比1.333を基準とした比率を換算アスペクト比と定めると、そのときの画像の換算アスペクト比は0.8となる。また、立体フォーマットがサイドバイサイドフォーマットである立体ディスプレイを表示装置とする場合、ステレオフォトビューアの立体フォーマットも同様のサイドバイサイドフォーマットにする必要がある。そのため、左右画像それぞれの換算アスペクト比をさらに1/2倍しなければならない。ちなみに、XGA型解像度対応のパソコンから5対3型画面のワイド型立体ディスプレイにサイドバイサイドフォーマットで出力する場合には、左右画像のそれぞれの換算アスペクト比は、0.5×0.8、すなわち0.4ということになる。換算アスペクト比は、横をr、縦をsで表わすと、r/sであり、値rとsはパソコンの対応解像度と立体ディスプレイの画面サイズから計算で求められる。画像用の左右平板の拡大縮小についての座標変換は、値rとsがアフィン変換行列Msの要素になる。10.4節座標変換の順序行列演算においては、その演算順序が重要である。順番を間違えると正しい結果を得ることは出来ない。10.1節で述べた補正のための行列演算の順序は、手順1→手順2→手順3→手順4の順序で行うものとする。ただし、手順1と手順2は、行列の演算順序には依存しないので、数学的にはどちらが先でもかまわないが、実際には、最初は未調整の立体写真で目視確認実験を行うので、手順1の上下の補正この補正を最初に行わないと立体像が融像しない場合もあるを先に行う必要がある。10.5節座標変換の事例上記で示したアフィン変換が実際の2DGGにおいては、どのように記述されるのかを、Java2DAPIを用いて開発されたSPVステレオフォトビューアに基づいて開発された立体写真閲覧ソフトを例として説明しよう。そのプログラムの主要部分を図10に示す。他の2DCGでも記述の流れは、ここに示す例とほぼ同じと考えてよい。図10aのプログラムは、左画像用平板を固定して、右画像用平板に対してx軸とy軸に沿った平行移動手順1と手順2と左画像の平板の中央を中心とした回転手順3を行うことによって、右画像用平板を左画像平板に対して再配置している。その結果、左右の画像間のズレを調整することが出来るのである。また、手順1の前の部分では、閲覧者のマウス操作によるズーミング用の拡大縮小変換とシフト用の平行移動変換を行っている。図10bのプログラムは、Java2DAPIの座標変換メソッド非特許文献2の使用例と実用的な融像式の例を示す。このように2DCG図10ではJava2D-APIの座標変換機能を使用すると、右画像用平板の再配置という主要課題を簡単に記述すること出来る。なお、掲載したプログラムは、見やすいように整理して体裁を整えたもので、細部は一部省略してあり、完全なものではないこと、また、このJava2D-APIプログラムの事例では、原点は平板画像の左上を原点としているので、平行移動変換が多用されていることに注意されたい。第11章ステレオフォトビューア方式に基づくSPVの開発11.1節SPVの実現方法とそのプログラム構造本発明の発明者はステレオフォトビューアを設計する当たり、2DGCの画像処理機能を利用することを着想し、その一般的な概念を第10章までに示した。本章以降はその設計概念に基づいて本発明の発明者によって開発されたSPVの説明である。SPVでは2DCGとして、Java2D-APIを採用した非特許文献2。Java2DはJava登録商標プログラム言語が親言語となっている。画像処理および座標変換アフィン変換部分は、Java2Dが担っている。Java2D-APIを用いたソースコードは、Java登録商標コンパイラによって翻訳され、Java登録商標仮想マシンによって実行される。Java登録商標プログラム部分は、左右の画像を生成し、その2つの画像のズーミング等における同期をとっている。従ってSPVの立体フォーマットは、サイドバイサイドフォーマットを採用している。図11にJava登録商標、Java2D-APIの連携関係を示し、以下には言語などが司る機能を箇条書きにしておく。なお、SPVはJava登録商標を採用しているため、OSには依存せずに稼動する。●Java2D-API座標変換を行い、左右画像を適切に再配置する。変換行列の設定テクスチャー機能の活用●Java登録商標言語Java2Dの親言語として働く。左右の2画面の設定ズーミングのためにスクロール機能の活用ズーミングにおける左右画像の同期保持自動ズーミング機能のためにスレッド機能の活用立体写真の情報保存11.2節SPVの実際SPVには、各種の操作ボタンが用意されている。その主要なボタンとその働きを以下に示す。●ズレ補正ボタンズレを補正して立体写真としての完全なステレオペアを作るボタンHボタン左右のズレを補正する融像式の定数bを決定する。Vボタン上下のズレを補正する。θボタン傾きによるズレを補正する。●深度設定ボタン最適な遠近的立体感を定めるボタンDボタン遠近的立体感を定める融像式の定数aを決定する。●アスペクト比設定ボタンアスペクト比を設定するボタンAボタン立体像をウィンドウ表示画面のアスペクト比に適合させる。●2重層化ボタン左右画像のズレの検知するために左右の画像を重ね合わせるボタンDBLonボタン右画像の上に左画像を半透明で重ねる。DBLoffボタン上記機能を解除する。●ズーム機能ボタン立体写真をズーミングするボタンZMonボタン立体写真の任意箇所をズーミングする。ZMoffボタン上記機能を解除する。●ズーミング領域設定ボタンズーミング対象の領域位置を設定するボタンTGonボタン設定を行った後、ズームング対象位置をマウスクリックによって特定する。TGoffボタン設定を解除する。●閲覧機能ボタン立体写真を閲覧する際に使用するボタンNEXTボタン次の立体写真を見る。BACKボタン前に表示した立体写真を見る。AUTOボタンフォトフレームのように自動表示を行い、複数枚の立体写真を繰り返し見る。自動ズーミングも行う。●記録ボタン融像式のパラメータa、bなどを記録するボタンRECボタン内蔵するファイルに立体写真のデータを記録保存する。●倍率設定バー画像の倍率を定めるスクロールバーSバー画像を任意の倍率に設定する。図12に実際に開発したSPVの画面を掲げ、図13に画面の下部に設定されている操作ボタンの拡大図を示す。図13における最下段のズレ補正ボタンについての使用法について、多少述べておく。これはカメラ撮影する際に発生するステレオペアのズレを補正するためのボタン群であり、閲覧前の事前準備として用いる。閲覧者によって補正ボタンがクリックされる度に、SPV内部で微小な値が作られる。この値に基づいてクリック毎に座標変換が瞬時に行われ、右画像用平板が左画像用平板を基準として再配置されていく。閲覧者はその度に、左右画像から生成される立体像を自身の目で確認する。例えば上下補正を行うVボタンSIGNボタンでと-に切り替わるのプラスボタンをクリックすると、右画像用平板が上方に微小移動する。最適な立体像が生成するまで、Vボタンのプラスボタンあるいはマイナスボタンをクリックして立体像の状態を微調整するのである。11.3節SPVにおけるズレ補正等の操作SPVでは、立体フォーマットがサイドバイサイドフォーマットであるディスプレイ装置のために、左右の画像を重ね合わせる機能を持っている。この機能を用いると、立体メガネを装着しないで行うズレ補正を簡単に実行できる。このディスプレイ装置を用いる場合には、画面の左半分に左画像、右半分に右画像がそれぞれ、横に1/2倍で表示される。そこで、DBLonボタンをクリックして右画像の部分に基準の左画像を半透明化したイメージを重ね合わせる。左右画像は重なり合っているので、左右の重なりを見ながら、基準の左画像に合わせて右画像の位置を調整していく。重ねあわせ操作が終了したら、DBLoffボタンをクリックする。1上下のズレ補正この補正は立体メガネを装着しない補正である。立体写真の撮影者閲覧者者でもあるは、撮影した立体写真をSPVによって内部に保持されているフォルダーにファイル名を付けて格納する。写真は、閲覧機能のNEXTボタンで呼び出して、写真毎の補正を次のように行う。最初は補正機能のVボタンと-の2種類のクリックによって、目視判定で左右画像が上下で重なり合ってズレがない状態にする。そしてそのズレを補正するp値をRECボタンをクリックすることによりビューア内部に記録保存する。2傾きによるズレ補正次に傾きによるズレ補正を行う。この補正は立体メガネを装着しない補正である。補正機能のθボタンと-の2種類のクリックによって、目視判定で左右画像が重なりあって、傾きによるズレがない状態にする。そしてそのズレを補正するθ値をRECボタンをクリックすることによりビューア内部に記録保存する。なお、事前の視覚実験においては、立体写真の撮り方にもよるが、この補正を行わなければならない対象の立体写真はごく僅かであった。3左右のズレ補正次に左右のズレ補正を行う。この補正は最初、立体メガネを着用しないで補正を行い、次に融像する立体像を立体メガネを用いて確認する。8.2節1項で示したように、マウスによるズーミング操作で立体写真の遠景領域のある部分を解像度限界拡大限界倍率m0まで拡大ズームインする。そしてこの状態のもとで補正機能のHボタンと-の2種類をクリックして、遠景の拡大部分で左右画像が重なり合ってズレのない状態にする。この判定は目視で行う。そしてその状態で、立体メガネを装着して立体像が画面上の位置に生じるかどうかを確認する。立体像を画面の位置で融像できれば、左右のズレを補正するパラメータbの値をRECボタンをクリックすることによりビューア内部に記録保存する。4遠近的立体感の調整最後に遠近的立体感の調整を行う。この補正は立体メガネを装着した立体視で行う。Dボタンと-の2種類をクリックして、目視判定により立体像全体の遠近感が適切に得られるようにする。まず、8.2節2項で示した縮小限界倍率m1までズームアウトした状態でDボタンをクリックする。そして、立体像が適切な遠近感のもとで融像できれば、遠近を規定するパラメータaの値をRECボタンをクリックすることによりビューア内部に記録保存する。遠近的立体感の補正は、画像のズレ補正というよりも調整というものであるので、適切なまたは好みの遠近感が得られれば、それでよい。上記1項、2項、3項についてのズレ補正は、それが正しく行われないと、完全な立体視を行うことが出来ない。3つのズレ補正と上記4項の調整にかかる時間は、慣れれば1枚の立体写真について数分程度である。SPV内部には、立体写真の任意の枚数分について、上記のa、b、p、θの値を記録保存するテーブルが用意されている。以後閲覧する際に、これらのテーブル値が自動的に使用される。5アスペクト比の選択と閲覧の方法閲覧の開始時に、立体ディスプレイ装置の画面サイズと立体写真のアスペクト比を適合させるために、Aボタンと-の2種類をクリックすると、SPVは立体ディスプレイ画面等からアスペクト比を自動的に算出するので、閲覧者は適切なアスペクト比を選択する。実際の閲覧に際しては、AUTOボタンをクリックすると、フォトフレーム現在販売されている物の多くが非立体写真用のように、SPVは複数枚の立体写真を自動的にズーミングしながら表示し続ける。また閲覧者がNECTボタンあるいはBACKボタンをクリックすると、特定の立体写真に対して任意のズーミング操作を行うことができる。第12章おわりに1補足3Dグラフィックスへの応用について本明細書で述べた立体視におけるズーミング機構は、3Dグラフィックスの3次元仮想空間の技術へ応用することが可能であり、それは簡単であることを以下に示す。3DCGにおいては、仮想空間内に視点を持った仮想人間通常アバターと呼ばれるを置き、そのアバターが仮想空間内を動き回ってウォークスルーして眺めた周りの光景をディスプレイ装置に表示する方式を採用している。アバターは2つの眼を持ち、その視点は、仮想空間内に置かれた平板に貼られた画像をある距離zから眺めているのである。数17の実用的な融像式の中で用いられている2DCG平面の属性変量である画面上の倍率mを、3DCG空間の属性変量であるアバターの視点から画像までの距離zに置き換えればよい。この距離zとディスプレイ画面上に投影された画像の倍率mは反比例の関係、にあることからkはzとmの反比例の定数、z0×m0=k、z1×m1=kなので、数17に倍率mを代入すると、が得られる。また、数19の倍率mの範囲、m1≦m≦m0は、次のように、距離zの範囲に変換できる。ちなみにz0は接近限界距離、z1は後退限界距離というべきものである。このように、仮想空間内のアバターの視点から画像を貼った平板までの距離zに関するt座標の座標変換式が得られる。数29は3Dグラフィックスにおける仮想空間をウォークスルー画像への接近や画像からの後退する際の実用的な融像式となり、定数kを1としたときのパラメータa、bは、第8章で述べた視覚実験で決定されるパラメータである。なお、本発明の発明者は、3DグラフィックスであるVRML言語とJavaScript言語、HTML言語を用いたSPVと同様な立体写真閲覧ソフトを開発した。仮想空間用の融像式は数29を用い、性能的にはSPVと全く同じものを作ることができた。2結論ステレオビューアに基づくSPVの有用性について本明細書では、立体写真をズーミングして眺めることが出来る、2DCGの技術を用いたステレオフォトビューアの新しい方式を提案し、それを実現したSPVを紹介した。2DCGの画像処理技術を単に用いるだけでは、立体写真の左右画像ステレオペアにおける微小なズレがズーミング途中で拡大してしまい、結果的に立体視ができなくなる。これを解決するために、立体視の原理から実用的な融像式を導出し、その式のパラメータを立体像の目視による判定実験から決定する方法を考案した。この融像式により立体写真の解像度限界まで任意の領域をズーミングしても、微細な領域の立体像を2重像の発生を伴わないで綺麗に再生することが可能となったのである。立体写真の撮り方によっては、遠景と近景が著しく離れて混在する写真となってしまう場合がある。そのような特殊な立体写真に対しては、SPVはすべての2重像の発生を完全に防ぐことが出来るという訳ではない。しかし、本明細書で述べたような2重像の発生を融像式で抑制するSPVの開発は、立体視システムの世界では従来無かったと思われる。実際に富士フィルム社製のデジタルカメラA220を2台用いて1200万画素数のステレオペアを作成し、SPVを用いて実験したところ、10倍程度までズーミングすることが出来た画像の粗さを許せば、それ以上の倍率でズームインが可能であった。使用した立体ディスプレイ装置は、Dimen社製G170P偏光メガネ式ディスプレイ装置で、解像度はXGA1024×768であった。また、融像式を用いない場合には、ズームアウトの状態からズームインを行うと、その進行に伴って本来ならば立体像が閲覧者の方向に拡大して迫ってくるはずであるが、実際には画像が拡大する状態で、立体像は徐々にその位置を後退させるように見えたりする。このような現象は3Dビデオ映像のズーミング撮影においても起こるのである非特許文献3。しかし、融像式を用いることにより、このような現象の発生を抑えることが可能になったのである。SPVは2DCG技術を駆使しており、立体写真のズレの補正、すなわち左右画像の再配置は、2DCGの持つアフィン変換行列にその計算をさせることによって簡単に行われる。また、2DCGのアニメーション機能を用いて、立体写真の任意箇所に自動ズーミングを行うことができる機構を設けているので、SPVは、立体フォトフレームのソフトウェアプロダクトとして利用することが可能である。"