(57)【特許請求の範囲】
【請求項１】
閲覧者の左目と右目とに、それぞれ、左目用画像と右目用画像とを提示する立体表示装置と、上記立体表示装置に上記左目用画像と右目用画像とを供給する表示制御装置と、を備え、予め撮影された立体写真画像表示用の左目用画像と右目用画像とを閲覧者に提示する立体写真ビューアであって、
立体表示装置の表示面の奥に融像するように該表示面に表示された画像における左目用画像と右目用画像のずれの間隔Ｄについて、ズームインによる倍率の増加に従って間隔Ｄを単調に減少させることで、該ズームインにおける上記左目用画像と右目用画像との融像による立体像の位置が、上記閲覧者からみて手前に移動するようにズーミングするか、
または、立体表示装置の表示面の奥に融像するように該表示面に表示された画像における左目用画像と右目用画像のずれの間隔Ｄについて、ズームアウトによる倍率の減少に従って間隔Ｄを単調に増大させることで、該ズームアウトにおける上記左目用画像と右目用画像との融像による立体像の位置が、上記閲覧者からみて奥に移動するようにズーミングするものであって、
上記立体表示装置に表示する上記左目用画像と右目用画像とは、一対の立体写真画像から生成されるものであり、
その生成に当たっては、上記一対の立体写真画像を倍率ｍで拡大または縮小して上記左目用画像と右目用画像を生成するものであり、
上記ズーミングは、上記左目用画像の端点と上記右目用画像の端点とを揃えた状態を基準とし、上記倍率ｍの関数として上記左目用画像の端点と上記右目用画像の端点との距離ｔを変化させることで行い、
ズームインにおける上記融像による立体像の位置が、上記閲覧者からみて手前に移動するか、または、
ズームアウトにおける上記融像による立体像の位置が、上記閲覧者からみて奥に移動するようにズーミングするもので、
上記距離ｔは、上記倍率をｍとし、ａ、ｂ、ｋを定数とし、１≦ｎ≦２なるｎについて、ａ×（１／ｍ−ｋ）n＋ｂとなる、倍率ｍの関数であることを特徴とする、ズーミング可能な立体写真ビューア。
【請求項２】
上記定数ｂは、上記立体写真画像のズームイン対象領域中で選択された比較的遠景領域と比較的近景領域について、上記比較的遠景領域を拡大限界倍率ｍ0までズームインし、当該領域についての融像による立体像が、上記立体表示装置の表示画面上の位置で視認されるという条件で閲覧者により決定されるものであることを特徴とする、請求項１に記載のズーミング可能な立体写真ビューア。
【請求項３】
上記定数ａは、上記立体写真画像のズームイン対象領域中で選択された比較的遠景領域と比較的近景領域について、上記立体写真画像を縮小限界倍率ｍ1までズームアウトし、上記比較的近景領域についての融像による立体像が、上記立体表示装置の表示画面上の位置あるいはそれよりも後方の位置で視認されるという条件で閲覧者により決定されるものであることを特徴とする、請求項１に記載のズーミング可能な立体写真ビューア。
【請求項４】
上記定数ｋは、上記拡大限界倍率ｍ0の逆数であることを特徴とする、請求項３に記載のズーミング可能な立体写真ビューア。
【請求項５】
上記立体表示装置は、アナグリフ方式、液晶シャッター方式、偏光フィルタ方式、視差障壁方式、またはレンチキュラーレンズ方式のいずれか１つであることを特徴とする、請求項１から請求項４のいずれか１つに記載のズーミング可能な立体写真ビューア。
【請求項６】
上記立体表示装置に表示される画像における上記左画像と上記右画像は、上下のズレおよび傾きによるズレを予め除去されたものであることを特徴とする、請求項１から請求項５のいずれか１つに記載のズーミング可能な立体写真ビューア。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体写真を閲覧する際に、一部を拡大する場合でも閲覧者がその立体像の自然な融像を閲覧できるようにしたズーミング可能な立体写真ビューア（ＳＰＶ）に関するものである。
【背景技術】
【０００２】
以下に述べるＳＰＶとは、大まかには、例えばパソコンに立体写真閲覧ソフトウェアを導入して滑らかにズーミングしながら立体写真を閲覧することを可能ならしめた立体写真閲覧装置である。
【０００３】
従来の立体写真閲覧装置でズーミングすると、立体表示装置上の微細な領域を拡大する過程で、それまで生成していた立体像が２つの像へと分裂していき、閲覧者がその立体像を感知出来ないという状態が生じる。この状態は、閲覧者の立体視能力がその限界を超え、立体像を融像できないということから起きる。この２つの像を本明細書では、“融像崩壊による２重像”（あるいは、単に２重像という）と呼ぶことにする。このときの２重像は、単に平坦な２つの像がズレて重なったものである。（なお、立体表示装置分野においては、主にハードウェア特性から生じる“クロストークによるゴースト”と呼ばれる２重像と似た現象もあるが、これは本明細書では扱わない）。
【０００４】
本発明は、２次元コンピュータグラフィックス（２ＤＣＧ）の画像処理技術を応用してズーミングしても融像の奥行き位置が変わらず、また、２重像が発生しないようにしたＳＰＶである。これは、本発明の発明者の立体像生成の仕組みの分析に基づく「融像式」を用いたものである。この融像式は、ＳＰＶにおけるズーミングを司るものであり、実施例１において説明する。
【０００５】
本発明の対象とする立体写真は、２台のカメラを雲台と呼ばれる支え台に取り付けて、レンズの間隔を経験的に定めて左右画像（一対の立体写真という）を撮影したもの、あるいは、それと同等な手法で撮影したものである。この方式は、２つのレンズの間隔を雲台上で自由に変えることができるために、近景から遠景までの立体写真を撮影することが可能である。この立体写真は、その一対の立体写真の間で上下あるいは傾きにズレがあれば、ＳＰＶに備わっている補正機能を用いて、事前にそれが除去されているものとする。これは一対の立体写真から立体像を視認することができる重要な要件である。
【０００６】
このような一対の立体写真は、種々の立体写真閲覧装置を用いて眺めるというやり方で、昔から愛好者に楽しまれている。この立体写真閲覧装置は、１９世紀中頃からレンズ、鏡、プリズムを用いて作られている。
【０００７】
立体表示装置を用いる場合、通常、上記の様な立体写真は、撮影した画像のままを左右に並べただけでは、効果的な一対の立体写真となっていない。カメラ用雲台へのカメラの取り付けに撮影者の気付かない取り付けミスがあり、また、撮影時の雲台の傾きによって、左右画像の間での重ね合わせに、若干ではあるが無視できない程度の画像ズレが生ずることが度々起こる。
【０００８】
そこで、上記立体写真の２つの画像の上下や左右をトリミングしたり、画像を回転して傾きを直したりして、適切な一対の立体写真になる様に編集する必要がある。この作業は、最近では、例えばアドビ社のプレミア（登録商標）と呼ばれる画像・映像編集ソフトなどを用いて編集されるが結構やっかいである。このため、この様な編集を行うことができるＳＰＶが求められている。
【０００９】
２台のカメラで撮影された立体写真の奥行き感、すなわち立体感は、周知のように上記雲台上の２台のカメラ間の距離で決まり、その撮影の時点で決定される。また、個々の立体写真の立体感は、上記立体感の他に、立体写真の撮り方やそのときの撮影風景等によっても変わる。このため、それぞれの立体写真は、写真として固定された“固有の”立体感を持っている、と言える。そこで、その立体感を立体写真の「固有立体感」と呼ぶことにする。この「固有立体感」による個々の立体写真の奥行き感は、原理的に変更することが出来ない。
【００１０】
しかしながら、閲覧者の置かれた立体写真閲覧環境（例えば、パソコン立体表示ソフトで据え置き型の立体表示装置上に表示する）による立体感は「固有立体感」とは多少異なる立体感である。つまり、同じ立体写真であっても立体写真閲覧環境が異なれば、その立体写真から得られる立体像は立体表示装置の画面の前方に見えたり、後方に見えたり、あるいは画面付近に見えたりする。このように閲覧者が感じる立体感は、立体写真の「固有立体感」ではなく、その「固有立体感」に何らかの作用が加わったような立体感である。
【００１１】
そこで、閲覧者の感じる立体感を「遠近的立体感」、何らかの作用を「遠近ファクター」と呼ぶことにする。このとき、上記遠近的立体感は、上記固有立体感を上記遠近ファクターで修飾したものであることが分かる。これを、模式的に、次のように表すことにする。
「遠近的立体感」＝「固有立体感」×「遠近ファクター」
このモデルは、閲覧者が感じる立体写真の立体感は、立体写真固有の立体感に何らかの遠近感を発現させる因子が作用した結果の立体感である、ということを表わしている。そこで閲覧者の感じる「遠近的立体感」を、以下では、立体写真の「固有立体感」と「遠近ファクター」に分けて説明する。
【００１２】
このように「遠近的立体感」を「固有立体感」と「遠近ファクター」の２つに分けて立体写真の立体感を考察することで、ＳＰＶを設計する際の見通しが良くなる。例えば、上記の融像崩壊による２重像の発生を抑える工夫を、「固有立体感」と「遠近ファクター」の分析から具体化することが出来る。
【００１３】
まず、上記の固有立体感について、より詳しく説明する。
例えば、立体写真Ｓに３台の車が写っていて、それらが車Ａ、車Ｂ、車Ｃの順に手前から奥に並んでいるとする。ただし、上記の様に、上下あるいは傾きにズレがあれば、それが除去されているものとする。この立体写真Ｓにおいて「固有立体感」を生み出す要因の１つは、上記の様に、その風景を撮影した２台のカメラの２個のレンズ間隔である。その間隔が大きくなるに従って、立体写真から視認される立体像の奥行き感はより増すように感じられる。しかし、レンズ間隔がある値よりも大きくなると、閲覧者にとって立体像の融像が難しくなり、その限界を過ぎると立体像は２重像へと崩壊する。また、レンズ間隔が小さいと奥行き感は減り、間隔が零の場合には、結果的に２枚の同一画像を見ているのと同じで、立体感は感じられない。
【００１４】
一般に、立体写真におけるこのような撮影の条件は既によく知られており、一対の立体写真は、２台のカメラのレンズ間隔が適切な状態で撮影しておく必要がある。なお、この２台のカメラは、同一型で、同性能のカメラであることが原則であるが、もしそうでなければ、撮影された立体写真に対しては、事前に適切な補正を行っておく必要がある。また、表示装置が水平に設置されている場合は、それぞれのカメラのレンズの光軸の向きが同一平面で平行になるように雲台に設置され、その雲台は、水平に保持されるものとする。これを撮影条件Ａとする。
【００１５】
立体写真で固有立体感を生じさせる方法としては、レンズ間の間隔を所定の範囲に設定する効果の他に、輻輳による効果がある。この効果は、２つのレンズの向きを互いに交差するように設置する（撮影条件Ｂ）ことによる効果である。これは、撮影対象が十分遠方にある場合は、上記の撮影条件Ａの特別な場合であって、特定の撮影対象に注目する立体角を切り出したものとして近似することができる。ＳＰＶにおいては、撮影条件Ａを採用するが、撮影条件Ｂが適用された場合には、撮影された立体写真は補正の対象となる。
【００１６】
次に、上記の遠近的立体感について説明する。
本発明のＳＰＶとしては、例えば、パソコン上で表示画像が準備され、据え置き型の立体表示装置上に表示されるものを想定している。閲覧者がそのＳＰＶを通して立体写真を眺めた場合の立体感、すなわち「遠近的立体感」について、上述の立体写真Ｓの例を用いて説明する。この立体表示装置は、例えば、偏光メガネ方式や液晶シャッター方式で立体メガネと液晶ディスプレイを用いるものである。また、上記立体写真Ｓが上記立体表示装置に表示されるとき、上記のように、閲覧者は遠近的立体感を感じることができる。この遠近的立体感は、表示条件によっては、（イ）上記の車３台ともが上記立体表示装置の表示画面よりも手前に飛び出して見える、（ロ）上記の車３台ともが画面より奥に引っ込んで見える、あるいは（ハ）上記の車３台のうちの１台ないし２台の車が画面付近にあるように見える、というように知覚されるものである。しかし、上記の様に表示条件を変えても、上記の車３台同士のそれぞれの相対的な奥行き感は、不変であることが分かる。この不変な立体感が固有立体感であって、上記遠近的立体感は、この固有立体感を、画面の手前から奥のどの位置で上記の車３台を表現するかを決める遠近ファクターで修飾したものである。
【００１７】
上記した立体写真Ｓの閲覧において、閲覧者が最初に（イ）の場面の立体感を感じていても、ＳＰＶに「遠近ファクター」の機能が備わっていれば、閲覧者がそれを操作して、（ロ）の場面の立体感、あるいは（ハ）の場面の立体感を感じることが出来る。その具体的なイメージ図を図１０に示す。描かれた３つの図の中で、黒枠は画面を、また点線で示された立方体は立体空間を意味する。図１０（a）は立体空間が画面より手前に、図１０（ｂ）はそれが画面よりも後方に、図１０（ｃ）はそれが画面付近に、それぞれが配置された様に閲覧者にとって感じられる。
【００１８】
このような立体感覚は、机上型あるいはそれよりも大型の立体表示装置を用いる場合に明確に生じる感覚である。立体メガネなどの方式が異なる場合や、表示サイズが異なる場合など、状況によって立体感の強弱の程度は変わるが、閲覧者が感じる遠近的立体感は、上記固有立体感が遠近ファクターで修飾されたものであることは、変わらない。すなわち、立体写真の生成する立体空間の全体が、立体表示装置の画面位置に対して、どのような“遠近的な”位置関係で配置されているかが、閲覧者にとっては重要である。立体空間の配置のされ方、つまり遠近ファクターの程度によって、上記の車配置において、上記の場合（イ）、場合（ロ）、場合（ハ）の立体感が出現する。
【００１９】
なお、立体像の見やすさは主観的なものであるが、立体像は、立体表示装置の画面の手前に飛び出している（立体表示装置の画面より近くにある）よりも、多少立体表示装置の画面の後ろに奥まっている（立体表示装置の画面より多少遠くにある）方が閲覧者にとっては視認しやすいと、一般には言われている。
【００２０】
因みに、レンズや鏡などを用いた古典的な覗き見方式の立体写真閲覧装置あるいは立体ＨＭＤ（Head Mount Display：ヘッド装着型の超小型立体表示装置）を用いて立体写真を眺めた場合は、個人差もあるが、「遠近的立体感」は弱く、一見しただけでは立体写真の創り出す「固有立体感」がより強く感じられる。「遠近的立体感」を強く感覚するには、視野角（Angle of View）がより大きい方が望ましい。
【００２１】
特許文献１（特表平１０−５１３０１９号公報）には、左右の画像の位置をシフトして不一致度を変更し、その物体の感受される相対位置が動くようにして立体画像を見る方法が開示されている。しかし、この特許文献１には、どのようにシフトするかについては開示されていない。
【先行技術文献】
【特許文献】
【００２２】
【特許文献１】特表平１０−５１３０１９号公報
【非特許文献】
【００２３】
【非特許文献１】河合隆史、田中見和、「次世代メディアクリエータ入門１  −立体表現−」、カットシステムズ（2003）
【非特許文献２】中山茂、「Ｊａｖａ（登録商標）２−グラフィックスプログラミング入門−」、技報堂出版（1999）
【発明の概要】
【発明が解決しようとする課題】
【００２４】
従来の立体写真閲覧装置でズームインすると、立体表示装置の画像の微細な領域を拡大する過程で、融像した立体像が閲覧者から遠方に離れていき、やがて融像できない状態になる。また、ズームアウトのときには、立体像が手前に来るように感じられる。
【００２５】
このため、本発明では、ズーミングしても、融像が解かれることがなく、融像した立体像の奥行き位置について、閲覧者がその立体像の自然な融像を知覚できるようにしたズーミング可能な立体写真ビューア（ＳＰＶ）を実現する。
【課題を解決するための手段】
【００２６】
本発明のズーミング可能なＳＰＶは、閲覧者の左眼と右眼とに、それぞれ、左眼用画像と右眼用画像とを提示する立体表示装置と、上記立体表示装置に上記左眼用画像と右眼用画像とを供給する表示制御装置と、を備え、予め撮影された立体写真画像表示用の左眼用画像と右眼用画像とを閲覧者に提示するＳＰＶであって、
立体表示装置の表示面の奥に融像するように該表示面に表示された画像における左目用画像と右目用画像のずれの間隔Ｄについて、ズームインによる倍率の増加に従って間隔Ｄを単調に減少させることで、ズームインにおける上記左目用画像と右目用画像との融像による立体像の位置が、上記閲覧者からみて手前に移動するようにズーミングするか、
または、立体表示装置の表示面の奥に融像するように該表示面に表示された画像における左目用画像と右目用画像のずれの間隔Ｄについて、ズームアウトによる倍率の減少に従って間隔Ｄを単調に増大させることで、ズームアウトにおける上記左目用画像と右目用画像との融像による立体像の位置が、上記閲覧者からみて奥に移動するようにズーミングするものである。
【００２７】
上記立体表示装置に表示される画像における左画像と右画像の同じ対象物間の上記間隔Ｄは、上記倍率をｍとし、αおよびβを定数とし、０≦ｐ≦１なるｐについて、
【００２８】
【数１】
0005214040.tif 000002
【００２９】
のように比例して変化させることで、ズームインにおける上記融像による立体像の位置が、上記閲覧者からみて手前に移動するようにズーミングするか、または、ズームアウトにおける上記融像による立体像の位置が、上記閲覧者からみて奥に移動するようにズーミングすることもできる。
【００３０】
上記立体表示装置に表示する上記左目用画像と右目用画像とは、一対の立体写真画像から生成されるものであって、
その生成に当たっては、上記一対の立体写真画像を倍率ｍで拡大または縮小して上記左目用画像と右目用画像を生成するものであり、
上記ズーミングは、上記左目用画像の端点と上記右目用画像の端点とを揃えた状態を基準とし、上記倍率ｍの関数として上記左目用画像の端点と上記右目用画像の端点との距離ｔを変化させることで行い、
ズームインにおける上記融像による立体像の位置が、上記閲覧者からみて手前に移動するか、または、
ズームアウトにおける上記融像による立体像の位置が、上記閲覧者からみて奥に移動するようにズーミングするものである。
【００３１】
特に、上記の距離をｔとして、その関数は、０≦ｎ≦１なるｎについて、（１／ｍ−定数）n+1に比例する項と定数項との和からなる。つまり、ａ、ｂ、を定数とし、倍率ｍの下限と上限をそれぞれｍ1とｍ0とするとき、次式の右辺である。
【００３２】
【数２】
0005214040.tif 000003
【００３３】
上記定数項ｂは、上記立体写真画像のズームイン対象領域中で選択された比較的遠景領域と比較的近景領域について、上記比較的遠景領域を拡大限界倍率ｍ0までズームインし、当該領域についての融像による立体像が、上記立体表示装置の表示画面上の位置で視認されるという条件で閲覧者により決定されるものである。
【００３４】
また、上記（１／ｍ−定数）n+1の比例係数、つまり、ａ／（１／ｍ1−１／ｍ0）n+1における定数ａは、上記立体写真画像のズームイン対象領域中で選択された比較的遠景領域と比較的近景領域について、上記立体写真画像を縮小限界倍率ｍ1までズームアウトし、上記比較的近景領域についての融像による立体像が、上記立体表示装置の表示画面上の位置あるいはそれよりも後方の位置で視認されるという条件で閲覧者により決定されるものである。
【００３５】
上記定数項ｂは、上記立体写真画像のズームイン対象領域中で選択された比較的遠景領域と比較的近景領域について、上記比較的遠景領域を拡大限界倍率ｍ0までズームインし、当該領域についての融像による立体像が、上記立体表示装置の表示画面上の位置で視認されるという条件で閲覧者により決定されるものとするとき、
上記（１／ｍ−定数）n+1における定数は、上記拡大限界倍率ｍ0の逆数である。
【００３６】
上記立体表示装置は、特に、アナグリフ方式、液晶シャッター方式、偏光フィルタ方式の立体メガネ方式、または視差障壁方式、レンチキュラーレンズ方式の裸眼方式のいずれか１つを用いることができる。
【００３７】
上記立体表示装置に表示される画像における上記左画像と上記右画像は、上下のズレおよび傾きによるズレを事前に除去されたものである。このため、もし左右画像間で上記のズレが存在する場合に、ＳＰＶはそれを除去（あるいは補正）する機能を備えることが必要であるが、そのズレが僅かであれば除去なしで許容できる場合もある。
【発明の効果】
【００３８】
ズームイン、ズームアウトの際に融像が解かれて２重像となることがなく、自然な立体像を閲覧者に知覚させることができるようになる。
【図面の簡単な説明】
【００３９】
【図１】本発明における立体写真画像は、撮影対象の３次元物体を、左右のカメラで、それぞれに撮像したものであることを示す図である。
【図２】撮像面に固定された画像は、左右それぞれの投影レンズによって左右の立体写真の画像として投影されて、立体写真となることを示す図である。
【図３】上記立体表示装置上の左眼用の画像の端面と右眼用の画像の端面とを揃えて表示する場合の融像位置を示す図である。この場合、同一の撮影対象物について、上記立体表示装置上の左眼用の画像の黒丸点は、右眼用の画像の白丸点の右に位置する。これらの黒丸点と白丸点による融像である立体像は、上記画像の表示画面から閲覧者側に近い位置に融像し、閲覧者は上記画面から飛び出した画像を知覚することになる。
【図４】立体表示装置上の左眼用画像と右眼用画像との間隔Ｄを縮めた場合、と、閲覧者と立体表示装置間の距離を変えた場合の融像の位置の変化を示す図である。まず、間隔Ｄを縮めることによって、つまりＤ1＞Ｄ2とすることによって、融像位置を閲覧者に近づけるとのができる。また、距離Ｌを縮めることによっても、つまりＬ1＞Ｌ2とすることによっても、融像の位置を閲覧者に近づけるとのができる。
【図５】閲覧者の左眼と右眼の間隔をｅ、立体表示装置上の左眼用の画像から、右眼用の画像までの間隔をＤ、立体表示装置の表示画面から融像までの奥行き間隔をｕ、上記閲覧者と上記立体表示装置との距離をｈとするとき、３角形の高さと底辺の長さとの比を用いて、ｕ＝ｈ×Ｄ／（ｅ−Ｄ）、なる関係がある（非特許文献１）。（ａ）はＤが正の場合、（ｂ）はＤが負の場合である。
【図６】（ａ）は、ｅ＝６．５ｃｍ，ｈ＝１００ｃｍの場合のｕとＤとの関係、ｕ＝ｈ×Ｄ／（ｅ−Ｄ）、を示す図である。（ｂ）は、表示画面上の注目領域の左眼用画像（黒丸）と右眼用画像（白丸）との間隔を操作して、融像の位置を調整することを示す図である。例えば、区間Ｐ［ｘ0、ｘ1］に立体写真のＤが分布している場合に、移動ｒ1を行うことで、区間Ｐ’に分布を移すことができ、この場合は、表示画面の奥に融像による立体像が視認される。
【図７】従来のズーミング方法を示す図である。従来は、表示画面上で、右眼用画像と左眼用画像とを一緒に任意の点を中心として比例縮小拡大して表示している。融像による立体像は、ズームインの際により遠方に遠のくように感じられ、ズームアウトの際には、近づいてくるように感じられる。
【図８】立体表示装置上の左眼用画像と右眼用画像で注目するそれぞれの丸点の位置を固定したまま、そのそれぞれの丸点を中心として画像を拡大する場合は、２つの丸点の融像による立体像についてその奥行き位置を変えずに拡大することができることを示す図である。ｈ、ｅ、Ｄの値を変えずに、注目する領域の位置（点）を固定したまま左眼用画像と右眼用画像をその位置（点）を中心として拡大縮小することで、奥行き位置ｕの変わらないズームイン、ズームアウトができる。
【図９】（ａ）、（ｂ）は、図２での投影レンズによる拡大を模式的に示した図である。（ａ）は、等倍のズーム投影レンズによる写真である。黒丸点は、ズーミングで位置の変わらない拡大の中心線からの距離がａであるとする。これを、（ｂ）に示すようにｍ倍にズーミングすると、ズーム投影レンズと表示画面間の距離は変わらず、また、拡大の中心線からの距離は、ｍ×ａとなる。このようなズーミングを、左眼用画像と右眼用画像とについて取り扱い易くするために、図９（ｃ）に示すように、左右の写真は、それぞれの投影レンズからの距離に比例して基準の写真サイズに比べて拡大されるものとし、その倍率をｍ倍とする。図中、ＰL、ＰRは拡大の中心点ＣL、ＣRから延びる平行線である。これは通常、左（または右）目の視界の中心線に相当する。上記左眼用画像と右眼用画像において表示画面１に表示された注目する丸点の位置をそれぞれの線ＰL、ＰRから測る。また、丸点がｍ倍されて上記表示画面２に表示されるものとする。（ｄ）は、上記（ｃ）の線ＰL、ＰRを揃えて表示する場合の図である。これによって表示画面２上の注目領域の左眼用画像（黒丸点）から右眼用画像（白丸点）に延びるベクトルを｛Ｄｄ｝とするとき、｛Ｄｄ｝＝ｍ（｛ｂ｝−｛ａ｝）である。この画像を閲覧者が見た場合、黒丸点が右、白丸点が左にあり、また、ズーミングの上記倍率ｍに従って、黒丸点と白丸点間の間隔が増大するので、上記表示画面２からより閲覧者近くに融像による立体像が視認されることが分る。
【図１０】立体空間の画面に対する相対位置を示す図で、（ａ）は立体空間が画面より手前に、（ｂ）はそれが画面よりも後方に、（ｃ）はそれが画面付近に、それぞれが配置されて様に閲覧者にとって感じられる場合を示す模式図である。ここで、図中で、黒枠は画面を、また点線で示された立方体は立体空間を意味する。
【図１１】一対の立体写真（左眼用画像と右眼用画像）が立体表示装置画面に描画されることを示す概念図であり、ＳＰＶを上部からｙ軸の負の方向に向かって眺めた鳥瞰図である。２つの平板にはそれぞれ左眼用画像と右眼用画像が貼られており、右眼画像の平板は左右に可動となるようにする。左画像と右画像のそれぞれ対応する２つの点（左眼用画像と右眼用画像のズレの間隔はｄ）は画面上に投影される。図中では画面への投影について、左画像の点による投影点は黒丸点で、右画像による投影点は白丸点で示している。画面上の丸点間の間隔をＤとする。閲覧者はこの画面の投影点を右眼で白丸点を、左眼で黒丸点を眺めることにより、その点についての融像による立体像を視認する。
【図１２】左眼用画像と右眼用画像での同一対象領域の位置のズレの値ｄによる融像の位置を示す図である。立体表示装置の表示面の左眼用画像と右眼用画像上での上記同一対象領域のズレの間隔Ｄは、上記ｄに比例する。（ａ）は、ｄ＞０で、上記立体表示装置の表示面より奥に融像による立体像が視認される場合を示す。ズレの値ｄが増加するように、上記平板に貼られた右画像をｘ軸正方向に移動させると、画面上に投影された白丸点も同じ方向に移動し、融像による立体像は閲覧者から後退する。また、（ｂ）は、ｄ＜０で、上記立体表示装置の表示面より前に融像による立体像が視認される場合を示す。ズレの値ｄが減少するように、上記平板に貼られた右画像をｘ軸負方向に移動させると、画面上に投影された白丸点も同じ方向に移動し、融像による立体像は閲覧者に近づく。また、（ｃ）は、ｄ＝０の場合で、左右の画像の黒丸点と白丸点が重なった場合を示す。画面上の両丸点は同じく一点に重なり、上記立体装置の表示面上の位置に融像による立体像が視認される。
【図１３】拡大限界倍率ｍ0、縮小限界倍率ｍ1、および数２のｔの値ｔ0、ｔ1の関係を示す図である。前進／後退ファクターｆの冪乗の指数ｎが１（壱）である場合の融像式は、点（ｍ0、ｔ0）、点（ｍ1、ｔ1）を通る関数である。また、その指数ｎが０であるの場合の融像式は、双曲線関数となる。
【図１４】一組の立体写真における望ましくない画像のズレの例を示す図である。（ａ）は、左右画像の間で上下にズレている場合、（ｂ）は、２つの画像の間で右画像が左側に大ききくズレる場合、（ｃ）は、右画像あるいは左画像がその中央を中心に傾いて（あるいは回転して）いる場合を示す図である。
【図１５】上記の一組の立体写真の左右画像の間で生じるズレを補正するためのアフィン変換を示す図である。このアフィン変換は、既に知られている２ＤＣＧの座標変換機能を用いて行うことが出来る。ズレの補正は、立体写真の右画像用写真を貼り付けた右画像用平板を２次元平面上で再配置することで、上記の座標変換、つまり、線形変換と平行移動を行うアフィン変換で行うことが出来る。このアフィン変換は、拡大係数行列（アフィン変換行列Ｍ）を用いて３行３列の行列の積として表現される。
【図１６】アフィン変換のプログラムの主要部分を示す図である。（ａ）に示すプログラムは、左画像用平板を固定して、右画像用平板に対してｙ軸およびｘ軸に沿った平行移動（手順１と手順２）と左画像の平板の中央を中心とした回転（手順３）を行うことによって、右画像用平板を左画像平板に対して再配置している。また、表示画面と立体写真のアスペクト比が不一致の場合、その補正を行っている（手順４）。その結果、左右の画像間のズレや縦横の比率を調整することが出来る。また、手順１の前の部分では、閲覧者の操作によるズーミング用の拡大縮小変換とシフト用の平行移動変換を行っている。（ｂ）に示すプログラムは、Ｊａｖａ（登録商標）２Ｄ−ＡＰＩの座標変換メソッド（非特許文献２）の使用例と融像式の例を示す。
【図１７】開発したＳＰＶの例を示す図である。このＳＰＶでは２ＤＣＧとして、上記のＪａｖａ（登録商標）２Ｄ−ＡＰＩを採用した。Ｊａｖａ（登録商標）２ＤはＪａｖａ（登録商標）プログラム言語が親言語となっている。画像処理および座標変換（アフィン変換）部分は、Ｊａｖａ（登録商標）２Ｄが担っている。Ｊａｖａ（登録商標）２Ｄ−ＡＰＩを用いたソースコードは、Ｊａｖａ（登録商標）コンパイラによって翻訳され、Ｊａｖａ（登録商標）仮想マシンによって実行される。Ｊａｖａ（登録商標）プログラム部分は、２台のカメラで撮影された左右２つの立体写真画像を読み込み、その２つの画像のズーミング等における同期をとっている。従ってＳＰＶの立体フォーマットは、立体写真や映像の世界で標準となっているサイドバイサイド・フォーマットを採用している。
【図１８】本発明のＳＰＶで、閲覧者が、各立体写真について設定を行うために用いる複数の操作ボタンを示す図である。
【図１９】表示画面における上記操作ボタンの位置を示す図である。
【発明を実施するための最良の形態】
【００４０】
以下に、この発明の実施の形態を図面に基づいて詳細に説明する。以下の説明においては、同じ機能あるいは類似の機能をもった装置に、特別な理由がない場合には、同じ符号を用いるものとする。
【００４１】
本発明における立体写真画像は、図１に示すように撮影対象の物体を、左右のカメラで、それぞれ撮像したものである。そのカメラのレンズ間の距離は、撮影対象のサイズと視野角できまり、人物撮影の場合は通常６．５ｃｍ程度であるが、高層ビルなどの場合は、１〜２ｍ程度またはそれ以上になる場合がある。このような距離で、それぞれのレンズによる像は、各々の撮像面上に固定される。ここで、撮像面とは、フィルムやＣＣＤ撮像装置の感光面である。
【００４２】
撮像面に固定された画像は、図２に示す様に、左右それぞれの投影レンズによって左右の立体写真の画像として投影される。この投影レンズは、投影倍率を変えることができるズームレンズであるとする。図２の写真−左、写真−右を、それぞれ左眼、右眼で直接閲覧することによって、閲覧者は立体像を知覚することができることはよく知られている。なお、ここでの立体写真の画像とは、撮像面に固定された上記画像を光学的に投射することのみを意味するのではなく、その画像の写像についても含めるものである。例えば、ＣＣＤカメラでの撮影データをテレビ装置やコンピュータの表示装置に表示する画像も立体写真の画像とする。
【００４３】
図３は、上記立体表示装置上の左眼用の画像の端面と右眼用の画像の端面とを揃えて表示する場合の融像位置を示す図である。この場合、上記立体表示装置上の左眼用の画像は、一般に、右眼用の画像の右に位置し、融像による立体像は上記画像の表示画面から閲覧者側に近い位置で視認され、閲覧者は上記画面から飛び出した立体像を知覚することになる。ここで、図３の上記立体表示装置では液晶シャッター方式を用いる例を示すが、これに限定すべき理由は無く、アナグリフ方式や偏光フィルタ方式の立体メガネ方式、あるいは視差障壁方式やレンチキュラーレンズ方式などの裸眼方式を用いても、左眼用の画像と右眼用の画像とを用意することができる。
【００４４】
また、図４は、（１）立体表示装置上の左眼用画像と右眼用画像における画像点間の間隔Ｄを縮めた（Ｄ1＞Ｄ2）場合、と、（２）閲覧者と立体表示装置間の距離Ｌを変えた（Ｌ1＞Ｌ2）場合の融像位置の変化を示す図である。まず、（１）に示す間隔Ｄを縮めることによって、融像位置を閲覧者に近づけることができる。また、（２）に示す距離Ｌを縮めることによっても、融像位置を閲覧者に近づけることができる。
【００４５】
また、（２）の場合、融像の位置の順序は維持されることが分る。図４において、画像点右Ａと画像点左Ａとの対、および、間隔Ｄのより狭い画像点右Ｂと画像点左Ｂとの対について、第１閲覧者は、それぞれ、立体像Ａと手前側の立体像Ｂとを視認することができ、第２閲覧者は、それぞれ、立体像Ａ’と手前側の立体像Ｂ'とを視認することができる。この様に、左眼用画像と右眼用画像間隔がより狭い場合は、より奥まった位置に融像による立体像を視認できるという関係は、閲覧者の位置によって変わらないことが分かる。
【００４６】
図５に示すように、輻輳角が無い場合で、閲覧者の左眼と右眼の間隔をｅ、立体表示装置上の左眼用の画像から右眼用の画像までの間隔をＤ、立体表示装置の表示画面から融像による立体像までの奥行き距離をｕ、上記閲覧者と上記立体表示装置との距離をｈとするとき、ｅ＞Ｄであって、３角形の高さと底辺の長さとの比を用いて、次の関係がある（非特許文献１）。
【００４７】
【数３】
0005214040.tif 000004
【００４８】
図６（ａ）に、ｅ＝６．５ｃｍ，ｈ＝１００ｃｍの場合の距離ｕと間隔Ｄとの関係を示す。
この関係から、次のことが分かる。
（１）奥行き距離ｕは上記間隔Ｄが増大するに従って増加し、融像の位置はより奥まった位置になる。
（２）［−∞、ｅ］間のＤについて、奥行き距離ｕは間隔Ｄの単調増加関数である。
【００４９】
特に、Ｄ＝０の時は、ｕ＝０となって、立体表示装置の表示画面の位置に融像による立体像を視認できる。
また、間隔Ｄが負の場合には、立体表示装置上の左眼用画像と右眼用画像との位置が、上記の場合から入れ替わって、奥行き距離ｕの値が負になり、閲覧者からの融像の位置が、立体表示装置の手前になる。
【００５０】
次に、ズーミングにおける像の拡大縮小について説明する。まず、図７に、従来のズーミング方法を示す。従来は、立体表示装置の表示画面上で、右眼用画像と左眼用画像とを一緒に比例縮小拡大して表示している。併せて、立体像の融像の位置を示す。上記表示画面におけるＡの左右の対は、立体像Ａの位置に融像を視認できる。これをＢの左右の対の様に比例拡大した場合は、立体像Ｂの位置に融像を視認できる。また、さらに拡大したＣの左右の対の場合は、融像せず立体像の視認はできない。これらの立体像の融像の位置から、ズームインを表示画面上の比例拡大操作で行う場合は、ズームインにも関わらず、立体像はより遠方に遠のくように視認できることが分かる。逆に、ズームアウトの場合は、近づいてくるように視認される。これは、通常の感覚とは、異なるものである。
【００５１】
これに対して、図８に示す様に、立体表示装置上の左眼用画像と右眼用画像におけるある領域の位置（点）を固定したまま、その位置（点）を中心に拡大する場合は、立体像の融像の位置を変えずにそれを行うことができる。つまり、上記の、ｈ、ｅの値を固定して、間隔Ｄの値を一定にして、注目する領域の中心位置（点）を固定したまま左眼用画像と右眼用画像を拡大縮小することで、融像の位置ｕの変わらないズームイン、ズームアウトができる。
【００５２】
また、図６の様に、奥行き距離ｕは間隔Ｄの単調増加関数であることから、左眼用画像と右眼用画像を拡大しつつ、左眼用画像と右眼用画像における注目の画像点間の中心間隔Ｄを減少させることで、ズームインにおける融像位置が、手前に移動するようにすることができることが分かる。
【００５３】
次に、ズームインの際の立体像の融像について説明する。図９（ａ）、（ｂ）は、図２での投影レンズによる拡大を模式的に示した図である。図９（ａ）は、等倍のズーム投影レンズによる写真である。黒丸点は、ズーミングで位置の変わらない拡大の中心線からの距離がａであるとする。これを、図９（ｂ）に示すようにｍ倍にズーミングすると、ズーム投影レンズと表示画面間の距離は変わらず、また、拡大の中心線からの距離は、ｍ×ａとなる。このようなズーミングを、左眼用画像と右眼用画像とについて取り扱い易くするために、図９（ｃ）に示すように、左右の写真は、それぞれの投影レンズからの距離に比例して基準の写真サイズに比べて拡大されるものとし、その倍率をｍ倍とする。図中、ＰL、ＰRは拡大の中心点ＣL、ＣRから延びる平行線である。これは通常、左（または右）目の視界の中心線に相当する。上記左眼用画像と右眼用画像において表示画面１に表示された注目する丸点の位置をそれぞれの線ＰL、ＰRから測るものとして、図９（ｃ）のように置く。
【００５４】
上記表示画面１上の注目する黒丸点の左眼用画像の線ＰLからの距離を、ベクトル｛ａ｝とするとき、上記表示面２上では、線ＰLからの距離は、ｍ｛ａ｝である。同様に、上記表示画面１上の注目する白丸点の右眼用画像の線ＰRからの距離を、ベクトル｛ｂ｝とするとき、上記表示画面２上では、線ＰLからの距離は、ｍ｛ｂ｝である。また、中心点ＣLからＣRに延びるベクトルを｛ｚ｝、上記表示画面１上の注目する黒丸点から白丸点に延びるベクトルを｛Ｄｚ｝、および、上記表示画面２上の注目する黒丸点から白丸点に延びるベクトルを｛Ｄ｝とするとき、
｛ｚ｝＝｛Ｄｚ｝＋（｛ａ｝−｛ｂ｝）＝｛Ｄ｝＋ｍ（｛ａ｝−｛ｂ｝）
の関係がある。
【００５５】
ここで、図９（ｄ）に示す様に、図９（ｃ）の線ＰL、ＰRを揃えて表示する。これによって画像−左、右の端面が揃うことは明らかである。これによってｍ倍の画像上の注目する黒丸点から白丸点に延びるベクトルを｛Dｄ｝とするとき、｛Dｄ｝＝ｍ（｛ｂ｝−｛ａ｝）である。この画像を閲覧者が見た場合、黒丸点が右、白丸点が左にあり、また、拡大倍率ｍの増大に従って、黒丸点と白丸点間の間隔が増大するので、上記表示画面より閲覧者近くに融像による立体像を視認できることが分る。
【００５６】
上記の場合は表示画面より手前に融像による立体像が視認されるが、これを上記表示画面より奥に融像させることは、｛Dｄ｝が右向きのベクトルになるように、何らかのベクトルを加えることで実現できる。例えば、図６（ｂ）の区間Ｐ［ｘ0、ｘ1］に立体写真のＤが分布している場合に、移動ｒ1を行うことで、区間Ｐ’に分布を移すことができ、この場合は、表示画面の奥に融像を視認できる。
【００５７】
また、倍率Ｍのズーミングを行うと、上記区間Ｐは区間Ｑ［Ｍｘ0、Ｍｘ1］に移り、表示画面より手前に融像を視認できる。この場合も、移動ｒ2を行うことで、区間Ｑ’に分布を移すことができ、表示画面の奥に融像させることができる。
【００５８】
表示画面よりも奥に融像しようとする場合、上記区間Ｐ、Ｑの取りうる領域に比べて、上記区間Ｐ’、Ｑ’の設定が可能な領域が狭い。また、上記区間Ｐ（またはＱ）の幅と区間Ｐ’ （またはＱ’）の幅は、同じである。このため、一律に縮小あるいは拡大して、それぞれの区間の変換を行う場合、移動操作ｒによって領域をはみ出してしまう場合も想定される。しかし、一般の立体写真に関して事前の視覚実験を行ったところ、移動操作ｒによって、立体写真のＤの分布を区間Qから区間Q’に移すとき、最適な立体像を融像する際でもほとんどの場合、区間Ｑ’は０ｃｍから３ｃｍ程度の範囲内に収まることが分かった。このため、ズーミングに伴う上記の移動ｒ1、またはｒ2を行なうことは、特別に問題なく充分に可能である。
【実施例１】
【００５９】
右眼用画像を貼った平板が左右に可動な仕組みを設け、左眼用画像を貼った平板は固定するものとする。図１１は、ＳＰＶの機構を上部からｙ軸の負の方向に向かって眺めた概念的鳥瞰図である。これらの２枚の平板は重なるように設けられ、そのそれぞれには右眼用と左眼用の２台のカメラで撮影された左右一対の立体写真画像が２ＤＣＧのテクスチャー機能によってそれぞれ貼られている。図１１では、分かり易くするためこれらの平板は前後に分けて描かれているが、概念的には、それらはともに同じ厚さであり、ｘ軸上に沿って重なっている。手前の平板には左眼用の画像、後ろの平板には右眼用の画像が貼られている。ただし、左カメラで撮影された画像は左眼用画像、右カメラで撮影された画像は右眼用画像として使用される。左眼用画像の平板の中心は、ＳＰＶに固定したｘｙ平面座標系の原点に、固定されて配置されている。しかし、右眼用画像の平板は、上下、左右の方向に可動であり、その座標系の原点を中心にプラス回りまたはマイナス回りに回転する。上記ｘｙ平面座標系は、右に向かって正方向のｘ軸、上に向かって正方向のｙ軸となっている。そして、これらの平板に貼られた左右の画像は、左右それぞれの目に選択的に届くように立体表示装置の表示画面に投影される。閲覧者は、その投影された画像を立体視する。立体表示装置がメガネ式の場合には立体メガネを装着して、また裸眼式の場合には裸眼のままで、表示画面上に投影された左右の画像についての融像による立体像を視認できる。その際、閲覧者はマウスを用いたズーミング操作により、立体写真（画像）の任意の箇所をズーミングしながら眺める。左画像と右画像のそれぞれ対応する２つの点（つまり黒丸と白丸で、それらの画像の丸点間の距離はｄとする）は、立体表示装置の画面上に投影される。前記立体表示装置の画面上に投影された画像について、左画像の点による投影点は黒丸点で、右画像による投影点は白丸点で示している。画面上のその黒丸点と白丸点間の間隔をＤとする。閲覧者は、右眼で白丸点を、左眼で黒丸点を眺めることにより、それらの点についての融像による立体像を視認できる。
【００６０】
図１２（ａ）に示すように立体表示装置の表示画面上の左画像の黒丸点を起点とし、それに対応する右画像の白丸点との距離ｄを左右画像間での丸点間のズレの値とする。画像の白丸点が右側に移動すれば正の移動とし、左側に移動すれば負の移動とし、左右画像の丸点間のズレの値ｄは正、零、負の値を取るものとする。その画像の丸点間のズレは画面上に投影される。そのときの画面上での丸点間のズレの値を間隔Ｄとすると、Ｄとｄは比例関係にある。
【００６１】
視覚実験によれば、図１２（ａ）に示すように、それぞれの平板上の画像の丸点間のズレの値ｄが増加するように右眼用画像の平板をｘ軸正方向に移動させると、表示画面上に投影された白丸点は同じくｘ軸正方向に移動し、画面上の丸点間の間隔Ｄは正値領域で増加するので、画面上の両丸点についての融像による立体像は閲覧者から後退する。また、図１２（ｂ）に示すように、上記丸点間のズレの値ｄが減少するように右画像をｘ軸負方向に移動させると、画面上に投影された白丸点は同じくｘ軸負方向に移動し、上記表示画面上の丸点間の間隔Ｄは負値領域で減少するので、画面上の両丸点についての融像による立体像は閲覧者に近づくように感じられる。また、図１２（ｃ）に示すように、左右眼用画像の黒丸点と白丸点がズレなくある一点で重なった場合は、上記表示画面上の両丸点は同じく一点に重なるので、上記表示画面上の位置に融像が形成されるように閲覧者には感じられる。
【００６２】
次に、「ディスプレイ画面に投影された画像の倍率ｍ」と「平板に貼られた２枚の左右画像の丸点間のズレの値ｄ」との量的関係を、以下に述べる。
【００６３】
（１）第１段階（ｄとｍの反比例関係）
以下では、投影された画像の倍率ｍを用いて、平板に貼られた左右画像の丸点間のズレの値ｄを定量的な式で表わす。まず、図９を用いて上記に示すように、ズームミングが倍率ｍの場合、表示画面における丸点間のズレの間隔Ｄは上記ズレの値ｄのｍ倍になる。このように、上記画面上のズレの間隔Ｄは、平板に貼られた左右画像のズレの値ｄに比例している。この結果、上記の様に、ズームインまたはズームアウトに伴って、閲覧者は立体像があたかも後退または前進するように感じる。
【００６４】
これを防ぐために、まず、立体像を特定の位置に停止させることを考える。それには、図１１に示す画面上の丸点間の間隔Ｄを、ズームインによって画像の倍率ｍが変化しても、一定とする。またズームアウトする場合にも、画面上の丸点間の間隔Ｄを一定とする。画面上に投影された黒丸点と白丸点の間隔Ｄは、倍率ｍが一定のもとで左右画像の丸点間のズレの値ｄに比例し、正負の符合も同じある。このＤを倍率ｍに関わらず一定にするには、ｄとｍを反比例関係にすればよい。一定値をｋ1とし、反比例定数をｋ2とすれば、次の様になる。
【００６５】
【数４】
0005214040.tif 000005
【００６６】
ここで、ｋ1／ｋ2をａとして上式を書き直すと、以下のｄとｍに関する反比例の式を得る。
【００６７】
【数５】
0005214040.tif 000006
【００６８】
これから、Ｄは、以下のように倍率ｍに関係なく一定値となる。
【００６９】
【数６】
0005214040.tif 000007
【００７０】
図１１における左画像用平板の位置は固定されているものとする。この場合においてａを正値とする理由は、右画像用平板を左側（プラス方向側）に移動させて、立体像を画面の奥で融像させるためである。負値とすると、立体像全体が画面から飛び出して感じられ、一般には目に負担が加わる。従って、逆に右画像用平板の位置を固定した場合には、ａは負値とすることになる。
【００７１】
（２）第２段階（前進／後退ファクター）
数６に従う黒白丸点間の間隔Ｄは、画面の倍率ｍに依らず一定の値を保ち、ズーミングによって、立体像は後退も前進もしない。このような状態でも閲覧者にとっては、画面全体からすると、融像による立体像の動きに不自然さは感じられない。
【００７２】
しかし、ズームインの場合には立体像が閲覧者に向かって迫り、ズームアウトの場合には遠ざかるように感じられれば、閲覧者はそれを自然な動きとして知覚する。そこで、以下のファクターを導入する。以降これを、「前進／後退ファクター」と呼ぶ。
【００７３】
【数７】
0005214040.tif 000008
【００７４】
この上記前進／後退ファクターｆは、画面の倍率ｍが∞（無限大）の時は０（零）、倍率ｍがｍ1の時は１（壱）である。ｍ1を、「縮小限界倍率」と呼ぶ。冪乗の指数ｎは、立体像の前進／後退を調節するものであり、０≦ｎ≦１の実数値を取る。閲覧可能な限界倍率までズームアウトすると、立体像は徐々に小さくなり、立体写真全体の立体像が画面サイズ以下になる境界の倍率がある。これが閲覧可能なズームアウトの限界倍率である。任意の倍率ｍと縮小限界倍率ｍ1は、以下の関係がある。
【００７５】
【数８】
0005214040.tif 000009
【００７６】
上記前進／後退ファクターｆは、式の定数ａに補正因子として作用するものである。このファクターを用いて、数５を以下のように補正する。
【００７７】
【数９】
0005214040.tif 000010
【００７８】
これを「理想的なズレの式」と呼ぶ。また間隔Ｄの数４に数９を代入すると、以下の間隔Ｄに関する式が得られる。
【００７９】
【数１０】
0005214040.tif 000011
【００８０】
数１０から、指数ｎが１（壱）の場合の間隔Ｄは，倍率ｍに反比例することが分かる。この式を用いると、ズームイン操作の場合（ｍがｍ1から∞に増大する場合）、その投影された両丸点の間隔Ｄは正値から０（零）に向かい、立体像は閲覧者に向かって前進して来る。また、ズームアウト操作の場合には（ｍが∞からｍ1に減少する場合）、間隔Ｄは０（零）から正値に向かい、立体像は閲覧者から後退していく。この様に、前進／後退ファクターｆを導入し、それを補正因子として数５の定数ａに乗ずることによって、ズーミングによる立体像全体の前進と後退を自然な動きになるように制御できる。
【００８１】
ここで、数９の定数ａは、立体像の遠近感を調整するパラメータに成り得ることを以下に示す。数３と数１０から、画像の倍率ｍが一定の場合、立体像の奥行き位置ｕについて、数３の様に位置ｕは間隔Ｄに関して単調増加関数であり、数１０の様に間隔Ｄは定数ａに比例する。そして、数９の様に定数ａは理想的なズレの式に基づくものなので、その結果、立体像の位置ｕは理想的なズレの式の定数ａに関しての単調増加関数となる。このことから、理想的なズレの式の定数ａの値が増加すると、立体像の奥行きは増加し、定数ａの値が減少すると、立体像の奥行きも減少することが分かる。なお実際には、定数ａの値は視覚実験から定めるが、これについては後述する。
【００８２】
（３）第３段階（理想的な融像式）
上記数９を用いて、さらに次のような式を定める。
【００８３】
【数１１】
0005214040.tif 000012
【００８４】
具体的には、次の様になる。
【００８５】
【数１２】
0005214040.tif 000013
【００８６】
この数１１または数１２は、理想的なズレの式に定数ｂを付加して拡張したもので、以下では、定数ｂを「２重像防止定数」と呼ぶ。また、数１２を「理想的な融像式」と呼ぶ。数１２に従って間隔Ｄを調整することによって、２重像の発生を防ぐことができ、閲覧者にとっては最適な遠近的立体感を得られるような融像による立体像を知覚することができる。この数１２（理想的な融像式）が、上記の「遠近ファクター」の数学的な表現である。
【００８７】
２重像防止定数ｂは、２重像の発生防止に関係する定数である。定数ｂは、数９の理想的なズレの式の値ｄを０（零）（または、それに近い値）とするときの、左画像用平板（位置は固定されている）と右画像用平板そのものの間でのズレの値である。定数ｂの値を適切に定めれば、ズームイン限界においても２重像の発生なしに、立体視を可能にすることが出来るのであるが、その値は視覚実験から定める。
【００８８】
上記２重像防止定数ｂは、立体写真を撮影したときの２台のカメラのレンズ間隔に関係している。数９の理想的なズレの式から算出される値ｄは、閲覧者が目視で確認できる画面上の両丸点の間隔Ｄに対応する、左右画像におけるズレの値であるが、２重像防止定数ｂは、左右画像における黒白両丸点間でズレの値ｄを０（零）としたときの、左画像用平板（位置は固定されている）に対する右画像用平板そのものの絶対的なズレの値である。それゆえ、２重像防止定数ｂを含む数１２の融像式ｔは、後に述べる座標変換のための式として用いる。なお、撮影カメラのレンズ間隔による効果は、上記２重像防止定数ｂに反映され、立体視の対象とする立体写真の２重像防止定数ｂは視覚実験で決定される。
【００８９】
上記第３段階で導いた数１２の理想的な融像式の定数ａ、ｂを決定するには、以下の２つの方法が考えられる。
【００９０】
（Ａ）個別決定法：画面上に投影された画像の倍率ｍを限りなく大きな値に近づけ（ｍが正値から∞の方向で増加）、その投影された左右の画像（黒丸点と白丸点）がズレなく重なるように、視覚実験によって定数ｂの値を決定する。その後、定数ａについて、同様な視覚実験によって立体像の奥行きが最良になるように決定する。この決定法については、後に詳しく述べる。
（Ｂ）連携決定法：融像式についての倍率ｍに関して、ある倍率ｍaを定め、最適な立体像が知覚されるような数１２の融像式ｔの値ｔaを視覚実験によって決定する。再度別の倍率ｍbを定め、そのとき同様に最適な立体像が知覚されるような数１２の融像式ｔの値ｔbを同様な視覚実験によって決定する。そして、融像式の定数ａ、ｂを変数とする２元連立方程式を立て、その方程式を解く。
【００９１】
しかし、上述の２つの方法は、ともに問題がある。
上記（Ａ）個別決定法については、倍率ｍを限りなく上げていくと（ｍが正値から∞の方向で増加）、画像の解像度の限界を超えて倍率が理論上無限大となり、立体像の融像が困難となる。
上記（Ｂ）連携決定法に関しては、２元連立方程式をＳＰＶ内部で自動的に処理する場合でも、閲覧者の実験操作と上記方程式を解く手続きの連携作業が面倒となる。つまり、定数ａ、ｂを決定する視覚実験をそれぞれ相互に関連付けて行った後に、連立方程式の解を求めるという手順が、閲覧者に制約を課すことになり、使い勝手の面で不便である。
【００９２】
（４）第４段階（実用的な融像式）
ここで、（３）第３段階で述べた（Ａ）個別決定法と（Ｂ）連携決定法についての問題点を回避するために、閲覧者が簡単に定数ａ、ｂを決定できる融像式に改良する。改良された融像式は理想的な融像式の近似式ではあるが、これを用いると、２つの定数ａ、ｂの決定において、個別決定法を簡単に適用できるようになる。その理由は、（Ａ）画像の倍率無限大の問題を回避でき、（Ｂ）視覚実験で定数ａとｂをそれぞれ単独に決定でき、（Ｃ）その決定の際の定数ａ、ｂの役割についての意味付けも明確になるのである。また、閲覧者にとっては実験の制約もなく、作業がワンパターンになり軽減される利点がある。そこで、個別決定法を適用できるようにするために、以下で、理想的な融像式を改良する。
【００９３】
まず、画面上の画像の拡大を最大にする倍率ｍ0を導入する。以降、これを、「拡大限界倍率」と呼ぶ。この拡大限界倍率ｍ0は立体写真のカメラの解像度特性に依存して決まる倍率である。拡大限界倍率ｍ0と任意の倍率ｍとは、以下の関係がある。これは、倍率ｍが拡大限界倍率ｍ0を超えると、画像の解像度の限界を超えているので、融像による立体像は意味を持たなくなるからである。
【００９４】
【数１３】
0005214040.tif 000014
【００９５】
拡大限界倍率ｍ0は、視覚実験では通常、縮小限界倍率ｍ1の１０倍〜２０倍程度の値として決定される。この拡大限界倍率ｍ0を用いることで、次に示すように、数９の理想的な融像式を実験的に取り扱いやすい融像式に改良することができる。
【００９６】
第１段階で定めた数５において、以下のように倍率ｍの逆数（１／ｍ）、を（１／ｍ−１／ｍ0）で置き換える。この置き換えをするのは、倍率ｍが拡大限界倍率ｍ0でズレの式の値ｄを０（零）とし、図１２（ｃ）の状況を作り出すことである。これによって、黒丸点と白丸点は画面上で重なり合うことになる。
【００９７】
【数１４】
0005214040.tif 000015
【００９８】
それに伴い、数７の前進／後退ファクターｆを以下のように変更する。
【００９９】
【数１５】
0005214040.tif 000016
【０１００】
変更された前進／後退ファクターｆは、倍率ｍがｍ0の時は０（零）の値、倍率ｍがｍ1の時は１（壱）の値をとる関数である（ｍはｍ1≦ｍ≦ｍ0 の範囲で、ｆは０≦ｆ≦１の範囲にある）。ｍ1は上記の縮小限界倍率である。冪乗の指数ｎは、上記と同様に立体像の前進／後退を調節するものであり、０≦ｎ≦１の実数値を取る。
【０１０１】
そして、以下のように、数１４の定数ａに補正因子として数１５の前進／後退ファクターｆを作用させる。
【０１０２】
【数１６】
0005214040.tif 000017
【０１０３】
この式を、以降「実用的なズレの式」と呼ぶ。また、単にズレの式と言えば、数１６を指すものとする。
【０１０４】
また、上記（３）第３段階で得たのと同じ方法で、新しい融像式を以下のように求める。
【０１０５】
【数１７】
0005214040.tif 000018
【０１０６】
新しく定められた数１７の融像式は、倍率ｍ0がｍ1に比べてかなり大きな値の場合、数１２の理想的な融像式に関数として近づく。この式を以降、「実用的な融像式」と呼ぶ。また、単に融像式と言えば、この実用的な融像式を指すものとする。
【０１０７】
実用的な融像式を用いた場合、画面上の両丸点の間の間隔Ｄは、数４と数１６の上段式と数１５を用い、更に数４の倍率ｍを逆数（１／ｍ）を用いて記述し直し、その逆数を数１４で行ったように（１／ｍ−１／ｍ0）で置き換えると、以下の式が得られる。
【０１０８】
【数１８】
0005214040.tif 000019
【０１０９】
間隔Ｄに関する数１８の中段式は、定数ａに前進／後退ファクターｆを補正因子として掛けたものとなる。この式は、倍率ｍに関しての単調減少関数である。指数ｎが１（壱）の場合には、数１８は双曲線の式となる。
【０１１０】
（５）実用的な融像式の役割
実用的な融像式の役割は、上記の（１）第１段階から（３）第３段階までで述べてきた理想的な融像式における役割と基本的には同じである。以下にその役割をまとめて述べる。実用的な融像式と理想的な融像式の違いは、前者に拡大限界倍率ｍ0を導入したことである。実用的な融像式において拡大限界倍率ｍ0の逆数（１／ｍ0）を０（零）とおいて得られるその融像式は、理想的な融像式となる。
【０１１１】
（Ａ）２重像の発生を防ぐ役割は、融像式の定数ｂが担っている。
２重像の発生を防止する役割は、定数ｂが担っている。定数ｂは視覚実験によって、拡大限界倍率ｍ0において２重像が発生しないように、その値が決定される。それゆえ、この定数を「２重像防止定数」と呼ぶ。上記定数ｂは個々の立体写真毎に定めるが、その決定法は後に述べる。
【０１１２】
（Ｂ）立体像の融像の位置を調整する遠近ファクターは、融像式の定数ａが担っている。
数１７の実用的な融像式の定数ａは、立体像の遠近感を調整する定数となる。数３と数１８から、倍率ｍが一定の場合、立体像の奥行き位置ｕについて、位置ｕは間隔Ｄに関して単調増加関数であり（数３）、間隔Ｄは定数ａに関して単調増加関数である（数１８）。そして、定数ａは実用的なズレの式に基づくものなので（数１６）、その結果、立体像の位置ｕは実用的なズレの式の定数ａに関しての単調増加関数となる。このことから、実用的なズレの式の定数ａの値が増加するに従って位置ｕの値は増加し、それに伴い立体像の奥行きは増加する。また、定数ａの値が減少するに従って位置ｕの値は減少し、それに伴い立体像の奥行きも減少する。上述の「遠近ファクター」の実質的な役割は、定数ａが担っている。定数ａは、視覚実験によって、縮小限界倍率ｍ1で立体像の奥行き感が最良になるように、その値が決定される。また、定数ａは個々の立体写真毎に定めるが、その決定法は後に述べる。
【０１１３】
（Ｃ）人間の感覚に合うように立体像を動かす仕組みは、間隔Ｄが担っている。
平板に貼られた左右画像の黒丸点と白丸点間のズレを表す量ｄは、画面上に投影された黒丸点と白丸点間の間隔Ｄに対応している。数１８から分かるように、画面上に投影された黒丸点と白丸点の間隔Ｄは、倍率ｍに関して単調に増加または減少し、その間隔Ｄが決まる。従って、数１７の実用的な融像式を用いると、立体像は、ズームイン操作（ｍが増大）では閲覧者に向かって滑らかに前進（Ｄの値が正値から０へ変化）し、ズームアウト操作（ｍが減少）では閲覧者から滑らかに後退（Ｄの値が０から正値へ変化）することになり、上述の不自然な動きは避けられる。人間の感覚に合うように立体像の融像の位置を動かす仕組みは、数１６の上段式に導入された前進／後退ファクターｆであり、その結果は、数１８の間隔Ｄに反映される。
【０１１４】
（Ｄ）立体像の前進／後退の調節は、前進／後退ファクターｆの冪乗の指数ｎが担っている。
上記のように、立体像の前進／後退を行うのは、前進／後退ファクターｆである。この前進／後退ファクターｆの閲覧者に対する効果は、その冪乗の指数ｎによって変わってくる。指数ｎは０（零）から１（壱）の間の実数を取る定数であるが、指数ｎの値が０（零）から１（壱）に増えるに従って、前進／後退の効果は顕著になる。指数ｎが０（零）のときは、前進／後退ファクターｆが融像式に作用しない場合である。閲覧者によっては、ｎ＝０の場合、迫力不足に感じ、ｎ＝１の場合、強過ぎる効果を感じる傾向にある。立体視の感覚は個人差があるので、指数ｎはその個人差を受容する定数として作用させることも出来る。しかし、ＳＰＶの開発者は、この値を事前の視覚実験によって、個人差を吸収する平均的な値となるように決定するのがよい。
【０１１５】
（Ｅ）拡大限界倍率ｍ0と縮小限界倍率ｍ1は、ＳＰＶの定数とみなすことができる。
拡大限界倍率ｍ0と縮小限界倍率ｍ1は、ＳＰＶの定数とみなすことができる。前者の拡大限界倍率ｍ0はカメラの解像度に関係する値であるが、その値は、撮影された立体写真の内容（例えば夜間風景、霧の景色、夏の海岸での風景、人物等）によっても変化すると思われる。それ故、個々の立体写真毎に拡大限界倍率ｍ0を定めることも考えられる。しかし、事前の視覚実験によれば、通常の一般的に使用されるデジタルカメラの間では同じ値を使用しても差し支えない場合が多い。従って、この値は、ＳＰＶの開発者によってデフォルト値として設定することも可能である。後者の縮小限界倍率ｍ1は、ズームアウトの極限での倍率である。上記の様に、ズームアウトで、立体像は徐々に小さくなり、立体像全体が画面サイズ以下になる直前の位置があるが、そのズーミング点が縮小限界倍率ｍ1であり、閲覧可能なズームアウトの限界倍率といえる。倍率を云々する場合には、基準の倍率を定めなければならないが、ＳＰＶにおいては、縮小限界倍率ｍ1を基準倍率とし、その倍率を１（壱）と定めることができる。しかし、この縮小限界倍率は説明の都合上、以降もこの倍率をｍ1と記載する。この様に、ズーミング可能な倍率の範囲は縮小限界倍率ｍ1から拡大限界倍率ｍ0までであり、通常、一般的に使用されるデジタルカメラを使用する場合には、拡大限界倍率ｍ0は縮小限界倍率ｍ1の１０〜２０倍程度である。
【０１１６】
（Ｆ）融像式のグラフ表現
数１７の融像式を倍率ｍの関数と見て、ｍ＝ｍ0でのｔの値をｔ0とし、また、ｍ＝ｍ1でのｔの値をｔ1とすると、次の関係が得られる。
【０１１７】
【数１９】
0005214040.tif 000020
【０１１８】
上記の拡大限界倍率ｍ0、縮小限界倍率ｍ1、および上記のｔ0、ｔ1を用いて融像式の様子を図１３に示す。図１３は、ａ＝１．０、ｂ＝０．５、ｍ1＝１、ｍ0＝１０の場合の例である。上記前進／後退ファクターｆの冪乗の指数ｎが１（壱）である場合の融像式は、点（ｍ0、ｔ0）、点（ｍ1、ｔ1）を通る関数である。また、前進／後退ファクターの冪乗の指数ｎが０であるの場合の融像式は、双曲線関数となる。
なお、画面上に投影された画像の倍率ｍの取り得る範囲（ズーミング可能な範囲）は、上記のように、ｍ1≦ｍ≦ｍ0である。
【０１１９】
ここで、実用的な融像式（数１７）の動作を、２重像防止定数ｂが零の場合のズレの式の値ｄについて以下に説明する。
（１）値ｄ＞０の場合
この場合は、定数ａが正値の場合である。左右画像によって画面上に投影された丸点についての融像による立体像は、図１２（ａ）のように表示画面の後方に視認される。そして、ズーミング操作によって、倍率ｍを上げると、ズレの式の値ｄは正値から０（零）に近づき、それに応じて平板に貼られた左右画像から投影された両丸点の間隔Ｄは数１８によって正値から０（零）に近づく。その場合、立体像の位置を定める数３のｕは減少するので、立体像は閲覧者には近づくように感じられる。逆に倍率ｍを下げると、ズレの式の値ｄは大きくなり、立体表示装置の表示画面に投影された両丸点の間隔Ｄは大きくなる。その場合、立体像の位置を定める数３のｕは増加するので、立体像は閲覧者にから後退するように感じられる。
（２）値ｄ＜０の場合
この場合は、定数aが負値である場合である。定数ａが負値の場合には、次のような不都合なことが生じる。表示画面上に投影された左右画像の黒丸点と白丸点の位置が上記（１）値ｄ＞０の場合の逆になり、図１２（ｂ）に示す様に立体像は表示画面より手前に融像による立体像が視認される。また、倍率ｍを上げるとズレの値ｄは負値から０（零）に近づき、平板に貼られた左右画像から投影された両丸点の間隔Ｄは数１８から負値から０（零）に近づく。その場合、立体像の融像の位置を定める数３のｕは負値から０（零）に近づくので、立体像は閲覧者から後退するように感じられる。逆に倍率ｍを下げると、間隔Ｄは０（零）から負値にとなっていく。その場合、立体像の融像の位置を定める数３のｕは０（零）から負値となるので、立体像は閲覧者に向かってくるに感じられる。このような立体像は人間の感覚からすると、矛盾する動きとなるので、それ故、定数ａは正値を採用する必要がある
（３）値ｄ＝０の場合
ちょうど平板に貼られた左右画像の投影する両丸点（黒丸点と白丸点）のズレがなく重なる場合であり、このとき、倍率ｍはｍ0となり、ズレの式の値ｄは零であり、上記表示画面上に投影された両丸点の間隔Ｄも０（零）ある。この場合、図１２（ｃ）のように立体像は上記表示画面の位置に立体像が視認される。
【０１２０】
上記数１７に示す実用的な融像式の定数ａ、ｂは、閲覧者の目視による視覚実験で決定される定数である。これらはＳＰＶにおける立体写真１枚１枚についての立体視特性を定めるものであり、それらの値は閲覧者の遠近的立体感が最適になるように決める。ただし、定数ａは正値とする。定数ｂは正、負、零のいずれかの値をとる。
【実施例２】
【０１２１】
次に、融像式による最適な遠近的立体感の設定方法について説明する。上記のように、倍率ｍを大きくして画像を拡大した場合、２重像が生じる場合があるが、これは、立体表示装置の表示画面における丸点間のズレの間隔Ｄが拡大され過ぎるためである。これを防ぐには、まず、２重像防止定数ｂの値を適切に設定する必要がある。
【０１２２】
また、上記のように、立体表示装置画面から立体像の全体が飛び出すように感じられる場合は、倍率ｍが縮小限界倍率ｍ1に近い値であっても、定数ａに０（零）に近い値（ただしａ＞０）が設定されていると、実用的な融像式（数１７）を構成するズレの式の値ｄの寄与が小さくなる。その結果、遠近的立体感による立体像が近くに感じられ、閲覧者が疲れやすい立体像となってしまう場合がある。その場合には、これを防ぐために定数ａの値を適切に設定することが必要である。このように定数ａ、ｂは立体像の融像を司る重要なものである。そこで以下に、これらの定数の設定の仕方について詳しく述べる。
【０１２３】
まず、実用的な融像式（数１７）のそれぞれの定数を設定する方法について説明する。閲覧者がズーミング操作を行って、上記倍率ｍを変化させると、融像式に従って右画像用平板の位置がｘ軸上で値ｔだけ平行移動する機構（ただし左画像平板の位置は固定されているものとする）、および、その時の値を読み取って保存する機構が、ＳＰＶに備わっているものとする。上記定数ａ、ｂの決定法としては、まず定数ｂを定め、その後に定数ａを決定する。なお、それぞれの定数の設定は個々の立体写真毎に行う。
【０１２４】
（１）定数ｂの決定
実際の場合に即した定数ｂの定め方を述べる。
（イ）ある立体写真Ａについて、その画像の中で比較的遠景のズームイン対象領域を選び出し、その領域に対して画像の倍率を拡大限界倍率ｍ0までにズームインする。
（ロ）閲覧者は立体表示装置の表示画面を眺め、左画像の当該領域と右画像のそれに対応する領域との間でズレが生じている場合には、そのズレを解消すべく、右画像用平板をｘ軸上で平行移動して、右画像の領域と左画像の領域をズレなく重ね合わせて、図１２（ｃ）に示す状態の如く上記表示画面上の位置に立体像が視認されるようにする。この融像の視認は閲覧者による目視実験で行う。
（ハ）つまり、立体像の融像の位置が上記表示画面上の位置となるように、定数ｂの値を変化させ調整する。
（ニ）上記の融像が達成されたときの定数ｂの値をｂ0とし、その値を用いると、右画像用平板をｘ軸上で平行移動する値ｔ0は、数１７の実用的な融像式を用いて、次のようになる。
【０１２５】
【数２０】
0005214040.tif 000021
【０１２６】
（ホ）この値ｔ0を用いて右画像用平板の位置を再配置する。
（へ）定数ｂの値ｂ0は、立体写真Ａに関する固有の定数となり、ＳＰＶの所定の記憶部分に保存する。
このようにして定数ｂが定められると、画像の拡大限界倍率ｍ0では、左右画像に関する数１７の値ｄは０（零）なので、その位置では図１２（ｃ）に示すように、２重像の発生のない融像による立体像が視認される。
【０１２７】
（２）定数ａの決定
次に定数ａの定め方を述べる。定数ａの値は、上記立体写真の比較的近景の領域についての融像による立体像が、上記表示画面上の位置あるいはそれよりも後方の位置で視認されるように設定する。
（イ）上記の様に定数ｂが既に定められているので、拡大限界倍率ｍ0においてはズレのない状態が実現されている。この状態から倍率ｍを閲覧可能な限界範囲までズームアウトする。閲覧可能な限界位置とは、ズームアウトすることによって、立体像は徐々に小さくなっていき、立体写真全域の立体像が上記表示画面サイズよりも小さくなる境界位置があるが、そのときの倍率が縮小限界倍率ｍ1であり、ズームアウトの限界倍率といえる。この縮小限界倍率ｍ1を基準倍率として、倍率１（壱）に設定してもよい。
（ロ）この縮小限界倍率ｍ1において、定数ａの値を定める。それには、左右画像についての融像による立体像の遠近感を、閲覧者が目視で判断する。この際、閲覧者は、比較的近景の領域に注目し、その領域についての融像による立体像を表示画面上の位置あるいはそれよりも後方の位置で視認するように、正の定数ａの値を調整する。このとき閲覧者の感じる立体感が、上記の遠近的立体感であり、この定数ａの設定が遠近ファクターの設定ということになる。
（ハ）調整されたそのときの定数ａの値をａ1とし、その値を用いて右画像用平板をｘ軸上で平行移動する値ｔ1は、数１７の実用的な融像式を用いて、次のようになる。
【０１２８】
【数２１】
0005214040.tif 000022
【０１２９】
（ニ）この値ｔ1を用いて右画像用平板の位置を再配置する。
（ホ）定数ａの値ａ1は、立体写真Ａに関する固有の定数となり、ＳＰＶの内部に保存するものとする。
特に、定数ａが小さい値の時には、上記表示画面の手前に融像による立体像が視認される。定数ａがある程度の大きさでは、立体像の全体は、上記表示画面後方に視認されるので、見やすい適切な遠近的立体感が得られる。この状態は定数ａに依存し、極端に大き過ぎる値を設定すると、閲覧者によっては、遠近的立体感がかなり遠方に感じるようになり、違和感のある立体像となる。その限界を超えると、左右両画像の間でズレが大きくなりすぎ、２重像となって立体像は融像しなくなる。このように、定数ａの値を適切に定めることが重要であるが、一般に、aの適性値はかなりの幅があるので、その設定は容易である。
【実施例３】
【０１３０】
立体写真は同一性能の２台のカメラを用いて撮影することを原則とするが、そような方法で立体写真を撮影した場合でも、２つの左右画像の間で上下のズレや傾きによるズレが生じて、そのままでは一対の立体写真として適当でないことが起こる。これは、立体写真専用カメラを用いても、ズーミングを行うと、その解像度の限界点付近では、同じようなズレが顕在化する。２台のカメラを雲台に取り付ける際に発生する極わずかな設置ミスがそのズレの原因となる。このズレは、全体を眺めるような目的でその立体写真を使用する場合は、それ程問題にならない。しかし、ズームイン（拡大）を行い、狭い領域を精査して眺めるような場合は、左右画像間のズレが顕著になることがあり、そのようなズレのある立体写真は一対の立体写真として使用出来ない。その場合には、ＳＰＶには、左右画像間のズレを補正する機構を取り入れる必要がある。
【０１３１】
図１４に、一組の立体写真における画像のズレの例を示す。図１４（ａ）に示すように、左右画像の間で上下に著しくズレている場合には、立体像は融像しないので、水平に揃える必要がある。このような上下方向のズレが生ずる原因としては、２台のカメラを雲台にネジで固定する場合、どちらか１台の締め付けが緩いような場合に起こる。この補正方法は、図１４（ａ）に示した右画像を貼り付けた平板をｙ軸に沿ってプラス方向にｐだけ平行移動させることである。
【０１３２】
また、２つの画像が左右にズレる場合がある。これは２台のカメラを雲台に取り付ける際にレンズ間の距離を離し過ぎるときに起こり、しかも人物などの近くのものを写すときにより起きやすい。図１４（ｂ）に示すようにズレた画像をＳＰＶで閲覧すると、「遠近的立体感」はかなり近くに感じられ、融像による立体像は飛び出して知覚される。このような飛び出しは立体写真の特徴ではあるが、程度を超えると目に負担をかける立体写真となる。このズレは、図１４（ｂ）に示す様に、右画像の平板をｘ軸に沿って値ｄあるいはそれ以上平行移動させる。但し、この補正については、上記の融像式の定数ａとｂを調節することで対応できる。
【０１３３】
また、図１４（ｃ）に示すように、右画像あるいは左画像がその中央を中心に若干傾いて（あるいは回転して）しまうことがある。これは２台のカメラを雲台に取り付ける際に、その１台が極僅かではあるがレンズの光軸を中心に傾いて設置された場合である。ネジでの締め付け方によって０．５度程度の傾きが生ずることがある。この補正には、図１４（ｃ）に示したように右画像の平板の中央を中心にθラジアン回転させる。
【０１３４】
なお、カメラ設置による画像の傾きについては、ｘ軸あるいはｙ軸の傾き（回転）も考えられるが、この傾きは微小角度である。また、この補正は事前の実験によって他の補正に吸収されることが分かった。つまり、ｘ軸の傾きの補正は近似的に上下方向のズレの補正、また、ｙ軸の傾きの補正は近似的に左右方向のズレの補正とみなさる。結果として、それぞれ上下方向と左右方向のズレの補正操作に反映される。このため、補正の複雑さを避けるためには、ｘ軸とｙ軸の周りの回転による直接的なズレの補正については、除外することもできる。
【０１３５】
また、２台のカメラを雲台の縁に沿ってに設置するとき、その２台が被写体方向に対して互いに前後にズレて配置される場合もある。しかし、このようなズレの値は、通常、カメラから被写体までの距離（数メートルから数十メートル）と比較すると、極めて小さな値（被写体までの距離の数千分の１から数万分の１以下）であり、そのズレは無視することが出来る。このため、補正の複雑さを避けるためにも、このズレの補正については、除外する事もできる。
【０１３６】
上記のように左右画像の間で生じるズレを補正するためには、既に知られている２ＤCG（２次元コンピュータグラフィックス）の座標変換機能を使用することができる。ズレの補正は、例えば、一組の立体写真の右画像用写真を貼り付けた右画像用平板を再配置することであり、上記の座標変換によって行うことが出来る。この座標変換は、２次元ベクトルの線形変換と平行移動を行うアフィン変換である。このアフィン変換は、図１５に示すように、拡大係数行列（以降、アフィン変換行列Ｍ）を用いて３行３列の行列の積として表現される。
【０１３７】
図１５に、上記アフィン変換の各要素を示す。
手順１：ｙ軸方向にｐ移動するアフィン変換行列Ｍt1
手順２：ｘ軸方向にｔ移動するアフィン変換行列Ｍt2
手順３：座標軸原点の周りにθラジアン回転するアフィン変換行列Ｍr
手順４：ｘ軸、ｙ軸方向のアスペクト比を変えるアフィン変換行列Ｍs
図１５に示すアフィン変換行列に対する３次元ベクトルを、
［ｘ  ｙ  １］
とする。このとき、点［ｘ0  ｙ0  １］は、アフィン変換行列Ｍによって、
［ｘ1  ｙ1  １］＝［ｘ0  ｙ0  １］Ｍt1Ｍt2ＭrＭs
に変換される。
【０１３８】
上記手順２において値ｔは、アフィン変換行列Ｍt2の要素となっている。この手順２の左右画像のズレ補正について、数１７の実用的な融像式の最下段の式を用いて、以下に説明する。右画像用平板のｘ軸に対する最適な再配置の値ｔは、倍率ｍを用いて上記実用的な融像式によって求められる。閲覧者がズーミンングを開始すると、この値ｔは、倍率ｍによって上記実用的な融像式から刻々と算出される。この値ｔに基づいてアフィン変換行列Ｍt2が演算され、右画像用平板用の３次元ベクトル［ｘ1  ｙ1  １］が算出される。このベクトルを用いて、右画像用平板をリアルタイムに値ｔに対応した位置へと再配置する。
【０１３９】
ここで手順４のアフィン変換行列Ｍsを右画像用平板に適用することで、左右の画像間のサイズの違いを補正できることがわかる。しかし、一組の立体写真は、同一仕様、同一性能の２台のカメラで撮影するのが原則であり、その場合、一般に、このサイズの違いは殆ど無いため、手順４を実行しないか、アフィン変換行列Ｍsに恒等変換を用いる。もし、上記の撮影に性能の異なる２台のカメラを用いる場合には、アフィン変換行列Ｍsを適用して左右の画像間のサイズの違いを補正することができる。
【０１４０】
また、上記のアフィン変換行列Ｍsは、立体表示装置の表示画面のアスペクト比と立体写真のアスペクト比とが異なる場合に、これらの間でアスペクト比の変換に用いることができる。ここで言うアスペクト比は、表示画面では横画素数／縦画素数、立体写真では横サイズ／縦サイズ、として定義する。例えば、通常の写真はアスペクト比が１．３３３であり、ＸＧＡ（４対３型）画面のノート型パソコンを用いて同型画面の立体表示装置に出力する場合には、アスペクト比の問題は生じない。しかし、それを横長の最近のワイドに表示すると横に像が広がるために、横幅を調整する座標変換を必要がある。例えば、ＸＧＡ（４対３型）画面のノート型パソコンを用いてＷＸＧＡ（５対３型）画面のワイド型立体表示装置に出力する場合、そのままでは立体像の幅は太くなるので、本来の立体像の幅に戻すため、パソコン側の画像のアスペクト比を０．８倍にする必要が生じる。このときの修正されたアスペクト比は１．３３３×０．８となるが、写真のアスペクト比（１．３３３）を基準とした比率を換算アスペクト比と定めると、そのときの画像の換算アスペクト比は０．８となる。
【０１４１】
また、入力フォーマットがサイドバイサイド・フォーマットである立体表示装置を用いる場合には、ＳＰＶの立体フォーマットも同様のフォーマットにする必要がある。そのため、左右画像のアスペクト比をさらに１／２倍に圧縮しなければならない。ちなみに、ＸＧＡ型画面のパソコンからＷＸＧＡ型画面の立体表示装置にサイドバイサイド・フォーマットで出力する場合には、左右画像のそれぞれの換算アスペクト比は、０．５×０．８、すなわち０．４ということになる。換算アスペクト比は、横をｒ、縦をｓで表わすと、ｒ／ｓであり、値ｒとｓは立体表示装置の対応解像度とその表示画面のサイズから求められる。画像用の左右平板の拡大縮小についての座標変換は、値ｒとｓがアフィン変換行列Ｍsの要素になる。
【０１４２】
上記アフィン変換行列は可換ではないので、順番を間違えると正しい結果を得ることは出来ない。補正のための行列演算の順序は、手順１→手順２→手順３→手順４の順序で行うものとする。ただし、手順１と手順２は、可換であるので、数学的には演算順を問わないが、実際には、最初は未調整の立体写真で目視確認実験を行うので、手順１の上下の補正を先に行う。
【０１４３】
上記に示したアフィン変換が実際の２ＤＣＧ（２次元コンピュータグラフィクス）においては、どのように記述されるのかを、Ｊａｖａ（登録商標）２Ｄ−ＡＰＩを用いて説明する。そのプログラムの主要部分を図１６に示す。他の２ＤＣＧでも記述の流れは、ここに示す例とほぼ同じと考えてよい。
【０１４４】
図１６（ａ）に示すプログラムは、左画像用平板を固定して、右画像用平板に対してｙ軸およびｘ軸に沿った平行移動（手順１と手順２）と左画像の平板の中央を中心とした回転（手順３）を行うことによって、右画像用平板を左画像平板に対して再配置している。その結果、左右の画像間のズレを調整することが出来る。また、手順１の前の部分では、閲覧者の操作によるズーミング用の拡大縮小変換とシフト用の平行移動変換を行っている。図１６（ｂ）に示すプログラムは、Ｊａｖａ（登録商標）２Ｄ−ＡＰＩの座標変換メソッド（非特許文献２）の使用例と融像式の例である。
【０１４５】
このように２ＤＣＧ（図１６ではＪａｖａ（登録商標）２Ｄ−ＡＰＩ）の座標変換機能を使用すると、右画像用平板の再配置という主要課題を簡単に記述すること出来る。なお、掲載したプログラムは、見やすいように整理して体裁を整えたもので、細部は一部省略してあり、完全なものではない。また、このＪａｖａ（登録商標）２Ｄ−ＡＰＩプログラムの事例では、原点は平板（画像）の左上を原点としているので、平行移動変換が多用されていることに注意されたい。
【０１４６】
図１７に開発したＳＰＶの例を示す。このＳＰＶでは２ＤＣＧとして、上記のＪａｖａ（登録商標）２Ｄ−ＡＰＩを採用した。Ｊａｖａ（登録商標）２ＤはＪａｖａ（登録商標）プログラム言語が親言語となっている。画像処理および座標変換（アフィン変換）部分は、Ｊａｖａ（登録商標）２Ｄが担っている。Ｊａｖａ（登録商標）２Ｄ−ＡＰＩを用いたソースコードは、Ｊａｖａ（登録商標）コンパイラによって翻訳され、Ｊａｖａ（登録商標）仮想マシンによって実行される。Ｊａｖａ（登録商標）プログラム部分は、左右の画像を生成し、その２つの画像のズーミング等における同期をとっている。従ってＳＰＶの立体フォーマットは、サイドバイサイド・フォーマットを採用している。図１７にＪａｖａ（登録商標）、Ｊａｖａ（登録商標）２Ｄ−ＡＰＩの連携関係を示し、以下には言語などが司る機能を箇条書きにしておく。なお、ＳＰＶはＪａｖａ（登録商標）を採用しているため、用いるコンピュータのＯＳ（オペレーションシステム）には依存せずに稼動する。
【０１４７】
図１７において、Ｊａｖａ（登録商標）２Ｄ−ＡＰＩは、テクスチャーの描画と座標変換を行い、左右画像を適切に再配置する。つまり、次の処理を行う。
・テクスチャー描画機能の活用
・変換行列の設定
また、Ｊａｖａ（登録商標）は、Ｊａｖａ（登録商標）２Ｄの親言語として働き、次の処理を行う。
・左眼用画像と右眼用画像ための２画面の設定
・ズーミングのためにスクロール機能の活用
・ズーミングにおける左右画像の同期保持
・自動ズーミング機能のためにスレッド機能の活用
・立体写真の情報保存
【０１４８】
上記ＳＰＶには、各立体写真について、閲覧者がズレの補正を行うために、図１８に示す複数の操作ボタンが用意されている。この例では、これらの操作ボタンは、図１９の画面の実例のように、画面下部に設けられている。
（１）ズレ補正機能ボタン
ズレを補正して立体写真としての完全な一対の立体写真画像を作るボタンである。
・Ｈボタン・・・左右のズレを補正する（融像式の定数ｂを決定する）。
・Ｖボタン・・・上下のズレを補正する。
・θボタン・・・傾きによるズレを補正する。
これらの上記ズレ補正ボタンは、これはカメラ撮影する際に発生する一対の立体写真のズレを補正するためのボタン群であり、閲覧前の事前準備として用いる。閲覧者によって上記補正ボタンがクリックされる度に、ＳＰＶ内部で微小な値が作られる。この値に基づいてクリック毎に座標変換が瞬時に行われ、右画像用平板が左画像用平板を基準として再配置されていく。閲覧者はその度に、左右画像についての融像による立体像を自身の目で視認する。例えば上下補正を行うＶボタン（ＳＩＧＮボタンで＋と−に切り替わる）のプラスボタンをクリックすると、右画像用平板が上方に微小移動する。最適な立体像が融像により視認できるまで、Ｖボタンのプラスボタンあるいはマイナスボタンをクリックして立体像の融像状態を微調整する。
（２）深度決定機能ボタン
最適な遠近的立体感を定めるボタンである。
・Ｄボタン・・・遠近的立体感を定める（融像式の定数ａを決定する）。
（３）アスペクト比決定機能ボタン
アスペクト比を設定するボタンである。
・Ａボタン・・・融像による立体像を表示画面のアスペクト比に適合させる。
（４）２重層化ボタン
左右画像のズレを検知するために左右の画像を重ね合わせるボタンである。
・ＤＢＬ−ｏｎボタン・・・右画像の上に左画像を半透明で重ねる。
・ＤＥＬ−ｏｆｆボタン・・・上記機能を解除する。
（５）ズーム機能ボタン
立体写真をズーミングするボタンである。
・ＺＭ−ｏｎボタン・・・立体写真の任意箇所をズーミングする。
・ＺＭ−ｏｆｆボタン・・・上記機能を解除する。
（６）閲覧機能ボタン
立体写真を閲覧する際に使用するボタンである。
・ＮＥＸＴボタン・・・次の立体写真を見る。
・ＢＡＣＫボタン・・・前に表示した立体写真を見る。
・ＡＵＴＯボタン・・・フォトフレームのように自動表示を行い、繰り返し立体写真を見る。（任意箇所への自動ズーミングも行う。）
（７）記録ボタン
融像式の定数ａ、ｂなどを記録するボタンである。
・ＲＥＣボタン・・・内蔵するファイルに立体写真のデータを記録保存する。
【０１４９】
上記ＳＰＶでは、左右の画像を重ね合わせる機能を持っている。この機能を用いると、上記の偏光メガネ方式やアナグリフ方式あるいは液晶シャッターメガネ方式などの立体メガネを装着しないで、ズレ補正を簡単に実行できる。ＳＰＶの立体フォーマットがサイドバイサイド・フォーマットであることから、立体表示装置において３Ｄ表示機能を使用しないで通常の２Ｄ表示を行う場合には、表示画面の左半分に左画像、右半分に右画像がそれぞれ、横に１／２倍に圧縮されて表示される。そこで、ＤＢＬ−ｏｎボタンをクリックして右画像の部分に、基準とする左画像の半透明化したイメージを重ね合わせる。左右画像は重なり合っているので、左右の重なりを見ながら、基準の左画像に合わせて右画像の位置を調整していく。調整操作が終了したら、ＤＥＬ−ｏｆｆボタンで画像の重ね合わせを解除する。
【０１５０】
上記のＳＰＶにおけるズレの補正は次のように行う。
（１）上下のズレ補正
この補正は立体メガネを装着しない補正である。立体写真の撮影者（閲覧者者でもある）は、撮影した立体写真の左右画像を上記ＳＰＶによって内部に保持されているフォルダーにファイル名を付けて格納する。写真は、閲覧機能のＮＥＸＴボタンで呼び出して、写真毎の補正を次のように行う。最初は補正機能のＶボタン（＋と−の２種類）のクリックによって、目視判定で左右画像が上下で重なり合ってズレがない状態にする。そしてそのズレを補正するｐ値をＲＥＣボタンをクリックすることによりビューア内部に記録保存する。
【０１５１】
（２）傾きによるズレ補正
次に傾きによるズレ補正を行う。この補正は立体メガネを装着しない補正である。補正機能のθボタン（＋と−の２種類）のクリックによって、目視判定で左右画像が重なりあって、傾きによるズレがない状態にする。そしてそのズレを補正するθ値をＲＥＣボタンをクリックすることによりビューア内部に記録保存する。なお、事前の視覚実験においては、立体写真の撮り方にもよるが、この補正を行わなければならない対象の立体写真はごく僅かであった。
【０１５２】
（３）左右のズレ補正
次に左右のズレ補正を行う。この補正は最初、立体メガネを着用しないで補正を行い、次に融像による立体像を立体メガネを用いて確認する。ズーミング操作で立体写真の遠景領域の局所部分を解像度限界（拡大限界倍率ｍ0）まで拡大（ズームイン）する。そしてこの状態のもとで補正機能のＨボタン（＋と−の２種類）をクリックして、遠景の拡大部分で左右画像が重なり合ってズレのない状態にする。この判定は目視で行う。そしてその状態で、立体メガネを装着して融像による立体像が画面上の位置で視認できるかどうかを確認する。立体像を画面上の位置で視認できれば、左右のズレを補正する定数ｂの値をＲＥＣボタンをクリックすることによりビューア内部に記録保存する。
【０１５３】
（４）遠近的立体感の調整
最後に遠近的立体感の調整を行う。この補正は立体メガネを装着した立体視で行う。Ｄボタン（＋と−の２種類）をクリックして、目視判定により立体像全体の遠近感が適切に得られるようにする。まず、縮小限界倍率ｍ1までズームアウトした状態でＤボタンをクリックする。そして、融像による立体像が表示画面上あるいはそれよりも奥まった位置で視認できるような、適切な遠近感となれば、遠近を規定する定数ａの値をＲＥＣボタンをクリックすることによりビューア内部に記録保存する。「遠近的立体感」の補正は、画像のズレ補正というよりも調整というものであるので、適切な（好みの）遠近感が得られれば、それでよい。
【０１５４】
（５）アスペクト比の選択と閲覧の方法
閲覧の開始時に、立体表示装置の画面サイズとその表示画面を制御するパソコンが対応する解像度を適合させるために、Ａボタン（＋と−の２種類）をクリックすると、ＳＰＶは立体表示画面等からアスペクト比を自動的に算出するので、閲覧者は適切なアスペクト比を選択する。実際の閲覧に際しては、ＡＵＴＯボタンをクリックすると、フォトフレーム（現在販売されている物の多くが非立体写真用）のように、ＳＰＶは立体写真を自動的にズーミングしながら表示し続ける。また閲覧者がＮＥＸＴボタンあるいはＢＡＣＫボタンをクリックすると、特定の立体写真に対して任意のズーミング操作を行うことができる。
【０１５５】
実際に富士フィルム社製のデジタルカメラＡ２２０を２台用いて１２００万画素数の一対の立体写真を作成し、ＳＰＶを用いて実験したところ、１２倍程度（面積比で１５０倍程度）までズーミングすることが出来た。使用した表示立体表示装置は、Ｄｉｍｅｎ社製Ｇ１７０Ｐ偏光メガネ式表示装置で、解像度はＸＧＡ（１０２４×７６８）であった。
【産業上の利用可能性】
【０１５６】
本発明の原理を用いて実現された立体写真ビューアＳＰＶは、（イ）パソコン用立体ディスプレイ装置（立体メガネ方式、裸眼方式とも可）、（ロ）３D立体テレビ（市販の家電品、立体メガネ方式、裸眼方式とも可）、（ハ）デュアル・プロジェクター方式（プロジェクターを２台使用）の立体投影システム、（ニ）ハーフミラー方式（液晶パネルを２台使用）の高品位立体ディスプレイシステムをその表示対象とすることができる。それらの立体表示装置が受け入れる立体フォーマットは、前者２つの装置については「サイドバイサイド・フォーマット」、後者２つ装置については「非圧縮２画像独立配信方式のフォーマット（立体視のために再生された左右の２画像が、圧縮されずにそれぞれ独立して配信に供される方式のフォーマット）」である。それ故、上記ＳＰＶは「サイドバイサイド・フォーマット」と「非圧縮２画像独立配信方式のフォーマット」の２つの立体フォーマットの取り扱いを可能としている。
【０１５７】
また、上述のＳＰＶにおけるズーミング機構は、３Ｄグラフィックスの３次元仮想空間の技術へ応用することが可能である。３ＤＣＧ（３次元コンピュータグラフィックス）においては、仮想空間内に視点を持った仮想人間（一般にアバターと呼ばれる）を置き、そのアバターが眺めた周りの光景をディスプレイ装置に表示する方式を採用している。このアバターは、仮想空間内を動き回る（ウォークスルーする）ことが可能である。アバターの視点は、仮想空間内に置かれて平板に貼られた画像をある距離Ｌから眺めている。そこで、仮想世界における融像式を導出するには、数１７の融像式の中で用いられている２ＤＣＧ平面の属性（変量）である立体表示装置の画面上の倍率ｍを、３ＤＣＧ仮想空間の属性（変量）であるアバターの視点から画像までの距離Ｌに置き換えればよい。この距離Ｌと表示画面上に投影された画像の倍率ｍは反比例の関係にあることから、ｋをＬとｍの反比例の定数とすると、Ｌ0×ｍ0＝ｋ、Ｌ1×ｍ1＝ｋなので、数１７に倍率ｍを代入すると、次の式が得られる。
【０１５８】
【数２２】
0005214040.tif 000023
【０１５９】
また、数２２の倍率ｍの範囲、ｍ1≦ｍ≦ｍ0は、次のように、距離Ｌの範囲に変換できる。
【０１６０】
【数２３】
0005214040.tif 000024
【０１６１】
ちなみにＬ0は「視点接近限界距離」、Ｌ1は「視点後退限界距離」というべきものである。ここでｔをＸ、ａ／ｋをα、ｂをβに置き代えて、数２２を整理すると、次のようになる。
【０１６２】
【数２４】
0005214040.tif 000025
【０１６３】
これは、仮想空間内のアバターの視点から画像を貼った平板までの距離Ｌに関するＸ座標の座標変換式である。数２４は３Ｄグラフィックスにおける仮想空間をウォークスルー（画像への接近や画像からの後退）する際の融像式となり、定数α、βは、上記定数ａ、ｂを視覚実験で決定したのと同様の方法で決定される定数である。
【０１６４】
なお、３ＤグラフィックスであるＶＲＭＬ言語とＪａｖａＳｃｒｉｐｔ（登録商標）言語、ＨＴＭＬ言語を用いて、上記ＳＰＶと同様な立体写真ビューアを実現することができた。その際、仮想空間用の融像式としては、数２４を用いた。性能的には、上記のＳＰＶと同等のものであった。
【図１】
0005214040.tif 000026
【図２】
0005214040.tif 000027
【図３】
0005214040.tif 000028
【図４】
0005214040.tif 000029
【図５】
0005214040.tif 000030
【図６】
0005214040.tif 000031
【図７】
0005214040.tif 000032
【図８】
0005214040.tif 000033
【図９】
0005214040.tif 000034
【図１０】
0005214040.tif 000035
【図１１】
0005214040.tif 000036
【図１２】
0005214040.tif 000037
【図１３】
0005214040.tif 000038
【図１４】
0005214040.tif 000039
【図１５】
0005214040.tif 000040
【図１６】
0005214040.tif 000041
【図１７】
0005214040.tif 000042
【図１８】
0005214040.tif 000043
【図１９】
0005214040.tif 000044