(57)【要約】【課題】  立体観察が可能な観察装置で撮像された視差画像に基づいて３次元形状を再構成して任意の視点から見た立体画像を表示可能にした立体撮像表示システム。【解決手段】  ２つの撮像素子４1 、４2 上に物体Ｏの像を結像する結像光学系１を備え、撮像素子４1 、４2 により撮像された視差画像から対応点探索することにより物体の形状を３次元再構築する３次元再構築部３１を有する立体撮像表示システムであり、視差画像を表示する一対の表示素子１１1 、１１2 と、表示された視差画像を射出瞳を経て同一平面上に投影する一対の投影手段と、その平面又はその近傍に配置された表示パネル１５であって結像手段と拡散手段とを有する表示パネル１５とを備え、３次元再構築部３１で３次元再構築された物体を任意の視点位置における両眼で見た視差画像を表示素子１１1 、１１2 に表示可能に構成されている。【選択図】        図１１
2006003772.tif 000002
【特許請求の範囲】
【請求項１】
観察物体に対して視差を有する少なくとも２つの光軸を形成し、かつ、対応する少なくとも２つの撮像素子上に観察物体の像を結像する全体で正の屈折力を有する結像光学系を備え、かつ、前記少なくとも２つの撮像素子により撮像された視差画像から対応点探索することにより物体の形状を３次元再構築する３次元再構築部を有する立体撮像表示システムにおいて、
左右の視差画像を表示する一対の表示素子と、前記一対の表示素子に表示された視差画像を射出瞳を経て同一平面上に投影する一対の投影手段と、前記平面又はその近傍に配置された表示パネルであって、前記各投影手段の射出瞳の像を観察用の瞳位置に結像する結像手段と拡散作用を奏して前記各投影手段の射出瞳の像を観察用の瞳位置で拡大する拡散手段とを有する表示パネルとを備え、
前記３次元再構築部で３次元再構築された物体を任意の視点位置における両眼で見た視差画像を前記一対の表示素子に表示可能に構成されていることを特徴とする立体撮像表示システム。
【請求項２】
前記結像手段をフレネルレンズ又はフレネルミラーで構成すると共に、前記フレネルレンズ又はフレネルミラーの光軸が前記表示パネルの中心に対して偏心して配置されていることを特徴とする請求項１記載の立体撮像表示システム。
【請求項３】
前記少なくとも２つの撮像素子により撮像された視差画像又は前記３次元再構築部で３次元再構築された物体形状データを記録する記録部を備えていることを特徴とする請求項１又は２記載の立体撮像表示システム。
【請求項４】
前記表示パネルに表示される３次元再構築された立体画像を観察物体が載置される水平面上に投影した場合の方位角と観察物体の方位角との間の差Δφが、
−１０°＜Δφ＜１０°                                        ・・・（１）
を満たすことを特徴とする請求項１から３の何れか１項記載の立体撮像表示システム。
【請求項５】
前記表示パネルの中心と観察物体の中心を結ぶ方向と垂直線とで決まる見下ろし角θと、前記表示パネルに表示される３次元再構築された立体画像に対する視線の見下ろし角θとの間の差Δθが、
−３０°＜Δθ＜３０°                                        ・・・（２）
を満たすことを特徴とする請求項１から４の何れか１項記載の立体撮像表示システム。
【請求項６】
前記表示パネルに表示される３次元再構築された立体画像に対する視線の垂直線に対する見下ろし角θが、
０°＜θ＜６０°                                              ・・・（３）
を満たすことを特徴とする請求項１から５の何れか１項記載の立体撮像表示システム。
【請求項７】
前記表示パネルに表示される３次元再構築された立体画像を任意の視点位置における両眼で見た立体画像に変更する手段を備えていることを特徴とする請求項１から６の何れか１項記載の立体撮像表示システム。
【請求項８】
前記表示パネルは観察物体に対して位置が変更に可能に構成されており、前記表示パネルの観察物体に対する位置に応じて、前記表示パネルに表示される３次元再構築された立体画像の視点位置を変更することを特徴とする請求項７記載の立体撮像表示システム。
【請求項９】
複数の前記表示パネルを備えており、各々の前記表示パネルの観察物体に対する位置に応じて、各々の前記表示パネルに表示される３次元再構築された立体画像を任意の視点位置における両眼で見た立体画像に変更することを特徴とする請求項８記載の立体撮像表示システム。
【請求項１０】
前記結像光学系の観察物体に対して視差を有する少なくとも２つの光軸間の観察物体位置でなす内向角αが、
α＜１２°                                                    ・・・（４）
を満足することを特徴とする請求項１から９の何れか１項記載の立体撮像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体撮像表示システムに関し、特に、観察装置からの視差画像に基づき立体観察すると同時に、３次元形状を再構成して任意の視点から見た立体画像を表示する機能を有する立体撮像表示システムに関するものである。
【背景技術】
【０００２】
従来、双眼の電子画像顕微鏡として、特許文献１、特許文献２、特許文献３に開示されたものがある。これらの双眼実体顕微鏡は３次元画像を取り込むことはできるが、形状の測定はできなかったり、両眼による観察はシャッター眼鏡を掛ける等の特殊な観察が必要であった。また、特許文献４には、形状、特に高さのみではあるが、２つの電子画像から形状を測定する方法が開示されている。
【特許文献１】特許第３，２０９，５４３号公報
【特許文献２】特開平７−２２２７５４号公報
【特許文献３】特開平８−３６１３４号公報
【特許文献４】特許第２，５２６，５４３号公報
【特許文献５】特許第３，４０１，１６７号公報
【特許文献６】特開２００１−５９９４９号公報
【非特許文献１】松山隆司他２名編「コンピュータビジョン：技術評論と将来展望」（１９９８年６月１５日、（株）新技術コミュニケーションズ発行）
【非特許文献２】技術編ＣＧ標準テキストブック編集委員会監修「技術編ＣＧ標準テキストブック」（平成１１年３月１日、財団法人画像情報教育振興協会発行）
【非特許文献３】今間俊博著「ＣＧ基礎セミナー  ３ＤＣＧ・映像メディアに強くなる」（平成１４年１１月２５日、（株）オーム社発行）
【非特許文献４】徐剛他１名著「３次元ビジョン」（１９９８年４月２０日、共立出版（株）発行）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来は、眼鏡等を必要とせずに広い視域で立体像を観察しつつ３次元形状を取得できる観察装置はなかった。
【０００４】
本発明は従来技術のこのような状況に鑑みてなされたものであり、その目的は、立体観察が可能な観察装置で撮像された視差画像から立体観察すると共に、その視差画像に基づいて３次元形状を再構成して任意の視点から見た立体画像を表示可能にした立体撮像表示システムを提供することである。
【課題を解決するための手段】
【０００５】
上記目的を達成する本発明の立体撮像表示システムは、観察物体に対して視差を有する少なくとも２つの光軸を形成し、かつ、対応する少なくとも２つの撮像素子上に観察物体の像を結像する全体で正の屈折力を有する結像光学系を備え、かつ、前記少なくとも２つの撮像素子により撮像された視差画像から対応点探索することにより物体の形状を３次元再構築する３次元再構築部を有する立体撮像表示システムにおいて、
左右の視差画像を表示する一対の表示素子と、前記一対の表示素子に表示された視差画像を射出瞳を経て同一平面上に投影する一対の投影手段と、前記平面又はその近傍に配置された表示パネルであって、前記各投影手段の射出瞳の像を観察用の瞳位置に結像する結像手段と拡散作用を奏して前記各投影手段の射出瞳の像を観察用の瞳位置で拡大する拡散手段とを有する表示パネルとを備え、
前記３次元再構築部で３次元再構築された物体を任意の視点位置における両眼で見た視差画像を前記一対の表示素子に表示可能に構成されていることを特徴とするものである。
【０００６】
この場合に、結像手段をフレネルレンズ又はフレネルミラーで構成すると共に、そのフレネルレンズ又はフレネルミラーの光軸が表示パネルの中心に対して偏心して配置されているようにすることが望ましい。
【０００７】
まが、少なくとも２つの撮像素子により撮像された視差画像又は３次元再構築部で３次元再構築された物体形状データを記録する記録部を備えていることが望ましい。
【０００８】
また、表示パネルに表示される３次元再構築された立体画像を観察物体が載置される水平面上に投影した場合の方位角と観察物体の方位角との間の差Δφが、
−１０°＜Δφ＜１０°                                        ・・・（１）
を満たすことが望ましい。
【０００９】
また、表示パネルの中心と観察物体の中心を結ぶ方向と垂直線とで決まる見下ろし角θと、表示パネルに表示される３次元再構築された立体画像に対する視線の見下ろし角θとの間の差Δθが、
−３０°＜Δθ＜３０°                                        ・・・（２）
を満たすことが望ましい。
【００１０】
また、表示パネルに表示される３次元再構築された立体画像に対する視線の垂直線に対する見下ろし角θが、
０°＜θ＜６０°                                              ・・・（３）
を満たすことが望ましい。
【００１１】
また、表示パネルに表示される３次元再構築された立体画像を任意の視点位置における両眼で見た立体画像に変更する手段を備えていることが望ましい。
【００１２】
また、表示パネルは観察物体に対して位置が変更に可能に構成されており、表示パネルの観察物体に対する位置に応じて、表示パネルに表示される３次元再構築された立体画像の視点位置を変更するようにすることが望ましい。
【００１３】
また、複数の表示パネルを備えており、各々の表示パネルの観察物体に対する位置に応じて、各々の表示パネルに表示される３次元再構築された立体画像を任意の視点位置における両眼で見た立体画像に変更するようにすることが望ましい。
【００１４】
さらに、以上において、結像光学系の観察物体に対して視差を有する少なくとも２つの光軸間の観察物体位置でなす内向角αが、
α＜１２°                                                    ・・・（４）
を満足することが望ましい。
【発明の効果】
【００１５】
本発明においては、視差画像が撮影可能な装置によって撮像された視差画像に基づいて観察物体の３次元物体形状が再構築され、その再構築された３次元物体形状から任意の視点位置において見た立体画像が、シャッター機能を有する眼鏡等を用いることなしに比較的広い観察範囲で容易に観察することができる表示パネル上に再現されるため、視差画像から再構築された観察物体を任意の方向から見た立体画像として立体表示することができるようになる。
【発明を実施するための最良の形態】
【００１６】
以下に実施例に基づいて本発明の立体撮像表示システムはを説明する。
【００１７】
双眼顕微鏡としては、単対物レンズで左右の光路が平行になるタイプであって、左右に２つの変倍光学系を持つタイプ（図１（ａ））と左右共通の１つの変倍光学系を持つタイプ（図１（ｂ））等の例がある。また、左右の光路がＶ字型に構成されたタイプ（図２）も知られている。何れも少なくとも２つの結像光学系に対して少なくとも２つの撮像素子を配置し、それぞれの撮像素子から少なくとも２枚の視差を有する２次元画像が得られる。なお、図１、図２において、双眼顕微鏡自体は符号１０で、また、対物レンズは符号１で、結像レンズは２1 、２2 で、変倍光学系は３、３1 、３2 で、撮像素子は４1 、４2 でそれぞれ示す。これらの符号の添字の“1 ”、“2 ”はそれらの素子が複数ある場合の配置位置（光路）を区別するためのもので、左右の２つの光路の場合は、左右の素子の区別を意味する。また、図１、図２において、観察物体は符号Ｏで示してある。なお、図２の構成においては、左右の変倍光学系３1 、３2 が左右の対物レンズを兼ねている。
【００１８】
このような双眼顕微鏡１０の少なくとも２つの撮像素子４1 、４2 からの映像信号は、図３に示すように、２つの２次元表示素子１１1 、１１2 に表示し、その２つの２次元視差画像をそれぞれ投影光学系１２1 、１２2 によって表示パネル１５上に同時に投影して、観察者の左右の眼球（瞳）ＥＬ、ＥＲに別々に見えるようにして、物体Ｏの立体観察を可能にする。
【００１９】
ここで、本発明において用いるこのような両眼立体観察装置３０について説明する。
【００２０】
図４に、図１、図２のような視差像撮像装置（双眼顕微鏡）１０の少なくとも２つの撮像素子４1 、４2 からの映像信号を２つの２次元表示素子１１1 、１１2 に表示し、その２つの２次元視差画像を表示パネル１５上に同時に投影して物体Ｏの立体表示を可能にする両眼立体観察装置３０の構成を示す。ここで、図４（ａ）は透過型両眼立体観察装置の概略構成図、図４（ｂ）は反射型両眼立体観察装置の概略構成図である。なお、図４（ｂ）では、便宜上右眼用の構成についてのみ示してあり、左眼用の構成は省略してある。
【００２１】
図４（ａ）、（ｂ）に示す両眼立体観察装置３０は、表示素子１１1 、１１2 と、投影光学系１２1 、１２2 と、結像光学系１３と、その観察側に密着あるいはわずかに離間して配置れた拡散板１４とを備えて構成されている。結像光学系１３と拡散板１４とで表示パネル１５を構成している。
【００２２】
投影光学系１２1 、１２2 は、表示素子１１1 、１１2 に表示された視差画像を観察者側に投影する。このとき、投影された画像が表示パネル１５の同一の表示面に投影するように、光学系が構成されている。結像光学系１３はその同一の表示面近傍に配置されている。そして、投影光学系１２1 、１２2 の射出瞳１６1 、１６2 を観察者側に投影する。観察者は投影された射出瞳像の位置に左右の眼の瞳ＥＬ、ＥＲを一致させることで、表示素子１１1 、１１2 に表示された画像を観察することができる。拡散板１４は、観察用の瞳を拡大する作用を有している。また、結像光学系１３と拡散板１４は表示面位置に配置されている。
【００２３】
表示面位置は、投影光学系１２1 、１２2 で投影される表示素子１１1 、１１2 の画像の結像位置となっている。そして、この結像位置に配置された結像光学系１３としては、透過型両眼立体観察装置（図４（ａ））では、フレネルレンズ（凸レンズ）が、反射型両眼立体観察装置（図４（ｂ））ではフレネルミラー（凹面鏡）が設けられている。また、拡散板１４としては、指向性のあるＨＯＥ散乱膜や、フレネルミラーの入射面あるいはフレネルレンズの射出面に形成された指向性の拡散面で構成されている。
【００２４】
フレネルミラー、フレネルレンズは、それぞれ２つの射出瞳１６1 、１６2 の像を観察者側に結像するようになっている。これらのフレネル面は、表示面位置（あるいはその近傍）に配置されているため、投影された映像の画質は劣化しないで、高い解像力で観察することができる。また、凹面鏡とは異なり、平板状に配置されている。
【００２５】
図５（ａ）は、上記両眼立体観察装置３０において、射出瞳像（観察用の瞳）が拡大される原理を示す説明図である。なお、図５（ａ）では、透過型の両眼立体観察装置の構成を用いている。
【００２６】
表示パネル１５の平面状の表示面位置又はその近傍には、結像光学系１３と共に拡散板１４が配置されている。図５（ａ）において、結像光学系１３は、左右の投影光学系１２1 、１２2 の射出瞳１６1 、１６2 の径Φ0 をΦ0 ’の大きさで、観察者側の所定の位置に結像する作用を有している。この所定の位置は、観察者の眼球（瞳）瞳ＥＬ、ＥＲが位置する所である。ここで、拡散板１４は、その拡散作用により、本来Φ0 ’の大きさで結像されるべき射出瞳１６1 、１６2 の瞳像（左右の投影光学系１２1 、１２2 の射出瞳１６1 、１６2 の像）をΦ1 の大きさに拡大するようになっている。なお、拡散板１４により拡大された左右の射出瞳像は、それぞれが重なり合わないように、その位置と径が設定されている。この拡散板１４による拡散作用は、透過型両眼立体観察装置では表示面位置に設けられた拡散板１４を１回だけ透過するので１回だけ作用し、反射型両眼立体観察装置（図５では不図示）では表示面位置に設けられた拡散光学系を２回透過するため２回作用する。
【００２７】
図５（ｂ）、（ｃ）に、左右の観察用の瞳内の明るさ分布を示す。瞳内の分布のタイプには、図５（ｂ）に示すように均一の場合と、図５（ｃ）に示すようにガウス分布に近い場合がある。何れの場合の構成においても、左右の瞳の重なり合う部分の光強度を十分に小さくして、実質上、重なりがない状況にすることが重要である。特に、図５（ｂ）、（ｃ）に示すように、左右の瞳の重なり合う部分の光強度が１０分の１を下回るように構成することが望ましい。このため、左右の投影装置２０1 、２０2 の画像を、それぞれ独立した状態で観察者の左右の瞳ＥＬ、ＥＲに提示可能となりメガネなしでの立体観察が可能になる。
【００２８】
図６は本発明において用いる両眼立体観察装置３０の１例を示す図である。図６（ａ）は、上方から見た概略構成図、図６（ｂ）は図６（ａ）の側面図である。本例の両眼立体観察装置３０は、透過型に構成されている。表示パネル１５の表示面位置には、結像光学系１３が配置されている。結像光学系１３は、投影光学系１２1 、１２2 の射出瞳１６1 、１６2 を、観察者側に投影する。この投影された位置に観察者の眼球（瞳）ＥＬ、ＥＲを一致させることにより、観察者は映像の観察が行える。
【００２９】
ここで、結像光学系１３としては、観察者側にフレネル面１３ａを向けたフレネルレンズが用いられている。このフレネルレンズ１３の近傍には、瞳拡大のための拡散板１４が配置されており、これらで透過型表示パネル１５を構成している。本例では、フレネルレンズ面１３ａは、投影光学系１２1 、１２2 により投影された投影像の結像位置に配置されている。このため、フレネルレンズ面１３ａによる画質の劣化はない。拡散板１４の拡散面１４ａは、フレネルレンズ１３のフレネルレンズ面１３ａ側に設けられている。拡散面１４ａは、フレネルレンズ面１３ａに近づけて配置されており、ボケを少なくして画質劣化を少なく抑えている。
【００３０】
また、本例では、透過型表示パネル１５のフレネルレンズ面１３ａが偏心フレネルレンズ面となっており、図６（ｂ）に示すように、フレネルレンズ面１３ａの光軸が中心より下側に位置している。なお、フレネルレンズ面１３ａは正屈折力を有している。
【００３１】
本例のように、透過型表示パネル１５を偏心光学系で構成すると、表示パネル面自体が厚くならずにすむ。よって、表示パネル１５邪魔にならない配置が可能となる。また、本例のように、表示面位置に拡散面１４ａ及びフレネル面１３ａを極力近づけて配置した方が画質劣化が少ないので好ましい。
【００３２】
図７は本発明において用いる両眼立体観察装置３０の他の例を示す説明図である。図７（ａ）は斜視図、図７（ｂ）は側面図である。
【００３３】
本例の両眼立体観察装置３０は反射型に構成されている。そして、表示パネル１５は、結像光学系１３と瞳拡大のための拡散板１４を備えている。結像光学系１３は、具体的にはフレネルミラー１４である。結像光学系１３は、投影光学系１２1 、１２2 の射出瞳１６1 、１６2 を、観察者側に投影する。観察者は、この投影位置に瞳ＥＬ、ＥＲを一致させることで映像観察ができる。
【００３４】
ところで、反射型両眼立体観察装置の場合、投影光学系１２1 、１２2 と観察者の顔とが干渉しないように各光学部材を配置する必要がある。また、観察者は表示パネルを正面から見た方が観察しやすい。そこで、本例では、表示パネル１５の中心へ入射する投影光の入射光軸と表示パネル１５の中心から出射する光線の出射光軸との間に角度Θを持たせている。また、表示パネル１５の中心に対し、フレネルミラー１３の光軸を上下方向（図７においては上方向）に偏心させている。
【００３５】
図８は、図７の例をより具体化した例を示す側面図である。図８の例では、投影光学系１２2 （１２1 ）に球面レンズ系を用いると共に、表示素子１１2 （１１1 ）をレンズの光軸から偏心させた位置に配置している。このようにすることで、投影光学系１２2 （１２1 ）と観察者の顔とが干渉しないようにしている。表示パネル１５は、観察者の眼及び投影光学系１２2 （１２1 ）に対して垂直に配置されている。また、表示パネル面には非球面のフレネルミラーが用いられている。
【００３６】
なお、本発明において用いる両眼立体観察装置３０の表示パネル１５を構成する拡散板１４としては、上記のように指向性のあるＨＯＥ散乱膜が使用できる。ＨＯＥ散乱膜としては、透過型ホログラムを採用でき、そのために体積型ホログラム（ボリュームホログラム）を用いることができる。また、拡散板１４としては、フレネルミラーの入射面あるいはフレネルレンズの射出面に形成された指向性の拡散面で構成することができ、例えば、ガラスビーズをランダムに研磨した真鍮面に吹き付けて、鏡面でかつランダムな配列からなる微小な凹面配列面を金型として、これをプラスチックからなるフレネル凹面鏡に転写して構成することができる。
【００３７】
このように、本発明において用いる両眼立体観察装置３０においては、左右の視差画像を投影する投影光学系１２1 、１２2 が備える２つの射出瞳１６1 、１６2 を、表示パネル１５の結像光学系１３と拡散板１４の作用により観察者の左右の眼球（瞳）ＥＬ、ＥＲ近傍に投影し、観察者はこの投影された２つの射出瞳１６1 、１６2 から、投影光学系１２1 、１２2 が投影する互いに視差を有する２つの画像の中、右眼用の画像を右眼ＥＲで、左眼用の画像を左眼ＥＬで観察することができ、観察者はシャッター機能を有する眼鏡等を顔面に装着することなく、比較的広い観察範囲で立体画像を容易に観察することができる。
【００３８】
さらに、結像光学系１３のフレネルレンズ、フレネルミラーの光軸を偏心して配置するようにすることにより、投影装置２０1 、２０2 を表示面に対して斜め方向から投影することが可能となり、表示面での反射光で画像にフレアーが入ることが回避できる。
【００３９】
ところで、双眼顕微鏡１０の撮像素子４1 、４2 で撮像された少なくとも２つの視差を有する映像から、よく知られたステレオ計測法により視差を有する映像間の対応点を探索し、物体Ｏの立体形状を取得することができる。この計測方法は、例えば非特許文献１の第８０〜９６頁（「コンピュータビジョンにおけるエピポーラ幾何」）に詳細が記載されている。
【００４０】
図９に、物体Ｏの立体形状を取得する３次元再構築部を備えた本発明の立体撮像表示システムの１実施例のシステム構成図を示す。この場合も、図３の構成と同じように、双眼顕微鏡１０の少なくとも２つの撮像素子４1 、４2 からの映像信号は上記のような両眼立体観察装置３０に送られ、物体Ｏの立体観察を可能にしている。
【００４１】
さらに、双眼顕微鏡１０の少なくとも２つの撮像素子４1 、４2 からの映像信号は、物体Ｏの形状の３次元再構築を行う３次元再構築部３１に入力され、この中で少なくとも２つの映像のアライメント等が行われ、対応点探索がなされ、対応点に基づいて３次元座標データが作られる。これを基に、サーフェスオブジェクトが生成され、サーフェスモデル表面にテクスチャーを投影し３次元再構築が終了する（サーフェスモデル、テクスチャーの投影等については、非特許文献２の第５５〜８６頁、第１６５〜１７１頁等参照）。
【００４２】
このようにして構築されたサーフェスモデルをＶＲＭＬ等のフォーマットに変換すると、インターネットブラウザ等で３次元再構築された立体モデルを回転させたり、拡大したりして手軽に観察することが可能となる（ＶＲＭＬ等のフォーマットについては、非特許文献３の第２３６頁等参照）。
【００４３】
そこで、３次元再構築部３１に上記のような両眼立体観察装置３０を接続して、３次元再構築部３１で３次元再構築された立体モデルを所望の位置（視点）から両眼で観察した視差を持つ左右の２次元画像として表示できるようにする。
【００４４】
さらに、双眼顕微鏡１０の少なくとも２つの撮像素子４1 、４2 からの映像信号は記録装置３２1 、３２2 に接続されており、視差を持つ２次元画像２枚がそのままこの記録装置３２1 、３２2 に記録されるようになっている。
【００４５】
また、３次元再構築部３１には、３次元再構築された立体モデルを記録する再構築モデル記録装置３３が接続されている。
【００４６】
さらに、図１０（ａ）に示すように、双眼顕微鏡１０の少なくとも２つの撮像素子４1 、４2 からの映像信号として入力された２次元画像２枚を記録する記録装置３２1 、３２2 を双眼顕微鏡１０に直接接続しておいて、２次元画像をとりあえず記録し、図１０（ｂ）に示すように、別体の３次元再構築部３１に接続された２次元画像再生装置３４1 、３４2 で記録された少なくとも２つの視差を有する画像を再生させて３次元再構築部３１に入力して、そこで立体モデルを３次元再構築し、さらに、３次元再構築部３１に接続された両眼立体観察装置３０にその立体モデルを所望の位置（視点）から観察した視差を持つ左右の２次元画像として表示するようにすることも可能である。この場合も、３次元再構築部３１に３次元再構築された立体モデルを記録する再構築モデル記録装置３３が接続されていてもよい。また、双眼顕微鏡１０にも両眼立体観察装置３０を直接接続しておき、物体Ｏの直接の立体観察を可能にしてもよい。
【００４７】
通常は、観察者が物体に対しての２つの視差を有する画像を脳の中で立体映像と認識して、立体形状を脳内に構築している。しかし、この場合は複数人で立体像を観察するには適さない。また、立体像を記録するには手軽な手法がなく、特殊な３次元表示装置を用いなければならなかった。本発明は、このような３次元表示装置なしに、リアルタイムで立体観察することも可能であるし、記録保存された視差画像から立体モデルを再構築して、任意の視点から見た立体画像を観察することも可能となる。さらに、３次元再構築されたサーフェスモデルあるいは立体モデルそのものを保存記録することも可能である。
【００４８】
図１１に、本発明の立体撮像表示システムを構成する双眼顕微鏡装置の１実施例の透視図を示す。この双眼顕微鏡装置は、観察物体Ｏを載置する試料載置台４１と、その試料載置台４１の後端に立てられた支持棒４２と、支持棒４２に沿ってピント調節ネジ４４により上下方向に移動調節可能な鏡体４３と、鏡体４３の下部に取り付けられ、双眼顕微鏡光学系の主として対物レンズ１を収納している鏡筒４５と、鏡体４３の上部に取り付けられ、３次元再構築された形状データに基づいて、あるいは、撮像素子４1 、４2 からの映像信号に基づいて直接、物体Ｏの立体像を表示する透過型両眼立体観察装置３０とからなる。また、鏡体４３には、変倍光学系３1 、３2 を調節して倍率を変更する倍率調節ネジ４７が設けられている。この例では、双眼顕微鏡光学系として図１（ａ）に類似した光学系が用いられており、変倍光学系は３1 、３2 と撮像素子４1 、４2 の間に光路を略９０°折り曲げる偏向ミラー５1 、５2 がそれぞれ配置されて構成されている。
【００４９】
そして、透過両眼立体観察装置３０は、左右の視差像を表示する２次元表示素子１１1 、１１2 と、対応する図示を省いた投影光学系１２1 、１２2 と、左右共通の透過型表示パネル１５とからなる。
【００５０】
このような構成に、図９に示した３次元再構築部３１と、視差画像の記録装置３２1 、３２2 とが接続されている。
【００５１】
この実施例では、双眼顕微鏡光学系の左右の撮像素子４1 、４2 で撮像された視差のある映像は、３次元再構築部３１に入力される。入力された視差画像はそのまま２枚の視差画像（動画）として記録される場合は、記録装置３２1 、３２2 のみに出力される。立体表示を行う場合は、２枚の視差画像はそのまま表示素子１１1 、１１2 に出力され、投影光学系１２1 、１２2 で透過型表示パネル１５のフレネルレンズ１３と拡散板１４近傍に投影される。これにより、観察者は視差画像を左右の眼で観察することができ、立体観察が可能となる。
【００５２】
３次元再構築部３１に入力された２つの視差画像からその中で２つの画像のアライメント等が行われ、対応点探索がなされ、その視差の量から３次元座標に変換され、サーフェスモデルに変換される。最後に、２次元画像の表面画像をそのサーフェスモデルに貼り付けてＶＲＭＬに変換される。
【００５３】
その３次元再構築された立体モデルを所望の位置（視点）から観察した視差を持つ左右の２次元画像を透過両眼立体観察装置３０の表示素子１１1 、１１2 に出力して、３次元再構築された立体モデルを所望の位置から見た立体観察を可能にする。
【００５４】
ところで、本発明の立体撮像表示システムでは、撮像素子４1 、４2 で各々２次元の電子像を取得しているために、電子的に映像を反転させたりすることが可能である。そのため、光学系で正立像を作る必要がなく、光学部品の点数が少なくできるメリットがある。しかし、図１１に例示したように、特に両眼立体観察装置３０が一体型の場合、観察者が観察物体Ｏを観察している方向と、両眼立体観察装置３０に表示する立体像の表示方向とを一致させることが、物体Ｏに対して操作を行う用途（例えば手術）においては、特に重要である。
【００５５】
図１２に示すような状態の場合、すなわち、観察物体Ｏが「立体」なる３次元的な文字の場合、両眼立体観察装置３０の表示パネル１５に表示された立体画像Ｉは、図１３に示すように、試料載置台４１上に投影した場合に、観察物体Ｏと同じ方位角φになるように表示することが必要である。ここで、試料載置台４１の面にＸ座標とＹ座標をとり、双眼顕微鏡光学系による撮像方向（垂直方向）にＺ軸をとっており、方位角φはＹ軸から測った角度で定義される。
【００５６】
特に、小型で両眼立体観察装置３０を一体化した双眼顕微鏡装置では、観察者が鏡体４３あるいは鏡筒４５の向きを回転させて、観察物体Ｏと表示された立体画像Ｉとの向きを合わせることは非常に難しい作業となる。このため、予め両眼立体観察装置３０側で表示する立体画像Ｉの向きを観察物体Ｏの向きに合わせておくことが非常に重要となる。
【００５７】
こうすることにより、観察物体Ｏに対して何らかの操作を行おうとした場合に、実際の操作方向と表示パネル１５での操作方向とが一致するため、直感的に操作を行うことが可能となる。なお、３次元再構築された立体モデルの視点の変換については、非特許文献４の第８６〜９０頁（「ハンド・アイ校正」）に記載の方法による。つまり、表示パネル１５の方向に撮像光軸の座標系を座標変換することにより可能となる。
【００５８】
この点をもう少し説明すると、両眼立体観察装置３０の表示パネル１５に表示される３次元再構築された立体モデルに対する視点（この場合は、左右の眼の瞳ＥＬ、ＥＲの中心と考える。）は、観察者が表示パネル１５越しに観察物体Ｏを観察する方向に合わせることが重要である。３次元再構築されたサーフェスモデルの観察方向である視点の方向を表示パネル１５の中心と観察物体Ｏの中心を結ぶ方向にそろえることが重要である。図１２に示すような状態の場合、再構築した立体像は、図１３に示すように表示され、表示する３次元再構築された立体モデルに対する視線（左右の視線の中間線）の方向が、図１３に示すように、観察物体Ｏに対する視線（左右の視線の中間線）の方向と同じ方位角φ、同じ見下ろし角θになるように選んで表示することが必要である。
【００５９】
この場合、表示パネル１５に表示される立体画像Ｉを試料載置台４１上に投影した場合の方位角φと観察物体Ｏの方位角φとの間の差Δφは、
−１０°＜Δφ＜１０°                                        ・・・（１）
なる条件を満たすことが好ましい。
【００６０】
また、表示パネル１５の中心と観察物体Ｏの中心を結ぶ方向で決まる見下ろし角θと、表示パネル１５に表示する３次元再構築された立体モデルに対する視線（左右の視線の中間線）の見下ろし角θとの間の差Δθは、
−３０°＜Δθ＜３０°                                        ・・・（２）
なる条件を満たすことが好ましい。
【００６１】
また、３次元再構築された立体モデルに対する視線（左右の視線の中間線）のＺ軸から測った角度で定義される見下ろし角θ（図１３）は、
０°＜θ＜６０°                                              ・・・（３）
なる条件を満足することが望ましい。
【００６２】
方位角の差Δφと見下ろし角θの差Δθは、載置台４１であるＸ−Ｙ平面で作業する方向感覚に影響を与え、それぞれの上下限の±１０°、±３０°を越えると、観察物体Ｏに対して目標のある方向と、その物体Ｏを動かそうとする方向との間にずれが生じ、物体Ｏを掴む等の操作ができなくなる。
【００６３】
また、見下ろし角θの上限の６０°は、３次元再構築を行っても物体Ｏの陰になる部分については立体像を取得できないために、補間により推定せざるを得ない。しかし、その上限を越えると、その補間部分が主に表示されることになるために立体の再現性が著しく低下する。また、下限の０°を越えると、２次元映像を観察しているのと差がなく、立体感を得られない。
【００６４】
なお、方位角の差Δφについては、最悪、
−４５°＜Δφ＜４５°                                    ・・・（１−１）
また、見下ろし角θの差Δθについては、最悪、
−４５°＜Δθ＜４５°                                    ・・・（２−１）
なる条件を満たすことが好ましい。
【００６５】
また、見下ろし角θについては、
１０°＜θ＜４５°                                        ・・・（３−１）
なる条件を満足することがより望ましい。
【００６６】
ところで、両眼立体観察装置３０の表示パネル１５に表示する３次元再構築された立体モデルに対する視点位置は、一旦表示後に変更可能にすることが望ましい。そのためには、図１４に示すように、３次元再構築された立体モデルに対する観察位置（視点）を自由に変更するジョイスティック等の制御部４８を３次元再構築部３１に接続して、両眼立体観察装置３０の表示パネル１５に表示される立体画像Ｉを観察しながら、視点を自由に変えられるようにすることにより、表示パネル１５を見ながら観察物体Ｏの３次元形状をより簡単に把握することが可能となる。
【００６７】
また、３次元再構築された立体モデルを表示する両眼立体観察装置３０が方位角φ方向及び見下ろし角θ方向に任意の角度変更可能にすることもできる。その場合に、両眼立体観察装置３０の方位角φ及び見下ろし角θを検出する手段を設け、検出された方位角φ及び見下ろし角θで３次元再構築された立体モデルに対する視点を変換するようにすることが重要である。図１５は、両眼立体観察装置３０が撮像方向のＺ軸の周りで任意の角度回転できるようにしたもので、変更後の両眼立体観察装置３０’、表示パネル１５’、表示された立体画像をＩ’で示してある。変更後の位置で観察しても、表示された立体画像Ｉと肉眼で観察する物体Ｏの位置関係は概ね同一になり、特に物体Ｏに対して操作等を行う用途において、操作しやすくなる。
【００６８】
また、例えば図１６に示すように、３次元再構築された立体モデルの立体画像を表示する両眼立体観察装置３０ａ、３０ｂが複数設けられている場合には、観察物体Ｏに対しての撮像系の座標に対するそれぞれの両眼立体観察装置３０ａ、３０ｂの表示パネル１５ａ、１５ｂの表示方向の座標の関係を認識し、３次元再構築した立体モデルに対する視点をその関係に従って変換するようにすることが望ましい。すなわち、図１７に示すように、複数の両眼立体観察装置３０ａ、３０ｂが設けられている場合には、それぞれの表示パネル１５ａ、１５ｂに表示する３次元再構築された立体モデルの立体画像Ｉａ、Ｉｂは、その両眼立体観察装置３０ａ、３０ｂが物体Ｏとなす方位角φ及び見下ろし角θに、３次元再構築された立体モデルに対する視線方向の方位角φ及び見下ろし角θを合わせて、それぞれの表示パネル１５ａ、１５ｂに異なる立体画像Ｉａ、Ｉｂを表示するようにすることが重要である。
【００６９】
例えば図１８（ａ）、（ｂ）に示すように、観察者Ｍａ、Ｍｂが複数いる場合には、それぞれの観察者Ｍａ、Ｍｂに対して物体Ｏを操作する方向が異なる。このような場合に、それぞれの観察方向に合わせた視点で見た３次元再構築された立体モデルの立体画像を表示しないと、観察者Ｍａ、Ｍｂが協調して作業することができなくなってしまう。また、観察者Ｍａ、Ｍｂが移動した場合で、両眼立体観察装置３０ａ、３０ｂを物体Ｏに対して例えば回転させたときに、両眼立体観察装置３０ａ、３０ｂの回転角を検出する手段を設けておき、その回転角検出手段からの方位角φ等の情報に基づき、両眼立体観察装置３０ａ、３０ｂの表示パネル１５ａ、１５ｂを見ている観察者Ｍａ、Ｍｂの観察方向に合った方位角φ等の立体画像を表示するようにすると、さらに好ましい。
【００７０】
ところで、両眼立体観察装置３０に３次元再構築された立体モデルから任意の視点における視差画像を形成する際に、その左右の視差画像は、表示パネル１５に表示する視差画像の内向角と同一の内向角の視差画像として表示するようにすることが重要である。撮像部の内向角と観察部の内向角が異なると、立体方向の縮尺と横方向の縮尺が異なり、立体歪が発生する。これを避けるために、まず立体モデルの３次元再構成を行い（３次元データ、ＶＲＭＬ、ポリゴンデータ等）、再度このデータから観察部の内向角に合わせた内向角を持った視差画像として２次元画像２枚を生成し、これを両眼立体観察装置３０に表示することにより、立体歪のない観察像を観察することが可能となる。
【００７１】
ところで、本発明の立体撮像表示システムにおける双眼顕微鏡光学系における左右の光路の光軸の物体Ｏ位置でなす角である内向角をαとするとき（図１、図２参照）、
α＜１２°                                                    ・・・（４）
なる条件式を満足することが好ましい。
【００７２】
条件式（４）の上限の１２°を越えると、撮像された左右の画像に視差が付きすぎ、形状によっては物体自身によって隠れて見ない部分「オクルージョン」が発生し、ステレオ計測法により形状を３次元再構築をする場合に、対応点探索ができなくなる部分が多くなり、立体形状を十分に再構築できなくなる。
【００７３】
さらに好ましくは、
１°＜α＜８°                                            ・・・（４−１）
なる条件式を満足することがより好ましい。
【００７４】
なお、本発明の立体撮像表示システムにおいて、両眼立体観察装置に３次元再構築された立体モデルから生成される立体画像又は撮像素子４1 、４2 で撮像された２つの視差画像に基づく立体画像を表示する際、物体Ｏに何らかの加工をする前の視差画像を記憶しておいて、その視差画像に基づく立体画像と加工後の視差画像に基づく立体画像とを重層表示（重畳表示）できるようにすることにより、例えば物体の加工工程が正確に分かるようになる。
【００７５】
なお、本発明の立体撮像表示システムにおいて、両眼立体観察装置３０の代わりに、２つの視差のある画像を観察者の左右の眼に振り分けるように処理する３次元表示部を通し観察可能とすることができる。そのような３次元表示部としては、特許文献５で提案されているようなパララックスバリヤ・レンチキュラー方式や、特許文献６等で提案されているようなマイクロポール方式や、面順次表示と液晶シャッター眼鏡を組み合わせた方式の立体観察装置を用いてもよい。
【００７６】
以上、本発明の立体撮像表示システムを実施例に基づいて説明してきたが、本発明はこれら実施例に限定されず種々の変形が可能である。
【図面の簡単な説明】
【００７７】
【図１】本発明の立体撮像表示システムに使用可能な双眼顕微鏡の２つのタイプを説明するための図である。
【図２】本発明の立体撮像表示システムに使用可能な双眼顕微鏡のもう１つのタイプを説明するための図である。
【図３】本発明の立体撮像表示システムの基本となる構成のシステム構成図である。
【図４】本発明において使用する両眼立体観察装置の構成を説明するための図である。
【図５】両眼立体観察装置において射出瞳像（観察用の瞳）が拡大される原理を示す説明図である。
【図６】本発明において用いる両眼立体観察装置の１例を示す説明図である。
【図７】本発明において用いる両眼立体観察装置の他の例を示す説明図である。
【図８】図７の例をより具体化した例を示す側面図である。
【図９】本発明の立体撮像表示システムの１実施例のシステム構成図である。
【図１０】本発明の立体撮像表示システムの別の実施例のシステム構成図である。
【図１１】本発明の立体撮像表示システムを構成する双眼顕微鏡装置の１実施例の透視図である。
【図１２】観察物体と表示装置の表示面に表示された立体画像の配置関係の１例を示す図である。
【図１３】観察物体の方位角と表示装置の表示面に表示される立体画像の方位角と見下ろし角を示す図である。
【図１４】観察位置（視点）を変更する制御部を備えた図１１と同様の双眼顕微鏡装置の概念図である。
【図１５】両眼立体観察装置が撮像方向のＺ軸の周りで任意の角度回転できるようにした双眼顕微鏡装置の１例の斜視図である。
【図１６】複数の両眼立体観察装置が設けられている場合のそれぞれの両眼立体観察装置に表示されるべき立体画像の視線方向の方位角及び見下ろし角を説明するための図である。
【図１７】図１６においてそれぞれの両眼立体観察装置の表示パネルに表示する立体画像の方位角と見下ろし角を観察物体に対する方位角と見下ろし角に合わせるべきことを説明するための図である。
【図１８】複数の両眼立体観察装置が設けられている場合にそれぞれの観察者の観察方向に合わせた視点で立体画像を表示すべきことを説明するための図である。
【符号の説明】
【００７８】
Ｏ…観察物体
ＥＬ、ＥＲ…眼球（瞳）
Ｉ、Ｉ’、Ｉａ、Ｉｂ…立体画像
Ｍａ、Ｍｂ…観察者
１…対物レンズ
２1 、２2 …結像レンズ
３、３1 、３2 …変倍光学系
４1 、４2 …撮像素子
５1 、５2 …偏向ミラー
１０…双眼顕微鏡
１１1 、１１2 …２次元表示素子
１２1 、１２2 …投影光学系
１３…結像光学系
１３ａ…フレネルレンズ面
１４…拡散板
１４ａ…拡散面
１５、１５’、１５ａ、１５ｂ…表示パネル
１６1 、１６2 …投影光学系の射出瞳
２０1 、２０2 …投影装置
３０、３０’、３０ａ、３０ｂ…両眼立体観察装置
３１…３次元再構築部
３２1 、３２2 …記録装置
３３…再構築モデル記録装置
３４1 、３４2 …２次元画像再生装置
４１…試料載置台
４２…支持棒
４３…鏡体
４４…ピント調節ネジ
４５…鏡筒
４７…倍率調節ネジ
４８…制御部
【図１】
2006003772.tif 000003
【図２】
2006003772.tif 000004
【図３】
2006003772.tif 000005
【図４】
2006003772.tif 000006
【図５】
2006003772.tif 000007
【図６】
2006003772.tif 000008
【図７】
2006003772.tif 000009
【図８】
2006003772.tif 000010
【図９】
2006003772.tif 000011
【図１０】
2006003772.tif 000012
【図１１】
2006003772.tif 000013
【図１２】
2006003772.tif 000014
【図１３】
2006003772.tif 000015
【図１４】
2006003772.tif 000016
【図１５】
2006003772.tif 000017
【図１６】
2006003772.tif 000018
【図１７】
2006003772.tif 000019
【図１８】
2006003772.tif 000020