(57)【特許請求の範囲】
【請求項１】
観察対象である観察体の部分領域についての画像である部分画像であって、対物レンズの焦点深度の方向に当該焦点深度の間隔で取得された複数枚の当該部分画像を記憶する記憶手段と、
前記部分領域毎に含まれている物が、前記焦点深度方向の位置の違いに拘らず合焦して表されている合焦部分画像を前記記憶手段に記憶されている複数枚の前記部分画像から生成する合焦部分画像生成手段と、
前記部分領域毎に生成された前記合焦部分画像を組み合わせて前記観察体についての合焦画像を生成すると共に、当該合焦画像を積算により縮小して、前記対物レンズにより取得される前記部分画像における取得倍率よりも低倍率の合焦画像を生成する合焦画像生成手段と、
前記記憶手段に記憶された前記部分領域毎の前記部分画像を当該部分画像が取得されたときにおける前記対物レンズの焦点位置に応じて組み合わせて、前記観察体についての断層画像を当該焦点位置のうちの少なくともひとつについて生成する断層画像生成手段と、
前記観察体の画像を前記低倍率で表示する場合には前記合焦画像生成手段によって生成された前記低倍率の合焦画像を表示する一方で、当該観察体の画像を前記対物レンズにより取得される前記部分画像における取得倍率で表示する場合には前記断層画像生成手段によって生成された前記断層画像を表示する表示手段と、
を有することを特徴とする顕微鏡画像表示システム。
【請求項２】
前記合焦部分画像生成手段は、複数枚の前記部分画像に基づく空間周波数フィルタリングによる回復処理を行うことによって前記合焦部分画像を生成することを特徴とする請求項１に記載の顕微鏡画像表示システム。
【請求項３】
前記合焦部分画像生成手段は、コンフォーカル観察により取得された前記部分画像を積算することによって前記合焦部分画像を生成することを特徴とする請求項１に記載の顕微鏡画像表示システム。
【請求項４】
前記観察体において観察する領域の指示を取得する領域指示取得手段を更に有し、
前記記憶手段は、前記指示に係る領域についての画像を前記部分画像として記憶する、
ことを特徴とする請求項１に記載の顕微鏡画像表示システム。
【請求項５】
前記観察体の全体像が表されている全体像画像を取得する全体像画像取得手段を更に有し、
前記領域指示取得手段は、前記全体像画像に対してなされた前記指示を取得する、
ことを特徴とする請求項４に記載の顕微鏡画像表示システム。
【請求項６】
前記記憶手段は、通信回線を通じて送られてくる前記部分画像を取得して記憶することを特徴とする請求項１に記載の顕微鏡画像表示システム。
【請求項７】
前記断層画像生成手段は、画像が取得されていない前記部分領域については空白として、前記観察体についての断層画像を前記焦点位置のうちの少なくともひとつについて生成することを特徴とする請求項１に記載の顕微鏡画像表示システム。
【請求項８】
観察対象である観察体の部分領域についての画像である部分画像であって、対物レンズの焦点深度の方向に当該焦点深度の間隔で取得された複数枚の当該部分画像を記憶部に記憶させ、
前記部分領域毎に含まれている物が、前記焦点深度方向の位置の違いに拘らず合焦して表されている合焦部分画像を前記記憶部に記憶されている複数枚の前記部分画像から生成し、
前記部分領域毎に生成された前記合焦部分画像を組み合わせて前記観察体についての合焦画像を生成すると共に、当該合焦画像を積算により縮小して、前記対物レンズにより取得される前記部分画像における取得倍率よりも低倍率の合焦画像を生成し、
前記記憶部に記憶された前記部分領域毎の前記部分画像を当該部分画像が取得されたときにおける前記対物レンズの焦点位置に応じて組み合わせて、前記観察体についての断層画像を当該焦点位置のうちの少なくともひとつについて生成し、
前記観察体の画像を前記低倍率で表示する場合には前記低倍率の合焦画像を表示する一方で、当該観察体の画像を前記対物レンズにより取得される前記部分画像における取得倍率で表示する場合には前記断層画像を表示する、
ことを特徴とする観察体画像表示方法。
【請求項９】
前記断層画像の生成では、画像が取得されていない前記部分領域については空白として、前記観察体についての断層画像を前記焦点位置のうちの少なくともひとつについて生成することを特徴とする請求項８に記載の観察体画像表示方法。
【請求項１０】
観察対象である観察体の部分領域についての画像である部分画像であって、対物レンズの焦点深度の方向に当該焦点深度の間隔で取得された複数枚の当該部分画像を記憶部に記憶させる処理と、
前記部分領域毎に含まれている物が、前記焦点深度方向の位置の違いに拘らず合焦して表されている合焦部分画像を前記記憶部に記憶されている複数枚の前記部分画像から生成する処理と、
前記部分領域毎に生成された前記合焦部分画像を組み合わせて前記観察体についての合焦画像を生成すると共に、当該合焦画像を積算により縮小して、前記対物レンズにより取得される前記部分画像における取得倍率よりも低倍率の合焦画像を生成する処理と、
前記記憶部に記憶された前記部分領域毎の前記部分画像を当該部分画像が取得されたときにおける前記対物レンズの焦点位置に応じて組み合わせて、前記観察体についての断層画像を当該焦点位置のうちの少なくともひとつについて生成する処理と、
前記観察体の画像を前記低倍率で表示する場合には前記低倍率の合焦画像を表示する一方で、当該観察体の画像を前記対物レンズにより取得される前記部分画像における取得倍率で表示する場合には前記断層画像を表示する処理と、
をコンピュータに行わせるためのプログラム。
【請求項１１】
前記断層画像を生成する処理では、画像が取得されていない前記部分領域については空白として、前記観察体についての断層画像を前記焦点位置のうちの少なくともひとつについて生成する処理を前記コンピュータに行わせることを特徴とする請求項１０に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顕微鏡を用いて取得される画像情報を処理することで高解像度であって且つ広画角である画像を表示するシステムに関する。
【背景技術】
【０００２】
顕微鏡観察による病理診断の分野においても電子情報化が進んでいる。
例えば特許文献１には、予め観察体を小領域に分割しておき、分割した領域を解像度の高い対物レンズを用いて各々撮影した後、撮影によって得られた画像をつなぎ合わせることによって観察体の画像を再構築する、いわゆるバーチャル顕微鏡システムというものが開示されている。
【０００３】
このシステムを用いると、その場に観察体が存在しない状態での観察体の顕微鏡観察が行えるようになり、その場に実在する観察体を観察する場合と同様に、以下のような観察（バーチャル顕微鏡観察）が画像処理により可能となる。
１．低倍観察から高倍観察への倍率変換
低倍観察においては多くの分割画像を貼り合わせることによって広画角である画像を縮小表示させる一方で、高倍観察では各々の分割画像をそのまま表示する。
２．観察体のＸ−Ｙ操作
診断者によるＸ−Ｙ操作、すなわち観察体を顕微鏡の光路に対して垂直な方向に移動させるための診断者による操作に応じて再構築した画像の表示範囲を変化させることにより、観察体画像のＸ−Ｙ移動を行う。
【０００４】
上記のような手法を用いたシステムでは、時間的な制限に拘束されることなく観察体の診断が可能である。また、観察体画像の画像データを共有しておけば、同時に複数の診断者が同一の観察体における別々の場所を観察することができ、更には診断者がどこにいても観察することができる。
【０００５】
また、実物の観察体を使用してＸ−Ｙ操作をしなから観察する際には、観察体の傾きなどにより生じるピントズレを補正しなければならないが、このシステムでは常にピントがあった状態で観察することができるので、ピントずれによる観察もれがなくなる結果診断の信頼性も高くなり、また観察効率も高くなる。
【０００６】
また、病理診断者の教育の場において、観察体の実物をその場で使用していたときには同じ観察体を複数作成して実習しなければならなかったが、このシステムによれば、観察体画像の画像データを共有化できる利点を活かし、同じ観察体画像による実習が可能となる。
【０００７】
さらに実物の観察体が収められているプレパラートでは、観察体に褪色や破損が生じてしまった場合には同じ状態のものを再び作成することはできないが、データ化された観察体画像であればバックアップが可能であり、いつでもどこでも同じ状態の観察体を観察することができる。
【０００８】
以上のように、特許文献１に開示されているバーチャル顕微鏡システムは、実物の観察体をその場で用いる顕微鏡観察に対して効率的な観察を可能とし、また、高精度かつ高信頼性の観察を可能とする。
なお、同様な技術は例えば特許文献２にも開示されている。
【０００９】
その他、本発明に関連する技術として、例えば特許文献３には、複数の焦点位置での顕微鏡画像を取得するための焦点位置の移動ピッチを、標本観察のために用いられる光の波長と標本観察に使用される対物レンズの開口数とに基づいて決定し、決定された移動ピッチに従って焦点位置を移動させながら取得された顕微鏡画像を画像データベースに格納しておき、複数のパソコンの各々からの要求に応じてその顕微鏡画像を配信して表示させる顕微鏡遠隔観察システムが開示されている。
【００１０】
また、例えば特許文献４には、光軸方向の異なる位置に存在する物のいずれかに焦点が合っている（合焦している）ものが含まれている複数枚の画像を加算して得られる加算画像に対し、回復フィルタと称される空間周波数フィルタを用いた回復処理を施すことにより、光軸方向の異なる位置に存在する物のいずれにも焦点している１枚の画像を復元する技術（例えば特許文献５参照）を応用し、結像光学系の射出の開口数や撮像素子の使用波長等の光学的条件が変化しても常に解像度や明るさに優れ、且つ焦点深度の深い画像を安価に得られる焦点深度伸張装置についての技術が開示されている。
【特許文献１】特開平９−２８１４０５号公報
【特許文献２】特開平５−３３３２７１号公報
【特許文献３】特開２００２−２５８１６３号公報
【特許文献４】特開平９−２９８６８２号公報
【特許文献５】特許第３１９１９２８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
前述した特許文献１に開示されているような従来のバーチャル顕微鏡システムでは、観察体の厚みにより、Ｚ方向の情報、すなわち顕微鏡の光軸方向の情報が欠落する可能性がある。
図１５は、観察体と対物レンズの焦点深度との関係を例示したものであり、Ａ及びＢの２個の細胞の厚みがαである観察体内に存在する場合に、焦点深度βの対物レンズでその撮像を行う場合を示している。
【００１２】
同図に示すような状況では、焦点深度βに対して細胞Ａ及びＢを同時に撮像することができず、細胞Ａ及びＢのうちのどちらかは撮像画像には表されなくなってしまう。また、細胞Ａ及びＢが同図よりも厚み方向において近い場所に位置にしていたとしても、細胞Ａ及びＢのうちのどちらか一方にピントを合わせればその他方はピントのずれた状態となってしまうため、得られる観察体画像は情報の一部が欠落したものとなってしまう。
【００１３】
ここで、実物の観察体を使用する顕微鏡観察であれば、低倍の対物レンズを用いて低倍観察を行うことで焦点深度を深くすることができるので、２個の細胞の両方に同時にピントを合わせて観察することができる。
しかし、特許文献１に開示されているバーチャル顕微鏡システムを使用した観察では、低倍観察を行ったとしても、分割して撮像された画像をつなぎ合わせて再構築した画像を縮小する画像処理したところで、２個の細胞の両方に同時にピントを合わせた観察を行うことはできない。
【００１４】
したがって、従来のバーチャル顕微鏡システムを用いて病理検査を行う場合、診断が困難な場合があった。
本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、顕微鏡を用いて撮像された部分画像をつなぎ合わせて再構築された観察体の画像を観察するバーチャル顕微鏡観察と実物の観察体を用いた顕微鏡観察との差異を減らすことである。
【課題を解決するための手段】
【００２２】
本発明の態様のひとつである顕微鏡画像表示システムは、観察対象である観察体の部分領域についての画像である部分画像であって、対物レンズの焦点深度の方向に当該焦点深度の間隔で取得された複数枚の当該部分画像を記憶する記憶手段と、当該部分領域毎に含まれている物が、当該焦点深度方向の位置の違いに拘らず合焦して表されている合焦部分画像を当該記憶手段に記憶されている複数枚の当該部分画像から生成する合焦部分画像生成手段と、当該部分領域毎に生成された当該合焦部分画像を組み合わせて当該観察体についての合焦画像を生成すると共に、当該合焦画像を積算により縮小して、当該対物レンズにより取得される当該部分画像における取得倍率よりも低倍率の合焦画像を生成する合焦画像生成手段と、当該記憶手段に記憶された当該部分領域毎の当該部分画像を当該部分画像が取得されたときにおける当該対物レンズの焦点位置に応じて組み合わせて、当該観察体についての断層画像を当該焦点位置のうちの少なくともひとつについて生成する断層画像生成手段と、当該観察体の画像を当該低倍率で表示する場合には当該合焦画像生成手段によって生成された当該低倍率の合焦画像を表示する一方で、当該観察体の画像を当該対物レンズにより取得される当該部分画像における取得倍率で表示する場合には当該断層画像生成手段によって生成された当該断層画像を表示する表示手段と、を有することを特徴とするものである。
【００２３】
なお、上述した本発明に係る顕微鏡画像表示システムにおいて、合焦部分画像生成手段が、前述した複数枚の部分画像に基づく空間周波数フィルタリングによる回復処理を行うことによって前述した合焦部分画像を生成するようにしてもよい。
また、前述した本発明に係る顕微鏡画像表示システムにおいて、合焦部分画像生成手段が、コンフォーカル観察により取得された部分画像を積算することによって前述した合焦部分画像を生成するようにしてもよい。
【００２４】
また、前述した本発明に係る顕微鏡画像表示システムにおいて、観察体において観察する領域の指示を取得する領域指示取得手段を更に有し、記憶手段が、当該指示に係る領域についての画像を前述した部分画像として記憶するようにしてもよい。
なお、このとき、観察体の全体像が表されている全体像画像を取得する全体像画像取得手段を更に有し、領域指示取得手段が、当該全体像画像に対してなされた前述の指示を取得するようにしてもよい。
【００２５】
また、前述した本発明に係る顕微鏡画像表示システムにおいて、記憶手段が、通信回線を通じて送られてくる前述の部分画像を取得して記憶するようにしてもよい。
また、前述した本発明に係る顕微鏡画像表示システムにおいて、断層画像生成手段が、画像が取得されていない部分領域については空白として、前述の観察体についての断層画像を前述の焦点位置のうちの少なくともひとつについて生成するようにしてもよい。
【００２７】
なお、観察対象である観察体の部分領域についての画像である部分画像であって、対物レンズの焦点深度の方向に当該焦点深度の間隔で取得された複数枚の当該部分画像を記憶部に記憶させ、当該部分領域毎に含まれている物が、当該焦点深度方向の位置の違いに拘らず合焦して表されている合焦部分画像を当該記憶部に記憶されている複数枚の当該部分画像から生成し、当該部分領域毎に生成された当該合焦部分画像を組み合わせて当該観察体についての合焦画像を生成すると共に、当該合焦画像を積算により縮小して、当該対物レンズにより取得される当該部分画像における取得倍率よりも低倍率の合焦画像を生成し、当該記憶部に記憶された当該部分領域毎の当該部分画像を当該部分画像が取得されたときにおける当該対物レンズの焦点位置に応じて組み合わせて、当該観察体についての断層画像を当該焦点位置のうちの少なくともひとつについて生成し、当該観察体の画像を当該低倍率で表示する場合には当該低倍率の合焦画像を表示する一方で、当該観察体の画像を前記対物レンズにより取得される前記部分画像における取得倍率で表示する場合には当該断層画像を表示する、観察体画像表示方法も本発明に係るものである。
【００２８】
更に、上述した本発明に係る観察体画像表示方法における各手順に相当する処理をコンピュータに行わせるためのプログラムであっても、このプログラムを当該コンピュータによって実行させることにより、上述した本発明に係る顕微鏡システムと同様の作用を生じさせる。
【発明の効果】
【００２９】
本発明は、以上のような作用を生じさせる結果、そのいずれの態様においても、バーチャル顕微鏡観察と実物の観察体を用いた顕微鏡観察との差異が減少するという効果を奏する。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施の形態を図面に基づいて説明する。
【実施例１】
【００３１】
図１は、本発明を実施する顕微鏡システムの構成を示したものである。
同図に示す顕微鏡システムには、顕微鏡の光路方向（Ｚ方向）及びこの光路に垂直な方向（ＸＹ方向）に移動可能なステージ１に載置されている、観察体である標本２を透過照明するための光源３が備えられている。光源３からの照明光は、減光のためのＮＤ（Neutral Density ）フィルタ４、視野絞り（ＦＳ：Field Stop）５、及び開口絞り（ＡＳ：Aperture Stop ）６を介して標本２へ照射される。
【００３２】
標本２からの光束は、レボルバ７に装着されている対物レンズ８を通過して、鏡筒９に到達する。その光束の一部は接眼レンズ１０へと導かれ、その他のものはＴＶ（テレビジョン）カメラ１１へ入射する。
顕微鏡の制御はホストシステム１２によって顕微鏡コントローラ１３を介して行われる。顕微鏡コントローラ１３は、各電動制御部位に対し、それぞれの制御部へ制御指示を与えて実際の駆動制御を行わせる。
【００３３】
光源３、ＮＤフィルタ４、ＦＳ５、及びＡＳ６のために、図示されていないそれぞれの制御部がこのシステムには設けられており、顕微鏡コントローラ１３はこれらの構成要素を制御可能であり、例えば光源３に印加する電圧や、ＦＳ５及びＡＳ６の各々の絞り径等を制御することができる。
【００３４】
また、レボルバ７は電動制御が可能であり、顕微鏡コントローラ１３からの制御指示を受けた図示しないレボルバ駆動制御部がこのレボルバ７を回転させることにより、光路中の対物レンズ８の倍率等を変化させることができる。
更に、ステージ１はＸ、Ｙ、Ｚ各方向の位置の電動制御が可能であり、その制御はステージＸ−Ｙ駆動制御部１４とステージＺ駆動制御部１５とによってモータＭの動作を各々制御することによって行われる。
【００３５】
一方、ＴＶカメラ１１によって撮像された標本２の画像は、ビデオボード１６によりデジタルデータである画像データに変換された後にホストシステム１２で取得される。ホストシステム１２は、取得した画像を図示しない表示部で表示させることが可能であり、更に、その取得した画像を図示しない画像メモリで複数枚保存しておくことができる。また、ホストシステム１２は、ＴＶカメラ１１の有する自動ゲイン制御機能のＯＮ／ＯＦＦ及び制御ゲインの設定、並びに、自動露出制御のＯＮ／ＯＦＦ及び露光時間の設定を、ＴＶコントローラ１７を介して行うことができる。
【００３６】
なお、ホストシステム１２は、例えば標準的なコンピュータシステム、すなわち、制御プログラムの実行によってホストシステム１２の動作制御を司るＣＰＵ（中央処理装置）と、このＣＰＵが必要に応じてワークメモリとして使用するメインメモリと、ビデオボード１６から送られてくる画像データの受信や顕微鏡コントローラ１３及びＴＶコントローラ１７への制御データの送信等といった各種データの授受を管理するインタフェースユニットと、各種のプログラムや画像データなどを記憶して保存しておく例えばハードディスク装置などの補助記憶装置と、画像データで表現されている画像や各種の情報を表示する表示部とを有しているコンピュータシステムを用いて構成することができる。
【００３７】
図１に示す顕微鏡システムは以上のように構成されている。
本実施形態では、観察体である標本２に複数の部分領域を定義し、この顕微鏡システムを用いて撮像されたこの部分領域における観察体についての画像である部分画像を、対物レンズ８の焦点深度方向にその焦点深度の間隔で複数枚取得し、その部分領域に含まれている物がこの焦点深度方向の位置の違いに拘らず合焦して表されている合焦部分画像を複数枚の部分画像から生成し、部分領域毎に生成されたこの合焦部分画像を組み合わせて観察体についての合焦画像を生成して表示する。
【００３８】
この実施形態では、対物レンズ８の焦点深度方向にその焦点深度の間隔で部分画像を複数枚取得するので、部分領域に含まれている物であれば、その物の対物レンズ８の焦点深度方向における位置の違いに拘らず、取得された部分画像のうちのいずれかにはその物が合焦しているものが存在する。従って、部分領域に含まれている物がその上述した方向の位置の違いに拘らず合焦している合焦部分画像を、これらの部分画像に基づいて生成することが可能である。
【００３９】
つまり、こうすることにより、焦点深度の浅い高倍の対物レンズ８を用いて撮像された複数枚の部分画像から、焦点深度方向の位置の異なるいずれの物にも合焦している合焦部分画像、すなわち、高倍であるにも拘らず焦点深度が深い対物レンズ８を用いて撮像されたかのような画像、を得ることができる。
【００４０】
従って、この合焦部分画像を組み合わせて生成された当該観察体についての合焦画像であれば、バーチャル顕微鏡観察における低倍観察時において、この合焦画像を必要に応じて縮小する等して表示することにより、実物の観察体を使用する顕微鏡観察における低倍観察と同様の、焦点深度の深い画像を提供することが可能となる。
【００４１】
以下、図１のホストシステム１２によって行われる各種の制御処理について説明する。なお、ホストシステム１２が上述したような標準的なコンピュータシステムを用いて構成されている場合には、例えばこれらの制御処理を当該コンピュータシステムに行わせるための制御プログラムを予め作成しておいて前述した補助記憶装置に格納しておき、当該コンピュータシステムの有するＣＰＵにこの制御プログラムを補助記憶装置から読み込ませて実行させることにより、これらの制御処理をホストシステム１２に行わせることができる。
【００４２】
まず、観察体である標本２についての観察体画像を取得して保存する動作を図１に示した顕微鏡システムに行わせる、画像取得処理について説明する。図２は、画像取得処理の処理内容をフローチャートで示したものである。
画像取得作業を行う作業者によって処理開始の指示がホストシステム１２へ与えられて画像取得処理の実行が開始されると、レボルバ７を制御して対物レンズ８を低倍のものへと切り替えさせた上でＴＶカメラ１１を制御してマクロ撮影を行わせる処理が行われ、観察体の全体像が撮像される（Ｓ１１）。マクロ撮影が完了すると、撮像されたマクロ画像はビデオボート１６を経た後、マクロ画像データとしてホストシステム１２へ取り込まれる。
【００４３】
次に、図３のように、取得されたマクロ画像上にＬ行Ｎ列のメッシュを作成する処理が行われる（Ｓ１２）。この処理によって作成されたメッシュのひとつひとつが高解像対物レンズの視野（画角）領域に相当する。
次に、作成されたｌ×ｎ個のメッシュにおけるメッシュ領域の各々について観察体の像の存在の有無を検出して観察体像が含まれているものを抽出し、抽出されたメッシュの各々に対して撮像順を示すメッシュＮｏ．（ナンバー）を付与する処理が行われる（Ｓ１３）。ここで、観察体の像の存在の有無についての検出は、例えば画像における隣接する画素間の輝度の差分の算出によって判明するコントラストや色彩変化の急峻さに基づいて行うことができる。
【００４４】
次に、レボルバ７を制御して対物レンズ８を高解像のものへと切り替えさせる処理が行われる（Ｓ１４）。
続いて、ステージＸ−Ｙ駆動制御部１４へ制御指示を与え、前述したメッシュのうち最初に撮像するメッシュＮｏ．が付与されているものに対応する標本２の部分が対物レンズ８の直下となるようにステージ１をＸＹ方向へ駆動させる処理が行われる（Ｓ１５）。
【００４５】
ここで、撮像対象であるメッシュに対応する標本２の部分が対物レンズ８の直下に位置したときには、ステージＺ駆動制御部１５へ制御指示を与えてステージ１をＺ方向へ駆動させると共に、ＴＶカメラ１１を制御して観察体のＺ方向画像を連続して撮像して取得させる処理が行われる（Ｓ１６）。この結果取得された複数枚のＺ方向画像はビデオボード１６を経た後、Ｚ方向画像データとしてホストシステム１２へ送られる。ホストシステム１２では、送られてきたＺ方向画像データを画像メモリへ格納して保存する処理が行われる（Ｓ１７）。
【００４６】
なお、このＳ１６及びＳ１７の処理である、Ｚ方向画像取得処理の詳細は後述する。
その後、メッシュＮｏ．が付与されているにも拘らず対応する標本２の部分の撮像がされていないメッシュが残されているか否かを判定する処理が行われ（Ｓ１８）、このようなメッシュが残っているのであれば（Ｓ１８の判定結果がＹｅｓ）、上述したＳ１５からＳ１７にかけての処理がそのメッシュを対象として行われる。一方、このようなメッシュがもはや残されていないのであれば（Ｓ１８の判定結果がＮｏ）、この画像取得処理が終了する。
【００４７】
以上までの処理が画像取得処理である。なお、この処理において、高解像度の画像が必要な場合には、視野絞り５や開口絞り６を最適な状態に設定することが望ましい。また、開口絞り６を絞ると焦点深度が変化するため、それに応じたＺ駆動を行うことが望ましい。
【００４８】
次に、上述した画像取得処理におけるＳ１６及びＳ１７の処理である、Ｚ方向画像取得処理の詳細について、図４に示すフローチャートを参照しながら説明する。
まず、撮像対象であるメッシュに対応する標本２の部分が対物レンズ８の直下に位置したときに、ステージＺ駆動制御部１５へ制御指示を与えてステージ１をＺ方向へ駆動させ、標本２の位置についてのＺ方向の上限制限として予め設定されている、観察体の上限基準位置へ標本２を移動させる処理が行われる（Ｓ２１）。
【００４９】
その後、上述した位置へ標本２が位置したときにＴＶカメラ１１を制御して標本２の対応部分を撮像し、撮像された画像を、ビデオボート１６を介してホストシステム１２へ取り込み、撮像された画像に観察体像が含まれているか否かを判定する処理が行われる（Ｓ２２）。この判定は、例えば前述した画像取得処理におけるＳ４の処理において行われた観察体の像の存在の有無の検出の手法と同様に、コントラストや色彩変化の急峻さに基づいて行うことができる。
【００５０】
この結果、撮像された画像に観察体像が含まれていないと判定されたときには（Ｓ２２の判定結果がＮｏ）、ステージＺ駆動制御部１５へ制御指示を与えて、光路中に位置している現在使用中の対物レンズ８の焦点深度分だけＺ方向下側にステージ１を降下させる処理が行われ（Ｓ２３）、その後、この位置において上述したＳ２２の処理が繰り返される。
【００５１】
こうして、撮像された画像中に観察体像が確認されるまで、上述したＳ２２及びＳ２３の処理が繰り返される。
その後、観察体像が確認されると（Ｓ２２の判定結果がＹｅｓ）、その画像を表現している画像データを画像メモリに格納して保存する保存が行われる（Ｓ２４）。
【００５２】
続いて、前述したＳ２３の処理と同様に、ステージＺ駆動制御部１５へ制御指示を与えて、光路中に位置している現在使用中の対物レンズ８の焦点深度相当分だけＺ方向下側にステージ１を降下させる処理が行われる（Ｓ２５）。
その後、前述したＳ２２の処理と同様ではあるが、今度は、上述した位置へ標本２が位置したときにＴＶカメラ１１を制御して標本２の対応部分を撮像し、撮像された画像を、ビデオボート１６を介してホストシステム１２へ取り込み、撮像された画像に観察体像が含まれていないか否かを判定する処理が行われる（Ｓ２６）。
【００５３】
ここで、撮像された画像に観察体像が未だ含まれていると判定されたときには（Ｓ２６の判定結果がＮｏ）、上述したＳ２４及びＳ２５の処理を繰り返し、その位置での標本２の対応部分の撮像の処理と撮像されて得られた画像データの保存の処理とが行われる。
一方、撮像された画像から観察体像が含まれなくなったと判定されたときには（Ｓ２６の判定結果がＹｅｓ）、このＺ方向画像取得処理が終了し、処理は元の画像取得処理へと戻る。
【００５４】
以上までの処理がＺ方向画像取得処理である。
以上の処理が図１のホストシステム１２によって行われることによって撮像された観察体画像は、図５に示すように、観察体像の存在していたメッシュ毎に、使用された対物レンズ８の焦点深度分づつＺ方向にずらした観察体の部分画像（メッシュ１１１〜メッシュｌｎｍ）としてホストシステム１２の画像メモリに保存されている。
【００５５】
次に、バーチャル観察のための画像結合のための制御処理について、バーチャル画像生成処理の処理内容をフローチャートで示した図６を参照しながら説明する。
本実施例においては、各メッシュに対応して取得された複数枚の観察体の部分画像より、そのメッシュに対応している観察体の位置であってＺ方向には異なっている位置に存在している物体の全てにピントが合った１枚の部分画像をメッシュ毎に生成し、生成された部分画像をつなぎ合わせて観察体を表している平面画像を得るようにする。
【００５６】
ここで、各メッシュに対応する複数枚の観察体の部分画像からＺ方向の位置が異なる全ての物体にピントが合った１枚の部分画像（合焦部分画像）を得る手法としては、光軸方向の異なる位置に存在する物のいずれかに焦点しているものが含まれている複数枚の画像を加算して得られる加算画像に対し、回復フィルタと称される空間周波数フィルタを用いた回復処理を施すことによって光軸方向の異なる位置に存在する物体のいずれにも合焦している１枚の画像を復元する技術（前述した特許文献５に開示されている技術）を応用して、結像光学系の射出の開口数や撮像素子の使用波長等の光学的条件が変化しても焦点深度の深い画像を得る技術、すなわち前述した特許文献４に開示されている技術をそのまま利用する。
【００５７】
図６に示すフローチャートにおいて、（ａ）は低倍時観察のための処理、（ｂ）は高倍時観察のための処理である。
図６（ａ）の低倍時のバーチャル観察のための処理を説明する。
この処理は、観察者によって発せられる観察開始の指示がホストシステム１２で取得されると開始される。
【００５８】
まず、観察体の部分画像を画素単位でメッシュ毎に積算する処理と（Ｓ３１）、この積算によって得られた積算画像に回復フィルタを施すための演算処理とが行われる（Ｓ３２）。これらの処理は前述した技術を使用するための処理であり、これらの処理によって、メッシュに対応していた観察体の位置に存在していたＺ方向の位置が異なる物体の全てにピントが合った１枚の部分画像がメッシュ毎にホストシステム１２において生成される。
【００５９】
以上の処理によってＺ方向の位置の異なる物体の全てにピントのあった部分画像が全てのメッシュについて生成された後には、隣り合うメッシュに各々対応する部分画像同士を結合する処理が行われる（Ｓ３３）。この処理によって結合された観察体全体の画像は、対物レンズ８の焦点深度の浅さに起因する情報欠落のない画像となる。
【００６０】
その後、以上のようにして得られた観察体全体の画像を、観察者からの指示に係る倍率に応じて縮小し、ホストシステム１２の有する図示しない表示部に表示させる処理が行われ（Ｓ３４）、この一連の処理が終了する。
次に、図６（ｂ）の高倍時のバーチャル観察のための処理を説明する。
【００６１】
この処理も、観察者によって発せられる観察開始の指示がホストシステム１２で取得されると開始される。
まず、既に定義がされているメッシュのうちの特定のもの、例えば観察体において観察対象とする部位の中央位置に対応するメッシュ、の中心に基準Ｚ位置アドレスを設定する処理が行われる（Ｓ４１）。
【００６２】
続いて、基準Ｚ位置アドレスが設定されたメッシュとそのメッシュに隣り合うメッシュとについて各々取得されている複数枚の部分画像のうち、その部分画像が撮像されたときのＺ位置を示すアドレスの値がこの基準Ｚ位置アドレスに最も近いものを抽出する処理が行われ（Ｓ４２）、抽出された部分画像同士を結合することによって、その基準Ｚ位置アドレスにおいての観察体の部分結合画像を生成する処理が行われる（Ｓ４３）。
【００６３】
その後、前ステップの処理によって生成された観察体の部分結合画像を基準として、その上下の各々のＺ位置を示すアドレスの値に対応する各層における観察体の部分結合画像を生成する処理が行われる（Ｓ４４）。
その後、以上のようにして得られたＺ位置を示すアドレスの値に対応する各層についての観察体の部分結合画像のうち、観察者からの指示に係るＺ位置に対応する部分結合画像を抽出してホストシステム１２の有する図示しない表示部に表示させる処理が行われ（Ｓ４５）、この一連の処理が終了する。
【００６４】
上述した図６の処理によるバーチャル画像の生成の様子について図７を参照しながら説明する。
図７（ａ）は低倍のバーチャル画像構築の様子を示しており、各メッシュのＺ方向画像を積算した後に回復フィルタを施して得られる部分画像を隣り合うメッシュ間で結合することによって観察体全体のバーチャル画像が生成される。
【００６５】
一方、図７（ｂ）は低倍のバーチャル画像構築の様子を示しており、メッシュ毎に取得されている複数枚の部分画像のうち、撮像されたときのＺ位置アドレスが最も近い画像同士を隣接するメッシュ間で結合することによってＺ位置に応じた層毎の観察体の部分結合画像であるバーチャル画像が生成される。
【００６６】
なお、図７（ｂ）に示すように、撮像されたときのＺ位置アドレスが近い画像が隣接するメッシュで取得されていない場合には、その部分を空白としたバーチャル画像を生成するようにする。
以上のように、本実施例に係る顕微鏡システムによれば、予め撮影しておいた部分画像をつなぎ合わせて観察体の画像を再構築する、いわゆるバーチャル顕微鏡システムにおいて、得られる観察体画像から情報の欠落が防止されるので、バーチャル観察を行う際の観察精度が飛躍的に向上する。
【００６７】
なお、本実施例の顕微鏡システムは、Ｘ、Ｙ、Ｚ各方向の位置制御をステージ１の駆動によって行っていたが、これを対物レンズ８の駆動によって行うようにしても同様の効果を得ることができる。
また、本実施例では低倍時における観察体画像の再構築において、積算画像に対して回復フィルタを用いることで、メッシュに対応していた観察体の位置に存在していたＺ方向の位置が異なる物体の全てにピントが合った１枚の部分画像を生成していたが、この代わりに、例えば前述した特許文献２に開示されている技術のように、複数枚の部分画像からピントの合った画像を抽出して結合する方法を用いても、得られる観察体画像から情報の欠落を防止することができる。
【００６８】
また、低倍時の画像構築については、公知の焦点深度が極めて小さくなるコンフォーカル観察により取得した画像を単純に積算して得るようにしてもよい。
また、本実施例では、標本２の全体をカバーすべく大量のバーチャル画像を生成しているが、バーチャル画像の容量の低減、及び画像生成のための処理の軽減のため、作業者によって指示される標本２の一部の領域についてのみバーチャル画像を作成するようにしてもよい。このためには、処理内容を図２に示した画像取得処理におけるＳ１２及びＳ１３の処理に代えて、図８に示すＳ１９及びＳ２０の処理を行うようにすればよい。
【００６９】
Ｓ１９では、Ｓ１１の処理によって取得されたマクロ画像（観察体の全体像）をホストシステム１２の表示部（不図示）に表示させ、このマクロ画像に対して作業者によってなされる、バーチャル画像を作成する領域の範囲（ＸＹ方向の範囲及びＺ方向の範囲）の指示を取得する処理が行われる。なお、作業者は、ホストシステム１２を操作してこの指示を行う。
【００７０】
続くＳ２０の処理では、マクロ画像におけるこの指示に係る領域内に、その領域の大きさに応じた個数のメッシュを作成し、作成されたメッシュの各々に対して撮像順を示すメッシュＮｏ．（ナンバー）を付与する処理が行われ、その後はＳ１４（図２）へと処理を戻す。
【００７１】
また、上述した図８及び図２の処理の代わりに、図９にフローチャートで示した処理を行い、抽出されたメッシュのうち作業者によって指示されたものに対応する標本２の部分についてのみＺ方向画像の連続取得を行うようにしても、バーチャル画像の容量の低減及び画像生成のための処理の軽減を図ることができる。
【００７２】
図９について説明する。なお、同図に示されている処理のうち、図２におけるものと同一の処理ステップには同一の符号を付しており、これらの処理の説明は省略する。
Ｓ１３に続いて行われるＳ３１の処理では、取得されたマクロ画像（観察体の全体像）とＳ１３の処理によって抽出されたメッシュとをホストシステム１２の表示部（不図示）に表示させ、このマクロ画像に対して作業者によってなされる、Ｚ方向画像を連続取得するメッシュの指定の指示を取得する処理が行われ、この後はＳ１４に処理を進める。
【００７３】
Ｓ１５に続いて行われるＳ３２の処理では、現在の撮像対象であるメッシュが、Ｚ方向画像の連続取得の指定が作業者によってされていたものであるか否かを判定する処理が行われる。ここで、当該指定がされていたものであるならば（判定結果がＹｅｓ）、Ｓ１６に処理を進め、そのメッシュに対応する標本２の部分についてのＺ方向画像の連続取得が行われる。一方、当該指定がされていなかったものであるならば（判定結果がＮｏ）、Ｓ３２において、そのメッシュに対応する標本２の部分について、高解像であるＺ方向画像を１枚だけ取得する処理が行われ、その後はＳ１７に処理を進める。
【００７４】
上述した図９の処理を図２の処理に代えて実行することにより、バーチャル画像の容量の低減及び画像生成のための処理の軽減が可能となる。
また、上述した実施例では、Ｓ１１（図２）の処理において低倍の対物レンズ８を用いて観察体の全体像を撮像して得られたマクロ画像に対し、作業者がバーチャル画像を作成する領域の指示を行うようにしているが、その代わりに、図１０に示すように、観察体の全体像をまとめて撮影できるマクロ撮影カメラ１８を顕微鏡システムに追加して備えるようにし、このマクロ撮影カメラ１８での撮影により得られた画像に対し、作業者がバーチャル画像を作成する領域の指示を行うようにしてもよい。
【実施例２】
【００７５】
これより説明する実施例２は、観察体画像を実際に顕微鏡で観察した場合と同様の操作性により表示させるというものである。
この実施例２に係る顕微鏡システムの構成は、図１に示した実施例１におけるものと同一のものをそのまま使用する。また、ホストシステム１２によって行われる画像取得処理及びバーチャル画像生成処理についても実施例１において説明したものと同様の処理が実行され、低倍観察のためのバーチャル画像と、高倍観察のためのＺ方向の層毎のバーチャル画像とが生成される。
【００７６】
なお、ここでは、前述したバーチャル画像生成処理がホストシステム１２において行われた結果、これらのバーチャル画像が既に生成されてホストシステム１２の有する図示しない表示部に表示されているものとして以下の説明を行うこととする。
図１１について説明する。同図は、バーチャル画像表示処理の処理内容をフローチャートで示したものである。この処理は、ホストシステム１２の表示部でのバーチャル画像の表示を、観察者からの表示位置の移動や表示倍率の変更の指示に応じて変化させる処理であり、この処理は、前述したバーチャル画像生成処理に続けてホストシステム１２によって実行される。
【００７７】
この処理が開始されると、まず、ホストシステム１２へなされた観察者からの画像の表示倍率に関する指示の有無、すなわち光路中の対物レンズの選択についての指示の有無を検出する処理が行われる（Ｓ５１）。
ここで、この指示が検出されたとき（Ｓ５１の判定結果がＹｅｓのとき）にのみ、この指示に係る倍率（対物レンズ）に対応するバーチャル画像を表示させる処理が行われる（Ｓ５２）。
【００７８】
例えば低倍の指示を取得した場合には、図１２（ａ）に示すように、低倍観察用のバーチャル画像のうちメッシュ１６個分（４×４）より生成される部分画像を抽出し、抽出された部分画像のうちの中央部分を円状に切り抜き、あたかも顕微鏡で実物の観察をしているかのような形状として表示部に表示させる。一方、高倍の指示を取得した場合には、図１２（ｂ）に示すように、高倍観察用のバーチャル画像のうちメッシュ１個分に相当する部分画像であって所定のＺ位置のものを抽出し、抽出された部分画像のうちの中央部分を同様に円状に切り抜いて表示部に表示させる。なお、このときの切り抜きの形状は円状でなくてもよい。
【００７９】
次に、ホストシステム１２へなされた観察者からの画像の表示位置の移動に関する指示のうち、ＸＹ方向の移動に係るものの有無を検出する処理が行われる（Ｓ５３）。
ここで、この指示が検出されたとき（Ｓ５３の判定結果がＹｅｓのとき）にのみ、表示部に表示させている画像を、その指示に応じた移動後の位置に対応する画像へと変更する処理が行われる（Ｓ５４）。
【００８０】
例えば、図１２（ａ）に示す低倍観察時においては、Ｘ方向に視野の１／４だけ表示をずらす指示が取得されたことにより、Ｘ方向にメッシュ１つ分だけ（Ｘ方向にメッシュ４個分有している視野に対してその１／４であるメッシュ１個分だけ）表示位置を移動することを示している。また図１２（ｂ）に示す高倍観察時においては、Ｘ方向に視野分だけ表示をずらす指示が取得されたことにより、Ｘ方向にメッシュ１つ分だけ（Ｘ方向にメッシュ１個分有している視野に対してその視野分であるメッシュ１個分だけ）表示位置を移動することを示している。
【００８１】
次に、ホストシステム１２へなされた観察者からの画像の表示位置の移動に関する指示のうち、Ｚ方向の移動に係るものの有無を検出する処理が行われる（Ｓ５６）。ここで、この指示が検出されなかったときには（Ｓ５６の判定結果がＮｏ）Ｓ５１へ処理を戻して上述した処理を繰り返す。
【００８２】
一方、この指示が検出されたときには（Ｓ５６の判定結果がＹｅｓ）、観察者によって現在選択されている対物レンズが高倍のものであるか否かを判定する処理が行われる（Ｓ５７）。ここで、高倍の対物レンズが選択されているときにのみ（Ｓ５７の判定結果がＹｅｓ）、表示部に表示させている部分画像を、前述したＳ５６で検出された指示に応じた移動後のＺ位置に対応する部分画像へと変更する処理が行われる（Ｓ５８）。一方、高倍の対物レンズが選択されているときには（Ｓ５７の判定結果がＮｏ）、表示の変更は特に行わないようにする。
【００８３】
以上の処理を終えた後には、Ｓ５１へ処理を戻して上述した処理を繰り返す。
以上までの処理がバーチャル画像表示処理である。
このように、本実施例の顕微鏡システムによれば、観察者からの表示倍率（対物レンズの選択）の指示に応じてバーチャル画像の表示領域および表示させるバーチャル画像のＺ方向のレイヤー（層）を変化させることにより、観察体を実際に顕微鏡で観察した場合と同様の操作性を提供しつつ、画像情報の欠落のない観察体画像を忠実に再現できる信頼性の高いバーチャル観察が可能となる。すなわち、バーチャル顕微鏡観察における高倍観察時においてレイヤー毎の画像のうちのいずれかを表示し、観察者からの対物レンズの焦点位置の移動指示に応じてその画像の表示をその焦点深度位置の異なるものへと変更することにより、実物の観察体を使用する顕微鏡観察における高倍観察と同様の観察体画像の表示変化を提供することが可能となる。
【００８４】
以上のように、本発明によれば、予め撮像された部分画像をつなぎ合わせて再構築する、いわゆるバーチャル顕微鏡システムにおいて、観察体の実物を実際に顕微鏡で観察する場合と同様のＺ方向の移動操作指示により、指示に係る移動後のＺ位置に応じた観察体画像を提供することができる。
【００８５】
なお、上述した説明においては、前述したバーチャル画像生成処理がホストシステム１２において行われたものとして実施例２を説明していた。この代わりに、図１３に示すように、画像データ記憶部１２−１及び表示処理部１２−２をホストシステム１２に備えるようにし、バーチャル画像生成処理の結果として得られた、観察体の全体画像及び部分結合画像を表している画像データを予め画像データ記憶部１２−１に格納しておき、表示処理部１２−２が前述したバーチャル画像表示処理をこの画像データに対して行うようにすれば、顕微鏡本体が無くても実施例２の実施は可能である。
【００８６】
ところで、図２、図４、図６、図８、図９、及び図１１にフローチャートで示した処理を前述したようなコンピュータシステムのＣＰＵに行わせるための制御プログラムを作成してコンピュータ読み取り可能な記録媒体に記録させておき、そのプログラムを記録媒体からコンピュータシステムに読み込ませてＣＰＵで実行させるようにしても、このコンピュータシステムをホストシステム１２として機能させることができる。
【００８７】
記録させた制御プログラムをコンピュータシステムで読み取ることの可能な記録媒体の例を図１４に示す。このような記録媒体としては、例えば、コンピュータシステム２０に内蔵若しくは外付けの付属装置として備えられるＲＯＭやハードディスク装置などの記憶装置２１、コンピュータシステム２０に備えられる媒体駆動装置２２へ挿入することによって記録された制御プログラムを読み出すことのできるフレキシブルディスク、ＭＯ（光磁気ディスク）、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどといった携帯可能記録媒体２３等が利用できる。
【００８８】
また、記録媒体は通信回線２４を介してコンピュータシステム２０と接続される、プログラムサーバ２５として機能するコンピュータシステムが備えている記憶装置２６であってもよい。この場合には、制御プログラムを表現するデータ信号で搬送波を変調して得られる伝送信号を、プログラムサーバ２５から伝送媒体である通信回線２４を通じてコンピュータシステム２０へ伝送するようにし、コンピュータシステム２０では受信した伝送信号を復調して制御プログラムを再生することでこの制御プログラムをコンピュータシステム２０のＣＰＵで実行できるようになる。
【００８９】
また、コンピュータシステム２０において生成された観察体の全体画像及び部分結合画像を表している画像データを、他のコンピュータシステム２７−１、２７−２、…へ通信回線２４を介して配信するようにし、コンピュータシステム２７−１、２７−２、…で前述したバーチャル画像表示処理を実行するようにしてもよい。こうすることにより、同一の観察体についてのバーチャル顕微鏡観察を複数人が同時に行うことが可能となり、また、コンピュータシステム２０から遠隔の地に設置されているコンピュータシステム２７−１、２７−２、…で前述したバーチャル顕微鏡観察を行うことも可能となる。
【００９０】
なお、本発明は、上述した実施例に限定されることなく、観察体の焦点深度（Ｚ）方向画像を高解像度レンズで取得し、その画像の積算によって観察体の低倍観察画像を構築するという本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。
例えば、前述した説明においては、Ｚ方向に積層される各層のバーチャル画像の再構築では、画像取得時におけるＺ位置を示すアドレスに基づいて、隣接するメッシュについての部分画像との結合を行う例を示したが、この代わりに、ある部分画像から取得される画像情報に基づいて当該部分画像に結合させる隣接メッシュの部分画像を決定する方式としてもよい。こうすることにより、観察体画像の取得の際に、スライドガラスやステージがＺ方向に対して傾きを有していた場合であっても、この傾きによる影響を補正したバーチャル画像の表示を行うようにすることができる。
【００９１】
また、本発明では、観察体のＺ方向の画像取得領域の範囲を、予め設定されているものを用いて決定するようにしていたが、この代わりに周知のオートフォーカス機能を利用して観察体の存在する画像位置を検出するようにしてもよい。こうすることにより、画像取得に要する時間を短縮することが可能となる。
【図面の簡単な説明】
【００９２】
【図１】本発明を実施する顕微鏡システムの構成を示す図である。
【図２】画像取得処理の処理内容を示すフローチャートである。
【図３】メッシュが作成されたマクロ画像の例を示す図である。
【図４】Ｚ方向画像取得処理の処理内容を示すフローチャートである。
【図５】図３及び図４の処理が実行されることによって撮像された画像のホストシステムでの保存の様子を示す図である。
【図６】バーチャル画像生成処理の処理内容を示すフローチャートである。
【図７】図６の処理によって生成されるバーチャル画像の生成の様子を示す図である。
【図８】図２に示した画像取得処理の第一の変形例の処理内容を示すフローチャートである。
【図９】図２に示した画像取得処理の第二の変形例の処理内容を示すフローチャートである。
【図１０】マクロ撮影カメラを備えた顕微鏡システムの構成を示す図である。
【図１１】バーチャル画像表示処理の処理内容を示すフローチャートである。
【図１２】バーチャル画像表示処理を説明する図である。
【図１３】図１に示した本発明を実施する顕微鏡システムの構成の変形例を示す図である。
【図１４】記録させた制御プログラムをコンピュータで読み取ることの可能な記録媒体の例を示す図である。
【図１５】観察体と対物レンズの焦点深度との関係を例示した図である。
【符号の説明】
【００９３】
１  ステージ
２  標本
３  光源
４  ＮＤフィルタ
５  視野絞り
６  開口絞り
７  レボルバ
８  対物レンズ
９  鏡筒
１０  接眼レンズ
１１  ＴＶカメラ
１２  ホストシステム
１２−１  画像データ記録部
１２−２  表示処理部
１３  顕微鏡コントローラ
１４  ステージＸ−Ｙ駆動制御部
１５  ステージＺ駆動制御部
１６  ビデオボード
１７  ＴＶコントローラ
１８  マクロ撮影用カメラ
２０、２７−１、２７−２  コンピュータシステム
２１、２６  記憶装置
２２  媒体駆動装置
２３  携帯可能記録媒体
２４  通信回線
２５  プログラムサーバ
【図１】
0004818592.tif 000002
【図２】
0004818592.tif 000003
【図３】
0004818592.tif 000004
【図４】
0004818592.tif 000005
【図５】
0004818592.tif 000006
【図６】
0004818592.tif 000007
【図７】
0004818592.tif 000008
【図８】
0004818592.tif 000009
【図９】
0004818592.tif 000010
【図１０】
0004818592.tif 000011
【図１１】
0004818592.tif 000012
【図１２】
0004818592.tif 000013
【図１３】
0004818592.tif 000014
【図１４】
0004818592.tif 000015
【図１５】
0004818592.tif 000016