【手続補正書】
【提出日】平成17年7月21日(2005.7.21)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】明細書
【発明の名称】微小物体表示装置、および、微小物体操作装置。
【特許請求の範囲】
【請求項１】顕微鏡光学系を持つ複数のカメラを多方向から微小物体を観察するよう取り付けてなる撮像系、作業者の眼前に微小物体の立体拡大画像を投影する画像表示装置、前記撮像系からの画像を処理し観察対象の微小物体の三次元モデルを生成すると共に生成した三次元モデルに基づき微小物体の立体拡大画像を前記画像表示装置に表示させる画像処理系、および、作業者の頭の位置や姿勢を検出し検出に係る作業者の頭の位置や姿勢情報を前記画像処理系に入力するセンサーを備え、前記演算処理系が、前記画像表示装置に表示する微小物体の立体拡大画像を、前記センサーで検出した作業者の頭の位置と姿勢により変動させ、作業者が頭を動かすことで前記画像表示装置に立体拡大画像として表示される微小物体をさまざまな角度と倍率で観察できるよう構成してあることを特徴とする微小物体表示装置。
【請求項２】微小物体の立体拡大画像を表示する微小物体表示装置と、作業者の手の動作を縮小して微小物体に伝える遠隔操縦装置とからなる微小物体操作装置であって、
前記微小物体表示装置は、顕微鏡光学系を持つ複数のカメラを多方向から微小物体を観察するよう取り付けてなる撮像系、作業者の眼前に微小物体の立体拡大画像を投影する画像表示装置、前記撮像系からの画像を処理し観察対象の微小物体の三次元モデルを生成すると共に生成した三次元モデルに基づき微小物体の立体拡大画像を前記画像表示装置に表示させる画像処理系、および、作業者の頭の位置や姿勢を検出し検出に係る作業者の頭の位置や姿勢情報を前記画像処理系に入力するセンサーを備え、前記演算処理系が、前記画像表示装置に表示する微小物体の立体拡大画像を、前記センサーで検出した作業者の頭の位置と姿勢により変動させ、作業者が頭を動かすことで前記画像表示装置に立体拡大画像として表示される微小物体をさまざまな角度と倍率で観察できるよう構成しており、
作業者の手の動作を縮小して微小物体に伝える前記遠隔操縦装置が、その動作縮小の倍率を前記微小物体表示装置による表示倍率に基づいて変更するよう構成してあることを特徴とする微小物体操作装置。
【請求項３】請求項２の微小物体操作装置において、前記遠隔操縦装置における微小操作先端部に当該先端部から微小物体に作用する力を検出する微小力センサーを付加し、遠隔操縦装置は、この微小力センサーが検出した力を増強してその操作側に伝達するよう構成してあることを特徴とする微小物体操作装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
産業分野の多様な局面で、微小な物体をハンドリングする必要が大幅に増大している。
この例としては、マイクロマシンやカテーテルをはじめとする医療機器など各種装置の組立、植物生産での細胞分割、生物の卵細胞操作など、多数の例を挙げることが出来る。これまでこの様な分野では、多数の作業者が顕微鏡を覗きながら微小物体の切断や分離などの操作を行っていたが、顕微鏡で観察できる視野や視線方向が限られているため、特に３次元的な全体形状が把握しにくい、顕微鏡下の機器操作においては、顕微鏡で見ている拡大画像に比べて、非常に微妙な機器操作を要求され、日常操作の感覚と整合しない、などの問題があった。
【０００２】
上記のようなマイクロ操作上の問題点を整理すると、下記の３点を挙げられる。
１）顕微鏡による撮像では、一方向から見た画像しか得られないため、全体的３次元形状が把握しにくい。
２）日常生活においては、人間の頭の操作にあわせて対象物を様々な角度から観察することができ、視差による立体画像認識と合わせて、連続画像からの３次元形状把握が可能であるが、顕微鏡画像では、頭の動きに合わせた連続画像を得ることはできないため、形状把握に違和感がある。
３）顕微鏡の拡大画像から感じる操作感覚と、実際に要求される手の微妙な操作の感覚が整合しないため、微小物体の操作に違和感を感じる。
【０００３】
【発明が解決しようとする課題】本発明が解決しょうとする課題は、このような顕微鏡下での微妙なマイクロ操作に伴っておきる、顕微鏡の限られた観察視野による、立体形状把握の困難さと、顕微鏡下の機器操作における拡大画像に対する操作感覚と、実際に要求される微妙な操作間の人間感覚上のギャップを埋め、あたかも通常の物体を扱っているかのように、対象を観察し、操作するための手法をあたえるものである。
【０００４】
本発明は、上記問題点１）および２）を解決した微小物体表示装置を提供することを目的とする。この目的は、特許請求の範囲の請求項１に記載した微小物体表示装置により達成される。
また、本発明は、上記問題点１）ないし３）を解決した微小物体操作装置を提供することを目的とする。この目的は、特許請求の範囲の請求項２乃至請求項３記載の微小物体操作装置により達成される。
【０００５】
【課題を達成するための手段】
本発明の請求項１に係る微小物体表示装置は、上記問題点１）および２）を解決するため、次のように構成する。すなわち、
顕微鏡光学系を持つ複数のカメラを多方向から微小物体を観察するよう取り付けてなる撮像系、作業者の眼前に微小物体の立体拡大画像を投影する画像表示装置、前記撮像系からの画像を処理し観察対象の微小物体の三次元モデルを生成すると共に生成した三次元モデルに基づき微小物体の立体拡大画像を前記画像表示装置に表示させる画像処理系、および、作業者の頭の位置や姿勢を検出し検出に係る作業者の頭の位置や姿勢情報を前記画像処理系に入力するセンサーを備え、前記演算処理系が、前記画像表示装置に表示する微小物体の立体拡大画像を、前記センサーで検出した作業者の頭の位置と姿勢により変動させ、作業者が頭を動かすことで前記画像表示装置に立体拡大画像として表示される微小物体をさまざまな角度と倍率で観察できるよう構成してあることを特徴とする微小物体表示装置。
【０００６】
本発明の請求項２に係る微小物体操作装置は、上記問題点１）乃至３）を解決するため、次のように構成する。すなわち、
微小物体の立体拡大画像を表示する微小物体表示装置と、作業者の手の動作を縮小して微小物体に伝える遠隔操縦装置とからなる微小物体操作装置であって、
前記微小物体表示装置は、顕微鏡光学系を持つ複数のカメラを多方向から微小物体を観察するよう取り付けてなる撮像系、作業者の眼前に微小物体の立体拡大画像を投影する画像表示装置、前記撮像系からの画像を処理し観察対象の微小物体の三次元モデルを生成すると共に生成した三次元モデルに基づき微小物体の立体拡大画像を前記画像表示装置に表示させる画像処理系、および、作業者の頭の位置や姿勢を検出し検出に係る作業者の頭の位置や姿勢情報を前記画像処理系に入力するセンサーを備え、前記演算処理系が、前記画像表示装置に表示する微小物体の立体拡大画像を、前記センサーで検出した作業者の頭の位置と姿勢により変動させ、作業者が頭を動かすことで前記画像表示装置に立体拡大画像として表示される微小物体をさまざまな角度と倍率で観察できるよう構成しており、
作業者の手の動作を縮小して微小物体に伝える前記遠隔操縦装置が、その動作縮小の倍率を前記微小物体表示装置による表示倍率に基づいて変更するよう構成してあることを特徴とする微小物体操作装置。
【０００７】
さらに、本発明の請求項３に係る微小物体操作装置は、上記問題点１乃至３を解決するため、次のように構成する。すなわち、
請求項２の微小物体操作装置において、前記遠隔操縦装置における微小操作先端部に当該先端部から微小物体に作用する力を検出する微小力センサーを付加し、遠隔操縦装置は、この微小力センサーが検出した力を増強してその操作側に伝達するよう構成してあることを特徴とする微小物体操作装置。
【０００８】
【発明の効果】
上記の如く構成した本発明の請求項１に係る微小物体表示装置によれば、作業者が頭を動かすことで前記画像表示装置を通して微小物体を仮想現実的にさまざまな角度から観察できるので、微小物体の全体的三次元形状の把握が容易であり、しかも、微小物体の立体拡大画像が画像表示装置に作業者の頭の動きに合わせて連続画像が表示されるので、違和感なく微小物体の形状を把握することができるという効果を達成できる。
【０００９】
なお、この請求項１に係る微小物体表示装置では、上記問題点１）および２）に対応するため以下のような手法が用いられる。
まず、問題点１）の視線方向の限定に対しては、多方位マイクロ視覚光学系を開発し、多数の方向から微小対象物の画像を撮像、それを３次元画像認識処理することで、対象物の３次元形状を画像計測する。このとき、多方位から画像計測を行っていることで、限られた方向から見る場合の隠れ部分の画像も得ることができ、より完全に近い３次元形状を得ることができる。また、画像計測による３次元形状モデルの取得と併せて、物体表面の模様や色彩もモデルに付加しておく。これにより、物体のリアルに近い画像を再構成可能になる。この画像の再構成には、コンピュータグラフィックスの手法が用いられる。
【００１０】
また、問題点２）の頭の動きに合わせた連続画像を得ることはできないため、形状把握に違和感を生じてしまう問題に対しては、磁気位置センサーなどにより頭の位置、方向を連続的に観測、それに合わせてコンピュータグラフィックスで生成する画像の視角を決定、画像表示することで、解決する。
【００１１】
上記のように構成した本発明の請求項２に係る微小物体操作装置によれば、当該微小物体操作装置の構成要素たる微小物体表示装置が上記した請求項１の発明のそれと同構成を持つものであるから、請求項１に係る微小物体表示装置と同様、上記問題点１）および２）が解決されている。また、この微小物体操作装置を構成要素たる遠隔操縦装置が、その動作縮小の倍率を前記微小物体表示装置による表示倍率に基づいて変更するよう構成してあるので、上記問題点３）が解決されてており、微小物体の操作を違和感なく行うことができる。
【００１２】
なお、この請求項２に係る微小物体操作装置では、上記問題点３）の画像の拡大率と、機器操作の感覚が異なる点に関しては、テレオペレーション装置などを応用、人間の操作動作を、画像の拡大倍率に合わせて縮小、実際の機器操作を行うことで、あたかも日常生活で扱うサイズの物体であるかのように、対象物を操作することができるのである。
【００１３】
上記の如く構成した請求項３記載の微小物体操作装置は、請求項２記載の微小物体操作装置の従属項であり、請求項２の発明と同様の効果（上記）を持つ他、遠隔操作装置を介して微小物体に作用する力を作業者にフィードバックできるので、微小物体の操作を一層違和感なく行うことができる。
【００１４】
【発明の実施の形態】本発明の実施例の全体構成を第１図に示す。
全体は、多方位顕微光学系１、その画像をステレオ処理し、３次元形状モデルを作成する３次元モデル形成部２、３次元モデルをもとに右目、左目用に視差画像を生成する立体画像生成部３、そこで作成された画像を人間（作業者）の眼前に立体拡大画像として表示する画像表示装置４、画像表示装置４に取り付けられた頭の位置や顔の方向（頭の姿勢）を計測する位置・姿勢センサー５、人間（作業者）が操作するテレオペレーション用の操作部６と微小物体を操作するマイクロオペレーション部８と前記操作部６の動きを縮小して前記マイクロオペレーション部８に伝えるコントローラ７で構成され前記操作部６を操作する人間（作業者）の手の動作を縮小して対象の微小物体に伝える遠隔操縦装置とで構成されている。
前記した多方位顕微光学系１は、顕微鏡光学系を持つ複数のカメラを多方向から対象の微小物体を観察・撮影できるよう取り付けたものであり、特許請求の範囲の各請求項で言及している撮像系を構成している。
前記した３次元モデル形成部２と立体画像生成部３は、特許請求の範囲の各請求項で言及している画像処理系を構成している。
【００１５】
第２図に多方位顕微光学系（撮像系）１の構成の一例を示す。観察あるいは操作対象の微小物体を載せるＸＹテーブル上に、半球状に多数設置された顕微鏡光学系と、これら顕微鏡光学系にそれぞれ取り付けられたカラーカメラ群からなる。これらのカメラ群は、ＸＹテーブル上の同一点を撮像しており、微小物体上の同一特徴点を見ているカメラが一般に複数台存在する。その様子を第３図に示す。第３図は、対象物体上のある１つの特徴点を撮像することのできるカメラ群の範囲を示しており、図中＋の方向に取り付けた複数のカメラから、あらかじめ画像微分処理などで選択された特定の特徴点を撮像できることを示している。この様に複数のカメラから同一点が撮像できるときには、その中から適当な２台のカメラを選択、該当特徴点のステレオマッチングを行い、対応点についてステレオ画像処理を行うことで特徴点の空間座標を決定することができる。
【００１６】
この様にして、３次元モデル形成部においてステレオ画像処理することで、画面内の多数の特徴点に対して空間座標を決定することができる。この空間座標は、第４図に示すように模様の境界や物体の縁など特徴のある点のみで求まるので、求まった点をもとに同一平面を構成する３点の組み合わせを決定、物体外形形状を、多数の微小な空間３角形で覆い尽くす。この様子を第５図に示す。このとき、それまでの処理結果では物体外形を記述する空間３角形が求まらないとき、それを補う方向のカメラの組み合わせを選んでステレオ画像処理を行うことにより、対象物体の完全な形状記述を目指す。
【００１７】
この様に対象外形を空間３角形の組み合わせで表すことで、対象の計算機モデルを表現している。そして、この空間３角形毎に、それが見えるカラーＴＶカメラから、その内部の色彩や模様を記録することで、対象物体の実物に近い計算機モデルを構成することができる。立体画像生成部では、先に作成された模様付き３次元計算機モデルを元に、人間の左右の目に合わせた画像を別々に生成し、それを別々に左右の目に画像表示部で提示することで、人間に立体画像を知覚させる。この様な立体画像表示装置としては、ヘッドマウントディスプレーが知られている。
【００１８】
表示画像の生成に当たっては、モデルを人間（作業者）の前方どの位置に、どの程度の拡大率で提示するか、そのとき、見ている人間（作業者）の頭の位置と顔の方向（頭の姿勢）が重要なパラメータである。ここでは、人間（作業者）の前方、どの位置にするかは、第６図に示すようなシステム構成を考えた場合、ほぼ空間的に固定して考えることができる。物体の拡大率は任意で、オペレータが設定可能であるが、たとえば拡大後の画像サイズで１００〜２００ｍｍ程度と考えれば、１００倍程度であろう。規定位置に１００倍程度に拡大して仮想的に物体を置くことにし、つぎに観察者（作業者）の頭の位置と顔の方向が分かれば、画像を生成できる。ここでは、磁気位置センサーなどをヘッドマウントディスプレーに取り付け、頭の位置、方向を計測する事にする。磁気位置センサーは文献バーチャルリアリティ応用戦略、pp.29-31（オーム社、１９９２年）などに述べられているように、頭の３次元的空間位置と、空間内の方向（頭の姿勢）を調べることができる。この位置と方向を元に、３次元計算機モデルで記述された対象が拡大され、所定の位置に仮想的に物体が置かれているものとして、ヘッドマウントディスプレーの左右の画面にそれぞれに見えるはずの画像を生成することで、人間（作業者）に立体画像を知覚させる。さらに、頭の動きに合わせて実時間で３次元計算機モデルからの画像生成を繰り返すことにより、頭の動きに合わせた連続画像生成を行うことができる。この動画像生成では、再度ステレオ画像処理により模様付き３次元モデルを再構成する必要はない。
【００１９】
ところで、この画像にあわせての操作では、テレオペレーションで開発された技術が適用できる。たとえば文献バーチャルテック・ラボp.10（工業調査会、1992年）では、第７図のような操作機器が紹介されている。この装置では、人間の腕の動きを、空間位置と姿勢について詳細に計測することができる。本発明では、この手の動きをマイクロオペレーション機器コントローラに送る。コントローラでは、この腕の動作を、画像表示での拡大率に合わせて縮小し、対象物体を操作するオペレーション機構の動作とする。この具体的動作に当たっては、物体操作に使うナイフやピンセットなどを想定し、その拡大モデルを持っているものとして画像表示装置４に表示し、それを操作しているものとしてハンドリングする。
【００２０】
このとき、マイクロオペレーション機器側（遠隔操縦装置におけるマイクロオペレーション部８側）では、微小なピンセットやナイフが実際に操作されるが、テレオペレーション部（遠隔操縦装置における操作部６）では、それを手に持っているものとしてモデル化され、画像表示装置４の表示画像中に示される。この微小なピンセットやナイフに微小な反力を検出する力センサーを付加しておき、反力分を画像の拡大率に合わせて増幅してテレオペレーション操作部６にフィードバックすることで、感覚的にも自然な操作を行うことが出来る。また、この反力フィードバックは、物体操作の上でも操作の確認の上で、自然な動作を実現できる。
【００２１】本発明の請求項１に係る微小物体表示装置と、請求項２および請求項３に係る微小物体操作装置は、上記した実施例中に具現されていることは明らかである。
【図面の簡単な説明】
【図１】本発明に係る微小物体表示装置および微小物体操作装置の全体構成を示す図。
【図２】多方向顕微光学系（撮像系）の説明図。
【図３】特徴点撮像可能方位分布の説明図。
【図４】空間位置決定した特徴点分布の説明図。
【図４】観察あるいは操作対象たる微小物体の表面形状の３角形記述の説明図。
【図５】マイクロオペレーション装置（遠隔操縦装置）の説明図。
【図６】テレオペレーション操作部（遠隔操縦装置の操作部）の説明図。