ＳＥＭ内におけるマイクロマニピュレータシステムの開発−マニピュレータを用いた作業における視覚情報の役割について−石川友彦*
1. はじめになどが開発されている。

本研究において開発を進めているマイクロマニピュレータを装着する走査型電子顕微鏡（SEM）は，数十倍から数十万倍という分子レベルまで，試料を三次元的に観察することができるという点に大きな特徴を持つ顕微鏡である。観察対象は様々な分野におよび，金属表面の観察から原子・分子構造まで，また無機物ばかりか生物組織の観察に至るまで行うことができる。特に生物試料の観察においては，光学顕微鏡や実体顕微鏡の範疇である100 倍以下の範囲においても，高い分解能と深い焦点深度を持つという優れた性能を持つため，大いに威力を発揮している。代表的なＳＥＭの外観を図１に示す。
しかし，そのような特徴を持つＳＥＭではあるが，観察試料に対し何等かの作業を行おうとした場合，実世界とは異なる感覚でマニピュレータなどの操作治具を用いて作業を行うことが求められる。それら治具の操作は実スケールにおける操作性とは異なり，解決し難い問題に行き着く。例えば，低倍率において視野内に納まっていたマニピュレータが，倍率を上げたとたんに視野外に逸脱してしまう場合や，微小移動のつもりが予想外の移動量のために試料自体やマニピュレータ自身を傷つけてしまう場合などである。

図２ 視野内からマニピュレータが逸脱した場合
2-2. 顕微鏡下における一般的な作業手順

そこで，意図した観察・作業環境下において視野を平面内で移動させたり倍率を変化させた場合でも，観察から作業への移行をスムーズに行うことが顕微鏡下においてマニピュレータを用いて行われる作業の一般的な操作手できるシステムの開発と，作業者におけるマニピュレータの操作性が倍率が順を図３に示す。ＳＥＭ内においては狭い空間内に試料テーブルやマニピュ異なっても均一となる制御アルゴリズムの開発を進めており，実験によりアレータ・観察用カメラなどが集中して存在するため様々な制約のもとで操作ルゴリズムの有効性を確認したので報告する。

を行う必要がある。ここで図３のフローに基づいて操作手順を説明する。
2-2-1. 観察のみの場合
最初に試料テーブルをマニピュレータやカメラが集中して存在する観察・作業空間から，試料をセットする位置に移動する。試料を試料テーブルにセットした後，種々の条件設定を行い観察・作業を行う標準位置に試料テーブルを移動する。試料に対し焦点合わせを行うとともにターゲットの探索および目的とする観察範囲が視野内に納まるように倍率を調整する。
観察のみの場合はこの段階で準備は終了する。
2-2-2. 観察＋作業の場合試料に対して何等かの作業を行おうとした場合，前段で説明した操作の他に，さらに次のような操作が必要となる。試料テーブルを再び最下段まで退避し，作業用マニピュレータを先ほど設定した観察・作業位置に移動する。
マニピュレータ先端の焦点合わせを行った後，マニピュレータをわずかに上

図１ 代表的な走査型電子顕微鏡（ＳＥＭ）昇させる。マニピュレータの上昇確認後，試料テーブルを再び設定した観察・作業位置まで干渉を確認しつつ徐々に上昇させる。上昇後，焦点が合ってい2. 微小世界における作業ることを確認するとともに，視野内にターゲットとマニピュレータが存在し2-1. 顕微鏡下における作業と視野についてていることを確認する。作業を行うターゲットの微調整を行った後，マニピ微小な世界において作業を行う場合，視野がそのまま作業空間となるためュレータをわずかに下降させ，試料面に接触させ目的とする作業に移る。

視覚情報というものが重要な役割を果たすことになる。顕微鏡などにおいて光学系の倍率が得られる場合には，作業者の操作量とマニピュレータの移動量との間に対応付けが可能であるが，微小な世界においては光学的誤差や機構的誤差などの微妙な誤差に対しても，その視野範囲やマニピュレータの移動量は大きく変化してしまい，作業対象物やマニピュレータ自身を見失うことが生じる。そのような際には，経験と勘によりマニピュレータを視野内に戻す操作が必要となる（図２）。そのため視覚的な倍率の変化に左右されるこく作術
業部を行うために，作業点と注視点を機構的に一致させるシステム*と生な
産技
1試料テーブル位置合わせにより得られている観察・作業位置情報と実際の空間的位置との間に誤差が生じている時などがあり，視野内に移動後のマニピュレータが存在しない場合が生じることがある。そのような場合には，図２に示した場合同様，経験と勘によりランダムに探索する必要が生じる。また*2においては倍率による上昇量の問題が，*3においては被写界深度の問題が，*4 においては接触状態の確認問題など様々な問題が含まれているが，現時点ではすべて作業者の経験や勘により操作が行われているのが現状である。
2-4. 観察倍率と作業への移行性について
そこで，経験や勘に頼ること無く作業者が意図する作業へ容易に移行することができるように，視覚情報とマニピュレータの操作性との関係に着目し，一連の操作手順を大きく二つに分けて扱うこととした。
最初にターゲットを探索する操作においては，常にマニピュレータの先端をその視野の一部に存在させるように制御することとした（図４）。これによりターゲットの位置や倍率を確定した後に，改めて視野内へマニピュレータを移動するという操作と，それに伴う問題を解決することができる。この操作においては，・平面内（ＸＹ軸方向）を視野が移動することに対する追従の場合・倍率の変化（Ｚ軸方向）による視野範囲の変化に対する追従の場合の２つの問題がある。一般的には，平面内の視野の移動に対しては試料テーブルの移動量を補正値としてフィードバックを行い，倍率の変化に対しては，顕微鏡側の倍率設定ダイヤルにおける倍率値を常にモニタリングしながらマ
ニピュレータ移動量への補正値としてフィードバックを行えば良い。しかし，高倍率の世界では，低倍率ではあまり影響の現れなかった光学的誤差や機構的誤差などの微妙な誤差が直接補正値に反映するため，簡単にマニピュレータ自身を見失ってしまうことが生じる。
そこで，今回は平面内の視野の移動においてはパターンマッチング用の基本探索パターンと視覚情報から得られた探索パターンとの相対変化量を計算し，補正値とすることとした。また，倍率方向の変化に対しては，パターンマッチング用に保存している基本パターンと基本パターンと同サイズの

図３ マニピュレータを用いた操作手順の例
2-3. 作業準備操作における問題点
以上のような手順を踏まえた後，意図する作業に移るのであるが，この一連の操作において多くの部分(＊印)に解決しなければならない問題を含んで

図４ 視野内にマニピュレータを追従させる場合いる。
例えば*1 においては，試料テーブルの観察・作業位置をもとにマニピュレータの移動を行うわけであるが，倍率によっては機構的誤差などのために，パターンを視野内に存在させるようにマニピュレータを移動させる際の変2位量から，その倍率における補正値を得る方法を採用した。

図５ 追従性評価実験システム構成図

次に，実際に行われる繊細な作業は直接人間が行うことを考慮し，前述で得られた変位量を作業者の操作量とマニピュレータの移動量との間の補正値とすることにより，作業確定倍率に左右されない操作性の均一化を図ることとした。これにより，一連の操作において，・最初の段階として作業者はターゲットの探索に集中することができる
・探索終了後，作業を行うためのマニピュレータの操作に滑らかに移行できる
・直接行われる作業において，倍率を意識すること無く作業を行うことができる・倍率を意識することなく作業を行うことができることにより，不用意に試料やマニピュレータを損傷することがなくなるなどのメリットを期待することができる。
3. 追従性評価実験システムおよび実験
3-1. 実験システムの構成

図６ 実験システム全景
3-3. 追従性評価実験による問題点

ターゲットを探索する操作において，視野の変化に対するマニピュレータの追従性を評価するために構築した実験システムを図５に示す。試料を固定

この操作においても，様々な問題が内在することが判明した。例えば，低する試料テーブルは，ＸＹ平面内においてＸ軸方向に移動可能であり，マニ倍率においてはあまり問題とはならないが，高倍率の世界では一連のフィー

ピュレータはＸＹ平面内においてＸ軸方向に，鉛直面方向においてはＺ軸方ドバックループにおける処理よりも早い速度で倍率が変化することにより，向に制御可能である。また，ズーム機能を持ったカメラ（Sony 社製：

視野からマニピュレータが逸脱する場合（*1）が生じた。その場合には，マHandycam SC9）は鉛直面であるＺ軸方向に移動可能である。

ニピュレータをランダムに移動し視野内に戻す方法や，視野内に存在していカメラから得られた視覚情報は画像処理ボード（CTC社製：MVC150/40）た過去の状態の履歴を記憶しておき，その情報を基に移動方向の推測を行いにて様々な処理を行った後，パソコン（Gateway 社製：P5-166）に送り込ま視野内に戻すなどの処理を行う必要があることがわかった。また，被写界深れる。パソコンでは，マニピュレータ（今回は専用テーブルに固定）の先端度の影響により焦点が合わなくなった場合（*2）には，被写界深度内にマニを常に視野内に存在させるための位置制御情報を計算し，テーブルコントロピュレータとターゲットをともに存在させる必要があるため，Ｚ軸方向にもーラ（シグマ光機製：SPC2NHテーブルを制御することが重要であることがわかった。

）に制御情報として渡す。テーブルコントローラはその情報に基づきマニピュレータの位置制御を行う。パソコンとテーブルコントローラとの間はRS232C にて結ばれている。構築した実験システムの全景を図６に示す。
3-2. マニピュレータの追従実験
今回は，平面内（ＸＹ軸方向）の移動に対する追従性に関しては，Ｘ軸方向に試料を固定しているテーブルを動かすことにより実験を行った。また，倍率の変化（Ｚ軸方向）に対する追従性に関しては，鉛直面であるＺ軸方向に対してカメラ（視野）を不規則的に動かした場合およびズーム機能を用いた倍率の変化を行った場合に対して実験を行った。倍率を伴った視野の変化の場合には，被写界深度の影響による焦点問題を考慮しなければならないが，今回は追従性の評価に絞ったため被写界深度の問題は省いて実験を行った。
実験で用いた制御フローを図７に示す。

35. むすび
今回構築した実験システムにおいて，開発した制御フローを用いて，視野の変化が起きてもマニピュレータが視野内において追従可能であることを確認することができた。また，視覚情報から得られる相対移動量から相対倍率を導くことにより，観察・作業倍率によらないマニピュレータの均一な操作性を得ることが可能であることがわかった。
今後は，・倍率の急激な変化に対する追従性の問題の解決
・高速応答性を考慮した制御インターフェースの問題
・画像のボケを考慮した被写界深度の問題の解決
・均一操作性評価実験システムの構築と実証実験などを行う予定である。
謝辞
なお，この研究は「(財) 茨城県中小企業振興公社：産学官共同研究事業」の補助を受け，(株) 三友製作所・茨城大学工学部と共同研究を進めているものである。また，さまざまなアドバイスをいただきました日立製作所・勝田禎二氏，茨城県工業技術センター・高島茂雄部長（現：茨城県庁工業技術課）に感謝いたします。
参考文献
1). 古谷野・佐藤・宮崎：集視マニピュレーションシステムによる微細作業：
日本機械学会ROBOMEC'95

論文集，pp.1386-1389,，1995.

2). 谷川・新井・橋本：二本指マイクロハンド用自動焦点システムの開発：第14回日本ロボット学会学術講演会予稿集，pp.1125-1126，1996.
3). 石川・川上：微小世界の作業における視覚情報の役割に関する一考察：第15回日本ロボット学会学術講演会，pp.1071-1072，1997.

4). 田中敬一編：医学・生物学領域の走査電子顕微鏡技術：講談社，1992.

図７ システム制御フロー
4. 実作業における操作量とマニピュレータの動作量との関係
次の操作段階として，観察が終了し視野内のマニピュレータを用いた実作業へ移行する際の問題点として，微小移動のつもりが予想外の移動量のために試料自体やマニピュレータ自身を損傷してしまう場合が考えられる。これは，観察・作業倍率が大きければ大きいほど影響を受けるものであり，作業者が神経を遣う場面でもある。
この場合，正確な倍率が得られていれば，作業者の操作量とマニピュレータの動作量の間に対応関係が成り立つため，任意の作業倍率下においても作業者は均一な操作性を得ることができるが，実際は光学的誤差や機構的誤差のために正確な相対量を得ることは難しく，これは高倍率になるほど大きな問題となる。
そこで，図７に示した＊３の処理における視覚情報上の相対量をフィードバックすることにより，機構的な設定倍率ではなく，実際の視覚情報から得られた移動量に基づいた相対倍率を得ることができる。これにより作業者は，どのような倍率においてもキャリブレーションを行うこと無く，均一な操作性のもとで作業を行うことが可能となる。

4