(57)【特許請求の範囲】
【請求項１】
顕微鏡用カメラが取り付けられた顕微鏡と，その顕微鏡の対物レンズの切替え，標本ステージの駆動を含む制御機能および前記顕微鏡用カメラからの動画像処理機能を持つローカル制御装置と，さらにそのローカル制御装置にネットワークを介して接続されたリモート制御装置とから構成される遠隔顕微鏡システムであって，
前記ローカル制御装置からネットワークを介して前記リモート制御装置に転送される顕微鏡用カメラの標本モニタ用のデジタル動画像が，ネットワーク帯域に合わせて１秒当たりの映像フレーム数を廃棄制御した非圧縮映像である
ことを特徴とする遠隔顕微鏡システム。
【請求項２】
前記ローカル制御装置は，
ネットワーク帯域をＮバイト／秒，デジタル動画像の１フレーム当たりのデータ量をＷバイト，デジタル動画像の１秒当たりのフレーム数をＦ，廃棄するフレーム間隔をＰ，廃棄フレーム数をＤとしたとき，Ｆ×（１−Ｄ／Ｐ）がＮ／Ｗより小さくなるようにＰとＤを決定するフレーム廃棄アルゴリズムに従って前記リモート制御装置に転送するデジタル動画像の映像フレームを廃棄制御する手段を有する
ことを特徴とする請求項１記載の遠隔顕微鏡システム。
【請求項３】
前記リモート制御装置は，
前記ローカル制御装置からネットワークを介して転送された非圧縮なデジタル動画像を蓄積する手段と，
その蓄積したデジタル動画像を映像フレーム毎に再生する手段とを有する
ことを特徴とする請求項１または請求項２記載の遠隔顕微鏡システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は，ネットワークを介して遠隔からの制御や操作を可能とする顕微鏡システムに係わり，特に，顕微鏡に設置されたカメラからの標本モニタ用の動画像をネットワークを介して遠隔に転送し，その動画像情報を観察しながら対物レンズの切替えや標本ステージの駆動等の顕微鏡制御や顕微鏡標本静止画像の取得を可能とした遠隔顕微鏡システムに関する。
【０００２】
【従来の技術】
図５は，従来の遠隔顕微鏡システムの一例の概略構成を示しており，５１は顕微鏡，５２は顕微鏡用カメラ，５３はカメラコントローラ，５４はビデオモニタ，５５はローカルパソコン，５６は顕微鏡用カメラ５２とカメラコントローラ５３を接続するカメラ接続インタフェース，５７はデジタル動画像インタフェース，５８はデジタル静止画像インタフェース，５９は顕微鏡制御インタフェース，６０はネットワーク，６１はリモートパソコン，６２はビデオモニタ，６３はデジタル動画像インタフェースである。
【０００３】
顕微鏡用カメラ５２で撮影された標本モニタ用のデジタル動画像は，カメラコントローラ５３とデジタル動画像インタフェース５７を介して，ビデオモニタ５４とローカルパソコン５５に出力される。
【０００４】
図６は，ローカルパソコン５５の遠隔顕微鏡システム対応部の概略機能構成を示しており，７１は顕微鏡操作ＧＵＩ(Graphical User Interface)モジュール，７２は動画像圧縮符号化処理モジュール，７３は静止画像取込処理モジュール，７４は顕微鏡操作・制御処理モジュール，７５は転送処理モジュールである。
【０００５】
なお，リモートパソコン６１においても，遠隔顕微鏡システム対応部としてローカルパソコン５５と同一の機能構成を有し，動画像圧縮符号化処理モジュール，静止画像取得処理モジュール，転送処理モジュール等はローカルパソコン５５とリモートパソコン６１で対の機能となり，例えば動画像圧縮符号化処理モジュールはローカルパソコン５５側でエンコードを行い，リモートパソコン６１側でデコードを行う。
【０００６】
以下，このような構成の従来の遠隔顕微鏡システムにおいて，リモートパソコン６１で顕微鏡５１の操作・制御を行う場合について説明する。
【０００７】
顕微鏡５１の標本ステージに観察用の標本を設置し，そのモニタ用のデジタル動画像を顕微鏡用カメラ５２で撮影し，カメラコントローラ５３とデジタル動画像インタフェース５７を通してビデオモニタ５４で観察するとともに，撮影したデジタル動画像をローカルパソコン５５内の動画像圧縮符号化処理モジュール７２へ入力する。動画像圧縮符号化処理モジュール７２へ入力されたデジタル動画像は，Ｍ−ＪＰＥＧやＭＰＥＧ２などの動画像圧縮符号化方式によってフレーム内あるいはフレーム間圧縮によるエンコード処理をされ，転送処理モジュール７５を介してネットワーク６０に転送される。動画像圧縮符号化処理モジュール７２では，接続されたネットワーク６０の帯域に合わせて，入力したデジタル動画像についてフレーム落ちが発生しないような圧縮率で動画像圧縮処理を施す。
【０００８】
ネットワーク６０を介してリモートパソコン６１に転送されたデジタル動画像は，転送処理モジュールで受信処理を行った後に，動画像圧縮符号化処理モジュールに入力され，ローカルパソコン５５の動画像圧縮符号化処理モジュール７２で画像圧縮処理される以前のデジタル動画像にデコード処理が行われ，デジタル動画像インタフェース６３を介してビデオモニタ６２に出力され，観察が可能となる。
【０００９】
このように，リモートパソコン６１側に設置されたビデオモニタ６２で顕微鏡５１の標本ステージに設置された標本が観察できる状態で，顕微鏡５１の操作権をリモートパソコン６１に移し，ビデオモニタ６２で標本モニタのデジタル動画像を観察しながら，リモートパソコン６１の顕微鏡操作ＧＵＩモジュールによって顕微鏡標本ステージの移動や顕微鏡の対物レンズの切替え等の操作を行う。
【００１０】
リモートパソコン６１での顕微鏡操作のための制御信号は，ネットワーク６０を介してローカルパソコン５５に転送され，さらに顕微鏡制御インタフェース５９を通って顕微鏡５１に転送される。このような系によって，リモートパソコン６１で顕微鏡５１の操作を行い，顕微鏡に設置された標本の所望する位置や対物レンズの倍率を特定する。
【００１１】
その後，受信した標本モニタ用のデジタル動画像を観察しながら静止画像取得のための要求をローカルパソコン５５側に送り，その要求信号に基づき顕微鏡用カメラ５２で静止画像の撮影を行う。撮影された静止画像は，カメラコントローラ５３と静止画像インタフェース５８を通してローカルパソコン５５に入力され，静止画像取込処理モジュール７３と転送処理モジュール７５を介してネットワーク６０上に送出される。
【００１２】
リモートパソコン６１では，ネットワーク６０から受信した静止画像を転送処理モジュールと静止画像取込処理モジュールを介してモニタに出力する。リモートパソコン６１側の顕微鏡観察者は，この取得した静止画像を観察することによって顕微鏡標本の診断等を行う。なお，静止画像のモニタは，パソコンのディスプレイであっても，外部に特別に設けた高精細ディスプレイであってもよい。
【００１３】
【発明が解決しようとする課題】
以上のような従来の遠隔顕微鏡システムでは，標本モニタ用のデジタル動画像をネットワークに転送する場合，ネットワークの帯域に合わせて動画像圧縮符号化を施しているため，動画像圧縮符号化のエンコードとデコードのための処理時間が必要となり，リモートパソコン側でその動画像を観察する場合には，顕微鏡に設置した顕微鏡用カメラで撮影した時間よりかなりの遅延が生じる。例えば，ＭＰＥＧ２による動画像符号化圧縮方式では，エンコードとデコードとで２００〜７００ミリ秒程度の処理遅延が生じる。
【００１４】
このため，リモート側でネットワークを介して転送されたデジタル動画像を観察しながら顕微鏡操作を行う場合，顕微鏡操作と観察のためのデジタル動画像との間のタイムラグが大きくなり，例えば標本ステージを移動させた場合には，所期の位置を行き過ぎてしまったり，対物レンズのピント合わせではレンズの焦点が行き過ぎてしまいピントが合わせにくいなど，顕微鏡操作が極めてやりにくいという問題があった。
【００１５】
また，動画像圧縮符号化では，ネットワーク帯域に合わせて画像圧縮をかけるため，一般には非可逆圧縮となり，リモート側で受信したデジタル動画像をデコードしても完全に元のデジタル動画像に戻すことは不可能であり，ローカル側でモニタできるデジタル動画像と比べると画像品質の劣化が生じている。このため，病理診断等のために高品質な映像が必要な場合には，静止画像を再度転送する必要があり，その転送処理のための手間や時間等がかかり，リモート側での顕微鏡操作は極めてやりにくいという問題があった。
【００１６】
本発明は，前記従来技術の問題点を解決するためになされたものであり，本発明の目的は，リモート側に転送する標本モニタ用のデジタル動画像の遅延をできるだけ少なくして顕微鏡の操作性を向上させるとともに，ローカル側とリモート側で同一の画像品質の動画像をモニタできることが可能となる技術を提供することにある。
【００１７】
【課題を解決するための手段】
上記目的を達成するため，本発明では，標本モニタ用のデジタル動画像として，非圧縮なデジタル動画像を用い，さらに帯域が制限されたネットワークでフレーム落ちすることなく確実にリモート側に転送させるために，ローカルの送信側であらかじめネットワーク帯域に合わせて１秒当たりの送信フレーム数を制御することを特徴とする。
【００１８】
【発明の実施の形態】
以下，図面を参照して本発明の実施の形態を詳細に説明する。
【００１９】
図１は，本発明の実施の形態を示す遠隔顕微鏡システムの図であって，１は顕微鏡，２は顕微鏡１に搭載された顕微鏡用カメラ，３はカメラコントローラ，４はビデオモニタ，５はローカルパソコン，６はデジタル動画像インタフェース，７は顕微鏡制御インタフェース，８はネットワーク，９はリモートパソコン，１０はビデオモニタ，１１はデジタルビデオレコーダ，１２はデジタル動画像インタフェースである。
【００２０】
図２は，ローカルパソコン５の遠隔顕微鏡システムに関連する機能構成を示す図であって，１３は顕微鏡操作ＧＵＩモジュール，１４はローカルパソコン５からネットワーク８上へ転送するデジタル動画像の１秒当たりの転送フレーム数を制御するフレーム制御モジュール，１５はネットワーク上へ転送するデジタル動画像のクロック周期を変換するクロック変換モジュール，１６は顕微鏡ステージの駆動や対物レンズの切替え，レンズ焦点合わせ等の顕微鏡制御を行うためのコマンドを生成する顕微鏡制御コマンド処理モジュール，１７はデジタル動画像や顕微鏡制御信号をネットワーク上で転送する場合のネットワークアドレスを付与したへッダ処理などのネットワークプロトコル処理を行う転送処理モジュールである。
【００２１】
図３は，リモートパソコン９の遠隔顕微鏡システムに関連する機能構成を示す図であって，１８は顕微鏡操作ＧＵＩモジュール，１９はローカルパソコン５からネットワーク８を介して受信したデジタル動画像をフレーム毎に蓄積し再度デジタル動画像インタフェース１２に出力するフレーム蓄積・送出制御モジュール，２０は顕微鏡１の標本ステージの駆動や対物レンズの切替え，レンズ焦点合わせ等の顕微鏡制御を行うためのコマンドを生成する顕微鏡制御コマンド処理モジュール，２１はネットワークアドレスを付与したへッダ処理などのネットワークプロトコル処理を行う転送処理モジュールである。なお，デジタル動画像については，ＩＴＵ−Ｒ  ＢＴ．６０１やＳＭＰＴＥ２５９Ｍ等で規定されたデジタルコンポーネント信号等を用いるとする。
【００２２】
このようなシステム構成における遠隔顕微鏡システムで，ローカルパソコン５からリモートパソコン９へのデジタル動画像の転送について，以下，図４を用いて説明する。図４は，デジタル動画像のフレームの時間的流れを模式的に示す図であって，（ａ）はカメラコントローラ３から出力され，デジタル動画像インタフェース６を通ってビデオモニタ４とローカルパソコン５のフレーム制御モジュール１４に入力されるデジタル動画像フレームで，図中の１から１６は各フレームの時間的番号を示す。
【００２３】
（ｂ）はフレーム制御モジュール１４から出力され，クロック変換モジュール１５に入力されるデジタル動画像フレームで，ここではカメラコントローラ３からのデジタル動画像フレーム（ａ）を１フレーム毎に廃棄して奇数番号のフレームが出力されるとしている。なお，フレーム制御モジュール１４でのフレーム廃棄の割合は，ネットワーク８の帯域に合わせて任意に設定可能であり，後述のネットワーク帯域とフレーム廃棄のアルゴリズムをもとに設定される。
【００２４】
（ｃ）はクロック変換モジュール１５から出力されるデジタル動画像フレームであり，デジタル動画像のクロック周期をネットワーク８のクロック周期と同一とすることにより，カメラコントローラ３からのデジタル動画像フレーム（ａ）の約２フレーム分の時間をかけて１フレーム分が出力される。
【００２５】
（ｄ）は転送処理モジュール１７からネットワーク８上へ転送されるデジタル動画像フレームによるデジタルデータであり，ネットワーク８上ではこれにネットワークヘッダ等が付与され，ネットワークプロトコル処理が施されたＰＤＵ（プロトコルデータユニット）の構造で転送される。
【００２６】
（ｅ）は受信側のリモートパソコン９でフレーム蓄積・送出制御モジュール１９から出力されるデジタル動画像フレームで，フレーム蓄積・送出制御モジュール１９には２フレーム分のフレームバッファを設け，交互にデジタル動画像フレームを蓄積し，フレームバッファ中にデジタル動画像フレームデータが１フレーム分蓄積されると，デジタル動画像インタフェース１２に出力する構成になっている。
【００２７】
フレームバッファへのデジタル動画像の入力は，ネットワーク８のクロック周期で，また出力は前記カメラコントローラ３からのデジタル動画像フレーム（ａ）と同一のクロック周期で行われる。さらに，フレームバッファからデジタル動画像インタフェース１２に出力されるタイミングで，そのフレームバッファが１フレーム分のデジタル動画像で満たされていない場合には，他のフレームバッファ中のその前に蓄積したデジタル動画像フレームを出力する。したがって，図４の例では，デジタル動画像の奇数番号のフレームが２回連続して出力されることになる。
【００２８】
フレーム制御モジュール１４でのネットワーク帯域とデジタル動画像のフレーム廃棄の割合を決めるアルゴリズムについて説明する。ネットワーク上で転送できるデータ帯域をＮバイト／秒，デジタル動画像フレームの１フレーム当たりのデータ量をＷバイトとしたとき，ネットワーク上で１秒当たりに転送できるデジタル動画像のフレーム数はＮ／Ｗとなる。一方，デジタル動画像フレーム（ａ）の１秒当たりのフレーム数をＦ，廃棄するフレームの間隔をＰ，廃棄フレーム数をＤとする。すなわち，１秒当たりＦの連続したデジタル動画像フレームをＰの間隔でＤフレームずつ廃棄する。ここで，Ｄ＜Ｐである。この場合，廃棄されないフレーム数はＦ×（１−Ｄ／Ｐ）となり，この値が前述のＮ／Ｗより小さくなるようにＰとＤを設定すればよい。
【００２９】
例えば，ネットワーク８をＩＴＵ−ＴＩ．３６１規定の１５５ＭｂｐｓのＡＴＭインタフェース，デジタル動画像をＩＴＵ−Ｒ  ＢＴ−６０１規定のＤ１デジタルコンポーネント信号とすると，Ｎは１７Ｍバイト／秒，Ｗは１．１Ｍバイト／秒であり，Ｎ／Ｗは１５．４５となる。一方，Ｆは３０であり，Ｐを２，Ｄを１とすればＦ×（１−Ｄ／Ｐ）は１５となり，Ｎ／Ｗの値より小さくできる。したがって，ローカル側であらかじめデジタル動画像を２フレーム毎に１フレーム廃棄を行って送信すれば，ネットワーク帯域に合わせてデジタル動画像の転送が可能である。
【００３０】
このような非圧縮なデジタル動画像フレームを転送することによって，ローカル側のビデオモニタ４で観察できるデジタル動画像とリモート側のビデオモニタ１０で観察できるデジタル動画像との時間差，すなわち遅延は，リモート側のフレーム蓄積・送出制御モジュール１９中のフレームバッファに蓄積される時間だけの数フレーム程度と極めて小さくできる。
【００３１】
例えば，図４の例のように１フレーム毎に廃棄をした場合には，２フレーム分だけの遅延が生じるのみであり，さらに，デジタル動画像フレームの全フレームを廃棄せずにリモート側に転送するとすれば，受信側でフレームバッファに蓄積する１フレーム分の遅延しか生じない。１秒問に３０フレームのＤ１デジタルコンポーネント信号では２フレーム分の遅延で約６６ｍｓとなる。
【００３２】
また，各映像フレームでは画像圧縮処理を施さないため，ローカル側でモニタできるデジタル動画像と全く同一の画像品質のデジタル動画像がリモート側のビデオモニタでも観察可能である。
【００３３】
一方，リモート側では廃棄される偶数番号のデジタル動画像フレームは観察できないが，顕微鏡１の標本ステージを移動させずに固定した状態で転送されるデジタル動画像は連続した奇数番号フレームと偶数番号フレームとで同一の画像であり，奇数番号フレームのみが観察できれば全く問題ない。
【００３４】
このように非圧縮なデジタル動画像がリモートパソコン９に転送される状態で，顕微鏡操作ＧＵＩモジュール１８で顕微鏡１の操作権をリモートパソコン９に与え，顕微鏡操作ＧＵＩモジュール１８と顕微鏡制御コマンド処理モジュール２０とが連携して顕微鏡１の標本ステージの移動や対物レンズの切替え等の制御コマンドを発行し，転送処理モジュール２１でネットワークプロトコル処理を施して，ローカルパソコン５へ転送する。ローカルパソコン５では，受信した制御コマンドを転送処理モジュール１７と顕微鏡制御コマンド処理モジュール１６を介して顕微鏡１に転送する。これにより，標本ステージの移動や対物レンズの切替え等の制御が行われる。
【００３５】
さらに，リモート側のデジタル動画像インターフェース１２に出力されたデジタル動画像フレーム（ｅ）をそのままデジタルビデオレコーダ１１に一旦蓄積し，その蓄積したデジタル動画像をフレーム毎に再生すれば，高精細な静止画像としても使用することができ，診断等のために静止画像を改めて取得する手間も省け，極めて操作性に優れた効率のよい遠隔顕微鏡システムの環境を提供することが可能になる。
【００３６】
デジタル動画像として，Ｄ１デジタルコンポーネント信号以外にプログレッシブ映像やハイビジョンテレビ用のデジタル映像を用いれば，より高精細な静止画像が動画像のフレームから取得・観察できる。もちろん，モニタ用のデジタル動画像よりさらに高精細な静止画像を必要とする場合は従来と同様に静止画像取得のための機能を設ければよい。
【００３７】
【発明の効果】
本発明の効果は，以下のとおりである。
【００３８】
（１）本発明によれば，顕微鏡標本モニタ用のデジタル動画像としてリモート側においても非圧縮なデジタル動画像を用いるため，ネットワーク転送のための画像圧縮処理が必要でなく，そのため圧縮処理にかかる時間がなく，リモートパソコンにデジタル動画像を極めて低遅延で転送できる。このため，リモートパソコンでもローカルパソコンと同様に，このデジタル動画像を観察しながら顕微鏡操作を行う場合のタイムラグが少なく良好な操作環境を実現できる。
【００３９】
（２）また本発明によれば，顕微鏡標本モニタ用のデジタル動画像としてリモート側においても非圧縮なデジタル動画像を用いるため，動画像フレームの画像品質の劣化が全くなく，転送されたデジタル動画像を一旦蓄積しフレーム毎にモニタをすることにより，診断用の静止画像としても用いることができ，改めて静止画像取得を行う必要がないため効率がよい。
【図面の簡単な説明】
【図１】本発明の実施の形態の遠隔顕微鏡システムの概略構成を示す図である。
【図２】本発明の実施の形態の遠隔顕微鏡システムにおいて，ローカルパソコンの遠隔顕微鏡システムに関連する機能構成を示す概略図である。
【図３】本発明の実施の形態の遠隔顕微鏡システムにおいて，リモートパソコンの遠隔顕微鏡システムに関連する機能構成を示す概略図である。
【図４】本発明の実施の形態の遠隔顕微鏡システムにおいて，デジタル動画像フレームの時間的な流れを示す概念図である。
【図５】従来の遠隔顕微鏡システムの概略構成を示す図である。
【図６】従来の遠隔顕微鏡システムにおいて，ローカルパソコンの遠隔顕微鏡システムに関連する機能構成を示す概略図である。
【符号の説明】
１，５１    顕微鏡
２，５２    顕微鏡用カメラ
３，５３    カメラコントローラ
４，１０，５４，６２    ビデオモニタ
５，５５    ローカルパソコン
６，５７    デジタル動画像インタフェース
７，５９    顕微鏡制御インタフェース
８，６０    ネットワーク
９，６１    リモートパソコン
１１    デジタルビデオレコーダ
１２，６３  デジタル動画像インタフェース
１３，１８，７１    顕微鏡操作ＧＵＩモジュール
１４    フレーム制御モジュール
１５    クロック変換モジュール
１６，２０    顕微鏡制御コマンド処理モジュール
１７，２１    転送処理モジュール
１９    フレーム蓄積・送出制御モジュール
【図１】
0003657857.tif 000002
【図２】
0003657857.tif 000003
【図３】
0003657857.tif 000004
【図４】
0003657857.tif 000005
【図５】
0003657857.tif 000006
【図６】
0003657857.tif 000007