(57)【特許請求の範囲】
【請求項１】
カメラと、
前記カメラを支持する、当該カメラの撮影方向を変更可能なリモート雲台と、
前記カメラが撮影した映像を表示するモニタと、
ユーザが注視している前記モニタの表示画面上の位置を注視位置として検出する注視位置検出手段と、
前記注視位置の移動ベクトルを算出する移動ベクトル算出手段と、
前記モニタの表示画面上において、前記モニタの表示画面に表れている被写体が、前記移動ベクトルの方向と反対方向に移動する方向に、前記カメラの撮影方向が、前記移動ベクトルの大きさに応じた速度で変化するように、前記リモート雲台を制御する制御手段とを有することを特徴とする撮影システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラとカメラで撮影した映像を表示するモニタとを備えたシステムに関するものである。
【背景技術】
【０００２】
カメラとカメラで撮影した映像を表示するモニタとを備えたシステムとしては、ＸＹ移動ステージ上の標本の像を光学的に拡大する顕微鏡と、顕微鏡が拡大した標本の像を撮影するカメラと、カメラが撮影した映像を表示するモニタと、標本を自動追尾するように前記ＸＹ移動ステージの移動を制御する制御装置とを備えた顕微鏡システム（たとえば、特許文献１）など、様々なシステムが知られている。
【０００３】
一方、ユーザが注視しているコンピュータのモニタの表示画面上の座標を算出し、当該算出した座標をコンピュータに入力する視線入力の技術も知られている（たとえば、特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０７-２４８４５２号公報
【特許文献２】特開平１０-１４３３１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
カメラとカメラで撮影した映像を表示するモニタとを備えたシステムにおいて、ユーザが、所望の観察対象を良好に撮影できるようにカメラの撮影範囲を変化させることは必ずしも容易ではない。すなわち、観察対象が微細なものである場合にはカメラの撮影範囲を微少に精度良く変化させる操作を行う必要があり、観察対象が高速に移動するものである場合には、カメラの撮影範囲を観察対象に追従するように高速に変化させる操作を行う必要が生じるために、当該操作には熟練を要する。
【０００６】
そこで、本発明は、ユーザが容易に、所望の観察対象を良好に撮影できるようにカメラの撮影範囲を変化させることのできるシステムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記課題達成のために、本発明は、カメラと、前記カメラの被写体を支持する支持体と、前記支持体を移動する移動機構と、前記カメラが撮影した映像を表示するモニタと、ユーザが注視している前記モニタの表示画面上の位置を注視位置として検出する注視位置検出手段と、前記モニタの表示画面上の前記注視位置に表れている被写体上の位置が、前記カメラの撮影範囲の中心に移動するように、前記移動機構を制御して、前記支持体を移動する制御手段とを備えた撮影システムを提供する。
【０００８】
このような撮影システムによれば、ユーザは、モニタに表示されたカメラ撮影映像中の興味有る位置を注視するだけで、当該位置が、カメラの撮影範囲の中心に移動してモニタの中央に表示されるように、カメラの撮影範囲を変化することができる。よって、本発明によれば、ユーザは、容易に、所望の観察対象を良好に撮影できるようにカメラの撮影範囲を変化させることができるようになる。
【０００９】
ここで、このような撮影システムは、たとえば、顕微鏡像を撮影するシステムに適用することができる。すなわち、この場合には、標本を支持するステージと、前記ステージを二軸方向に移動可能なアクチュエータとを備えた顕微鏡と、前記標本の前記顕微鏡による顕微鏡画像を撮影するカメラと、前記カメラが撮影した映像を表示するモニタと、ユーザが注視している前記モニタの表示画面上の位置を注視位置として検出する注視位置検出手段と、前記モニタの表示画面上の前記注視位置に表れている前記標本上の位置が、前記カメラの撮影範囲の中心に移動するように、前記アクチュエータを制御して、前記ステージを移動する制御手段とを設けて撮影システムを構成するようにすれば良い。
【００１０】
また、本発明は、カメラと、前記カメラを支持する、当該カメラの撮影方向を変更可能なリモート雲台と、前記カメラが撮影した映像を表示するモニタと、ユーザが注視している前記モニタの表示画面上の位置を注視位置として検出する注視位置検出手段と、前記注視位置の移動ベクトルを算出する移動ベクトル算出手段と、前記カメラの撮影方向が、前記移動ベクトルの大きさに応じた速度で、前記移動ベクトルの方向に対応する方向側を撮影する方向に変化するように、前記リモート雲台を制御する制御手段とを備えた撮影システムを提供する。
【００１１】
また、併せて、本発明は、カメラと、前記カメラを支持する、当該カメラの撮影方向を変更可能なリモート雲台と、前記カメラが撮影した映像を表示するモニタと、ユーザが注視している前記モニタの表示画面上の位置を注視位置として検出する注視位置検出手段と、前記モニタの表示画面上において、前記モニタの表示画面に表れている被写体が、前記移動ベクトルの方向と反対方向に移動する方向に、前記カメラの撮影方向が、前記移動ベクトルの大きさに応じた速度で変化するように、前記リモート雲台を制御する制御手段とを備えた撮影システムを提供する。
【００１２】
これらのような撮影システムによっても、同様に、ユーザが容易に、所望の観察対象を良好に撮影できるようにカメラの撮影範囲を変化させることができる。また、特に、このような撮影システムを、ゴルフや野球の中継に適用すれば、オペレータがモニタ上で飛球を目で追いかけるだけで、良好に飛球をカメラで撮影し続けることができるようになる。よって、熟練した技能を備えたカメラマンでなくても、飛球などの移動体をカメラで良好に捉え続けることができるようになる。
【発明の効果】
【００１３】
以上のように、本発明によれば、ユーザが容易に、所望の観察対象を良好に撮影できるようにカメラの撮影範囲を変化させることのできるシステムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１実施形態に係る顕微鏡システムの構成を示す図である。
【図２】本発明の第１実施形態に係る視線対応観察制御処理を示すフローチャートである。
【図３】本発明の第１実施形態に係る顕微鏡システムの動作例を示す図である。
【図４】本発明の第２実施形態に係る撮影システムの構成を示す図である。
【図５】本発明の第２実施形態に係る視線対応観察制御処理を示すフローチャートである。
【図６】本発明の第２実施形態に係る撮影システムの動作例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について説明する。
まず、第１の実施形態について説明する。
図１に、本第１実施形態に係る顕微鏡システムの構成を示す。
図示するように、本顕微鏡システムは、顕微鏡装置１、制御装置２、モニタ３、視線センサ４、入力装置５とを有している。
顕微鏡装置１は、ステージアクチュエータ１１、ステージアクチュエータ１１によって水平二軸（ＸＹ）方向に移動可能なステージ１２、ステージ１２上に支持した標本１３の顕微鏡像（拡大像）を光学的に生成する光学系１４、光学系１４の合焦動作や倍率を制御する光学系アクチュエータ１５、光学系１４が生成した顕微鏡像を撮影する顕微鏡用カメラ１６とを備えている。
【００１６】
そして、モニタ３には、顕微鏡装置１の顕微鏡用カメラ１６が撮影した映像が表示される。
また、視線センサ４は、モニタ３を観察するユーザの目を近赤外線で照らす２台の近赤外線照明４１と、モニタ３を観察するユーザの目を撮影する、近赤外線に感光可能なアイカメラ４２とを備えている。
そして、制御装置２は、注視点検出部２１と、観察制御部２２とを備えている。
注視点検出部２１は、視線センサ４のアイカメラ４２が撮影したユーザの目の映像より、ユーザが注視している（見ている）、モニタ３の表示画面上の座標を注視点座標として算出する。ここで、この注視点座標の算出は、アイカメラ４２が撮影したモニタ３を観察するユーザの目の映像より画像認識処理により抽出したユーザの目の瞳孔の位置、ユーザの角膜の近赤外線照明の反射点などに基づいて、モニタ３に対する、ユーザの目の位置と視線方向を検出することにより行う。
【００１７】
また、観察制御部２２は、入力装置５で受け付けたユーザ操作に応じて、顕微鏡装置１のステージアクチュエータ１１や光学系アクチュエータ１５を制御する動作を行う他、ユーザが入力装置５を介して視線対応観察モードを設定すると、次に示す視線対応観察制御処理を行う。
【００１８】
図２に、この視線対応観察制御処理の手順を示す。
図示するように、この視線対応観察制御処理では、注視点検出部２１が算出している注視点座標を取得し（ステップ２０２）、注視点座標がモニタ３の表示画面の中央領域内の座標であるかどうかを調べる（ステップ２０４）。
ここで、モニタ３の表示画面の中央領域とは、表示画面の中心を中心として設定した所定サイズの正方形の領域であり、モニタ３の表示画面に表示されている映像が、図３ａに示すような精子群の顕微鏡画像であるとして、図３ｂに示すように、モニタ３の表示画面の中央領域３０１は設定される。
【００１９】
次に、注視点座標がモニタ３の表示画面の中央領域内の座標でなければ、注視点座標の周辺に監視領域を設定する（ステップ２０６）。
ここで、監視領域は、注視点座標を中心として設定した所定サイズの正方形の領域であり、図３ｃに+で示す位置が注視点座標であれば、３０２で示すように監視領域を設定する。
そして、所定のタイムアウト時間（たとえば、１秒）を持つタイマＡを設定し（ステップ２０８）、注視点検出部２１が算出している注視点座標を取得しながら（ステップ２１０）、注視点座標が監視領域外となるか（ステップ２１２）、タイマＡのタイムアウトが発生するのを待つ（ステップ２１４）。
【００２０】
そして、注視点座標が監視領域外となったならば、ステップ２０２に戻る。
一方、タイマＡのタイムアウトが発生したならば（ステップ２１４）、最後に取得した注視点座標に表示されている標本１３上の位置が、顕微鏡用カメラ１６の撮影範囲の中心に撮影されるように、すなわち、当該位置がモニタ３の表示画面の中心に表示されるように、注視点座標とモニタ中心座標との差分と顕微鏡装置１の倍率等とに応じて、顕微鏡装置１のステージアクチュエータ１１を制御して、ステージ１２を標本１３共々移動し（ステップ２１６）、ステップ２０２に戻る。
【００２１】
結果、ユーザが、モニタ３の表示画面の中央領域外の位置を所定時間（たとえば、１秒）以上注視すると、当該注視している位置に表示されている標本１３上の位置が、顕微鏡用カメラ１６の撮影範囲の中心に撮影されるようにステージ１２が移動し、当該位置がモニタ３の表示画面の中心に表示されるようになる。したがって、たとえば、活動的な精子を探すユーザが、図３ｃの、+で示す中央領域外で着目した精子像の位置を所定時間以上注視すると、ステージ１２が移動され、図３ｄに示すように、着目した精子像がモニタ３の表示画面の中心に表示され、そのようすをより容易に観察できるようになる。
【００２２】
さて、図２に戻り、ステップ２０２で取得した注視点座標がモニタ３の表示画面の中央領域内の座標である場合には（ステップ２０４）、所定のタイムアウト時間（たとえば、５秒）を持つタイマＢを設定し（ステップ２１８）、注視点検出部２１が算出している注視点座標を取得しながら（ステップ２２０）、注視点座標が中央領域外となるか（ステップ２２２）、タイマＢのタイムアウトが発生するのを待つ（ステップ２２４）。
【００２３】
そして、注視点座標が監視領域外となったならば、ステップ２０２に戻る。
一方、タイマＢのタイムアウトが発生したならば（ステップ２２４）、モニタ３に表示される映像が、現在の状態より所定の拡大率で拡大されて表示されるように顕微鏡装置１を制御する（ステップ２２６）。当該拡大の制御は、顕微鏡装置１の光学系１４の倍率を光学系アクチュエータ１５から変更可能である場合には、光学系アクチュエータ１５を制御して光学系１４の倍率を大きくすることにより行うようにしてもよいし、顕微鏡用カメラ１６がデジタルズームの機能を備えているものである場合には、顕微鏡用カメラ１６を制御して、顕微鏡用カメラ１６のデジタルズームの倍率を大きくすることにより行うようにしてもよい。
【００２４】
この結果、図３ｄに示すように、図３ｄの、+で示す中央領域内の着目した精子像の位置をユーザが所定時間（たとえば、５秒）以上注視すると、顕微鏡装置１が制御され、図３ｅに示すように、注視していたモニタ３の中央部分の着目した精子像の映像がさらに拡大されてモニタ３の表示画面に表示され、当該精子をより詳細に観察できるようになる。
【００２５】
さて、このようにしてモニタ３に表示される映像が、所定の拡大率で拡大されるように顕微鏡装置１を制御したならば（ステップ２２６）、入力装置５へのユーザのリセット操作の発生を待ち（ステップ２２８）、リセット操作が発生したならば、モニタ３に表示される映像の拡大率を、ステップ２２６で当該拡大率を変更する前の拡大率に復帰し（ステップ２３０）、ステップ２０２に戻る。
【００２６】
以上、本発明の第１の実施形態について説明した。
以下、本発明の第２の実施形態について説明する。
図４に、本第２実施形態に係る撮影システムの構成を示す。
図示するように、撮影システムは、カメラ装置６、制御装置２、モニタ３、視線センサ４、入力装置５とを有している。
ここで、制御装置２と視線センサ４の構成は図１に示した前記第１実施形態の構成と同様である。
そして、カメラ装置６は、カメラ６１、リモート制御に応答してカメラ６１の撮影方向を電動機構によって変更可能なリモート雲台６２とを備えている。
そして、カメラ６１の撮影映像がモニタ３に表示される。
このような構成において、制御装置２の観察制御部２２は、入力装置５で受け付けたユーザ操作に応じて、カメラ装置６のカメラ６１のズーム動作やリモート雲台６２の動作を制御する処理を行う他、ユーザが入力装置５を介して視線対応観察モードを設定すると、次に示す視線対応観察制御処理を行う。
【００２７】
図５ａに、視線対応観察制御処理の手順を示す。
図示するように、この視線対応観察制御処理では、注視点検出部２１が算出している注視点座標を取得し（ステップ５０２）、注視点座標の移動量と移動方向を表す移動ベクトルを算出し（ステップ５０４）、移動ベクトルの大きさに比例する速度で、移動ベクトルの方向と同じ方向にカメラ６１の撮影方向が変化するように、リモート雲台６２を制御する（ステップ５０６）、処理を繰り返す。すなわち、移動ベクトルの方向が左であれば、左方向にカメラ６１の撮影方向を変化させ、移動ベクトルの方向が右であれば、右方向にカメラ６１の撮影方向を変化させ、移動ベクトルの方向が上であれば、上方向にカメラ６１の撮影方向を変化させ、移動ベクトルの方向が下であれば、下方向にカメラ６１の撮影方向を変化させる。なお、注視点座標の移動ベクトルは、今回ステップ５０２で取得した注視点座標の前回ステップ５０２で取得した注視点座標に対する移動ベクトルとする。ただし、ステップ５０６では、移動ベクトルに代えて、注視点座標の移動ベクトルの所定の単位時間における平均ベクトルや移動平均ベクトルを用い、平均ベクトル/移動平均ベクトルの大きさに比例する速度で、平均ベクトル/移動平均ベクトルの方向と同じ方向にカメラ６１の撮影方向が変化するように、リモート雲台６２を制御するようにしてもよい。
【００２８】
このような視線対応観察制御処理によれば、たとえば、ゴルフや野球の中継をカメラ装置６を用いて行う際に、オペレータがモニタ３上で飛球を目で追いかけるだけで、たとえば、図６ａ-ｄにゴルフ中継の場合について示すように、飛球６０１のモニタ３上の移動速度によらずに、良好に飛球６０１をカメラ６１で撮影し続けることができるようになる。
【００２９】
よって、熟練した技能を備えたカメラマンでなくても、飛球をカメラ６１で良好に捉え続けることができるようになる。
なお、図５ａに示した視線対応観察制御処理は、図５ｂに示すように、注視点座標を取得し（ステップ５５２）、モニタ３の表示画面の注視点座標に表れている被写体の、カメラ６１から見た方向がカメラ６１の撮影方向の中心方向となるように、すなわち、モニタ３の表示画面の注視点座標に表れている被写体上の位置がカメラ６１の撮影範囲の中心に撮影されるように、リモート雲台６２によってカメラ６１の撮影方向を制御する（ステップ５５４）動作を繰り返する処理としてもよい。
以上、本発明の第２実施形態について説明した。
なお、制御装置２やモニタ３と、カメラ装置６とは、インターネットなどのネットワークを介して接続し、カメラ装置６からモニタ３への撮影映像の伝送や、制御装置２によるカメラ装置６の上述した各制御は当該ネットワークを介して行うものとしてもよい。
【符号の説明】
【００３０】
１…顕微鏡装置、２…制御装置、３…モニタ、４…視線センサ、５…入力装置、６…カメラ装置、１１…ステージアクチュエータ、１２…ステージ、１３…標本、１４…光学系、１５…光学系アクチュエータ、１６…顕微鏡用カメラ、２１…注視点検出部、２２…観察制御部、４１…近赤外線照明、４２…アイカメラ、６１…カメラ、６２…リモート雲台。
【図１】
0005813309.tif 000002
【図２】
0005813309.tif 000003
【図３】
0005813309.tif 000004
【図４】
0005813309.tif 000005
【図５】
0005813309.tif 000006
【図６】
0005813309.tif 000007