(57)【要約】【課題】作業者が目視している作業対象物と遠隔地にいる指示者が見ている電子カメラが捉えた作業対象物の画像とが異なる状態を少なくして同じ画像情報を共有することができるようにして、作業者と指示者との的確なコミュニケーションを促進し、的確な遠隔作業支援を行うことのできる撮像ユニットを提供すること。【解決手段】撮像光学系が向いている方向での、以前に記憶された露出値に基づいて露出値を制御する、あるいは以前に記憶された合焦位置に基づいて被写体の像を合焦させることで、作業者が目視している作業対象物と遠隔地にいる指示者が見ている電子カメラが捉えた作業対象物の画像とが異なる状態を少なくして同じ画像情報を共有することができるので、作業者と指示者との的確なコミュニケーションを促進し、的確な遠隔作業支援を行うことのできる撮像ユニットを提供することができる。【選択図】図３
2008177656.tif 000002
【特許請求の範囲】
【請求項１】
被写体の像を撮像するための撮像素子と、
被写体の像を前記撮像素子の撮像面に結像するための撮像光学系と、
前記撮像素子によって撮像される被写体の像の露出値を制御するための露出制御部と、
前記撮像光学系の位置を移動させて、被写体の像を前記撮像素子の撮像面に合焦させるための合焦制御部とを備えた撮像ユニットにおいて、
前記撮像光学系の向きの変化を検知する向き変化検知部と、
前記向き変化検知部の検知結果に基づいて前記撮像光学系の向きを算出する向き算出部と、
前記向き算出部によって算出された前記撮像光学系の向きに対応する記憶位置に、その向きでの前記露出制御部によって制御された露出値と、前記合焦制御部によって制御された前記撮像光学系の合焦位置とを記憶する記憶部と、
前記記憶部の前記向き算出部によって算出された前記撮像光学系の向きに対応する記憶位置に記憶されたその向きでの露出値に基づいて前記露出制御部に露出制御を行わせ、
前記記憶部の前記向き算出部によって算出された前記撮像光学系の向きに対応する記憶位置に記憶されたその向きでの合焦位置に基づいて前記合焦制御部に合焦制御を行わせる撮像制御部とを備えたことを特徴とする撮像ユニット。
【請求項２】
前記露出制御部は、露出値を前記記憶部に記憶された露出値に設定した後、前記記憶部に記憶された露出値を起点として、露出値を制御することを特徴とする請求項１に記載の撮像ユニット。
【請求項３】
前記合焦制御部は、前記撮像光学系の位置を前記記憶部に記憶された合焦位置に設定した後、前記記憶部に記憶された合焦位置を起点として、被写体の像を前記撮像素子の撮像面に合焦させることを特徴とする請求項１に記載の撮像ユニット。
【請求項４】
前記露出制御部は、前記向き算出部で算出された前記撮像光学系の向きに対応した露出値が前記記憶部に記憶されていない場合、直前の撮像時の露出値を起点として被写体の像の露出値を制御し、
前記記憶部は、露出制御完了後に、前記向き算出部によって算出された前記撮像光学系の向きに対応する記憶位置に前記露出値を記憶することを特徴とする請求項１または２に記載の撮像ユニット。
【請求項５】
前記合焦制御部は、前記向き算出部で算出された前記撮像光学系の向きに対応した前記撮像光学系の合焦位置が前記記憶部に記憶されていない場合、直前の撮像時の合焦位置を起点として被写体の像を前記撮像素子の撮像面に合焦させ、
前記記憶部は、合焦後に、前記向き算出部によって算出された前記撮像光学系の向きに対応する記憶位置に前記撮像光学系の合焦位置を記憶することを特徴とする請求項１または３に記載の撮像ユニット。
【請求項６】
前記記憶部は、前記撮像光学系の向きに対応する記憶位置に記憶された露出値および合焦位置を、常に最新の値に更新することを特徴とする請求項１乃至５の何れか１項に記載の撮像ユニット。
【請求項７】
前記撮像ユニットの電源投入時に、前記記憶部に記憶された露出値および合焦位置を初期化することを特徴とする請求項１乃至６の何れか１項に記載の撮像ユニット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像ユニットに関し、特に、撮像光学系が向いている方向での以前に記憶された露出値に基づいて露出値を制御する、あるいは撮像光学系が向いている方向での以前に記憶された合焦位置に基づいて被写体の像を合焦させる撮像ユニットに関する。
【背景技術】
【０００２】
従来、観察者の頭部や顔面に着脱自在に装着され、小型の液晶表示素子等の画像表示素子に表示される画像を接眼光学系によって観察者の眼球に直接投影させて、あたかも該画像が空中に拡大投影されているかのような虚像の観察を可能にした頭部装着式画像表示装置、すなわちＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔ  Ｄｉｓｐｌａｙ）が知られている。ＨＭＤは、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｄｉｓｃ）やビデオ等のコンテンツ画像の観賞用や、産業機器若しくは医療機器等における遠隔操作用の表示装置として利用され、その用途は多岐に渡っている。
【０００３】
遠隔操作用としては、作業者が電子カメラを備えたＨＭＤを装着し、電子カメラが捉えた作業対象物の画像を、遠隔地にいる指示者が例えばホストコンピュータ等のモニタで観察しながら、作業者の装着したＨＭＤに画像による適切な情報を送信して提供し、必要に応じて音声による指示等も併用して作業指示を行う、といった遠隔作業支援システムが種々提案されている（例えば、特許文献１参照）。
【０００４】
この様な遠隔作業支援システムにおいては、作業者が行う作業に伴って、作業者の頭部が頻繁に動いて所謂手ブレ状態のようになる場合が多く、その度に電子カメラの自動露出制御（以下、ＡＥと言う）機能や自動焦点調節（以下、ＡＦと言う）機能が働いて、遠隔地にいる指示者が見ているモニタ上の画像の露出やピントが度々変化して画像が非常に見苦しくなり、作業者と指示者との情報の共有化や的確な遠隔作業支援の妨げとなる。
【０００５】
そこで、手ブレなどが生じた際にも、自動焦点調節手段が頻繁に動作して見苦しい撮像画像が得られないように、撮像された画像の動き状態を検出し、該動き状態と光学系の駆動態様とが所定の条件を満たした場合は手ブレと判断して、自動焦点調節手段の作動を禁止する手段を備えたビデオカメラが提案されている（例えば、特許文献２参照）。
【０００６】
また、横切り被写体の影響を防止するためにオートフォーカス動作を停止していても、パーンおよびチルトを検出したときはオートフォーカス動作を再開するビデオカメラのオートフォーカス装置が提案されている（例えば、特許文献３参照）。
【０００７】
さらに、カメラ位置の移動の間の不要なオートフォーカス動作を除去するために、旋回雲台が稼働中はオートフォーカス動作を停止するテレビ会議端末のカメラ制御方式が提案されている（例えば、特許文献４参照）。
【特許文献１】特開２００２−１３２４８７号公報
【特許文献２】特開平５−３３６４２６号公報
【特許文献３】特開平６−１５３０５３号公報
【特許文献４】特開平７−２７４０５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
特許文献２乃至４で提案された方法によれば、所謂手ブレ状態への対応としては一定の効果が期待できる。しかし、例えば、作業対象物を異なる角度から観察するために作業者が首を動かした場合、電子カメラの画像の露出やピントがずれてしまい、ＡＥ機能やＡＦ機能が応答して露出やピントを合わせ直して画像が正常になるまでの間、遠隔地にいる指示者は作業者と同じ画像情報を共有することができなくなるという課題には対応できない。
【０００９】
よって、作業者が目視している作業対象物と、遠隔地にいる指示者がモニタ上で見ている電子カメラが捉えた作業対象物の画像とが異なる、つまり、特許文献２乃至４で提案された方法は、作業者と指示者の持つ情報が異なり、作業者と指示者との的確なコミュニケーションの妨げとなるという課題への解決策とはならない。
【００１０】
本発明は、上記事情に鑑みてなされたもので、作業者が目視している作業対象物と遠隔地にいる指示者がモニタ上で見ている電子カメラが捉えた作業対象物の画像が異なる状態を極力少なくすることで、作業者と指示者とが同じ画像情報を共有することができるようにして、作業者と指示者との的確なコミュニケーションを促進し、的確な遠隔作業支援を行うことのできる撮像ユニットを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の目的は、下記構成により達成することができる。
【００１２】
１．被写体の像を撮像するための撮像素子と、
被写体の像を前記撮像素子の撮像面に結像するための撮像光学系と、
前記撮像素子によって撮像される被写体の像の露出値を制御するための露出制御部と、
前記撮像光学系の位置を移動させて、被写体の像を前記撮像素子の撮像面に合焦させるための合焦制御部とを備えた撮像ユニットにおいて、
前記撮像光学系の向きの変化を検知する向き変化検知部と、
前記向き変化検知部の検知結果に基づいて前記撮像光学系の向きを算出する向き算出部と、
前記向き算出部によって算出された前記撮像光学系の向きに対応する記憶位置に、その向きでの前記露出制御部によって制御された露出値と、前記合焦制御部によって制御された前記撮像光学系の合焦位置とを記憶する記憶部と、
前記記憶部の前記向き算出部によって算出された前記撮像光学系の向きに対応する記憶位置に記憶されたその向きでの露出値に基づいて前記露出制御部に露出制御を行わせ、
前記記憶部の前記向き算出部によって算出された前記撮像光学系の向きに対応する記憶位置に記憶されたその向きでの合焦位置に基づいて前記合焦制御部に合焦制御を行わせる撮像制御部とを備えたことを特徴とする撮像ユニット。
【００１３】
２．前記露出制御部は、露出値を前記記憶部に記憶された露出値に設定した後、前記記憶部に記憶された露出値を起点として、露出値を制御することを特徴とする１に記載の撮像ユニット。
【００１４】
３．前記合焦制御部は、前記撮像光学系の位置を前記記憶部に記憶された合焦位置に設定した後、前記記憶部に記憶された合焦位置を起点として、被写体の像を前記撮像素子の撮像面に合焦させることを特徴とする１に記載の撮像ユニット。
【００１５】
４．前記露出制御部は、前記向き算出部で算出された前記撮像光学系の向きに対応した露出値が前記記憶部に記憶されていない場合、直前の撮像時の露出値を起点として被写体の像の露出値を制御し、
前記記憶部は、露出制御完了後に、前記向き算出部によって算出された前記撮像光学系の向きに対応する記憶位置に前記露出値を記憶することを特徴とする１または２に記載の撮像ユニット。
【００１６】
５．前記合焦制御部は、前記向き算出部で算出された前記撮像光学系の向きに対応した前記撮像光学系の合焦位置が前記記憶部に記憶されていない場合、直前の撮像時の合焦位置を起点として被写体の像を前記撮像素子の撮像面に合焦させ、
前記記憶部は、合焦後に、前記向き算出部によって算出された前記撮像光学系の向きに対応する記憶位置に前記撮像光学系の合焦位置を記憶することを特徴とする１または３に記載の撮像ユニット。
【００１７】
６．前記記憶部は、前記撮像光学系の向きに対応する記憶位置に記憶された露出値および合焦位置を、常に最新の値に更新することを特徴とする１乃至５の何れか１項に記載の撮像ユニット。
【００１８】
７．前記撮像ユニットの電源投入時に、前記記憶部に記憶された露出値および合焦位置を初期化することを特徴とする１乃至６の何れか１項に記載の撮像ユニット。
【発明の効果】
【００１９】
本発明によれば、撮像光学系が向いている方向での以前に記憶された露出値に基づいて露出値を制御する、あるいは撮像光学系が向いている方向での以前に記憶された合焦位置に基づいて被写体の像を合焦させることで、作業者が目視している作業対象物と遠隔地にいる指示者がモニタ上で見ている電子カメラが捉えた作業対象物の画像とが異なる状態を極力少なくすることができるので、作業者と指示者とが同じ画像情報を共有することが可能となり、作業者と指示者との的確なコミュニケーションを促進し、的確な遠隔作業支援を行うことのできる撮像ユニットを提供することができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明を図示の実施の形態に基づいて説明するが、本発明は該実施の形態に限られない。なお、図中、同一あるいは同等の部分には同一の番号を付与し、重複する説明は省略する。
【００２１】
最初に、遠隔作業支援システム１の構成を図１を用いて説明する。図１は、遠隔作業支援システム１の全体構成の概要を示す模式図である。
【００２２】
図１において、遠隔作業支援システム１は、ＨＭＤ２、サーバ装置４等から構成される。サーバ装置４は、ホストコンピュータ５、画像・音声記録サーバ６およびコンテンツサーバ７等から構成される。
【００２３】
ホストコンピュータ５と画像・音声記録サーバ６、コンテンツサーバ７は、例えばネットワークＥＮを介して結ばれ、ホストコンピュータ５とＨＭＤ２は、例えばインターネットＩＮや、携帯電話や無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等の公衆回線網ＰＮ等を介して結ばれている。
【００２４】
この様な構成の遠隔作業支援システム１は、作業者Ｂが後に詳述する撮像ユニット２８を備えたＨＭＤ２を装着し、撮像ユニット２８が捉えた作業対象物の画像を、指示者Ａが例えば遠隔地に設けられたサーバ装置４のモニタ５３で観察しながら、サーバ装置４により作業者Ｂに画像や音声による適切な情報や指示を提供し、作業支援ＳＰＴを行うものである。作業支援ＳＰＴを受けて作業者Ｂによって行われた作業は、作業記録ＲＰＴとして画像・音声記録サーバ６に記録される。
【００２５】
遠隔作業支援システム１を用いて作業者Ｂが作業する場面では、作業者Ｂが向いている向きが同じであれば、被写体の明るさおよび距離も大きな変化はないと考えられるので、作業者Ｂの向き即ち撮像ユニット２８の向きが同じであれば、その向きでの撮像ユニット２８の露出およびピント位置も大きな変化はないと考えてよい。
【００２６】
従って、撮像ユニット２８の向きを検出し、撮像ユニット２８の露出とピント位置とを、その向きでの以前の露出とピント位置とに合わせ、その露出とピント位置とを起点にしてＡＥおよびＡＦを行って露出とピントとを微調整することで、露出とピントの合った画像を素早く得ることができる。よって、作業者Ｂが目視している作業対象物と遠隔地にいる指示者Ａがモニタ上で見ている撮像ユニット２８が捉えた作業対象物の画像とが異なる状態を極力少なくすることができる。本発明は、この考えに基づいて考案されている。
【００２７】
次に、上述したＨＭＤ２の構成を図２を用いて説明する。図２は、ＨＭＤ２の全体構成を示す模式図である。
【００２８】
図２において、ＨＭＤ２は、テンプル２１Ｒ，２１Ｌ、ブリッジ２２、鼻当て２３Ｒ，２３Ｌ、透明基板２４Ｒ，２４Ｌ、表示ユニット２５、撮像ユニット２８、イヤホン２９Ｒ，２９Ｌ、マイク３０、および制御ユニット３１等を有している。
【００２９】
ＨＭＤ２は、サーバ装置４から伝送された画像や文字等の情報を表示ユニット２５によって装着者の眼球に直接投影することで、あたかも該画像が空中に拡大投影されているかのような虚像の観察を可能にしている。
【００３０】
テンプル２１Ｒ，２１Ｌは、可撓性を有する弾性材等により構成された長尺状の部材であり、装着者の耳や側頭部に掛止され、ＨＭＤ２の装着者に対する頭部への保持および装着位置の調整を行う為のものである。尚、テンプル２１Ｒ，２１Ｌは、回動部２１Ｒａ，２１Ｌａにおいて矢印Ｐ，Ｑ方向に回動可能に構成されており、ＨＭＤ２を使用しない場合には、テンプル２１Ｒ，２１Ｌを矢印Ｐ，Ｑ方向に回動させて透明基板２４Ｒ，２４Ｌに沿わせることにより、コンパクト化することができる。
【００３１】
ブリッジ２２は、ＨＭＤ２の装着者に対する顔面への保持を行う鼻当て２３Ｒ，２３Ｌを備え、透明基板２４Ｒ，２４Ｌの互いに対向する所定位置に架け渡された短尺の棒状部材で、透明基板２４Ｒと透明基板２４Ｌとを一定の間隙を介した相対位置関係に保持する。透明基板２４Ｒ，２４Ｌは、それぞれ一方の眼球に対応した位置にＵ字型のスペース２４Ｒｓを形成する略平板状の透明体である。また、透明基板２４Ｒに囲まれて形成されるＵ字型のスペース２４Ｒｓには、接眼光学系２７が嵌め込まれている。
【００３２】
表示ユニット２５は、サーバ装置４から伝送された画像や文字等の情報を表示するＬＣＤ表示部２６、およびＬＣＤ表示部２６に表示された情報を装着者の眼球に直接投影する接眼光学系２７等を有し、制御ユニット３１に設けられた後述する通信部３６を介してサーバ装置４から伝送された画像を表示する。撮像ユニット２８については図３で詳述する。イヤホン２９Ｒ，２９Ｌは、装着者の耳に挿入され、装着者に音声を提供する。マイク３０は、装着者の音声を音声信号に変換する。
【００３３】
制御ユニット３１は、マイクロコンピュータ等で構成され、電源スイッチ３５１、操作スイッチ３５２等を有し、これら各種操作スイッチからの信号、およびサーバ装置４からの制御信号等を受けて、ＨＭＤ２で行われる表示動作や撮像動作等を統括的に制御する。なお、本例では撮像ユニット２８および表示ユニット２５と制御ユニット３１とは別体として図示したが、制御ユニット３１を撮像ユニットおよび表示ユニット２５と一体化することでもよい。
【００３４】
次に、ＨＭＤ２の構成について、図３を用いて説明する。図３は、ＨＭＤ２の内部構成を示すブロック図である。
【００３５】
図３において、ＨＭＤ２は、表示ユニット２５、撮像ユニット２８および制御ユニット３１等から構成される。
【００３６】
表示ユニット２５については図２で詳述したので、説明は省略する。
【００３７】
撮像ユニット２８は、撮像光学系２８１、撮像素子２８２、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）２８３、画像処理部２８４、撮像制御部２８５、ＡＦモータ２８６、絞り２８７、水平方向（パン方向。以下、Ｐ方向と言う）センサ２８８、上下方向（チルト方向。以下、Ｔ方向と言う）センサ２８９および記憶部２８５ｍ等で構成される。
【００３８】
撮像光学系２８１で集光された被写体からの光は、絞り２８７で光量調節されて撮像素子２８２の撮像面に結像される。結像された被写体の像は、撮像素子２８２で光電変換され、撮像素子２８２の電子シャッタ機能によるシャッタ速度で撮像される。撮像素子２８２で撮像された画像は、ＡＦＥ２８３でゲイン調整されてからアナログ／デジタル変換（以下、Ａ／Ｄ変換と言う）され、画像処理部２８４で所定の画像処理が施されたデジタル画像データ２８４ａに変換されて、撮像制御部２８５を介して制御ユニット３１に送信される。
【００３９】
また、撮像素子２８２で撮像された画像は、ＡＦＥ２８３でゲイン調整されてからＡ／Ｄ変換されて、撮像制御部２８５でのＡＥやＡＦに用いられる。ＡＥは絞り２８７の絞り値および撮像素子２８２の電子シャッタ速度を制御することで行われるが、撮像素子２８２の電子シャッタ機能の代わりにメカニカルシャッタを用いてもよい。また、ＡＦは撮像光学系２８１の位置を光軸方向に移動させることで行われるが、撮像素子２８２の位置を光軸方向に移動させることでもよい。詳細は図５以降に詳述する。
【００４０】
ここに、撮像光学系２８１、撮像素子２８２、ＡＦＥ２８３、撮像制御部２８５およびＡＦモータ２８６は本発明における合焦制御部として機能し、撮像素子２８２、ＡＦＥ２８３、撮像制御部２８５および絞り２８７は本発明における露出制御部として機能する。
【００４１】
さらに、Ｐ方向センサ２８８およびＴ方向センサ２８９は、例えば角速度センサで構成され、角速度を一定時間積分することで、撮像光学系２８１が現在どの方向を向いているかを検出する。Ｐ方向センサ２８８あるいはＴ方向センサ２８９で検出された撮像光学系２８１の現在の向きと、同様にして１回前に検出された向きとが所定値以上異なっている場合は、撮像光学系２８１の向きが変化したと判定されて、所定の処理が行われる。これらの検出、判定および所定の処理は、撮像制御部２８５により制御される。これについても、図５以降に詳述する。
【００４２】
ここに、Ｐ方向センサ２８８、Ｔ方向センサ２８９、撮像制御部２８５および記憶部２８５ｍは本発明における向き変化検知部として機能し、撮像制御部２８５および記憶部２８５ｍは本発明における向き算出部として機能する。
【００４３】
記憶部２８５ｍは、上述した撮像制御部２８５によるＡＥやＡＦ、Ｐ方向センサ２８８およびＴ方向センサ２８９を用いた撮像光学系２８１の向きの変化の判定や所定の処理等に際して、各種データを記憶するのに利用される。例えば、撮像光学系２８１の向きとその向きでの撮像時のＡＥの制御値（以下、記憶ＡＥ値ＳＡＥと言う）およびＡＦの制御値（以下、記憶ＡＦ値ＳＡＦと言う）を記憶する。これについては、図４以降に詳述する。
【００４４】
制御ユニット３１は、制御部３２、画像メモリ３３、操作部３５、通信部３６等で構成される。制御部３２は、図示しない各制御プログラム等を記憶するＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、演算処理や制御処理等のデータを一時的に格納するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、および制御プログラム等をＲＯＭから読み出して実行するＣＰＵ（中央演算処理装置）等からなり、図２で説明した操作部３５の各操作スイッチからの信号およびサーバ装置４からの制御信号等を受けて、ＨＭＤ２で行われる表示動作や撮像動作および画像信号処理動作等を統括的に制御する。
【００４５】
画像メモリ３３は、撮像ユニット２８から送信されたデジタル画像データ２８４ａを通信部３６および公衆回線網ＰＮを介してサーバ装置４に送信する際に、デジタル画像データ２８４ａを一時的に記憶したり、公衆回線網ＰＮおよび通信部３６を介してサーバ装置４から送信される画像や文字等の情報を表示ユニット２５のＬＣＤ表示部２６に表示する際に、画像や文字等の情報を一時的に記憶したりするための一時メモリである。
【００４６】
通信部３６は、ＨＭＤ２を公衆回線網ＰＮに接続し、サーバ装置４との間で交信を行い、画像、音声、および各種制御信号等の入出力を行う。
【００４７】
次に、記憶部２８５ｍにおける、撮像光学系２８１のＰ方向およびＴ方向の向きとその向きでの撮像時の記憶ＡＥ値ＳＡＥおよび記憶ＡＦ値ＳＡＦの記憶について、図４を用いて説明する。図４は、撮像光学系２８１のＰ方向およびＴ方向の向きと、その向きでの記憶ＡＥ値ＳＡＥおよび記憶ＡＦ値ＳＡＦを記憶する記憶テーブルＰＴＴの構成を示す模式図である。記憶ＡＥ値ＳＡＥは本発明における記憶された露出値であり、記憶ＡＦ値ＳＡＦは本発明における記憶された合焦位置である。
【００４８】
図４において、記憶テーブルＰＴＴは、Ｐ方向（例えば−１８０°から＋１８０°までの範囲）とＴ方向（例えば−９０°から＋９０°までの範囲）のマトリクス状のテーブルで、テーブル上の各マス目は本発明における撮像光学系２８１の向きに対応する記憶位置である。記憶テーブルＰＴＴの例えばＰ方向＝Ｔ方向＝０°の位置ＰＴ（０，０）には、Ｐ方向＝Ｔ方向＝０°の向きでの記憶ＡＥ値ＳＡＥであるシャッタ速度ＳＳ００と絞り値Ｆ００、および記憶ＡＦ値ＳＡＦである撮像光学系２８１の光軸方向の位置ｄ００が記憶される。
【００４９】
同様に、記憶テーブルＰＴＴの例えばＰ方向＝ｍ°、Ｔ方向＝ｎ°の位置ＰＴ（ｍ，ｎ）には、その向きでの記憶ＡＥ値ＳＡＥであるシャッタ速度ＳＳｍｎと絞り値Ｆｍｎ、および記憶ＡＦ値ＳＡＦである撮像光学系２８１の光軸方向の位置ｄｍｎが記憶される。テーブルのＰ方向およびＴ方向の刻みは、遠隔作業支援システム１からＨＭＤ２に要求される性能に合わせて適宜設定されればよい。
【００５０】
記憶テーブルＰＴＴに記憶された各記憶値は、例えば図５で後述するＨＭＤ２の初期化のステップで初期化されてもよいし、ＨＭＤ２が常に同じ状況で使用されるのであれば、初期化せずに、使用に合わせて随時更新されてもよい。各記憶値の記憶と更新については、図５以降で述べる。
【００５１】
次に、撮像ユニット２８のＡＥおよびＡＦの実施の形態について、図５乃至図９を用いて説明する。図５乃至図９は、撮像ユニット２８のＡＥおよびＡＦの実施の形態を示すフローチャートで、図５がメインルーチン、図６が図５のサブルーチン、図７乃至図９が図６のサブルーチンである。
【００５２】
ここでは、作業者が目視している作業対象物と遠隔地にいる指示者がモニタ上で見ている撮像ユニット２８が捉えた作業対象物の画像とが異なる状態を極力少なくするために、撮像ユニット２８の向いている方向での露出値および合焦位置の過去の記憶値に基づいてＡＥおよびＡＦを行う方法について説明する。
【００５３】
図５において、ステップＳ１０１で、制御ユニット３１上の電源スイッチ３５１がオンされてＨＭＤ２に電源が投入されると、ステップＳ１１１でＨＭＤ２が初期化される。図４で述べたように、このステップで、記憶部２８５ｍの記憶テーブルＰＴＴに記憶された記憶ＡＥ値ＳＡＥおよび記憶ＡＦ値ＳＡＦを初期化してもよい。初期化した場合には、以降の撮像動作において、撮像光学系２８１の向きが変化する度に、記憶部２８５ｍの記憶テーブルＰＴＴに記憶ＡＥ値ＳＡＥおよび記憶ＡＦ値ＳＡＦが記憶されて蓄積され、あるいは上書きされて更新されていくことになる。
【００５４】
例えば初心者教育等のためにＨＭＤ２が同一の状況で繰り返し使用される場合は、記憶テーブルＰＴＴに記憶された記憶ＡＥ値ＳＡＥおよび記憶ＡＦ値ＳＡＦを初期化せずにそのまま残しておけば、電源投入直後から記憶ＡＥ値ＳＡＥおよび記憶ＡＦ値ＳＡＦを用いたＡＥおよびＡＦを行うことができる。
【００５５】
次に、ステップＳ１１３で撮像ユニット２８の撮像動作が開始される。ステップＳ１２０で、図６に示す「ＡＥ／ＡＦサブルーチン」が実行されて、被写体に露出とピントが合った状態となる。続いて、ステップＳ１３１で１コマの動画撮像が行われ、ステップＳ１３３で、ステップＳ１３１で撮像された１コマの動画像が通信部３６を介してサーバ装置４に送信される。ステップＳ１３５で、既定のコマ数だけ撮像が行われたか否かが確認される。既定のコマ数が撮像されるまでステップＳ１３１からステップＳ１３５が繰り返される。
【００５６】
既定のコマ数だけ撮像が行われたら（ステップＳ１３５；Ｙｅｓ）ステップＳ１４１で、撮像を終了するか否かが確認される。撮像の終了は、例えば制御ユニット３１上の電源スイッチ３５１がオフされる、あるいはサーバ装置４から終了コマンドが送信される等によって指示される。撮像を終了する場合（ステップＳ１４１；Ｙｅｓ）には、そのまま一連の動作が終了される。撮像を終了しない場合（ステップＳ１４１；Ｎｏ）にはステップＳ１２０に戻って「ＡＥ／ＡＦサブルーチン」が実行され、以後上述した動作が繰り返される。
【００５７】
ここでは、既定のコマ数毎にステップＳ１２０「ＡＥ／ＡＦサブルーチン」が実行されるとして説明したが、それに限るものではなく、例えばＰ方向センサ２８８あるいはＴ方向センサ２８９が撮像光学系２８１の動きを検出した場合に随時ステップＳ１２０「ＡＥ／ＡＦサブルーチン」が実行される等であってもよい。
【００５８】
図６は、図５のステップＳ１２０「ＡＥ／ＡＦサブルーチン」である。
【００５９】
図６において、まず、撮像光学系２８１の向きの変化を検出するための、図７に示すステップＳ２００「移動検出サブルーチン」が実行される。続いて、ステップＳ２１１で、ステップＳ２００で撮像光学系２８１の向きの変化が検出されたか否かが確認される。向きの変化が検出されたか否かは、図７で後述するＰ方向移動フラグＦｐまたはＴ方向移動フラグＦｔの少なくとも何れか一方がセットされているか否かで確認される。
【００６０】
向きの変化が検出されなかった場合（ステップＳ２１１；Ｎｏ）、図８に示すステップＳ２２０「通常ＡＥサブルーチン」が実行され、次に、図９に示すステップＳ２３０「通常ＡＦサブルーチン」が実行されて、ステップＳ２９１に進む。ステップＳ２２０でのＡＥの動作の起点となるシャッタ速度と絞り値は、その直前の撮像動作で用いられていたシャッタ速度と絞り値である。またステップＳ２３０でのＡＦ動作の起点となる撮像光学系２８１の光軸方向の位置は、その直前の撮像動作での撮像光学系２８１の光軸方向の位置である。
【００６１】
撮像光学系２８１の向きの変化が検出された場合（ステップＳ２１１；Ｙｅｓ）、ステップＳ２４１で、ステップＳ２００で検出された撮像光学系２８１の現在のＰ方向およびＴ方向の向きに対応する記憶ＡＥ値ＳＡＥが、記憶部２８５ｍの記憶テーブルＰＴＴから読み出される。ステップＳ２５１で、記憶テーブルＰＴＴから記憶ＡＥ値ＳＡＥを読み出すことができたか否かが確認される。
【００６２】
読み出すことができた、即ち記憶テーブルＰＴＴ上に記憶ＡＥ値ＳＡＥが既に存在していた場合（ステップＳ２５１；Ｙｅｓ）、ステップＳ２６１で、撮像ユニット２８の絞り２８７の絞り値と撮像素子２８２のシャッタ速度とが記憶ＡＥ値ＳＡＥを満足する絞り値とシャッタ速度とに設定され、この絞り値とシャッタ速度とを起点として、ステップＳ２２０「通常ＡＥサブルーチン」が実行される。
【００６３】
このように、ＡＥの起点として撮像光学系２８１の現在の向きで適正露出となる可能性が一番高い記憶ＡＥ値ＳＡＥを用いることで、撮像光学系２８１の向きが変化した時の画像の露出のズレ、即ち作業者が目視している作業対象物と遠隔地にいる指示者がモニタ上で見ている電子カメラが捉えた作業対象物の画像が異なる状態を極力少なくすることができる。
【００６４】
記憶ＡＥ値ＳＡＥを読み出すことができなかった、即ち記憶テーブルＰＴＴ上に記憶ＡＥ値ＳＡＥが存在しなかった場合（ステップＳ２５１；Ｎｏ）は、直前の撮像動作での絞り値とシャッタ速度とを起点として、ステップＳ２２０「通常ＡＥサブルーチン」が実行される。
【００６５】
次に、ステップＳ２６３で、ステップＳ２００で検出された撮像光学系２８１の現在のＰ方向およびＴ方向の向きに対応する記憶ＡＦ値ＳＡＦが、記憶部２８５ｍの記憶テーブルＰＴＴから読み出される。ステップＳ２７１で、記憶テーブルＰＴＴから記憶ＡＦ値ＳＡＦを読み出すことができたか否かが確認される。
【００６６】
読み出すことができた、即ち記憶テーブルＰＴＴ上に記憶ＡＦ値ＳＡＦが既に存在していた場合（ステップＳ２７１；Ｙｅｓ）、ステップＳ２８１で、撮像光学系２８１の光軸方向の位置が、記憶ＡＦ値ＳＡＦに設定され、この位置を起点として、ステップＳ２３０「通常ＡＦサブルーチン」が実行される。
【００６７】
このように、ＡＦの起点として撮像光学系２８１の現在の向きで合焦となる可能性が一番高い記憶ＡＦ値ＳＡＦを用いることで、撮像光学系２８１の向きが変化した時の画像のピントのズレ、即ち作業者が目視している作業対象物と遠隔地にいる指示者がモニタ上で見ている電子カメラが捉えた作業対象物の画像が異なる状態を極力少なくすることができる。
【００６８】
記憶ＡＦ値ＳＡＦを読み出すことができなかった、即ち記憶テーブルＰＴＴ上に記憶ＡＦ値ＳＡＦが存在しなかった場合（ステップＳ２７１；Ｎｏ）は、直前の撮像動作での撮像光学系２８１の光軸方向の位置を起点として、ステップＳ２３０「通常ＡＦサブルーチン」が実行され、ステップＳ２９１に進む。
【００６９】
ステップＳ２９１で、記憶部２８５ｍの記憶テーブルＰＴＴ上に、ステップＳ２００「移動検出サブルーチン」で検出された撮像光学系２８１の現在のＰ方向およびＴ方向の向きに対応する記憶ＡＥ値ＳＡＥが存在する場合は、記憶テーブルＰＴＴ上の記憶ＡＥ値ＳＡＥが、ステップＳ２２０「通常ＡＥサブルーチン」で検出された最新のＡＥ値で上書きされて更新される。
【００７０】
記憶テーブルＰＴＴ上に撮像光学系２８１の現在のＰ方向およびＴ方向の向きに対応する記憶ＡＥ値ＳＡＥが存在しない場合は、ステップＳ２２０「通常ＡＥサブルーチン」で検出された最新のＡＥ値が、撮像光学系２８１の現在のＰ方向およびＴ方向の向きに対応する記憶ＡＥ値ＳＡＥとして記憶テーブルＰＴＴ上に新たに記憶される。記憶ＡＥ値ＳＡＥは、露出定数であるＥｖ値であってもよいし、Ｅｖ値を満足する絞り値とシャッタ速度との組であってもよい。
【００７１】
続いて、ステップＳ２９３で、記憶部２８５ｍの記憶テーブルＰＴＴ上に、ステップＳ２００「移動検出サブルーチン」で検出された撮像光学系２８１の現在のＰ方向およびＴ方向の向きに対応する記憶ＡＦ値ＳＡＦが存在する場合は、記憶テーブルＰＴＴ上の記憶ＡＦ値ＳＡＦが、ステップＳ２３０「通常ＡＦサブルーチン」で検出された最新のＡＦ値で上書きされて更新される。
【００７２】
記憶テーブルＰＴＴ上に撮像光学系２８１の現在のＰ方向およびＴ方向の向きに対応する記憶ＡＦ値ＳＡＦが存在しない場合は、ステップＳ２３０「通常ＡＦサブルーチン」で検出された最新のＡＦ値が、撮像光学系２８１の現在のＰ方向およびＴ方向の向きに対応する記憶ＡＦ値ＳＡＦとして記憶テーブルＰＴＴ上に新たに記憶され、図５のメインルーチンのステップＳ１２０に戻る。記憶ＡＦ値ＳＡＦは、撮像光学系２８１の光軸方向の位置を示す値（例えば、ＡＦモータ２８６の送りステップ数等）であり、撮像光学系２８１が複数の光学素子で構成されている場合は、その各々の位置を示す値である。
【００７３】
これによって、撮像光学系２８１の向きに対応する記憶ＡＥ値ＳＡＥおよび記憶ＡＦ値ＳＡＦが常に最新の値に更新されるとともに、いままで撮像光学系２８１が向けられたことのなかった方向についても、記憶ＡＥ値ＳＡＥおよび記憶ＡＦ値ＳＡＦを順次記憶していく学習機能を実現することができる。
【００７４】
なお、ここでは、白飛び画像や黒潰れ画像によってＡＦが行えない不具合を発生させないように、最初にＡＥを行って画像を適正露出に合わせてからＡＦを行うようにして説明したが、ＡＥとＡＦとを適宜並行的に進めてもよい。その場合でも、ＡＥを先行させて、極端な白飛び画像や黒潰れ画像を排除してからＡＦを行うことが望ましい。更に、白飛び画像や黒潰れ画像が存在する場合は、一旦ＡＦを中断して、ＡＥにより白飛び画像や黒潰れ画像を排除してからＡＦを再開するようにすれば、なお良い。
【００７５】
図７は、図６のステップＳ２００「移動検出サブルーチン」である。
【００７６】
図７において、ステップＳ３０１で、水平方向（Ｐ方向）センサ２８８で検出された角速度が一定時間の間積分され、ステップＳ３０３で、ステップＳ３０１で積分された角速度から撮像光学系２８１の現在のＰ方向の向きが算出される。同様に、ステップＳ３０５で、上下方向（Ｔ方向）センサ２８９で検出された角速度が一定時間の間積分され、ステップＳ３０７で、ステップＳ３０５で積分された角速度から撮像光学系２８１の現在のＴ方向の向きが算出される。ステップＳ３０１およびＳ３０３と、ステップＳ３０５およびＳ３０７とは同時並行で実行されてもよい。
【００７７】
ステップＳ３１１で、ステップＳ３０３で算出された撮像光学系２８１の現在のＰ方向の向きが、前回のＰ方向の向きの算出時の向きから所定値以上変化しているか否かが確認される。所定値以上変化していない場合（ステップＳ３１１；Ｎｏ）は、そのままステップＳ３３１に進む。所定値以上変化している場合（ステップＳ３１１；Ｙｅｓ）は、ステップＳ３２１で、ステップＳ３０３で算出された撮像光学系２８１の現在のＰ方向の向きが記憶部２８５ｍに記憶され、ステップＳ３２３でＰ方向移動フラグＦｐがセットされて、ステップＳ３３１に進む。
【００７８】
ステップＳ３３１で、ステップＳ３０７で算出された撮像光学系２８１の現在のＴ方向の向きが、前回のＴ方向の向きの算出時の向きから所定値以上変化しているか否かが確認される。所定値以上変化していない場合（ステップＳ３３１；Ｎｏ）は、そのまま図６のステップＳ２００に戻る。所定値以上変化している場合（ステップＳ３３１；Ｙｅｓ）は、ステップＳ３４１で、ステップＳ３０７で算出された撮像光学系２８１の現在のＴ方向の向きが記憶部２８５ｍに記憶され、ステップＳ３４３でＴ方向移動フラグＦｔがセットされて、図６のステップＳ２００に戻る。
【００７９】
Ｐ方向移動フラグＦｐあるいはＴ方向移動フラグＦｔの少なくとも何れか一方がセットされていれば、図６のステップＳ２１１で撮像光学系２８１の向きの変化が検出されることになる。なお、上述したＰ方向およびＴ方向の向きの変化の判定値となる所定値は、遠隔作業支援システム１からＨＭＤ２に要求される性能に合わせて適宜設定されればよい。
【００８０】
図８は、図６のステップＳ２２０「通常ＡＥサブルーチン」である。
【００８１】
図８において、ステップＳ４０１で１コマ撮像が行われる。ステップＳ４０１の撮像時に用いられる撮像素子２８２のシャッタ速度および絞り２８７の絞り値は、ステップＳ２２０「通常ＡＥサブルーチン」が図６のステップＳ２６１の後に実行される場合は、ステップＳ２６１で設定された、記憶テーブルＰＴＴ上に既存の記憶ＡＥ値ＳＡＥを満足するシャッタ速度と絞り値である。
【００８２】
また、ステップＳ２２０「通常ＡＥサブルーチン」が図６のステップＳ２１１のＮｏの後、あるいはステップＳ２５１のＮｏの後に実行される場合は、その直前の撮像動作で用いられていたシャッタ速度と絞り値である
次に、ステップＳ４０３で、撮像素子２８２の撮像面の全面あるいは一部に設定されたＡＥエリアの内部にある画素の輝度信号が読み出され、ステップＳ４０５で、ステップＳ４０３で読み出された輝度信号の輝度分布が算出される。
【００８３】
ステップＳ４１１で、ステップＳ４０５で算出された輝度分布が適正な範囲にあるか否かが確認される。適正な範囲にあるか否かは、（１）輝度分布の最高輝度が白レベルを超えて飽和（所謂白飛び）していないか、（２）輝度分布の最低輝度が黒レベル以下となって黒潰れしていないか、（３）輝度分布の平均値が白レベルと黒レベルとの中央値近傍にあるかどうか、等により判断される。
【００８４】
輝度分布が適正な範囲にない場合（ステップＳ４１１；Ｎｏ）、ステップＳ４２１で、一般的なＡＥ演算を用いて適正なシャッタ速度が算出され、ステップＳ４２３で、同様に一般的なＡＥ演算を用いて適正な絞り値が算出される。ステップＳ４２１とＳ４２３とは同時並行で実行されてもよい。ステップＳ４２５で、ステップＳ４２１およびステップＳ４２３で算出された適正シャッタ速度と適正絞り値とが、最新のＡＥ値として記憶部２８５ｍに記憶され、図６のステップＳ２２０「通常ＡＥサブルーチン」に戻る。
【００８５】
輝度分布が適正な範囲にある場合（ステップＳ４１１；Ｙｅｓ）、ステップＳ４３１で、ステップＳ４０１で撮像された時のシャッタ速度と絞り値とが最新のＡＥ値として記憶部２８５ｍに記憶され、図６のステップＳ２２０「通常ＡＥサブルーチン」に戻る。
【００８６】
ここでは、最新のＡＥ値としてシャッタ速度と絞り値の組を記憶するとしたが、その代わりに、例えばシャッタ速度と絞り値から求められる露出定数であるＥｖ値を記憶してもよい。
【００８７】
図９は、図６のステップＳ２３０「通常ＡＦサブルーチン」である。
【００８８】
図９において、まず、ステップＳ５０１で、シャッタ速度と絞り値とを図８で記憶された最新のＡＥ値に設定して、１コマ撮像が行われる。次に、ステップＳ５０３で、撮像素子２８２の撮像面の全面あるいは一部に設定されたＡＦエリアの内部にある画素の輝度信号が読み出されて、輝度信号間の差分すなわちコントラストが算出される。ステップＳ５０５で、撮像光学系２８１が既定の量だけ遠側すなわち撮像素子２８２に近づく方向に移動され、ステップＳ５０７で、ステップＳ５０３と同様にＡＦエリア内のコントラストが算出される。
【００８９】
ステップＳ５１１で、ステップＳ５０３で算出されたコントラストとステップＳ５０７で算出されたコントラストとが比較され、ステップＳ５０７の方がコントラストが増大したか否かが確認される。増大した場合（ステップＳ５１１；Ｙｅｓ）、ステップＳ５０５に戻り、コントラストが増大しなくなるまで、ステップＳ５０５からステップＳ５１１が繰り返される。繰り返しの場合にステップ５０７で算出されたコントラストと比較されるのは、１回前のステップＳ５０７で算出されたコントラストである。
【００９０】
コントラストが増大しなかった場合（ステップＳ５１１；Ｎｏ）、ステップＳ５２１で、撮像光学系２８１が既定の量だけ近側すなわち撮像素子２８２から離れる方向に移動される。続いて、ステップＳ５２３で、ステップＳ５０３、Ｓ５０７と同様に、ＡＦエリア内のコントラストが算出される。
【００９１】
ステップＳ５３１で、ステップ５０７で算出されたコントラストとステップＳ５２３で算出されたコントラストとが比較され、ステップＳ５２３の方がコントラストが増大したか否かが確認される。増大した場合（ステップＳ５３１；Ｙｅｓ）、ステップＳ５２１に戻り、コントラストが増大しなくなるまで、ステップＳ５２１からステップＳ５３１が繰り返される。繰り返しの場合にステップ５２３で算出されたコントラストと比較されるのは、１回前のステップＳ５２３で算出されたコントラストである。
【００９２】
コントラストが増大しなかった場合（ステップＳ５３１；Ｎｏ）、ステップＳ５４１で、撮像光学系２８１の移動が停止され、ステップＳ５４３で、現在の撮像光学系２８１の位置が最新のＡＦ値として記憶部２８５ｍに記憶され、図６のステップＳ２３０「通常ＡＦサブルーチン」に戻る。
【００９３】
なお、ステップＳ５１１およびステップＳ５３１のコントラストの比較においては、一般によく行われるように、判定レベルにヒステリシスを持たせ、撮像光学系２８１が小刻みに移動を繰り返す所謂ハンチングを防止する対応をとることが望ましい。また、上述した撮像光学系２８１を移動させる既定の量は、遠隔作業支援システム１からＨＭＤ２に要求されるピント性能に合わせて適宜設定されればよい。
【００９４】
以上に述べたように、本発明によれば、撮像光学系が向いている方向での以前に記憶された露出値に基づいて露出値を制御する、あるいは撮像光学系が向いている方向での以前に記憶された合焦位置に基づいて被写体の像を合焦させることで、作業者が目視している作業対象物と遠隔地にいる指示者がモニタ上で見ている電子カメラが捉えた作業対象物の画像が異なる状態を極力少なくすることができるので、作業者と指示者とが同じ画像情報を共有することが可能となり、作業者と指示者との的確なコミュニケーションを促進し、的確な遠隔作業支援を行うことのできる撮像ユニットを提供することができる。
【００９５】
尚、本発明に係る撮像ユニットを構成する各構成の細部構成および細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【図面の簡単な説明】
【００９６】
【図１】遠隔作業支援システムの全体構成の概要を示す模式図である。
【図２】ＨＭＤの全体構成を示す模式図である。
【図３】ＨＭＤの内部構成を示すブロック図である。
【図４】撮像光学系のＰ方向およびＴ方向の向きと、その向きでの記憶ＡＥ値および記憶ＡＦ値を記憶する記憶テーブルの構成を示す模式図である。
【図５】撮像ユニットのＡＥおよびＡＦの制御の実施の形態を示すフローチャートのメインルーチンである。
【図６】図５のサブルーチン（１／１）である。
【図７】図６のサブルーチン（１／３）である。
【図８】図６のサブルーチン（２／３）である。
【図９】図６のサブルーチン（３／３）である。
【符号の説明】
【００９７】
１  遠隔作業支援システム
２  ＨＭＤ
４  サーバ装置
５  ホストコンピュータ
５３  モニタ
６  画像・音声記録サーバ
７  コンテンツサーバ
２５  表示ユニット
２６  ＬＣＤ表示部
２７  接眼光学系
２８  撮像ユニット
２８１  撮像光学系
２８２  撮像素子
２８３  ＡＦＥ
２８４  画像処理部
２８４ａ  デジタル画像データ
２８５  撮像制御部
２８５ｍ  記憶部
２８６  ＡＦモータ
２８７  絞り
２８８  水平方向（Ｐ方向）センサ
２８９  上下方向（Ｔ方向）センサ
３１  制御ユニット
３２  制御部
３３  画像メモリ
３５  操作部
３６  通信部
Ａ  指示者
Ｂ  作業者（装着者）
ＥＮ  ネットワーク
ＩＮ  インターネット
ＰＮ  公衆回線網
ＳＰＴ  作業支援
ＲＰＴ  作業記録
ＳＡＥ  記憶ＡＥ値
ＳＡＦ  記憶ＡＦ値
Ｆｐ  Ｐ方向移動フラグ
Ｆｔ  Ｔ方向移動フラグ
【図１】
2008177656.tif 000003
【図２】
2008177656.tif 000004
【図３】
2008177656.tif 000005
【図４】
2008177656.tif 000006
【図５】
2008177656.tif 000007
【図６】
2008177656.tif 000008
【図７】
2008177656.tif 000009
【図８】
2008177656.tif 000010
【図９】
2008177656.tif 000011