(57)【要約】【課題】  パターン検出信号から実際に画像を取り込むタイミングを予測することで遅延を短縮する事を可能とする撮像装置を提供すること。【解決手段】  対象物を第１のタイミングで繰り返し撮像する撮像装置であって、前記対象物の画像データを取得するための撮像素子と、前記撮像素子の駆動を制御するための制御手段と、前記対象物を繰り返し加工する為の画像パターン検出により生成される第２のタイミングを取得する取得手段と、を備え、前記制御手段は前記第１のタイミング間隔と前記第２のタイミング間隔に基づいて前記撮像素子の駆動を制御することを特徴とする。【選択図】  図１
2019193198.tif 000002
【特許請求の範囲】
【請求項１】
対象物を第１のタイミングで繰り返し撮像する撮像装置であって、
前記対象物の画像データを取得するための撮像素子と、
前記撮像素子の駆動を制御するための制御手段と、
前記画像データにおける前記対象物の画像パターン検出により生成される第２のタイミングを取得する取得手段と、
を備え、
前記制御手段は前記第１のタイミングの間隔と前記第２のタイミングの間隔に基づいて前記撮像素子の駆動を制御することを特徴とする撮像装置。
【請求項２】
前記制御手段は複数の前記第２のタイミングの間隔に基づいて、第２のタイミングを推定する推定手段を含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記推定手段は前記画像パターン検出における前記画像データ内の前記対象物の位置と、前記複数の第２のタイミングの間隔とに基づいて推定することを特徴とする請求項２記載の撮像装置。
【請求項４】
前記制御手段は前記第１のタイミングで取得された画像データに基づいて動画像を生成し、前記第２のタイミングで取得された画像データに基づいて静止画像を生成することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
複数の画像データを合成する合成手段をさらに備え、
前記制御手段は前記撮像素子に対して異なる露出を周期的に設定し、
前記合成手段は前記異なる露出に基づいて取得された複数の画像データを合成することでダイナミックレンジが拡大した画像データを生成することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記異なる露出には適正露光に対して高い露出または低い露出が含まれていることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記制御手段は、前記第１のタイミングの間隔と前記第２のタイミングの間隔に基づいて前記撮像素子に対して設定する露出を切り替えることを特徴とする請求項５または６記載の撮像装置。
【請求項８】
前記第１のタイミングは垂直同期信号であり、
前記制御手段は複数の垂直同期信号をまたいで画像データを取得するように撮像素子の駆動を制御することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項９】
前記制御手段は、前記第１のタイミング間隔と前記第２のタイミング間隔に基づいて前記撮像素子に対して設定する露光を開始するタイミングを切り替えることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記第２のタイミング間隔は複数種類の時間間隔を含むことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外部の環境と連動する撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
対象を撮像する撮像システムの例として、画像データにおける画像パターンを検出して生成されるタイミング信号（以下、画像パターン検出信号）に応じて静止画像を取得する制御がある。この制御方法は、ファクトリーオートメーション用途（以下、ＦＡと称することがある）及び学術用途に用いられる。当該制御において、パターン検出信号の出力タイミングや撮像素子の駆動方法によって、本来画像を取り込みたいタイミングに対して遅延が生じてしまう場合があった。また、様々な被写体条件に対応するために、露出の異なる複数の画像を合成する場合や長秒露光が必要になる場合もあり、このような場合には更に遅延が引き伸ばされる懸念もあった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−０５６８０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
タイミングの遅延の対策として、特許文献１にあるように、合成に用いるための画像を取得するタイミングを異ならせる方法もあるが、露出の異なる画像を取得する場合には、適切ではない場合がある。例えば、適当な同期タイミングでリセットと読み出し動作を繰り返して画像データを取得する場合を想定する。そして、露光期間の重心（取得タイミングに相当する）をリセットと読み出しのタイミングの中心と定義し、各画像データにおいて、読み出しタイミングが同期タイミングに対して固定されているとする。この場合、画像間における露光重心の間隔は、低露出の画像から高露出の画像までの間隔に対して、高露出の画像から低露出の画像までの間隔は長くなる。つまり、高露出の画像と低露出の画像の取得タイミングは時間的に離れている為、この順番で取得された両画像を合成するのは好ましくない。
【０００５】
本発明の目的は、画像パターン検出信号から実際に画像を取り込むタイミングを予測することで遅延を短縮する事を可能とする撮像装置を提供することにある。
【課題を解決するための手段】
【０００６】
前記目的を達成する為に、対象物を第１のタイミングで繰り返し撮像する撮像装置であって、前記対象物の画像データを取得するための撮像素子と、前記撮像素子の駆動を制御するための制御手段と、前記対象物を繰り返し加工する為の画像パターン検出により生成される第２のタイミングを取得する取得手段と、を備え、前記制御手段は前記第１のタイミング間隔と前記第２のタイミング間隔に基づいて前記撮像素子の駆動を制御することを特徴とする。
【発明の効果】
【０００７】
パターン検出信号から実際に画像を取り込むタイミングを予測することで遅延を短縮する事を可能とする撮像装置を提供することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態における全体構成図である
【図２】第１の実施形態におけるシステム構成図である。
【図３】ＨＤＲ駆動モードを説明するためのタイミングチャートである。
【図４】第１の実施形態における動作を説明するためのフローチャートである。
【図５】各実施形態における検査台のカッター動作及びトリガポイントの説明図である。
【図６】第１の実施形態における動作を説明するためのタイミングチャートである。
【図７】第２の実施形態における全体構成図である。
【図８】スローシャッタ駆動モードを説明する為のタイミングチャートである。
【図９】第２の実施形態における最適なパターン検出位置とズレ量を説明する図である。
【図１０】第２の実施形態における動作を説明するためのフローチャートである。
【発明を実施するための形態】
【０００９】
以下、各図面を参照しつつ、本発明の実施形態について説明する。なお、全ての図において同一の機能を有するものは同一の数字を付けその繰り返しの説明は省略する。また、各構成要素は実施形態の内容に限定されるものではなく、適宜修正することが可能である。
【００１０】
（第１の実施形態）
図１に示す詳細のブロック構成図を用いて、本実施形態の撮像装置１０２を含む撮像システムの全体構成に関して説明を行う。１００は撮像する対象を備え付けるための検査台であり、撮像対象の位置を変更するためのステージや、対象を切断するためのカッター等の電子機器を備えている。また他にも、対象を温めるためのヒーターや、雰囲気を掃気するためのドラフト等を備えてもよい。
【００１１】
検査台１００に備え付けられた各電子機器は外部から操作可能であり、操作するための通信ポートおよび各機器を制御するための制御部も備えている。
【００１２】
１０１は外部装置であり、一例としてはパーソナルコンピューター（以下、ＰＣと称することがある）である。ＰＣ１０１は撮像システム全体を制御し、検査台１００および後述する撮像装置１０２の各ブロックに対して制御信号や設定情報等を供給する。各制御対象に対してはＬＡＮケーブルまたはＵＳＢケーブル等の有線接続を想定するが、Ｗｉ−Ｆｉ等の無線接続であってもよいし、各機器に対してネットワーク経由で他の機器を経由して接続するようにしてもよい。また、ＰＣ１０１は入力部としてマウスとキーボードを持つ一般的構成だけでなく、ジョイスティック、専用スイッチボード、トラックボール等を持つ構成や、タブレットＰＣ等のタッチパネルを持つ構成であってもよい。
【００１３】
１０２は撮像装置であり、検査台１００に備え付けられた対象を撮像し、その結果を画像データとして出力する。その出力先は表示部１１０またはＰＣ１０１であるが、撮像装置１０２内部に設けられたメモリカード等の記憶部に出力して保存してもよいし、ネットワーク上のストレージやクラウドに出力してもよい。
【００１４】
１０３は被写体の光を集光し、被写体像を結像させる撮像光学系に相当する撮像レンズである。撮像レンズ１０３は、ズームレンズ、フォーカスレンズ等を含むレンズ群である。
【００１５】
なお、撮像レンズ１０３は撮像装置１０２の本体より取り外し交換可能な構成としてもよい。また、撮像レンズ１０３は、不図示のシャッター機構、絞り機構、防振機構等を備える。絞り機構は複数の絞り羽根によって開口径を制御する形式、複数の異なる径の穴が開いた板を出し入れする形式、ＮＤフィルタ等の光学フィルタを挿抜する形式等が含まれ、露光量を調整する手段であればどのような方式であってもよい。
【００１６】
１０４は撮像レンズ１０３によって結像される被写体像（光学像）を電気信号に変換する為のＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。本実施形態の撮像素子は少なくとも水平に４千画素、垂直に２千画素以上の有効画素を備え、例えば３０ｆｐｓで４Ｋフォーマットの画像データを出力することが可能である。また、撮像素子１０４は制御用パラメータを設定するためのレジスタを備える。当該レジスタの設定を変更することで、露光時間、ゲイン等の露出や、読み出しタイミング、間引や加算の動作等の駆動モードを制御可能である。本実施形態の撮像素子１０４は、内部にＡＤ変換回路を備え、外部から供給される垂直同期信号（以下、ＶＤと称することがある）にタイミングを同期して１フレーム分のデジタル画像データを出力する。そして、連続してＶＤを供給することによって、通常駆動モードとして所定のフレームレートで動画像を出力することが可能である。本実施形態においてＶＤは対象物を繰り返し撮像するタイミングである第１のタイミングに相当し、ＶＤの間隔は第１のタイミング間隔に相当する。
【００１７】
また、撮像素子１０４の駆動モードとして、レジスタに設定された複数の露光時間に基づいて、露光時間の設定をＶＤごとに周期的に切り替える駆動モード（以下、ＨＤＲモードと称することがある）を含む。本駆動モードを使用することによって、適正露光時間よりも露光時間の短い低露出画像と、露光時間の長い高露出画像を交互に取得することができ、これら合成することでダイナミックレンジを拡大した画像（以下、ＨＤＲ画像と称することがある）を得ることができる。なお、露光時間を変化させるに際して適宜ゲイン設定も変更することが可能である。また、露出の設定として適正露出画像と、高露出画像または低露出画像のいずれかを組み合わせてもよい。なお、本実施形態において撮像素子１０４を含む画像を取得するためのブロックは、撮像部に相当する。なお、撮像素子１０４はベイヤー配列のカラーフィルタを備える単板タイプに限られず、ベイヤー配列に含まれるＲ（赤）、Ｇ（緑）、Ｂ（青）のそれぞれに対応する撮像素子を備える三板タイプであってもよい。また、カラーフィルタの代わりにクリア（白）のフィルタを備える構成であってもよく、また赤外あるいは紫外領域の光を受光可能な撮像素子を用いてもよい。
【００１８】
１０５は読み出された画像データに対して適宜ゲインまたはオフセット補正、ホワイトバランス補正、輪郭強調、ノイズ低減処理等を行う画像処理部である。また、画像処理部１０５は、撮像素子１０４から出力される画像データに対し所定の画素補間、縮小といったリサイズ処理や色変換処理も行う。また、画像処理部１０５では、各種信号を用いて所定の演算処理が行われ、得られた演算結果に基づいて後述する制御部１１０等が露出制御、焦点検出制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュ自動調光発光）処理などが行われる。また画像処理部１０５ではＡＦ（オートフォーカス）処理が行われる。また、ＨＤＲモードの際には、露光時間の短い低露出画像と、露光時間の長い高露出画像に対してそれぞれ異なる画像処理を行うように制御してもよい。なお、画像処理部１０５の一部の機能を撮像素子１０４に設けて処理負荷を分散するようにしてもよい。
【００１９】
１０６は所定の１０５の画像処理部からの出力される画像データから、特定の画像のパターンを検出して、適当なタイミング信号を生成するパターン検出部である。特に本実施形態では、後述する１０９のメモリからＨＤＲ合成画像を１フレーム分取得するタイミングを生成する為のパターン検出部である。尚本実施形態では、先述したカッターと検査物の位置関係の画像パターンを検出する事で、検査物の静止画として取得すべき切断タイミングを検出するが、ＦＡ等の応用も考えられる。例えば、ベルトコンベア等で流れてくる検査物の所定の位置や角度をパターン検出する事例にも応用できる。なお、パターン検出部をノイズ／固定パターンノイズの影響を減らす為に、１０５の画像処理部の出力に配置しているが、パターン検出が可能であれば１０４の撮像素子の後でも構わない。また、後述するメモリ１０９に記憶した画像を取得してパターン検出を行うようにしてもよい。
【００２０】
また、パターンの検出方法の一例として、テンプレートマッチングによって行う方法が挙げられる。つまり、画像内に特定の物体が写りこんだか否かを、事前にメモリ等に記憶しておいたテンプレート画像と比較して判断する手法である。他にも、外部からのトリガ信号に基づいたタイミングで取得した画像を基準として、その後に同様の画像が取得されたか否かを判定するようにしてもよいし、ＡＩ等を用いて繰り返し学習してパターンを検出するようにしてもよい。なお、パターン検出精度を向上させるため、検出する対象物にマーキングを施し、当該マーキングを検出することでパターン検出を実現するようにしてもよい。
【００２１】
１０７は１０５の画像処理部にて処理された低露出画像と高露出画像の２枚の画像データを合成する事でＨＤＲ画像を生成する合成部である。ＨＤＲ画像の合成は各画像データを複数のブロックに分割しそれぞれ処理した後に対応するブロックごとに合成処理が行われる。なお、本実施形態としては説明の簡略化のため、２枚の画像データを取得および合成する例を示すが、これに限られるものではない。例えば、３枚以上の画像データを対象としてもよい。対象とする画像データの数を増やすことで画像データを取得時間が伸びるというデメリットがあるが、ＨＤＲ画像におけるダイナミックレンジを合成する画像数に応じて拡大するというメリットを得ることができる。なお、ＨＤＲモード以外の通常の動画モード時等で画像合成を伴わない場合には、画像処理部１０５で処理された画像データはそのまま現像処理部１０８に入力されるように制御してもよい。
【００２２】
１０８は合成部より処理された画像データを輝度信号、色差信号もしくはＭＰＥＧ等の所定の動画フォーマットに圧縮符号化する現像処理部である。また、静止画に対してはＪＰＥＧ等の異なるフォーマットに圧縮符号化する。処理された画像データは表示部１１１に出力され表示される。また、適宜不図示の記録部に画像データを保存する。表示部１１０はＰＣ１０１に含まれる構成としてもよいし、別に設けるようにしてもよい。
【００２３】
１０９は静止画の画像データを一時的に記録するためのメモリである。メモリ１０９には１フレーム分以上の画像データを記録することが可能な記憶容量を備え、合成部１０７で処理された画像データを記録する。
【００２４】
複数枚の画像データから動画像を得るために動画モードで撮像素子１０４を駆動する場合、３０ｆｐｓ乃至６０ｆｐｓで画像データが取得される。それぞれの画像データは、スムーズに再生するため、または保存容量の確保のために現像処理部１０８にて不可逆的に圧縮符号化された後に所定の動画像の形式で保存されることとなる。そのため、圧縮符号化処理された動画像から１フレーム分を抜き出して静止画の画像データとする場合には十分な階調を得ることができなかったり、画像の高周波成分が除かれて精細さに欠けてしまったりと適さない場合がある。さらには、圧縮符号化処理に伴うノイズによる画質低下も懸念される。そこで、現像処理部１０８で処理する前の画像データをメモリ１０９にて保持することによって、動画像を得るだけでなく高画質な静止画の画像データを取得することができる。メモリ１０９はリングバッファとなっており、新たな画像データを古い画像データに対して上書きしながら保存することで、少ない記憶容量で複数の画像を繰り返し保持することができる。
【００２５】
なお、本実施形態においては、メモリ１０９は合成部１０７で処理した画像データを保持する構成としたが、画像処理部１０５で処理したのちに保存するような構成としてもよい。なお、メモリ１０９は、撮像部によって取得された各種画像データや、表示部１１１に表示するためのデータをも格納する。メモリ１０９は、画像データ以外にも音声を格納するのに十分な記憶容量を備えている。また、メモリ１０９は画像表示用のメモリ（ビデオメモリ）を兼ねてもよい。
【００２６】
１１０は各種演算と撮像装置１０２全体を制御する制御部である。当該制御部１１０は、撮像装置１０２全体を制御するために各構成要素を統括的に制御するＣＰＵを含み、各種設定パラメータ等の設定を各構成要素に対して行う。前述したメモリ１０９に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。また、制御部１１０はシステムメモリを含み、例えばＳＲＡＭが用いられる。システムメモリには、制御部１１０の動作用の定数、変数、不揮発性メモリ等から読み出したプログラム等を展開する。
【００２７】
なお、不揮発性メモリは、電気的に消去・記録可能なメモリであり、例えばフラッシュメモリ等が用いられる。不揮発性メモリには、制御部１１０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。また、制御部１１０はシステムタイマーを含み、各種制御に用いる時間や、内蔵された時計の時間を計測する。なお、制御部１１０はプログラムを実行するＣＰＵ以外にも、リコンフィギュアラブル回路等から成るハードウェア回路を含む構成としてもよい。
【００２８】
また、制御部１１０は不図示の通信部を備え、有線通信ポートまたは無線通信手段に基づいて、外部装置であるＰＣ１０１と接続する。なお、撮像装置１０２には、モード等を切り替えるための操作部を設けるようにしてもよい。
【００２９】
本実施形態におけるＰＣ１０１は、検査台１００および撮像装置１０２の各ブロックを制御する。特に、検査台１００においては、対象物である検査に用いる検査物を切断するためのカッターを備え、当該カッターの繰り返し動作の制御や速度検知を行う。また、撮像装置１０２に対しては制御部１１０に対して、上記検出した速度データの情報送信、静止画の画像データをＰＣに取り込む。
【００３０】
図２は本実施形態に係る撮像システムの構成図である。２００は検査ステージ、２０１はカッター、２０２は検査物である。これらは検査台１００に設けられたものであり、検査物２０２は例えば生物・植物等の被験サンプルである。より具体的には、検査ステージ２００上に設置された検査物２０２を、カッター２０１で切断することが可能な構成となっている。そして、カッター２０１は所定の軸に対して回転可能であり、かつ検査ステージ２００またはカッター２０１は、カッター２０１の回転に合わせて検査物２０２の切断するための位置を可変可能となっている。つまり、一定周期でカッター２０１を回転させることで、繰り返し検査物２０２を切断することが可能となり、検査物２０２の断面を連続的に観察・解析することが可能となる。なお、本実施形態のカッター２０１は対象である検査物２０２を加工するための一例であって、必ずしも切断する動作に限るものではなく、検査物２０２に対して繰り返し作用する動作に対して好適である。例えば、所定の装置を用いて圧迫、加熱、冷却、試薬の添加等をする場合などにも適用することができる。
【００３１】
撮像装置１０２は検査ステージ２００上に設置された検査物２０２の断面に対して焦点を結ぶように固定されている。ＰＣ１０１は検査台１００と撮像装置１０２と有線ケーブルで接続され、検査台１００に対してはカッター２０１で検査物２０２を空振りする事なく切断する為の上下方向の位置を制御する。検査物を切断した後は、次の回転で検査物を確実に切断する為にカッターを下方向に垂直移動するように制御する。また、撮像装置１０２に対しては、検査物２０２が切断される様子を撮像するタイミングを制御する。
【００３２】
本実施形態において撮像装置１０２はＨＤＲモードで駆動され、合成したＨＤＲ画像を動画の画像データとして出力する。そして、検査物２０２の切断のタイミングに合わせて発生するパターン検出信号に合わせて静止画の画像データを出力する。なお、１０６のパターン検出部において、カッターと検査物の位置関係の画像パターンを検出する事で、制御部にパターン検出信号を出力する。
【００３３】
なお、１０６のパターン検出部には、事前に撮像するタイミングの１フレーム手前のパターンを記憶しておく。各画像データの出力タイミングは決められた一定タイミングで自律的に出力するように制御されるが、ＰＣ１０１から制御信号を供給することで制御可能である。
【００３４】
図３は本実施形態における撮像システムにおける撮像動作を説明するためのタイミングチャートである。図３（ａ）と図３（ｂ）はパターン検出部によるＨＤＲ合成画像を１フレーム分取得するタイミングを生成する為のパターン検出信号の発生タイミングが異なる。図３に示す動作において、撮像素子１０４はＨＤＲモードで駆動するように設定され、露光時間の短い低露出画像３００と露光時間の長い高露出画像３０１とを、垂直同期信号ＶＤに同期して繰り返し交互に出力する。出力された画像データは連続する２枚を一組として合成部１０６にて合成することでＨＤＲ画像３０２を生成する。
【００３５】
ここで、ＨＤＲ画像の合成タイミングは低露出画像３００と高露出画像３０１の順で取得した直後に行われる。そして、現像処理部１０７で現像処理された動画像の画像データが出力される。これは、図３に示すように各画像データにおいて、読み出しタイミングがＶＤに対して固定されている場合、高露出画像と低露出画像の取得（露光）タイミングは時間的に離れている。その為、高露出画像と低露出画像の順番で取得された両画像を合成するのは好ましくない。出力された画像データは撮像装置１０２内に保存してもよいし、有線ケーブル経由でＰＣ１０１に取り込んでもよい。
【００３６】
図３においてパターン検出信号３０５はパターン検出部１０６によって画像上に所定のパターンが検出された場合に出力される。そのタイミングは画像取得タイミングに対して非同期であり、カッターと検査物の位置関係に関連している。パターン検出信号３０５が出力され、制御部１１０が受信すると、静止画の画像データの取り込みが行われる。実際に取り込まれる画像データは、パターン検出信号３０５が出力された次の低露出画像と高露出画像により合成された画像となる。なお、パターン検出信号３０５のすぐ次の合成画像３０７を取り込む構成としてもよいが、パターン検出信号３０５の出力は画像データの取得と非同期であるため、必ずしもデータの取得が保障されていない。例えば、合成画像３０７を保持するメモリ１０９はメモリ容量節約のため、メモリの一部を別の処理（現像処理等）用と共用する場合がある。この場合、パターン検出信号３０５が入力された時点で、合成画像３０７のデータが壊れている（上書きされている）可能性がある。一方でメモリの共用をやめるためにはメモリ容量を増やす必要があり、コストアップ等の弊害となっていた。非同期で入力されパターン検出信号３０５をデータ取得のトリガとする場合には、その後に取得される画像データを対象とした方がメモリ節約の点で有利である。
【００３７】
なお、図３において、Ｆｒパターン検出信号から画像を取り込むまでの期間（フレーム数）を示している。図３（ａ）の例ではＦｒ＝３である。図３（ｂ）の例ではＦｒ＝２である。つまり、パターン検出部１０６が高露出画像によりパターン検出し、パターン検出信号が発生されると少ないタイムラグで合成画像を取得する事ができる。
【００３８】
なお、図３においては連続する２枚を一組としてＨＤＲ画像を生成する動作を示したが、中間露出画像を取得するなど３枚以上を一組としてもよい。
【００３９】
次に本実施形態の動作である、検査物２０２に対する検査動作に関して図４のフローチャートを用いて説明する。本フローチャートの処理は主に撮像装置１０２における制御部１１０が行う。
【００４０】
撮像装置１０２の動作開始に合わせてＰＣ１０１によって、検査台１００に対する制御が開始される。具体的には、ＰＣ１０１からの開始制御に伴い、カッター２０１の回転動作とカッター２０１と検査物２０２の相対位置の初期化を行う。なお、カッター２０１の回転動作の開始時には回転速度が安定しないため、検査物２０２はカッター２０１に当たらない位置に制御され、カッターの速度が等速回転になるよう速度制御がされるために十分な時間が経過してから本フローチャートの処理が開始される。
【００４１】
ステップＳ４０１において、制御部１１０はＰＣ１０１からの動作開始指示に基づいて撮像動作を開始する。具体的には撮像素子１０４に対して駆動モードのパラメータ設定や露出条件設定を行い更に、ＶＤや動作用クロックの供給を開始する。各動作が開始すると撮像動作によって得られる画像データは所定のフレームレートで出力される。
【００４２】
なお、本フローチャートにおける撮像素子１０４はＨＤＲモードで駆動され、図３で示したように低露出画像と高露出画像を合成したＨＤＲ画像を出力する。一方で、当該ステップが開始されたことを受けて、ＰＣ１０１は検査台１００と通信を行い、カッター２０１の検査物２０２に対する高さを検査物位置の切断位置に合わせる。そして、処理をステップＳ４０２に進める。
【００４３】
ステップＳ４０２において、制御部１１０はパターン検出部からのパターン検出信号を受け付ける。パターン検出信号は検査台１００のカッター２０１の回転タイミングと関連する。そして、処理をステップＳ４０３に進める。
【００４４】
ここで、図５を用いて検査物２０２に対するカッター２０１の回転と、パターン検出信号の発生タイミングに関する例を説明する。図５は検査ステージ２００に対しての上面視におけるカッター２０１の回転の様子を示している。一例として、図５（ａ）は検査物２０２の切断の様子を、カッター２０１の一回転の間に複数観測するために複数枚の静止画の画像データを取得する場合である。カッター２０１が回転すると検査物２０２は切断されるが、５０２、５０３等の黒三角で示す位置（パターン検出ポイント）をカッター２０１が通過するタイミングに合わせて、パターン検出部はパターン検出信号を制御部１１０に供給する。本実施形態において各パターン検出ポイントの間隔は等間隔であるが、必ずしも等間隔でなくてもよい。つまり、パターン検出信号の発生間隔は複数種類存在してもよい。このようにパターン検出信号の発生タイミングを検査物２０２が切断されるタイミングに限定することで、不要な静止画の画像データの取り込みを避けることができる。
【００４５】
なお、本実施形態においてパターン検出信号は撮像装置１０２内のパターン検出部１０６から発生されるが、これに限られるものではなく、ＰＣ１０１で画像を取り込みパターン検出したのちトリガ信号を発生する構成でも良い。
【００４６】
更に他の例として図５（ｂ）は、検査物２０２の切断の様子を、カッター２０１が一回転の間に一回観測するために１枚の静止画の画像データを取得する場合である。
【００４７】
そのため、一回転目のトリガ信号の発生タイミングと、２回転目のトリガ信号の発生タイミングとの間隔は等間隔となる。
【００４８】
なお、本実施形態のパターン検出部によって所定のパターンが検出された後にパターン検出信号を出力するが、遅延が生じる問題がある。これに対してパターン検出信号の発生の間隔が既知であることを前提として、２回転目以降において遅延分を考慮してタイミング調整を行ってもよい。具体的にはフレームレート分の遅延量を加味してパターン検出信号を生成してもよい。
【００４９】
ここで、図４の説明に戻る。ステップＳ４０３において、制御部１１０は動作が開始してから受け付けたパターン検出信号の回数をカウントし、直前のステップＳ４０２で受け付けたパターン検出信号が何回目のパターン検出信号かを判定する。その判定の結果１回目であった場合には、ステップＳ４０４に処理を進め、２回目以降であった場合にはステップＳ４０６に処理を進める。またステップＳ４０３においては、パターン検出信号が出力される要因となったフレームが低露出なのか高露出なのかを記憶する。
【００５０】
ステップＳ４０４において、制御部１１０はフレームカウンタ部にて１回目のパターン検出信号が入力されてからのフレーム数のカウントを開始する。計測したカウント数はメモリ１０９等に記憶され適宜更新される。そして、処理をステップＳ４０５に処理を進める。
【００５１】
ステップＳ４０５において、制御部１１０は撮像素子からの画像データを所定のフレームレートで取得しつつ、フレーム画を１０９のメモリより読み出し、制御部１１０を介してＰＣ１０１に読み込む。そして、処理をステップＳ４０２に戻して、次のパターン検出信号の入力まで待機する。
【００５２】
ステップＳ４０６において、制御部１１０はフレームカウンタ部におけるカウント結果に基づいてパターン検出信号を受け付けるカウント数Ｆｎｕｍを検出し、フレームカウントを再開する。そして、処理をステップＳ４０７に進める。
【００５３】
ステップＳ４０７において、制御部１１０は撮像素子からの画像データを所定のフレームレートで取得しつつ、フレーム画を１０９のメモリより読み出し、制御部１１０を介してＰＣ１０１に読み込み、処理をステップＳ４０８に進める。
【００５４】
ステップＳ４０８において、制御部１１０はパターン検出したフレームから、次のパターン検出までのフレーム数（Ｆｎｕｍ）から、次のパターン検出信号が出力されるまでのフレーム数を推定する。そして、推定したパターン検出信号の発生のタイミングで撮像素子１０４から出力されるのが低露出画像か高露出画像かを判定する。そして、当該判定結果を用いて所定のタイミングで取得する画像データに対して低露出画像として取得するか高露出画像で取得するかの切り替えを行う。切り替えが必要と判定されれば処理をステップＳ４０９に進め、切り替えが不要と判定されれば処理をステップＳ４１０に進め次のパターン検出信号の入力まで待機する。
【００５５】
ここで、ステップＳ４０８における判定方法の一例として、図５（ｂ）に示したように所望の撮像位置が同じで一定間隔の場合には、トリガ検出信号は一定のフレーム間隔となる。このことを利用し、パターン検出信号間のフレーム数をカウントし、そのカウント値が偶数かまたは奇数か、または一回目のパターン検出信号を出力する要因となったフレームが高露出画像か低露出画像なのかを用いて判定する。具体的には、パターン検出信号を出力する元となった画像が低露出画像の場合で、かつ、フレーム数が偶数の場合は画像の入替が必要と判断してステップＳ４０９に処理を進める。また、フレーム数が奇数の場合は処理をステップＳ４１０に進める。一方で、パターン検出信号を出力する元となった画像が高露出画像の場合で、かつ、フレーム数が奇数の場合も画像の入替が必要と判断してステップＳ４０９に処理を進める。また、フレーム数が偶数の場合は処理をステップＳ４１０に進める。
【００５６】
また、異なる例として図５（ａ）に示したように、撮像の取得間隔が複数存在する場合には、パターン検出信号間のフレーム数を複数個記憶し、周期性を検出する。図５（ａ）ではパターン検出ポイント５０２とパターン検出ポイント５０３の間のフレーム数をＦ１とし、パターン検出ポイント５０４とパターン検出ポイント５０２の間のフレーム数をＦ２とする。そして、４回分のパターン検出信号の出力タイミングの推定を、フレーム数Ｆ１を用いて行い、続いて１回分の出力タイミングの推定を、フレーム数Ｆ２を用いて行う。
【００５７】
そして、このように制御することで、高精度に推定が可能となる。なお、フレーム数Ｆ１の回数やタイミングはＰＣ１０１より設定することも可能であるが、図４に示すフローチャートの動作を、何度も繰り返しながらディープラーニング等を用いて機械学習して推定してもよい。
【００５８】
また、図５（ａ）の例において、フレーム数Ｆ１は非常に短いために、必ずしも予測が必要でない場合もある。このような場合においては、フレームＦ２と比較的長い時間間隔であるパターン検出ポイント５０４とパターン検出ポイント５０２の間のみで予測を行うようにしてもよい。つまり、所定の時間よりパターン検出信号の間隔が長い場合に予測を行うようにすることで、演算負荷を低減することができる。また、カッター２０１の回転動作は完全に一定とすることは困難で、パターン検出信号の発生時に対してばらつきが生じる。そのため、予測に用いるＦ１精度を高めるために複数回カウントしたＦ１の結果から平均算出等の統計処理を行った結果Ｆ１ａｖｅを次のトリガ信号のタイミングの推定に用いてもよい。
【００５９】
ステップＳ４０９において制御部１１０は次回のＶＤのタイミングで低露出画像を取得するか高露出画像を取得するかを切り替える。より詳細にはステップＳ４０８で予測した次回のパターン検出信号の発生時に低露出画像が撮像素子１０４から出力されると推定される場合には、低露出画像と高露出画像を取得する順番を入れ替える動作を行う。これは、合成後のＨＤＲ画像の画像データの取得が高露出画像の出力後に行われるためであり、画像データの取得順序を入れ替えることによって、パターン検出信号の発生からＨＤＲ画像の画像データの取得までの時間を短縮することが可能となる。
【００６０】
ここで図６（ａ）〜図６（ｄ）を用いて、ステップＳ４０９における動作に関して詳細に説明する。図６には、撮像素子１０４の読み出し周期に相当するＶＤ、撮像素子１０４からの画像データの出力タイミング、合成部１０７で合成されるＨＤＲ画像の出力タイミング、現像処理部１０８により現像処理される画像データの出力タイミングを示している。さらに、ＰＣ１０１へ静止画の画像データとして取り込むための取り込みタイミングであるパターン検出信号および実際に取り込まれる取り込み画像の出力タイミングを示している。
【００６１】
図６（ａ）及び図６（ｃ）はステップＳ４０９において低露出画像と高露出画像を取得する順番を入れ替える動作を示しており、図６（ｂ）及び図６（ｃ）はステップＳ４０９において低露出画像と高露出画像を取得する順番を入れ替えない動作を示している。どちらの場合においても、制御部１１９は撮像素子１０４に対して低露出画像を取得用のパラメータを設定し、ＶＤに同期して読み出しを開始し、低露出画像の画像データ６００を読み出す。その後に制御部１１０は撮像素子に対して高露出画像を取得用のパラメータを設定し、ＶＤに同期して読み出しを開始し、高露出画像の画像データ６０１を読み出す。合成部１０６では、低露出画像６００と高露出画像６０１を合成する事で１枚のＨＤＲ画像の画像データ６０２を生成する。現像処理部１０８では順次取得されるＨＤＲ画像に対して現像処理を行いＭＰＥＧ等の動画フォーマットに変換して現像処理後の画像データ６０３を生成する。生成された現像処理後の画像データ６０３は、表示部１１１に動画としての連続画を生成する。そして、パターン検出信号６０８が入力されたタイミングの次の低露出画像の取得タイミングから生成されるＨＤＲ画像の画像データを取り込み画像として出力する。
【００６２】
図６（ａ）は低露出画像６００により、パターン検出信号６０４が出力され、高露出画像６０１を一回目のフレームとし、フレーム数をカウントする。また合成画像６０２は低露出画像６００と高露出画像６０１でＨＤＲ合成された画像であり、現像処理部１０８より現像されたフレーム画６０３が表示部１１１等に出力される。また、パターン検出信号６０４が出力された後の低露出画像６０５と、高露出画像６０６で合成された画像６０７を静止画像としてメモリ１０９に記録し制御部１１０を介してＰＣ１０１に出力する。さらに、次のパターン検出信号６０８が出力されるまでのフレーム数Ｆｎｕｍを検出する。尚フレーム数Ｆｎｕｍは高露出画像６０１から低露出画像６０９までのフレーム数に相当する。そして、図４のステップＳ４０８の判定として、Ｆｎｕｍが偶数である場合は、高露出画像と低露出画像の取得タイミングの入れ替えを行う。図６（ａ）において入れ替えられた結果として高露出画像の取得タイミングで低露出画像６１０を取得することとなる。
【００６３】
なお、高露出画像と低露出画像の入れ替えは、図６（ａ）に示したタイミング以外の場所でも構わないが、推測される次のパターン検出信号のタイミングよりも十分早く入れ替えを行う事が望ましい。
【００６４】
図６（ａ）に示す様に低露出画像に基づいてパターン検出信号が出力され、かつ、フレーム数Ｆｎｕｍが偶数時の場合は、低露出画像６１１の取得タイミングでパターン検出信号が出力される。そして、次の低露出画像と高露出画像で合成された合成画像を取り込み画像６１２として取り込むのが可能となる。これにより、少ないタイムラグ（２フレーム後）で合成画像を取得することができる。
【００６５】
次に、図６（ｂ）は低露出画像６００により、パターン検出信号６０４が出力され、高露出画像６０１を一回目のフレームとしてフレーム数Ｆｎｕｍが奇数の場合を示している。この場合はフレームの入れ替えを行なう必要はない。つまり、その後のパターン検出信号出力後においても２フレーム後に合成画像６１２を取得する事が可能となる。
【００６６】
次に、図６（ｃ）は高露出画像６１３により、パターン検出信号６０４が出力され、低露出画像６００を一回目のフレームとしてフレーム数Ｆｎｕｍが奇数の場合を示している。この場合、図４のステップＳ４０８の判定として、低露出画像と高露出画像の取得タイミングの入れ替えを行う。図６（ｃ）において入れ替えられた結果として低露出画像の取得タイミングで高露出画像６１０を取得することとなる。入れ替えを行う事で、少ないタイムラグ（２フレーム後）で合成画像を取得することができる。
【００６７】
次に、図６（ｄ）は高露出画像６１３により、パターン検出信号６０４が出力され、低露出画像６０１を一回目のフレームとしてフレーム数Ｆｎｕｍが偶数の場合を示している。この場合はフレームの入れ替えを行なう必要はない。つまり、その後のパターン検出信号出力後においても２フレーム後に合成画像６１２を取得する事が可能となる。
【００６８】
以上のように、パターン検出信号の発生間隔により次のパターン検出信号の発生タイミングの撮像素子１０４の動作を推定し、次のパターン検出信号の発生タイミングでの画像データが高露出画像か低露出画像かによって取得する順番を制御することが可能となる。これにより、パターン検出信号の発生から画像の取り込みまでのタイムラグは小さくなり、さらに安定したタイミングで画像を取得することができる。
【００６９】
撮像装置１０２は所定のフレームレートで画像を連続して取得するが、それと非同期で行われる外部装置の制御も所定の周期で繰り返される場合には、定期的なうねりとして発生することとなる。うねりはタイミングのずれであったり、画角のずれであったり、カッター２０１のずれであったりと様々で、検査物２０２の適切な検査を阻害するノイズとなる。このような場合に本発明を適用することで、撮像装置１０２に対して非同期で動作するもの（例えばカッター２０１）の動作のずれによるうねりを低減することが可能となる。
【００７０】
なお、最初のトリガ信号の発生間隔を検出する為に、検査物２０２を切断せずにカッター２０１を回転させる予備回転をさせるようにしても良い。また、切断する手前に予備トリガポイントを設けて一回目のトリガポイントも推定可能とする様に制御しても良い。
更にＰＣ１０１は回転速度をモニタし、実際に切断する所望のトリガ位置にする為に随時トリガ位置の補正を行う。またその速度を撮像装置１０２の制御部１０９に出力する事で、カッター２０１の速度の変化に応じてパターン検出位置の予測位置を補正する様に制御しても良い。
【００７１】
また、次のパターン検出信号のタイミングと撮像タイミングを調整するために、低露出画像と高露出画像を取得する順番を入れ替えるだけではなく、取得する間隔（フレームレート）を調整することでタイミングを調整することも可能である。
【００７２】
また、図５（ａ）の様に一回転でパターン検出位置が複数位置ある場合は、予測フレーム数Ｆ１を設定し、これを経過してもパターン検出信号が入力されない場合は、時間計測を停止し再度次のパターン検出ポイントから時間を計測する様に制御するようにしてもよい。
【００７３】
なお、複数のパターン検出のフレーム間隔をＦ１とＦ２とした場合に、フレームカウント数の少ないＦ１が経過してもパターン検出信号が入力されない場合には、次のパターン検出信号の発生タイミングは長いＦ２とみなして再度推定をやり直すように制御してもよい。また、これに限らず推定精度を向上させるためには複数回の推定を行うようにしてもよい。なお、上記実施の形態はフレーム数をカウントする事で行ったが、その限りではなく時間を計測することでも実施する事が可能である。
【００７４】
以上述べてきた様に、取り込み間隔のフレーム数のカウントを行い、次のパターン検出信号の発生タイミングと、そのタイミングにおける読み出し画像が低露出画像なのか高露出画像なのかを推測する。これによって、パターン検出信号の発生から実際の取り込みタイミングまでの時間を小さくする事が可能となる。また、次のパターン検出信号の発生のタイミングを推定することによって、ユーザーによるタイミング設定の負荷が不要となり、システムの汎用性を広げることができる。例えば、カッター２０１の回転と撮像装置１０２の撮像タイミングとの調整が不要となり、自由なカッター２０１の回転速度および、撮像装置１０２の露出条件の設定が可能となる。
【００７５】
（第２の実施形態）
第１の実施形態においては、複数の画像を合成してダイナミックレンジを拡大するＨＤＲ駆動モード時の動作に関して説明した。ＨＤＲ駆動モード時は１枚のＨＤＲ画像を取得するために複数枚の画像を取得する必要があるため、合成枚数に依存してフレームレートが低下することとなる。つまり、画像データの取得開始の直前でパターン検出信号が発生すれば画像データ取得のタイムラグは最少となるが、画像データの取得開始の直後でパターン検出信号が発生すれば、フレームレート分の遅延が生じることとなる。
【００７６】
このような現象はＨＤＲ駆動モード時に限られるものではなく、例えば、低輝度被写体を撮像する場合に、フレームレートを低下させて露光時間を増加させる、いわゆるスローシャッタ駆動モード時においても同様の課題を有することとなる。またスローシャッタ駆動モードにおいては、撮像素子からの出力のフレームレートが低下する為に、画像パターン検出信号の分解能もその分下がるので最適な撮像位置のパターン検出を行う事が困難となる。なお、本実施形態においてスローシャッタ駆動とは３０ｆｐｓよりも遅いフレームレートであり、例えば８〜１０ｆｐｓ程度での撮像を行う場合に好適である。
【００７７】
以下、図７および図８を参照しつつ、本発明の第２の実施形態であるスローシャッタ駆動モードの制御における適用に関して説明する。図７に第２の実施形態における詳細のブロック構成図を示す。各構成は第１の実施形態における図１の各構成と対応する。差分は合成部１０７に相当するブロックを有さず、メモリ７０８は画像処理部７０５からの画像データを保持する構成となっている。
【００７８】
なお、第２の本実施形態では４ＶＤ期間、撮像素子で露光を行い４ＶＤに一回の間隔で、撮像素子からの画像データを読み出すスローシャッタとする。本実施形態では出力４ＶＤのうち、１つのＶＤをトリガとして撮像素子からの読み出しを行うが、ＶＤ出力自体を４ＶＤ間隔に１回出力するように制御しても構わない。
【００７９】
図８に第２の実施形態における画像データの読み出しから、パターン検出信号の生成、現像データ、取り込み画像のタイミングチャートを示す。図８（ａ）において、撮像素子７０４は、４ＶＤ期間（８００）の露光後に、センサ出力８０１を画像処理部７０５に出力する。さらにセンサ出力８０１は、現像処理部７０８に入力され、現像画像８０２として表示部７１１等に出力される。センサ出力はそれぞれパターン検出部７０６にも入力され、第１の実施形態と同様に画像内に所定のパターンを検出した場合にはパターン検出信号を制御部７１０に出力する。
【００８０】
図８（ａ）では、センサ出力８０３において、所定のパターンの検出があった場合を示している。パターン検出部７０６にて所定のパターンが検出されてパターン検出信号８０４が出力されると、次の露光後のセンサ出力の画像データ８０５がメモリ７０８を介して、ＰＣ７０１に取り込まれる。
【００８１】
以上のように、第２の実施形態では４ＶＤ間隔に１回センサより、画像データが読み出されるので、パターン検出信号も４ＶＤ間隔を基準に出力される事になり、パターン検出信号の出力分解能が低下することとなる。
【００８２】
図９にカッター２０１と画像取り込みタイミング、及びパターン検出タイミングの位置関係を示す。各三角形はＶＤの発生タイミングを示している。特に、塗りつぶした三角９０４は取り込み画像の取り込みタイミングを示し、４ＶＤ露光された後に画像を読み出すべき位置を示している。また９００〜９０３の斜線で示した三角は、パターン検出信号が出力されるカッターの位置を一例として示しており、９００〜９０１、９０１〜９０２、９０３〜９０４の各隔間は時間的に１ＶＤ期間に相当する。また、９０５〜９０７の網掛けで示した三角は、実際の静止画像取り込みタイミングを示しており、９０５〜９０６、９０６〜９０７、９０７〜９０８の各隔間は時間的に１ＶＤ期間に相当する。
【００８３】
９０４で示したタイミングで撮像素子７０４からの画像データの静止画を取得する場合、４ＶＤ間隔前の９００の位置でパターン検出信号が出力されると、９０４の位置から所望の静止画を得る事ができる。
【００８４】
この様子をタイミングチャートで示したのが、図８の（ｂ）のＶＤ、露光期間Ａ、センサ出力Ａ、パターン検出信号Ａである。センサ出力８１０により、８１１のパターン検出信号（図９の９００の位置に対応）が出力されると、８１２のセンサ出力（図９の９０４の位置に対応）を、メモリ７０８を介してＰＣ７０１に取り込む。
【００８５】
しかし、図９（ｂ）に示すようにセンサ出力Ｂ乃至Ｄに基づいてパターン検出信号が出力されるとすると、想定している９０４のタイミングから遅延が生じることとなる。第２の実施形態２における画像パターンの検出は、想定しているパターン検出を行う位置（図９の９００の位置）に対してのズレ量を検出する事により、何ＶＤ期間ずれているかの検出も行う。
【００８６】
まず、図８（ａ）に示すように、１回目のパターン検出信号８０４を制御部７１０に出力すると同時に、画像パターンのズレ量を検出し、適切な画像パターン位置である図９の９００に対して何ＶＤずれているかを検出する。そして、検出したずれ量を制御部７１０に出力する。なお、ズレ量がない場合は図９の９００の位置、１ＶＤずれている時は９０１の位置、２ＶＤずれている時は９０２の位置、３ＶＤずれている時は９０３の位置に相当する。そして制御部７１０はパターン検出部７０６からのパターン検出信号８０４をうけて、画像データ８０５を静止画として取り込む。そして、次のパターン検出信号８０６が出力されるまでの８０７の期間であるＶＤ（ＶＤｎｕｍ）をカウントする。そして、パターン検出部７０６では２回目のパターン検出信号出力時の画像パターンのズレ量を再度検出する。
【００８７】
なお、パターン検出信号は４ＶＤ単位で出力される為に、ＶＤｎｕｍは４の倍数となる。そして、１回目のパターン検出信号８０４の出力時には画像パターンのズレ量ＶＤｓ１とＶＤｎｕｍと、２回目のパターン検出信号出力時の画像パターンのズレ量ＶＤｓ２とから、次にパターン検出信号を出力すべき位置（図９の９００）までのＶＤ数を推測する。すなわち、画像パターンのズレ量を考慮した画像パターン検出信号間のＶＤ数を算出し、その結果を次にパターン検出信号を出力すべき位置（図９の９００）までのＶＤ数とする。なお、画像パターン検出信号間のＶＤ数は「ＶＤｎｕｍ−ＶＤｓ１＋ＶＤｓ２」から求める事ができる。
【００８８】
さらに画像パターン検出信号間のＶＤ数をフレームレート（本実施形態では４）で除算したときの余りと、２回目のパターン検出信号出力時の画像パターンのズレ量ＶＤｓ２との関係から、露光開始タイミングをＶＤ単位でずらす制御を行う。本実施形態ではフレームレートは４であり、画像パターン検出信号が４ＶＤ単位で出力されることから、ＶＤｎｕｍは４の倍数であるので、余りはＶＤｓ２−ＶＤｓ１となり、取りうる値は０，１，２，３となる。
【００８９】
ＶＤｓ２−ＶＤｓ１＝０の時、２回目のパターン検出信号出力後から、次の画像パターン検出信号がＶＤｎｕｍ経過後に出力されるように露光開始タイミングを制御すれば、所望のタイミングで画像パターン検出信号を出力する事が可能となる。この場合、２回目のパターン検出信号時のＶＤのズレ量が“０”の場合、すなわちＶＤｓ２＝０の場合は、露光開始タイミングをずらす必要がない。
【００９０】
また、２回目のパターン検出信号時のＶＤのズレ量が“１”の場合（ＶＤｓ２＝１）、ＶＤｎｕｍ経過後は、図９の９０１の位置になってしまうので、露光開始タイミングをずらす必要がある。露光開始タイミングを制御する説明を図１０のタイミングチャート用いて説明する。上記の様にＶＤｓ２＝１の場合には図１０（ｃ）の８２３に示すように、次の露光開始タイミングを３ＶＤ期間ずらし、ＶＤｎｕｍ−４経過後の画像パターン検出信号は、図９の９００の位置になり、所望のパターン検出位置となる。
【００９１】
さらに、２回目のパターン検出信号時のＶＤのズレ量が“２”の場合（ＶＤｓ２＝２）、ＶＤｎｕｍ経過後は図９の９０２の位置になってしまうので、露光開始タイミングを図１０（ｂ）の８２２のように、２ＶＤ期間ずらすように制御する。すると、ＶＤｎｕｍ−４経過後の画像パターン検出信号は図９の９００の位置になり、所望のパターン検出位置となる。
【００９２】
同様に、２回目のパターン検出信号時のＶＤのズレ量が“３”の場合は（ＶＤｓ２＝３）、図１０（ａ）の８２１のように、１ＶＤ期間ずらすように制御すれば、図９の９００の位置となる。
【００９３】
次にＶＤｓ２−ＶＤｓ１＝１の場合を説明する。ＶＤｓ２−ＶＤｓ１＝１の時は、２回目のパターン検出信号出力後から、次の画像パターン検出信号がＶＤｎｕｍ＋１経過後に出力されるように露光開始タイミングを制御すれば、所望のタイミングで画像パターン検出信号を出力する事が可能となる。よって、２回目のパターン検出信号時のＶＤのズレ量が“３”の場合（ＶＤｓ２＝３及び図８の８２０）の場合に、ＶＤｎｕｍ＋１経過後に図９の９００の所望位置となるので、露光期間の開始タイミングをずらす必要はない。
【００９４】
次に２回目のパターン検出信号時のＶＤのズレ量が“２”の場合（ＶＤｓ２＝２及び図８の８１７）の場合は、ＶＤｎｕｍ＋１経過後は図９の９０３の位置となってしまう為に、露光開始タイミングをずらす必要が生じる。すなわち、露光開始タイミングを図１０（ａ）の８２１のように１ＶＤ期間ずらし、さらに（ＶＤｎｕｍ＋１）−４、すなわちＶＤｎｕｍ−３経過後に２回目のパターン検出信号が９００と所望の位置となる。
【００９５】
また、２回目のパターン検出信号時のＶＤのズレ量が“１”の場合（ＶＤｓ２＝１及び図８の８１４）の場合は、ＶＤｎｕｍ＋１経過後は図９の９０２の位置となってしまう為に、露光開始タイミングをずらす必要が生じる。すなわち、露光開始タイミングを図１０（ｂ）の８２２のように２ＶＤ期間ずらし、さらに（ＶＤｎｕｍ＋１）−４、すなわちＶＤｎｕｍ−３経過後に２回目のパターン検出信号が９００と所望の位置となる。
【００９６】
さらに、２回目のパターン検出信号時のＶＤのズレ量が“０”の場合（ＶＤｓ２＝０及び図８の８１１）の場合は、ＶＤｎｕｍ＋１経過後は図９の９０１の位置となってしまう為に、露光開始タイミングをずらす必要が生じる。すなわち、露光開始タイミングを図１０（ｃ）の８２３のように３ＶＤ期間ずらし、さらに（ＶＤｎｕｍ＋１）−４、すなわちＶＤｎｕｍ−３経過後に２回目のパターン検出信号が９００と所望の位置となる。
【００９７】
次にＶＤｓ２−ＶＤｓ１＝２の場合を説明する。ＶＤｓ２−ＶＤｓ１＝２の時は、２回目のパターン検出信号出力後から、次の画像パターン検出信号がＶＤｎｕｍ＋２経過後に出力されるように露光開始タイミングを制御すれば、所望のタイミングで画像パターン検出信号を出力する事が可能となる。よって、２回目のパターン検出信号時のＶＤのズレ量が“２”の場合（ＶＤｓ２＝２及び図８の８１７）の場合に、ＶＤｎｕｍ＋２経過後に図９の９００の所望位置となるので、露光期間の開始タイミングをずらす必要はない。
【００９８】
次に２回目のパターン検出信号時のＶＤのズレ量が“１”の場合（ＶＤｓ２＝１及び図８の８１４）の場合は、ＶＤｎｕｍ＋２経過後のパターン検出信号は図９の９０３の位置となってしまう為に、露光開始タイミングをずらす必要が生じる。すなわち、露光開始タイミングを図１０（ａ）の８２１のように１ＶＤ期間ずらし、さらに（ＶＤｎｕｍ＋２）−４、すなわちＶＤｎｕｍ−２経過後に２回目のパターン検出信号が９００と所望の位置となる。
【００９９】
また、２回目のパターン検出信号時のＶＤのズレ量が“０”の場合（ＶＤｓ２＝０及び図８の８１１）の場合は、ＶＤｎｕｍ＋２経過後のパターン検出信号は図９の９０２の位置となってしまう為に、露光開始タイミングをずらす必要が生じる。すなわち、露光開始タイミングを図１０（ｂ）の８２２のように２ＶＤ期間ずらし、さらに（ＶＤｎｕｍ＋２）−４、すなわちＶＤｎｕｍ−２経過後に２回目のパターン検出信号が９００と所望の位置となる。
【０１００】
さらに、２回目のパターン検出信号時のＶＤのズレ量が“３”の場合（ＶＤｓ２＝３及び図８の８２０）の場合は、ＶＤｎｕｍ＋２経過後は図９の９０１の位置となってしまう為に、露光開始タイミングをずらす必要が生じる。すなわち、露光開始タイミングを図１０（ｃ）の８２３のように３ＶＤ期間ずらし、さらに（ＶＤｎｕｍ＋２）−４、すなわちＶＤｎｕｍ−２経過後に２回目のパターン検出信号が９００と所望の位置となる。
【０１０１】
次にＶＤｓ２−ＶＤｓ１＝３の場合を説明する。ＶＤｓ２−ＶＤｓ１＝３の時は、２回目のパターン検出信号出力後から、次の画像パターン検出信号がＶＤｎｕｍ＋３経過後に出力されるように露光開始タイミングを制御すれば、所望のタイミングで画像パターン検出信号を出力する事が可能となる。よって、２回目のパターン検出信号時のＶＤのズレ量が“１”の場合（ＶＤｓ２＝１及び図８の８１４）の場合に、ＶＤｎｕｍ＋３経過後に図９の９００の所望位置となるので、露光期間の開始タイミングをずらす必要はない。
【０１０２】
次に２回目のパターン検出信号時のＶＤのズレ量が“０”の場合（ＶＤｓ２＝０及び図８の８１１）の場合は、ＶＤｎｕｍ＋３経過後のパターン検出信号は図９の９０３の位置となってしまう為に、露光開始タイミングをずらす必要が生じる。すなわち、露光開始タイミングを図１０（ａ）の８２１のように１ＶＤ期間ずらし、さらに（ＶＤｎｕｍ＋３）−４、すなわちＶＤｎｕｍ−１経過後に２回目のパターン検出信号が９００と所望の位置となる。
【０１０３】
また、２回目のパターン検出信号時のＶＤのズレ量が“３”の場合（ＶＤｓ２＝３及び図８の８２０）の場合は、ＶＤｎｕｍ＋３経過後のパターン検出信号は図９の９０２の位置となってしまう為に、露光開始タイミングをずらす必要が生じる。すなわち、露光開始タイミングを図１０（ｂ）の８２２のように２ＶＤ期間ずらし、さらに（ＶＤｎｕｍ＋３）−４、すなわちＶＤｎｕｍ−１経過後に２回目のパターン検出信号が９００と所望の位置となる。
【０１０４】
さらに、２回目のパターン検出信号時のＶＤのズレ量が“２”の場合（ＶＤｓ２＝２及び図８の８１７）の場合は、ＶＤｎｕｍ＋３経過後のパターン検出信号は図９の９０１の位置となってしまう為に、露光開始タイミングをずらす必要が生じる。すなわち、露光開始タイミングを図１０（ｃ）の８２３のように３ＶＤ期間ずらし、さらに（ＶＤｎｕｍ＋３）−４、すなわちＶＤｎｕｍ−１経過後に２回目のパターン検出信号が９００と所望の位置となる。
【０１０５】
以上のように、パターン検出信号間のＶＤ数と、パターン検出信号出力時の所望のパターン検出位置のズレ量から、次のパターン検出信号の位置を推測し、露光開始タイミグを制御する事で所望の画像パターン検出信号を得る。また、検査台７００の回転速度をＰＣ７０１で検出し、推測するパターン検出信号位置を補正するように制御してもよい。
【０１０６】
なお、本実施形態では、推測するパターン検出位置をＶＤ間隔の回数をカウントする事で推測したが、実際の時間を計測する様にしても良く、更に露光開始タイミングをＶＤ単位ではなく、計測時間に合わせるように制御しても良い。また、取り込み画像を撮像する以外の時間においては適宜撮像装置の動作の全部または一部を停止して省電力を行ってもよい。
【０１０７】
以上述べてきた様に、複数フレーム期間露光を行うスローシャッタ制御においても、パターン検出信号間の時間と最適なパターン検出位置からのズレ量から、次のパターン検出信号出力タイミングを推測し、露光開始タイミングを制御する事でパターン検出タイミグ時付近の動画に影響することなく、所望のタイミングの静止画を取得する事が可能となる。
【符号の説明】
【０１０８】
１００  検査台
１０１  ＰＣ
１０２  撮像装置
１０３  レンズ
１０４  撮像素子
１０５  画像処理部
１０６  パターン検出部
１０７  合成部
１０８  現像処理部
１０９  メモリ
１１０  制御部
１１１  表示部
【図１】
2019193198.tif 000003
【図２】
2019193198.tif 000004
【図３】
2019193198.tif 000005
【図４】
2019193198.tif 000006
【図５】
2019193198.tif 000007
【図６】
2019193198.tif 000008
【図７】
2019193198.tif 000009
【図８】
2019193198.tif 000010
【図９】
2019193198.tif 000011
【図１０】
2019193198.tif 000012