(57)【要約】【課題】画質を向上させることが可能な画像処理装置を提供する。【解決手段】画像処理装置は、相互に異なる波長域の光を光電変換する複数の画素が第１方向に第１周期で配置された撮像素子から複数の画像信号が入力される入力部と、前記入力部に入力された複数の画像信号を、それぞれ前記第１方向にシフトして積算する処理部と、を備える。【選択図】図１
2020170992.tif 000002
【特許請求の範囲】
【請求項１】
相互に異なる波長域の光を光電変換する複数の画素が第１方向に第１周期で配置された撮像素子から複数の画像信号が入力される入力部と、
前記入力部に入力された複数の画像信号を、それぞれ前記第１方向にシフトして積算する処理部と、
を備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記処理部は、前記第１方向に前記第１周期よりも短い間隔ずつずらして撮像された複数の画像信号に基づいて、複数の積算された画像信号を生成する画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置において、
前記入力部は、第１の時点から所定の時間間隔で撮像された複数の第１の画像信号と、前記第１の時点から前記所定の時間間隔より短い時間だけ遅い第２の時点から所定の時間間隔で撮像された複数の第２の画像信号とが入力され、
前記処理部は、前記複数の第１の画像信号と前記複数の第２の画像信号とに基づいて、複数の積算された画像信号を生成する画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記処理部は、前記複数の第１の画像信号と前記複数の第２の画像信号とを、別々に、それぞれ前記第１方向にシフトして積算し、２つの積算された画像信号を生成する画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記処理部は、前記複数の第１の画像信号と前記複数の第２の画像信号とを、別々に、それぞれ前記第１方向に前記第１周期の自然数倍だけシフトして積算する画像処理装置。
【請求項６】
請求項２から請求項５までのいずれか一項に記載の画像処理装置において、
前記処理部は、複数の積算された画像信号を合成する画像処理装置。
【請求項７】
請求項１から請求項６までのいずれか一項に記載の画像処理装置において、
前記入力部は、複数の前記画素がベイヤー配列に従って配置された前記撮像素子から前記複数の画像信号が入力される画像処理装置。
【請求項８】
請求項１から請求項７までのいずれか一項に記載の画像処理装置と、
前記複数の画像信号を前記画像処理装置に出力する前記撮像素子と、
を備える計測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および計測装置に関する。
【背景技術】
【０００２】
赤色フィルタを備える画素列と、緑色フィルタを備える画素列と、青色フィルタを備える画素列とが所定の順番で配列されたものを一つの画素列群として、この画素列群が複数配列されたＴＤＩセンサが知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−３３４１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載のＴＤＩセンサは、一回の露光につきライン画像の転送を３回行う、つまり、各画素列群に属する各画素列の電荷を隣接する画素列群の同じフィルタが形成された画素列にそれぞれ転送する必要がある。このため、ＴＤＩセンサの構成、及びそのＴＤＩセンサの制御が複雑となってしまう。
【課題を解決するための手段】
【０００５】
本発明の第１の態様によると、画像処理装置は、相互に異なる波長域の光を光電変換する複数の画素が第１方向に第１周期で配置された撮像素子から複数の画像信号が入力される入力部と、前記入力部に入力された複数の画像信号を、それぞれ前記第１方向にシフトして積算する処理部と、を備える。
本発明の第２の態様によると、計測装置は、第１の態様による画像処理装置と、前記複数の画像信号を前記画像処理装置に出力する前記撮像素子と、を備える。
【発明の効果】
【０００６】
本発明によれば、画質を向上させることができる。
【図面の簡単な説明】
【０００７】
【図１】第１の実施の形態に係る計測装置の構成例を示す図である。
【図２】第１の実施の形態に係る撮像素子の画素の配置例を示す図である。
【図３】第１の実施の形態に係る撮像素子と被写体との位置関係の一例を示す図である。
【図４】第１の実施の形態に係る計測装置による処理の一例を説明するための図である。
【図５】第１の実施の形態に係る計測装置による処理の一例を説明するための図である。
【図６】第１の実施の形態に係る計測装置による処理の一例を説明するための図である。
【図７】第２の実施の形態に係る計測装置による処理の一例を説明するための図である。
【図８】第２の実施の形態に係る計測装置による処理の一例を説明するための図である。
【発明を実施するための形態】
【０００８】
（第１の実施の形態）
図１は、第１の実施の形態に係る計測装置の構成例を示す図である。計測装置１は、移動部１０と、撮像部２０と、制御部３０とを備え、被計測物（計測対象物）４０の形状の計測を行う。計測装置１は、移動部１０によって被計測物４０を所定の移動方向（スキャン方向）に移動させながら被計測物４０を走査し、撮像部２０に撮像を行わせる。計測装置１は、被計測物４０を撮像して得られる画像信号（画像データ）に基づいて、被計測物（被検物）４０の欠け、キズ、汚れ等の検査を行う。
【０００９】
移動部（搬送部）１０は、被計測物４０が載置されるステージ１１と、駆動部１２と、位置検出部１３とを備える。駆動部１２は、モータ及びモータを駆動する駆動回路を有し、制御部３０から出力される信号に基づき、ステージ１１を移動させる。被計測物４０は、駆動部１２によってステージ１１が移動されることで、ステージ１１と共に移動する。位置検出部１３は、エンコーダを有し、ステージ１１の位置に関する情報（位置情報）を生成して制御部３０に出力する。
【００１０】
撮像部２０は、光学系２１と撮像素子２２と照射部（不図示）とを備える。照射部は、光源を有し、光源が発生した光を被計測物である被写体４０に対して照射する。光学系２１は、複数のレンズを含み、撮像素子２２の撮像面２２ａに被写体像を形成する。撮像素子２２は、例えばＣＭＯＳイメージセンサであり、光学系２１を通過した光を受光し、被写体像を撮像する。被写体４０からの光は、図１のＺ軸プラス方向に向かって入射する。また、図１の座標軸に示すように、Ｚ軸に直交する紙面右下方向をＸ軸プラス方向、Ｚ軸及びＸ軸に直交する紙面右奥方向をＹ軸プラス方向とする。以降の図においては、図１の座標軸を基準として、それぞれの図の向きが分かるように座標軸を表示する場合もある。
【００１１】
撮像素子２２には、光電変換部を有する複数の画素が二次元状（行方向及び列方向）に配置される。光電変換部は、フォトダイオードによって構成され、入射した光を電荷に変換する。撮像素子２２の画素は、光電変換部で生成された電荷に基づく信号（画素信号）を生成する。撮像素子２２は、アナログ／デジタル変換部（ＡＤ変換部）を有し、各画素により生成されたアナログ信号である画素信号を、デジタル信号に変換する。各画素の画素信号は、デジタル信号に変換された後に、制御部３０に出力される。なお、本実施の形態では、ＡＤ変換部は、撮像素子２２内に設けられているが、撮像素子２２とは別に設けるようにしてもよい。
【００１２】
図２は、第１の実施の形態に係る撮像素子の画素の配置例を示す図である。撮像素子２２においては、画素２５が二次元状（行方向（±Ｘ方向）及び列方向（±Ｙ方向））に配置される。図２に示す例は、６行１０列の計６０個の画素２５を図示している。なお、撮像素子２２に配置される画素の数及び配置は、図示した例に限られない。
【００１３】
画素２５には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の異なる分光感度を有する３つのカラーフィルタ（色フィルタ）のいずれかが配置される。Ｒのカラーフィルタは赤色の波長域の光を透過し、Ｇのカラーフィルタは緑色の波長域の光を透過し、Ｂのカラーフィルタは青色の波長域の光を透過する。撮像素子２２は、Ｒのカラーフィルタを有する画素（Ｒ画素）と、Ｇのカラーフィルタを有する画素（Ｇ画素）と、Ｂのカラーフィルタを有する画素（Ｂ画素）とを有する。Ｒ画素２５とＧ画素２５とＢ画素２５とは、ベイヤー配列に従って配置されている。
【００１４】
撮像素子２２は、図２に示すように、Ｇ画素２５とＲ画素２５とが行方向（±Ｘ方向）に交互に配置される第１の画素群と、Ｂ画素２５とＧ画素２５とが行方向に交互に配置される第２の画素群とを有する。第１の画素群と第２の画素群とは、列方向（±Ｙ方向）に交互に配置される。Ｇ画素２５及びＢ画素２５が列方向に周期２ｄで周期的に配置される第１の画素列と、Ｒ画素２５及びＧ画素２５が列方向に周期２ｄで周期的に配置される第２の画素列とが、行方向に交互に配置される。
【００１５】
Ｒ画素２５、Ｇ画素２５、及びＢ画素２５は、互いに異なる波長域の光を光電変換した電荷に基づく画素信号を生成する。Ｒ画素２５、Ｇ画素２５、及びＢ画素２５は、それぞれ、Ｒ成分の画素信号、Ｇ成分の画素信号、Ｂ成分の画素信号を生成する。なお、波長域が互いに異なるとは、波長域が完全には一致しないことを意味し、各波長域は部分的に重なっていてもよいし、一方の波長域が他方の波長域を包含していてもよい。
【００１６】
図１に戻り、制御部３０は、ＣＰＵ、ＦＰＧＡ、ＡＳＩＣ等のプロセッサ、及びＲＯＭ、ＲＡＭ等のメモリを有し、プログラムを実行して、その機能を実現する。制御部３０は、入出力回路を含み、移動部１０及び撮像部２０とそれぞれ通信可能に構成される。制御部３０は、移動制御部３１と、撮像制御部３２と、記憶部３３と、画像処理部３４とを有する。制御部３０又は画像処理部３４は、画像処理装置の一例である。制御部３０は、コンピュータ又はタブレット端末でもよいし、他の電子機器であってもよい。
【００１７】
移動制御部３１は、移動部１０を制御する信号を生成し、生成した信号を移動部１０に出力する。移動制御部３１は、移動部１０のステージ１１の移動開始及び停止、ステージ１１の移動速度を制御する。移動部１０の駆動部１２は、移動制御部３１から出力される信号に基づき、被写体４０が載置されたステージ１１をＹ方向に一定の速度で移動させる。移動部１０は、撮像部２０に対して被写体４０を相対的に移動させ、撮像部２０と被写体４０との相対位置を変化させる。制御部３０は、移動部１０を制御して、撮像部２０と被写体４０との相対位置を変化させ、撮像部２０による被写体の撮像範囲を変化させる。
【００１８】
撮像制御部３２は、撮像部２０を制御する信号を撮像部２０に供給し、撮像部２０の動作を制御する。撮像制御部３２は、撮像素子２２の光電変換部で電荷の蓄積が行われる期間を制御する。撮像制御部３２は、撮像部２０に所定周期のフレーム毎に繰り返し被写体像を撮像させて、画素信号を出力させる。撮像制御部３２は、撮像部２０からデジタル信号に変換された各画素２５の画素信号が入力され、各画素２５の画素信号を含む画像信号（画像データ）を取得する。撮像制御部３２は、撮像部２０から画像信号が入力される入力部３２として機能する。
【００１９】
撮像制御部３２は、移動部１０の位置検出部１３から出力されるステージ１１の位置情報に基づき、撮像部２０の動作を制御する。撮像制御部３２は、位置検出部１３により検出されたステージ１１の位置情報、即ちエンコーダから出力される信号に同期して、撮像部２０の撮像タイミングを制御する。
【００２０】
計測装置１は、移動部１０による＋Ｙ方向へのステージ１１の移動動作に同期して、撮像部２０による撮像動作を繰り返し行う。制御部３０は、移動部１０によってステージ１１が所定距離、例えば奇数画素分の幅（Ｙ軸方向の幅）ずつ移動する毎に、撮像素子２２に被写体像を撮像させることによって、複数の画像信号を取得する。
【００２１】
記憶部３３は、記憶媒体により構成され、画像信号及び制御プログラムが記憶（記録）される。撮像制御部３２と画像処理部３４とは、記憶部３３へのデータの書き込み、及び記憶部３３からのデータの読み出しを行う。撮像制御部３２により取得された画像信号は、記憶部３３に記憶される。なお、画像信号を記憶する記憶部を、画像処理部３４内に設けるようにしてもよい。
【００２２】
画像処理部３４は、撮像を行って得られた画像信号に対して画像処理を施す。画像処理部３４は、複数回の撮像により得られた複数の画像信号を積算（加算）する処理を行う。画像処理部３４は、ある１回の撮像によって得られた画像信号と、その撮像よりも時間的に後の撮像によって得られた画像信号とを積算する。このような処理は、時間遅延積分（ＴＤＩ：Time Delay Integration）と呼ばれる。本実施の形態では、画像処理部３４及び記憶部３３の一部又は全部は、積算部として機能する。また、画像処理部３４は、色補間処理、階調変換処理などの信号処理も行う。
【００２３】
図３は、第１の実施の形態に係る撮像素子と被写体との位置関係の一例を示す図である。図３（ａ）〜（ｅ）は、それぞれ、第Ｎ〜第（Ｎ＋４）回目の撮像時、即ち第Ｎ〜第（Ｎ＋４）フレームにおける撮像素子２２と被写体４０との位置関係を模式的に示している。制御部３０の撮像制御部３２は、撮像素子２２及び移動部１０によって被写体４０を走査させると共に、撮像素子２２に被写体像を複数回撮像させる。撮像制御部３２は、ステージ１１の位置情報に基づいて決定した時間間隔で、撮像素子２２に繰り返し撮像を行わせる。図３に示す例では、同一の時間間隔で第Ｎ〜第（Ｎ＋４）回目の撮像が行われることを模式的に示しており、時刻ｔ１〜時刻ｔ２の期間、時刻ｔ２〜時刻ｔ３の期間、時刻ｔ３〜時刻ｔ４の期間、及び時刻ｔ４〜時刻ｔ５の期間は、それぞれ同一の時間間隔である。なお、エンコーダから出力されるステージ１１の位置情報に同期して撮像部２０による撮像が行われるため、上述の時間間隔には多少の時間的バラつきが生じうる。同一の時間間隔で撮像が行われることが望ましいが、所定の精度を達成することができる限りにおいて、略同一の時間間隔で撮像を行えばよい。これにより、繰り返し撮像を行って得られる複数の画像信号を精度良く積算することが可能となる。
【００２４】
本実施の形態に係る撮像制御部３２は、複数の画素が繰り返し配置される周期（例えば、図２を用いて上述した２ｄ）よりも短い間隔（例えば１ｄ）ずつステージ１１が移動する度に、撮像部２０に撮像（図３では第Ｎ〜第（Ｎ＋４）回目の撮像）を行わせる。制御部３０の画像処理部３４は、撮像された複数の画像信号を、被写体像の移動に合わせてずらしつつ積算する処理（ＴＤＩ処理）を行う。
【００２５】
例えば、画像処理部３４は、第Ｎ回目の撮像により得られた画像信号と、第Ｎ回目の撮像時の位置から周期２ｄずつステージ１１が移動した際の撮像、例えば第（Ｎ＋２）回目及び第（Ｎ＋４）回目の撮像によりそれぞれ得られた画像信号とを積算する処理を行う。また、画像処理部３４は、第（Ｎ＋１）回目の撮像により得られた画像信号と、第（Ｎ＋１）回目の撮像時の位置から周期２ｄずつステージ１１が移動した際の撮像、例えば第（Ｎ＋３）回目及び第（Ｎ＋５）回目の撮像によりそれぞれ得られた画像信号とを積算する処理を行う。画像処理部３４は、複数回の撮像を行って得られる複数の画像信号を、それぞれ、画素２５の配置される周期２ｄの自然数倍だけシフトして積算する。
【００２６】
このように、画像処理部３４は、画素２５の配置される周期よりも短い間隔ずつずらして撮像して得られる複数の画像信号のうち、一部の複数の画像信号と他の一部の複数の画像信号とを別々に積算する処理を行う。記憶部３３には、積算して生成される画像信号の数に対応して、複数のメモリ領域が用意（設定）される。画像処理部３４は、積算された画像信号毎に用意される複数のメモリ領域を用いて積算処理を行うことによって、複数の積算された画像信号を生成する。このため、画像処理部３４は、画像信号の積算処理を行う際に、互いに異なる色成分の画素信号を積算してしまうことを回避することができる。
【００２７】
ｍ画素周期で画素が配置され、ｍ画素周期よりも短いｎ画素分ずつ移動した位置（時間）において撮像を行う場合に、画像処理部３４は、ｍ個のメモリ領域を用いて画像信号の積算処理を行うことで、互いに異なる色成分の画素信号が積算されることを防ぐことができる。なお、画像処理部３４は、複数の記憶部（メモリ）を用いて積算処理を行ってもよく、その場合には複数の画像信号のうち一部の複数の画像信号を積算した画像信号と他の一部の複数の画像信号を積算した画像信号とを別々の記憶部に記憶させることができる。
【００２８】
図３に示す例の場合は、画像処理部３４は、第１の時点（時刻ｔ１）から所定の時間間隔Ｔで撮像して得られる複数の画像信号を積算する処理と、第１の時点から所定の時間間隔Ｔより短い時間だけ遅い第２の時点（時刻ｔ２）から所定の時間間隔Ｔで撮像して得られる複数の画像信号を積算する処理とを行う。画像処理部３４は、奇数回目の撮像、例えば第Ｎ回目、第（Ｎ＋２）回目、及び第（Ｎ＋４）回目の撮像により得られた複数の画像信号を積算し、偶数回目の撮像、例えば第（Ｎ＋１）回目、第（Ｎ＋３）回目、及び第（Ｎ＋５）回目の撮像により得られた複数の画像信号を積算する。画像処理部３４は、積算処理を行って得られた複数の画像信号を、記憶部３３に記憶する。
【００２９】
記憶部３３は、第１の記憶部３３ａ及び第２の記憶部３３ｂ（図１参照）を有する。画像処理部３４は、複数回の撮像のうち奇数回目の撮像により得られた複数の画像信号を積算した画像信号を、第１の記憶部３３ａに記憶させる。また、画像処理部３４は、複数回の撮像のうち偶数回目の撮像により得られた複数の画像信号を積算した画像信号を、第２の記憶部３３ｂに記憶させる。
【００３０】
複数の画像信号を積算して生成される画像信号は、１回の撮像における画素の電荷蓄積時間（露光時間）の数倍の電荷蓄積時間で光電変換された電荷に基づく画像信号に相当する。このため、計測装置１は、被写体からの光に対する感度を向上させることができる。計測装置１は、１回の撮像のみによって生成される画像信号と比較して、画像信号のＳ／Ｎ比を向上させることができる。
【００３１】
また、画像処理部３４は、第１の記憶部３３ａに記憶された画像信号と、第２の記憶部３３ｂに記憶された画像信号とを合わせる処理を行う。これにより、計測装置１は、高解像度の画像信号を得ることができる。このように、本実施の形態では、複雑な構成の撮像素子を用いることなく、画質を向上させることができる。以下では、ステージ１１を１画素分の幅（図２に示す画素ピッチ（画素の間隔）ｄに相当する距離）ずつ移動させる場合を例にして、本実施の形態に係る計測装置１による処理の一例について説明する。
【００３２】
図４〜図６は、第１の実施の形態に係る計測装置による処理の一例を説明するための図である。図４（ａ）〜（ｃ）は、それぞれ、第１〜第３回目の撮像時における撮像素子２２と被写体４０との位置関係、撮像素子２２から出力される画像信号、第１の記憶部３３ａに記憶される画像信号、及び第２の記憶部３３ｂに記憶される画像信号を模式的に示している。図５（ａ）〜（ｃ）は、それぞれ、第６〜第８回目の撮像時における撮像素子２２と被写体４０との位置関係、撮像素子２２から出力される画像信号、第１の記憶部３３ａに記憶される画像信号、及び第２の記憶部３３ｂに記憶される画像信号を模式的に示している。
【００３３】
図４及び図５に示す例では、撮像素子２２は、図２を用いて説明した例と同様に、６個×１０個（６行×１０列）の画素２５を有している。なお、第１回目の撮像が行われる前、第１の記憶部３３ａ及び第２の記憶部３３ｂには、それぞれ、各画素の画素信号を初期値（例えば０）とした画像信号が記憶される。なお、Ｒ、Ｇ、又はＢの後に付した数字は、画素信号の積算数（加算数）を示している。例えば、Ｒ２は、２個のＲ成分の画素信号を積算して得られた画素信号であることを表し、Ｒ３は、３個のＲ成分の画素信号を積算して得られた画素信号であることを表している。
【００３４】
図４（ａ）に示す第１回目の撮像において、撮像素子２２の第６行目の各画素は、被写体４０の領域ａを含む領域を撮像し、所定の電荷蓄積時間（露光時間）における受光量に基づく画素信号を生成する。撮像素子２２は、第１回目の撮像により得られた各画素の画素信号を含む画像信号５１を、撮像制御部３２に出力する。画像処理部３４は、第１の記憶部３３ａに記憶された初期値と画像信号５１とを積算した画像信号６１を、第１の記憶部３３ａに記憶させる。第２の記憶部３３ｂには、各画素の画素信号を初期値とした画像信号７１が記憶される。
【００３５】
図４（ｂ）に示すように、移動部１０によって被写体４０が第１回目の撮像時の被写体４０の位置よりも画素の幅（画素ピッチ）ｄ（図２参照）に相当する駆動量だけ＋Ｙ方向に移動される。撮像制御部３２は、位置検出部１３から出力される位置情報に基づき、移動部１０によって被写体４０が１画素分の距離を移動するのに同期して、撮像部２０に第２回目の撮像を行わせる。また、画像処理部３４は、位置検出部１３から出力される位置情報に基づき、第１及び第２の記憶部３３ａ、３３ｂに記憶された画像信号６１、７１をシフトさせる処理（シフト処理）を行う。この場合、画像処理部３４は、画像信号６１、７１を、それぞれ、被写体４０の移動方向（図４、５に示す例では＋Ｙ方向）に被写体４０の移動量に相当する量（図４、５に示す例では１画素分）だけシフトさせる。なお、画像処理部３４は、シフト処理後の画像信号のうち、第６行目の画素信号を初期値（０）にリセットする。
【００３６】
この図４（ｂ）に示す第２回目の撮像では、撮像素子２２の第５行目の各画素は、被写体４０の領域ａを含む領域を撮像し、撮像素子２２の第６行目の各画素は、被写体４０の領域ｂを含む領域を撮像する。撮像素子２２は、第２回目の撮像により得られた画像信号５２を、撮像制御部３２に出力する。画像処理部３４は、画像信号５２と、第２の記憶部３３ｂに記憶された画像信号（画像信号７１を１画素分だけシフトさせた画像信号）とを積算した画像信号７２を、第２の記憶部３３ｂに記憶させる。第１の記憶部３３ａには、画像信号６１を１画素分だけシフトさせた画像信号６２が記憶される。
【００３７】
第２回目の撮像後、第１回目の撮像後と同様に、撮像制御部３２は、被写体４０が第２回目の撮像時の被写体４０の位置よりも１画素分だけ＋Ｙ方向に移動されるのに同期して、撮像素子２２に第３回目の撮像を行わせる。画像処理部３４は、被写体４０の位置が＋Ｙ方向に１画素分変わるのに応じて、第１及び第２の記憶部３３ａ、３３ｂに記憶された画像信号６２、７２に対してシフト処理を行う。
【００３８】
図４（ｃ）に示す第３回目の撮像では、撮像素子２２の第４行目の各画素は被写体４０の領域ａを含む領域を撮像し、撮像素子２２の第５行目の各画素は被写体４０の領域ｂを含む領域を撮像し、撮像素子２２の第６行目の各画素は被写体４０の領域ｃを含む領域を撮像する。撮像素子２２は、第３回目の撮像により得られた画像信号５３を、撮像制御部３２に出力する。画像処理部３４は、画像信号５３と、第１の記憶部３３ａに記憶された画像信号（画像信号６２を１画素分だけシフトさせた画像信号）とを積算する。画像処理部３４は、積算して得られた画像信号６３を第１の記憶部３３ａに記憶させる。第２の記憶部３３ｂには、画像信号７２を１画素分だけシフトさせた画像信号７３が記憶される。
【００３９】
第３回目の撮像後、第１及び第２回目の撮像後と同様に、撮像制御部３２は、被写体４０の移動に同期して、撮像素子２２に第４回目の撮像を行わせる。画像処理部３４は、第１及び第２の記憶部３３ａ、３３ｂに記憶された画像信号６３、７３に対してシフト処理を行う。
第４〜第５回目の撮像においても、第１〜第３回目の撮像の場合と同様に、画像処理部３４は、画像信号の積算処理を行う。
【００４０】
図５（ａ）に示す第６回目の撮像では、撮像素子２２の第１行目の各画素は被写体４０の領域ａを含む領域を撮像し、撮像素子２２の第２行目の各画素は被写体４０の領域ｂを含む領域を撮像し、撮像素子２２の第３行目の各画素は被写体４０の領域ｃを含む領域を撮像する。撮像素子２２は、第６回目の撮像により得られた画像信号５６を、撮像制御部３２に出力する。画像処理部３４は、画像信号５６と第２の記憶部３３ｂに記憶されていた画像信号とを積算し、積算された画像信号７６を第２の記憶部３３ｂに記憶させる。第１の記憶部３３ａには、画像信号６６が記憶される。第６回目の撮像後、画像処理部３４は、ステージ１１の移動に伴って被写体４０の位置が＋Ｙ方向に１画素分変わるのに応じて、第１及び第２の記憶部３３ａ、３３ｂに記憶された画像信号６６、７６に対してシフト処理を行う。
【００４１】
図５（ｂ）に示す第７回目の撮像では、撮像素子２２の第１行目の各画素は被写体４０の領域ｂを含む領域を撮像し、撮像素子２２の第２行目の各画素は被写体４０の領域ｃを含む領域を撮像する。撮像素子２２は、第７回目の撮像により得られた画像信号５７を、撮像制御部３２に出力する。画像処理部３４は、画像信号５７と第１の記憶部３３ａに記憶された画像信号（画像信号６６を１画素分だけシフトさせた画像信号）とを積算し、積算された画像信号６７を第１の記憶部３３ａに記憶させる。第２の記憶部３３ｂには、画像信号７７が記憶される。第７回目の撮像後、画像処理部３４は、第１及び第２の記憶部３３ａ、３３ｂに記憶された画像信号６７、７７に対してシフト処理を行う。
【００４２】
図５（ｃ）に示す第８回目の撮像では、撮像素子２２の第１行目の各画素は被写体４０の領域ｃを含む領域を撮像する。撮像素子２２は、第８回目の撮像により得られた画像信号５８を、撮像制御部３２に出力する。画像処理部３４は、画像信号５８と第２の記憶部３３ｂに記憶された画像信号（画像信号７７を１画素分だけシフトさせた画像信号）とを積算し、積算された画像信号７８を第２の記憶部３３ｂに記憶させる。第１の記憶部３３ａには、画像信号６８が記憶される。第８回目の撮像後、画像処理部３４は、第１及び第２の記憶部３３ａ、３３ｂに記憶された画像信号６８、７８に対してシフト処理を行う。
第９回目以降の撮像においても、第１〜第８回目の撮像の場合と同様に、画像処理部３４は、画像信号の積算処理を行う。
【００４３】
このように、計測装置１は、被写体４０と撮像部２０とを相対的に移動しながら撮像を行い、被写体４０の各領域について複数の画素信号を生成する。第６回目以降の撮像後では、第１の記憶部３３ａ及び第２の記憶部３３ｂには、それぞれ、第１行目の各画素の画素信号として、３つの画素信号が積算された画素信号（図５ではＲ３、Ｇ３又はＢ３）が記憶される。
【００４４】
画像処理部３４は、図６（ａ）に示すように、第６回目以降の撮像毎に第１の記憶部３３ａに記憶される第１行目の各画素の画素信号をつなぎ合わせる処理と、第６回目以降の撮像毎に第２の記憶部３３ｂに記憶される第１行目の各画素の画素信号をつなぎ合わせる処理とを行う。これにより、画像処理部３４は、３つの画素信号が積算された画素信号を画素毎に有する画像信号８１、８２を得ることができる。
【００４５】
例えば、図６（ａ）に示す画像信号８１の第１〜３行目の画素信号は、それぞれ、第６〜第８回目の撮像後に第１の記憶部３３ａに記憶される画像信号６６〜６８の第１行目の画素信号となる。図６（ａ）に示す画像信号８２の第１〜３行目の画素信号は、それぞれ、第６〜第８回目の撮像後に第２の記憶部３３ｂに記憶される画像信号７６〜７８の第１行目の画素信号となる。
【００４６】
画像信号８１、８２の各々の同じ行の画素信号は、被写体４０の同じ領域を撮像して得られる画素信号となる。例えば、画像信号８１、８２の第１行目の各画素の画素信号は、被写体４０の領域ａを含む領域を撮像して得られる画素信号である。また、画像信号８１、８２の第２行目の各画素の画素信号は、被写体４０の領域ｂを含む領域を撮像して得られる画素信号であり、画像信号８１、８２の第３行目の各画素の画素信号は、被写体４０の領域ｃを含む領域を撮像して得られる画素信号である。
【００４７】
画像処理部３４は、画像信号８１と画像信号８２とに基づいて、図６（ｂ）に示すように、画素毎に２つの色成分の画素信号を有する画像信号８３を生成する。画像信号８３は、画像信号８１と画像信号８２とが合成された画像信号ともいえる。なお、図６（ｂ）、（ｃ）においては、画素信号の積算数の図示を省略している。例えば、図６（ｂ）の画像信号８３のうちの第１行第１列目に示す「ＢＧ」は、第１行第１列目の画素の位置に関して、３つのＢ成分の画素信号が積算された画素信号と、３つのＧ成分の画素信号が積算された画素信号とがあることを意味している。
【００４８】
画像処理部３４は、画像信号８３に対して補間処理を施し、図６（ｃ）に示すように、画素毎に３つの色成分の画素信号を有する画像信号８４を生成する。この場合、画像処理部３４は、画像信号８３のうちＲ成分の画素信号がない画素のＲ成分の画素信号を、その画素の周辺画素のＲ成分の画素信号を用いて補間する。同様に、画像処理部３４は、画像信号８３のうちＢ成分の画素信号がない画素のＢ成分の画素信号を、その画素の周辺画素のＢ成分の画素信号を用いて補間する。このとき、画像処理部３４は、補正対象となる画素の画素信号を、その補正対象画素の左右の２つの画素信号の平均値に置き換えてもよい。図６（ｃ）に示す小文字の「ｒ」、「ｂ」は、補間された画素信号を表している。
【００４９】
特許文献１に記載の技術では、Ｒ、Ｇ、Ｂの３色のそれぞれについて、画素列の３ピッチ毎のライン画像群からなる画像を生成する。生成される画像は３色のそれぞれについて２ラインずつデータの無い画像となり、解像度が低下してしまう。
【００５０】
本実施の形態では、図６（ｂ）、（ｃ）に示すように、画像信号８３、８４は、全ての画素において、３つのＧ成分の画素信号が積算された画素信号（図中の「Ｇ」）を有する。また、画像信号８３は、１列ごとに、３つのＢ成分の画素信号が積算された画素信号（図中の「Ｂ」）と、３つのＲ成分の画素信号が積算された画素信号（図中の「Ｒ」）とを有する。このように、計測装置１は、画像信号８１と画像信号８２とを合わせる処理を行うことによって、実際に被写体像を撮像して生成された色成分の画素信号を多く含む画像信号を生成することができ、撮像の解像度を向上させることができる。計測装置１は、画像信号に基づく画像に偽色が生じることを抑制することができる。
【００５１】
上述した実施の形態によれば、次の作用効果が得られる。
（１）画像処理装置は、相互に異なる波長域の光を光電変換する複数の画素２５が第１方向に第１周期で配置された撮像素子２２から複数の画像信号が入力される入力部（撮像制御部３２）と、入力部に入力された複数の画像信号を、それぞれ第１方向にシフトして積算する処理部（画像処理部３４）と、を備える。このようにしたので、高感度の画像信号を生成することができ、画像の画質を向上させることができる。
【００５２】
（２）入力部は、第１の時点から所定の時間間隔で撮像された複数の第１の画像信号と、第１の時点から所定の時間間隔より短い時間だけ遅い第２の時点から所定の時間間隔で撮像された複数の第２の画像信号とが入力される。処理部は、複数の第１の画像信号と複数の第２の画像信号とに基づいて、複数の積算された画像信号を生成する。本実施の形態では、画像処理部３４は、奇数回目の撮像により得られた複数の画像信号を積算した画像信号と、偶数回目の撮像により得られた複数の画像信号を積算した画像信号とを生成する。画像処理部３４は、複数の画像信号を積算して生成されたこれらの画像信号を用いることによって、高解像度の画像信号を生成することが可能となる。このため、画質を向上させることができる。
【００５３】
（第２の実施の形態）
第２の実施の形態に係る計測装置について説明する。第２の実施の形態に係る計測装置１は、第１の実施の形態に係る計測装置１と同様の構成を有する。第１の実施の形態では、計測装置１は、被写体４０が奇数画素分の距離を移動する毎に撮像部２０に撮像を行わせて、生成される複数の画像信号を積算する例について説明した。第２の実施の形態では、計測装置１は、被写体４０が偶数画素分の距離を移動する毎に撮像部２０に撮像を行わせて、生成される複数の画像信号を積算する。なお、以下の説明では、第１の実施の形態の動作と同一の部分の説明は省略し、第１の実施の形態の動作と異なる動作を主に説明する。
【００５４】
図７及び図８は、第２の実施の形態に係る計測装置による処理の一例を説明するための図である。図７（ａ）〜（ｃ）は、それぞれ、第１〜第３回目の撮像時における撮像素子２２と被写体４０との位置関係、撮像素子２２から出力される画像信号、及び記憶部３３に記憶される画像信号を模式的に示している。なお、第１回目の撮像が行われる前、記憶部３３には、各画素の画素信号を初期値（例えば０）とした画像信号が記憶されている。
【００５５】
図７（ａ）に示す第１回目の撮像において、撮像素子２２の第５行目の各画素は、被写体４０の領域ａを含む領域を撮像し、第６行目の各画素は、領域ｂを含む領域を撮像する。撮像素子２２は、第１回目の撮像により得られた画像信号１０１を、撮像制御部３２に出力する。画像処理部３４は、記憶部３３に記憶されていた初期値と画像信号１０１とを積算して得られる画像信号１１１を、記憶部３３に記憶させる。
【００５６】
図７（ｂ）に示すように、移動部１０によって被写体４０が第１回目の撮像時の被写体４０の位置よりも＋Ｙ方向に２画素分、即ち、画素ピッチｄ（図２参照）の２倍の間隔２ｄに相当する駆動量だけ移動される。撮像制御部３２は、位置検出部１３から出力される位置情報に基づき、移動部１０によって被写体４０が２画素分の距離を移動するのに同期して、撮像部２０に第２回目の撮像を行わせる。画像処理部３４は、位置検出部１３から出力される位置情報に基づき、記憶部３３に記憶された画像信号１１１を、＋Ｙ方向に被写体４０の移動量に相当する量（２画素分）だけシフトさせる。なお、画像処理部３４は、シフト処理後の画像信号のうち、第５行目及び第６行目の画素信号をそれぞれ初期値（０）とする。
【００５７】
この図７（ｂ）に示す第２回目の撮像では、撮像素子２２の第３行目の各画素は領域ａを含む領域を撮像し、第４行目の各画素は領域ｂを含む領域を撮像し、第５行目の各画素は領域ｃを含む領域を撮像する。撮像素子２２は、第２回目の撮像により得られた画像信号１０２を、撮像制御部３２に出力する。画像処理部３４は、画像信号１０２と、記憶部３３に記憶された画像信号（画像信号１１１を２画素分だけシフトさせた画像信号）とを積算する。画像処理部３４は、積算した画像信号１１２を記憶部３３に記憶させる。第２回目の撮像後、第１回目の撮像後と同様に、画像処理部３４は、被写体４０の移動に対応して、記憶部３３に記憶された画像信号１１２に対してシフト処理を行う。
【００５８】
図７（ｃ）に示す第３回目の撮像では、撮像素子２２の第１行目の各画素は領域ａを含む領域を撮像し、第２行目の各画素は領域ｂを含む領域を撮像し、第３行目の各画素は領域ｃを含む領域を撮像する。撮像素子２２は、第３回目の撮像により得られた画像信号１０３を、撮像制御部３２に出力する。画像処理部３４は、画像信号１０３と、記憶部３３に記憶された画像信号（画像信号１１２を２画素分だけシフトさせた画像信号）とを積算する。画像処理部３４は、積算した画像信号１１３を記憶部３３に記憶させる。第３回目の撮像後、第１及び第２回目の撮像後と同様に、画像処理部３４は、被写体４０の移動に応じて、記憶部３３に記憶された画像信号１１３に対してシフト処理を行う。
第４回目以降の撮像においても、第１〜第３回目の撮像の場合と同様に、画像処理部３４は、画像信号の積算処理を行う。
【００５９】
このように、計測装置１は、撮像部２０の撮像素子２２（撮像面２２ａ）の位置に対して、被写体４０が２画素分の距離を移動する毎に撮像を行い、被写体４０の各領域について複数の画素信号を生成する。第３回目以降の撮像後では、記憶部３３には、第１行目、第２行目の各画素の画素信号として、３つの画素信号が積算された画素信号が記憶される。第３回目以降の撮像後では、撮像毎に、３つの画素信号が積算された画素信号が２行分ずつ得られる。
【００６０】
画像処理部３４は、図８に示すように、第３回目以降の撮像毎に記憶部３３に記憶される第１行目及び第２行目の各画素の画素信号をつなぎ合わせる処理を行う。これにより、画像処理部３４は、３つの画素信号が積算された画素信号を画素毎に有する画像信号１２０を得ることができる。画像処理部３４は、画像信号１２０に対して補間処理を施し、画素毎に３つの色成分の画素信号を有する画像信号を生成する。
【００６１】
上述した実施の形態によれば、次の作用効果が得られる。
（１）本実施の形態では、画像処理部３４は、被写体４０が偶数画素分だけ移動する度に撮像素子２２に撮像を行わせ、複数回の撮像を行って得られる複数の画像信号を積算する。このようにしたので、高感度の画像信号を生成することができ、画像の画質を向上させることができる。
【００６２】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
【００６３】
（変形例１）
上述した実施の形態では、記憶部３３に記憶された画像信号に対するシフト処理を行い、次の撮像により新たに得られた画像信号をそのシフト処理された画像信号に積算する例について説明したが、画像信号の処理の方法は、この方法に限られない。
【００６４】
制御部３０は、記憶部３３に記憶された画像信号に対するシフト処理を行う代わりに、画像信号を記憶部３３に記憶させる際に、画像信号を被写体４０の移動量に相当する量だけシフトさせて記憶部３３に記憶するようにしてもよい。制御部３０は、記憶部３３に記憶された画像信号（画像信号Ａと称する）に対するシフト処理を行わず、記憶部３３から画像信号Ａを読み出して、画像信号Ａに撮像により新たに生成された画像信号を積算する。そして、制御部３０は、その積算により得られる画像信号（画像信号Ｂと称する）を、画像信号Ａが記憶される記憶部３３のアドレス（位置）より被写体４０の移動量に相当する量だけシフトした記憶部３３のアドレスに記憶するようにしてもよい。また、例えば、制御部３０は、記憶部３３に記憶された画像信号に対するシフト処理を行わず、被写体４０の移動量に相当する量だけシフトしたアドレスから読み出した画像信号に、撮像により新たに得られた画像信号を積算して、そのシフトしたアドレスに記憶するようにしてもよい。
【００６５】
（変形例２）
上述した第１の実施の形態では、被写体４０が奇数画素分だけ移動する毎に撮像を行う場合の一例として、制御部３０が、被写体４０が１画素分だけ移動する毎に撮像部２０に撮像を行わせる例について説明した。制御部３０は、被写体４０が３画素分だけ移動する毎に撮像部２０に撮像を行わせてもよいし、被写体４０が５画素分だけ移動する毎に撮像部２０に撮像を行わせてもよい。制御部３０は、被写体４０が３画素分以上の奇数画素分だけ移動する毎に撮像部２０に撮像を行わせることにより、被写体４０が１画素分だけ移動する毎に撮像部２０に撮像を行わせる場合と比べて、高速に被写体４０を走査して画像信号を得ることができる。
【００６６】
上述した第２の実施の形態では、被写体４０が偶数画素分だけ移動する毎に撮像を行う場合の一例として、制御部３０が、被写体４０が２画素分だけ移動する毎に撮像部２０に撮像を行わせる例について説明した。制御部３０は、被写体４０が４画素分だけ移動する毎に撮像部２０に撮像を行わせてもよいし、被写体４０が６画素分だけ移動する毎に撮像部２０に撮像を行わせてもよい。制御部３０は、被写体４０が４画素分以上の偶数画素分だけ移動する毎に撮像部２０に撮像を行わせることにより、被写体４０が２画素分だけ移動する毎に撮像部２０に撮像を行わせる場合と比べて、被写体４０を高速に走査して画像信号を得ることができる。
【００６７】
（変形例３）
上述した実施の形態では、制御部３０が移動部１０から出力される位置情報に同期して、撮像部２０による撮像タイミングを制御する例について説明した。制御部３０が、被写体４０が載置されるステージ１１の移動量（又は位置）を決定し、決定した移動量（又は位置）に従ってステージ１１が移動されるように、移動部１０の駆動部１２を制御するようにしてもよい。この場合、制御部３０は、決定したステージ１１の移動量（又は位置）に関する信号に基づいて、撮像部２０による撮像タイミング及び画像信号をシフトさせる量を決定するようにしてもよい。なお、移動部１０の構成を、位置検出部１３を有しない構成としてもよい。計測装置１は、所定の方向に走査可能な構成であればよく、撮像部２０が被写体４０に対して相対的に移動するように構成してもよい。
【００６８】
（変形例４）
上述した実施の形態では、ベイヤー配列に従って画素が配置された撮像素子を用いる例について説明した。ベイヤー配列とは異なる色配列に従って画素が配置された撮像素子を用いてもよい。画素が１つの方向（図１では、スキャン方向であるＹ方向）にのみ配置された撮像素子を用いるようにしてもよい。
【００６９】
制御部３０は、列方向（±Ｙ方向）におけるカラーフィルタの配列周期に基づいて、積算処理を行って生成する画像信号の個数を決定するようにしてもよい。制御部３０が、列方向の１周期分の画素数に応じて、積算処理を行って生成する画像信号の数を変更するともいえる。例えば、撮像素子において列方向にＲ画素、Ｇ画素、Ｂ画素の順に繰り返し配置される場合、制御部３０は、積算処理によって３種類の画像信号を生成すればよい。
【００７０】
（変形例５）
上述した実施の形態では、カラーフィルタとしてＲ、Ｇ、Ｂのカラーフィルタを用いる例について説明した。カラーフィルタとしてＣｙ（シアン）、Ｍｇ（マゼンタ）、Ｙｅ（イエロー）のカラーフィルタを用いてもよい。
【００７１】
（変形例６）
上述した実施の形態では、光電変換部としてフォトダイオードを用いる例について説明した。光電変換部として、有機材料を用いて形成される光電変換膜を用いてもよい。
【００７２】
（変形例７）
計測装置１は、複数回の撮像を行う際に、撮像素子２２に撮像を行わせる際の露光量の条件（各画素の電荷蓄積時間、各画素信号を増幅する増幅率、または不図示の照射部による照明光量のいずれか）を変更するようにしてもよい。この場合、制御部３０は、複数回の撮像により得られた各画像信号に対し、上記の露光量の各条件に合わせてそれぞれ異なる増幅率（ゲイン）を設定し、異なる撮像条件で撮像された画像信号を合成するＨＤＲ（High Dynamic Range）処理を行うようにしてもよい。
【００７３】
上記では、種々の実施形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【００７４】
１…計測装置、１０…移動部、１１…ステージ、１２…駆動部、１３…位置検出部、２０…撮像部、２１…光学系、２２…撮像素子、３０…制御部、３１…移動制御部、３２…撮像制御部、３３…記憶部、３３ａ…第１の記憶部、３３ｂ…第２の記憶部、３４…画像処理部
【図１】
2020170992.tif 000003
【図２】
2020170992.tif 000004
【図３】
2020170992.tif 000005
【図４】
2020170992.tif 000006
【図５】
2020170992.tif 000007
【図６】
2020170992.tif 000008
【図７】
2020170992.tif 000009
【図８】
2020170992.tif 000010