(57)【要約】【課題】ストロボを発光するためにシステムが複雑になったり、撮影ごとに歪量の検出、及び歪補正量の演算を行ったり、異なる読み出し速度撮影を行ったりすることなく、精度の高いローリングシャッター歪の補正が可能になるようにする。【解決手段】検査用カメラにおいて、カメラ部１０１は、レンズにより結像した光学像を電気信号に変換するローリングシャッター方式の撮像素子を備える。歪量検出部１０３は、キャリブレーション時にカメラ部１０１で校正用被写体であるキャリブレーション用被写体を撮影し、映像信号からローリングシャッター歪量を検出して、中央演算部１０５に送信する。中央演算部１０５は、歪量検出部１０３から送信されるローリングシャッター歪量を解析し、許容範囲内であると判定した場合、該ローリングシャッター歪量をローリングシャッター歪補正量として記憶部１０４に保存する。【選択図】図１
2014204198.tif 000002
【特許請求の範囲】
【請求項１】
ローリングシャッター方式の撮像素子で撮影した画像を処理する画像処理装置であって、
前記撮像素子で校正用被写体を撮影した画像から歪量を検出する歪量検出手段と、
前記歪量検出手段で検出した歪量を、前記撮像素子で撮影する画像に対する歪補正量として保存する記憶手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記校正用被写体の固有情報を格納する格納手段と、
前記格納手段に格納された固有情報に基づいて、前記撮像素子で前記校正用被写体を撮影した画像から前記校正用被写体を検出する検出手段とを備え、
前記歪量検出手段は、前記検出手段で検出した前記校正用被写体から歪量を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記歪量検出手段で検出した歪量が許容範囲内であるか否かを判定する判定手段を備え、
前記判定手段で許容範囲内であると判定した歪量を前記記憶手段に保存することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記判定手段で許容範囲内でないと判定した場合、環境を変更する環境変更手段を備えたことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記環境は複数あり、前記各環境に変更可能範囲が定められていることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記環境変更手段は、前記複数の環境を予め定められた優先度に従って変更することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記環境には、被写体を移動させる移動手段の移動速度、及び撮影画角が含まれることを特徴とする請求項４乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記記憶手段に保存された歪補正量を用いて、前記撮像素子で撮影する画像に対して補正を施す歪補正手段を備えたことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
ローリングシャッター方式の撮像素子で撮影した画像を処理する画像処理装置の制御方法であって、
前記撮像素子で校正用被写体を撮影した画像から歪量を検出するステップと、
前記検出した歪量を、前記撮像素子で撮影する画像に対する歪補正量として記憶手段に保存するステップとを有することを特徴とする画像処理装置の制御方法。
【請求項１０】
ローリングシャッター方式の撮像素子で撮影した画像を処理する画像処理装置を制御するためのプログラムであって、
前記撮像素子で校正用被写体を撮影した画像から歪量を検出する処理と、
前記検出した歪量を、前記撮像素子で撮影する画像に対する歪補正量として記憶手段に保存する処理とをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ローリングシャッター方式の撮像素子で撮影した画像を補正するのに利用して好適な画像処理装置、その制御方法及びプログラムに関する。
【背景技術】
【０００２】
カメラが搭載する撮像素子には、グローバルシャッター方式のＣＣＤセンサやローリングシャッター方式のＣＭＯＳセンサ等が用いられる。ローリングシャッター方式のＣＭＯＳセンサの場合、原理上、蓄積後に信号を出力し終えた画素は、そのタイミングから再び光の蓄積を開始するので、結果として映像のラインごとに走査タイミングの期間、蓄積のタイミングにずれが発生する。その結果、走査線ごとに走査する時間だけ蓄積期間がずれるため、動きの速い被写体を撮影した場合に被写体が歪んでしまう現象が発生する。以降、同現象をローリングシャッター歪と称する。
【０００３】
近年、工場のラインを流れる部品や製品を撮影し、例えば半導体や液晶の外観検査、部品の位置決め、はんだの不良検査目的で使用される種類のカメラがある。同種のカメラは一般的に、ラインを流れる部品等を撮影するために最適な位置、撮影方向、撮影画角、撮影条件に設定され、以後、同一の環境で部品等を撮影する。
しかしながら、ローリングシャッター方式のＣＭＯＳセンサを搭載したカメラでラインを流れる部品等を撮影する場合、ローリングシャッター歪が発生するおそれがある。その結果、特に精度良く検査したい液晶等の部品検査の精度を落としてしまう可能性がある。
【０００４】
このような課題に対する従来の技術として、暗所で撮影中に、撮像素子の全ラインが走査中のタイミングでストロボをたき、ストロボ発光期間に全ラインの露光タイミングを揃えることでローリングシャッター歪を補正する技術がある。
また、撮影した映像から検査物の動き量を検出し、検査物の歪を画像補正する技術がある。
また、特許文献１には、撮像装置は、隣接水平ライン間で露光タイミングの異なる固体撮像素子（ＣＭＯＳイメージセンサ）を用いて撮影を行い、高速撮影条件による高速撮影画像の取得と通常撮影条件による通常撮影画像の取得とを交互に実行して、高速撮影画像及び通常撮影画像間のオプティカルフローに基づく画像処理によって、通常撮影画像に含まれるフォーカルプレーン歪を除去する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−８７２０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、暗所で撮影中に、撮像素子の全ラインが走査中のタイミングでストロボをたき、ストロボ発光期間に全ラインの露光タイミングを揃えることでローリングシャッター歪を補正する技術の場合、ストロボ発光タイミングと、ラインを流れる部品等と、カメラの撮影条件のすべてを合わせる必要があり、システムが複雑になってしまう問題がある。また、暗所にできない条件や、ストロボを発光できない部品等の場合、同技術でローリングシャッター歪を補正することができない。
また、撮影した映像から検査物の動き量を検出し、検査物の歪を画像補正する技術の場合、撮影ごとに歪量の検出、及び歪補正量を演算する必要がある。そのため、環境変化によってフレームごとに補正結果がばらつく可能性がある。また、画面内検査物速度が速すぎると、映像ズレが大きすぎて補正限界量を超え、補正できない場合がある。
また、特許文献１で開示されている技術の場合、撮影間に毎回、高速撮影画像の取得と通常撮影画像の取得とを交互に実行し、且つ、画像を比較し、動体の歪量を演算し、動体の歪量補正量を演算する必要であるため、ラインを流れる部品等を高速に撮影する必要のある場合、演算量、ハードウェア上の負荷が大きい。また、歪量を毎回検出する必要があるため、不要な入射光が入った場合等の撮影条件によって、補正量が一定であればよいのにもかかわらず補正量が変化してしまい、結果として検査精度を落としてしまう可能性がある。また、高速撮影画像の取得と通常撮影画像の取得の２種類の読み出しが可能なカメラシステムである必要があり、システム上の制約もかかる。
【０００７】
本発明が上記のような点に鑑みてなされたものであり、ストロボを発光するためにシステムが複雑になったり、撮影ごとに歪量の検出、及び歪補正量の演算を行ったり、異なる読み出し速度撮影を行ったりすることなく、精度の高いローリングシャッター歪の補正が可能になるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、ローリングシャッター方式の撮像素子で撮影した画像を処理する画像処理装置であって、前記撮像素子で校正用被写体を撮影した画像から歪量を検出する歪量検出手段と、前記歪量検出手段で検出した歪量を、前記撮像素子で撮影する画像に対する歪補正量として保存する記憶手段とを備えたことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、校正用被写体を撮影した画像から検出した歪量を歪補正量として用いるようにしたので、ストロボを発光するためにシステムが複雑になったり、撮影ごとに歪量の検出、及び歪補正量の演算を行ったり、異なる読み出し速度撮影を行ったりすることなく、精度の高いローリングシャッター歪の補正が可能になる。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る検査用カメラの構成を示すブロック図である。
【図２】検査用カメラと一般カメラとのローリングシャッター歪の発生条件の違いを示す図である。
【図３】キャリブレーションによりローリングシャッター歪量を検出する処理を示すフローチャートである。
【図４】キャリブレーション用被写体の例を示す図である。
【図５】走査ラインごとにローリングシャッター歪が発生することを説明するための図である。
【図６】キャリブレーションでの歪検出量を解析する処理を示すフローチャートである。
【図７】ローリングシャッター歪量と、コンベア速度及び撮影画角との関連を示す図である。
【図８】図６のコンベア速度及び撮影画角の変更処理を示すフローチャートである。
【図９】通常撮影時に環境変化をモニタリングする処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
以下、第１の実施形態に係る検査用カメラを説明する。検査用カメラは、工場のラインを流れる部品や製品を撮影する。
まず、図２を参照して、検査用カメラと、デジタル一眼レフカメラ等の一般カメラとのローリングシャッター歪の発生条件の違いについて説明する。
カメラの状態に関して、検査用カメラは、基本的に部品検査等のため、所定の位置に据え付けられたまま使用される。それに対して、一般カメラは、ユーザが被写体を最適な位置で撮影できるよう持ち運んで使用されるため、不定である。
撮影画角に関して、検査用カメラは、所定の位置に据え付けられたまま使用されることから、基本的に設置された条件で撮影画角は固定される。それに対して、一般カメラは、被写体に応じて撮影画角は逐次変更され、不定である。
撮影物のカメラとの相対移動速度に関して、検査用カメラは、所定の位置に据え付けられたまま使用され、部品等を検査用カメラの前に次々に流すためのベルトコンベアのコンベア速度も略一定であることから、相対移動速度は略固定である。それに対して、一般カメラは、被写体が異なるため、相対移動速度は不定である。
以上のように、一般カメラで発生するローリングシャッター歪量は不定であるの対し、検査用カメラで発生するローリングシャッター歪量は略固定である。よって、検査用カメラにおいては、基本的に、撮影された映像を固定のローリングシャッター歪補正量を用いて補正することにより、ローリングシャッター歪を補正することができる。
【００１２】
図１は、第１の実施形態に係る検査用カメラの構成を示すブロック図である。
カメラ部１０１は、入射光を結像するレンズと、レンズにより結像した光学像を電気信号に変換するローリングシャッター方式の撮像素子とを備え、撮像素子から得られた電気信号をＡＤ変換して、映像信号処理部１０２に送信する。
映像信号処理部１０２は、カメラ部１０１から出力される映像信号に対して現像処理、ホワイトバランス処理、ノイズ低減処理等を施す。
【００１３】
歪量検出部１０３は、キャリブレーション時にカメラ部１０１で校正用被写体であるキャリブレーション用被写体を撮影し、映像信号処理部１０２で処理した映像信号からローリングシャッター歪量を検出する。そして、検出したローリングシャッター歪量（以下、歪検出量ともいう）を中央演算部１０５に送信する。
中央演算部１０５は、歪量検出部１０３から送信される歪検出量を解析し、許容範囲内であると判定した場合、該歪検出量をローリングシャッター歪補正量として記憶部１０４に保存する。
【００１４】
歪補正部１０８は、記憶部１０４に保存されたローリングシャッター歪補正量を用いて、映像信号処理部１０２から出力される映像信号に対して補正を施し、補正後の映像信号を出力する。
【００１５】
環境変更部１０７は、周囲の光量、部品等をカメラの前に次々に流すためのベルトコンベアのコンベア速度、撮影画角等の環境を変更する機能を有する。環境変更部１０７は、中央演算部１０５からの指令に応じて、ベルトコンベアのモータ速度を変更する制御信号、光源の光量を調整する制御信号、撮影画角を調整する制御信号等を出力する。
環境情報検出部１０６は、周囲の光量、ベルトコンベアのコンベア速度、撮影画角等を検出／モニタリングする機能を有する。環境情報検出部１０６は、コンベア速度検出用センサの信号を解析したり、環境光量を検出する光量計からの情報を検出したりして、中央演算部１０５に環境情報を伝達する。
【００１６】
次に、歪量検出部１０３が、キャリブレーションによりローリングシャッター歪量を検出する処理について説明する。キャリブレーションは、検査対象物を検査できるように検査用カメラを設置し、撮影画角等の設定が終了した後、検査がスタートする前に基本的には１度だけ実施する。
図３に、キャリブレーションによりローリングシャッター歪量を検出する処理を示す。
キャリブレーション用被写体を検査時と同一速度に設定されたベルトコンベアで搬送し、検査用カメラの正面に流す（ステップＳ３０１）。キャリブレーション用被写体については後述する。
検査用カメラは、キャリブレーション用被写体が撮影画角内に納まるタイミングで撮影する（ステップＳ３０２）。
【００１７】
次に、検査用カメラは、映像信号からキャリブレーション用被写体を検出する（ステップＳ３０３）。キャリブレーション用被写体の固有情報（色、サイズ、エッジ情報等）は記憶部１０４に事前に格納されており、該固有情報と照合することで、映像信号からキャリブレーション用被写体を検出することができる。
【００１８】
次に、検査用カメラの歪量検出部１０３は、ステップＳ３０３において検出したキャリブレーション用被写体からローリングシャッター歪量を画像の走査ラインごとに検出する（ステップＳ３０４）。ローリングシャッター歪が発生した場合、キャリブレーション用被写体の画像が、センサ走査線ごとに所定量ずれる。ステップＳ３０４では、走査ラインごとのズレ量を画素ピッチで検出する。補正時には、本ルーチンで検出した走査ラインごとのズレ量に応じて走査ラインをずらす補正を施すことでローリングシャッター歪を補正する。
ローリングシャッター歪は、走査ライン方向に被写体が移動する場合、図５に示すように走査ラインごとに発生する。走査ラインと垂直方向の成分の移動量に対しては、被写体の伸縮に発生する。同現象が発生した場合、被写体情報の一部欠落が発生する場合があるため補正が完全にできない。よって、基本的には検査用カメラは被写体がカメラ搭載センサの走査ラインに対して平行になるように設置する必要がある。図３のキャリブレーション時に、キャリブレーション用被写体の伸縮量も合わせて計算し、所定の量以上の場合は警告を出す、又は検査用カメラ自らが駆動機構を有する場合は撮影方向を変更し、走査ラインに対して被写体が平行になるように補正してもよい。
【００１９】
図４に、キャリブレーション用被写体の例を示す。
図４（ａ）は、キャリブレーション用被写体４０１を示す。キャリブレーション用被写体４０１は、映像信号からの検出が容易となるように矩形形状を有する。また、キャリブレーション用被写体４０１は、他の被写体や背景と容易に識別できるように、原色Ｒの単色で塗られている。キャリブレーション用被写体４０１の固有情報（色、サイズ、エッジ情報等）はキャリブレーション前に記憶部１０４に格納される。このように矩形形状であり、且つ固有情報も特定されているキャリブレーション用被写体４０１を用いることにより、走査ラインごとの歪量を精度良く検出することができる。また、上述した走査ラインに対して垂直成分の歪量をあらかじめ検出することも容易である。
なお、図４（ａ）に示すキャリブレーション用被写体４０１は一例であり、それに限定されるものではない。図４（ｂ）は、他の例のキャリブレーション用被写体４０２を示す。キャリブレーション用被写体４０２の色彩は、背景色と異なるものでなければならない。そこで、周囲の色彩に関係なく、容易に特定色を識別できるよう、周りを別の特定色で囲むようにしたものでもかまわない。
【００２０】
次に、中央演算部１０５が、歪量検出部１０３から送信される歪検出量を解析し、許容範囲内であると判定した場合、該歪検出量をローリングシャッター歪補正量として記憶部１０４に保存する処理について説明する。
図６に、キャリブレーションでの歪検出量を解析する処理を示す。
検査用カメラの中央演算部１０５は、歪量検出部１０３から歪検出量を受信して（ステップＳ６０１）、その歪検出量が許容範囲内であるか否かを判定する（ステップＳ６０２）。歪検出量が所定の歪量以上の場合、撮影画角から被写体がはみ出してしまい、補正が不可能になってしまう。そこで、ステップＳ６０２においてマージンをもった歪量スレッショルドを用意しておき、歪検出量が許容範囲内であるか否かを判定する。
ステップＳ６０２において歪検出量が許容範囲内である場合、歪検出量を記憶部１０４に保存する（ステップＳ６０４）。
それに対して、ステップＳ６０２において許容範囲内でない場合、環境変更部１０７を介してコンベア速度を遅らせたり、カメラ部１０１のレンズを駆動させて撮影画角を広くしたりすることでローリングシャッター歪量を低減させる（ステップＳ６０３）。その後、図４のキャリブレーションにより再び歪量検出部１０３から歪検出量を受信し（ステップＳ６０１）、歪検出量が許容範囲内となるまで本ルーチンを実行する。
【００２１】
図７を参照して、図６のステップＳ６０３におけるコンベア速度及び撮影画角の変更処理の詳細について説明する。
７０１はカメラ部１０１で撮影した撮影情報領域であり、キャリブレーション用被写体４０１が写っている。既述したように、キャリブレーション用被写体のローリングシャッター歪量を検出する際、歪検出量が所定の歪量以上の場合、撮影画角から被写体がはみ出してしまい、補正が不可能になってしまう。
この場合に、コンベア速度を落とすか、撮影画角を広くすることで歪量を低減することができる。その一方で、コンベア速度は、検査スピード（コスト）に影響を与えることから、所定のコンベア速度以上は落とすことはできない。また、撮影画角を広げることは、検査性能の低下に起因するため、所定の撮影画角以上広げることはできない。
そこで、コンベア速度及び撮影画角それぞれについてリミットＡ、Ｂを事前にユーザが設定し、変更可能領域を超えないように制限をかける。
【００２２】
図８に、ステップＳ６０３におけるコンベア速度及び撮影画角の変更処理を示す。
図６のステップＳ６０２において歪検出量が許容範囲内でない場合、中央演算部１０５は、撮影画角が変更可能範囲内であるか否かを判定する（ステップＳ８０１）。
ステップＳ８０１において撮影画角が変更可能範囲内である場合、環境変更部１０７を介してカメラ部１０１のレンズを駆動させて撮影画角を広げる（ステップＳ８０２）。
ステップＳ８０１において撮影画角が変更可能範囲内でない場合、中央演算部１０５は、コンベア速度が変更可能範囲内であるか否かを判定する（ステップＳ８０３）。
ステップＳ８０３においてコンベア速度が変更可能範囲内である場合、環境変更部１０７を介してコンベア速度を落とす（ステップＳ８０４）。
ステップＳ８０３においてコンベア速度が変更可能範囲内でない場合、ＮＧとする（ステップＳ８０５）。
本実施形態では、一般的にコストがより優先されるため、コンベア速度より撮影画角の優先度を高くして変更するようにした。なお、撮影画角を優先的に変更するのに限定されるわけではなく、ユーザの設定に応じて、撮影画角及びコンベア速度のどちらを優先的に変更するかが決定されるようにしてもかまわない。
【００２３】
以上のように、キャリブレーションにおいて必要に応じてコンベア速度や撮影画角を変更しながら、ローリングシャッター歪量を精度良く検出することができる。このローリングシャッター歪量を歪補正量として補正することにより、ローリングシャッター歪を精度良く補正することができる。
【００２４】
ここで、ローリングシャッター歪量を検出した後、通常撮影時は、歪補正部１０８で、記憶部１０４に保存された走査ラインごとの歪補正量を用いて、キャリブレーション歪を補正する。その状態において、コンベア速度や撮影画角等の環境が変更された場合、歪補正量が最適でなくなるため、常に、歪補正量が適切であるか否かをトレースする必要がある。
図９は、通常撮影時に環境変化をモニタリングする処理を示すフローチャートである。
通常撮影時に、中央演算部１０５は、環境情報検出部１０６を介してコンベア速度、撮影画角等の環境情報を取得する（ステップＳ９０１）。
中央演算部１０５は、ステップＳ９０１において取得した環境情報に所定の変化量以上の変化があるか否かを観測する（ステップＳ９０２）。環境情報に変化が観測された場合、ローリングシャッター歪量の再検出が必要になるので、キャリブレーションを再実施するようユーザに通知する（ステップＳ９０３）。なお、キャリブレーションを再実施するのではなく、コンベア速度、撮影画角等を変更することでローリングシャッター歪量そのものを調整するようにしてもよい。
【００２５】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
上述した実施形態では、検査カメラ自体が本発明でいう画像処理装置として機能し、図１に示すように各構成要素がすべて検査用カメラに搭載されている例を説明したが、それに限定されるものではない。
すなわち、検査カメラと別体のコンピュータ装置（以下、ＰＣと記す）が本発明でいう画像処理装置として機能する形態でもよい。具体的には、図１に示した構成要素のうち、カメラ部１０１及び映像信号処理部１０２が検査用カメラに搭載され、その他はすべて検査用カメラ外にて構成されてもよい。例えば中央演算部１０５はＰＣ内の中央演算処理装置（ＣＰＵ）であり、キャリブレーション時は、ＰＣにおいて歪量を含んだキャリブレーション用被写体の映像を検出し、歪検出量をＰＣ搭載のメモリからなる記憶部１０４に保存する。歪補正時は、検査用カメラからＰＣに未補正画像が入力され、記憶部１０４に記憶された歪補正量を用いて逐次補正する構成となる。
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００２６】
１０１：カメラ部、１０２：映像信号処理部、１０３：歪量検出部、１０４：記憶部、１０５：中央演算部、１０６：環境情報検出部、１０７：環境変更部、１０８：歪補正部
【図１】
2014204198.tif 000003
【図２】
2014204198.tif 000004
【図３】
2014204198.tif 000005
【図４】
2014204198.tif 000006
【図５】
2014204198.tif 000007
【図６】
2014204198.tif 000008
【図７】
2014204198.tif 000009
【図８】
2014204198.tif 000010
【図９】
2014204198.tif 000011