(57)【要約】  ＦＰＧＡ１５には、撮像素子１１の走査ラインの画素データを順次読み出して複数ライン分の画素データを一時的に記憶する複数のラインバッファ１７と、画素データ補正処理部１８とが設けられている。画素データ補正処理部１８は、複数のラインバッファ１７に記憶された複数ライン分の画素データのうちの中間のライン（ｎ）を補正対象ラインとし、該補正対象ライン（ｎ）に隣接するラインの画素データを用いて該補正対象ライン（ｎ）の画素データを補正して、補正後の画素データを画像処理回路１６へ転送する。このような処理を走査ラインを１ラインずつシフトさせて繰り返すことで、撮像素子１１の１フレーム分の各ラインの画素データを順次補正して該画像処理回路１６へ順次転送する。
2013136458.tif 000002
【特許請求の範囲】
【請求項１】
撮像対象物を撮像する撮像素子と、
前記撮像素子の走査ライン毎に画素データを順次読み出して複数ライン分の画素データを一時的に記憶する複数のラインバッファと、
前記複数のラインバッファに記憶された複数ライン分の画素データのうちの所定のラインを補正対象ラインとし、該補正対象ラインに隣接する少なくとも１つのラインの画素データを用いて該補正対象ラインの画素データを補正して、補正後の画素データを画像処理回路へ転送する画素データ補正手段とを備え、
走査ラインをシフトさせて次の補正対象ラインを含む複数ライン分の画素データを前記複数のラインバッファに記憶する処理と、前記画素データ補正手段により前記補正対象ラインの画素データを補正して前記画像処理回路へ転送する処理とを繰り返すことで前記撮像素子の１フレーム分の各ラインの画素データを順次補正して該画像処理回路へ順次転送することを特徴とする画像補正処理装置。
【請求項２】
画像歪みを補正するための歪み補正量と画素座標との関係を設定した歪み補正量テーブルを記憶した記憶手段を備え、
前記画素データ補正手段は、前記補正対象ラインの各画素の周辺の複数の画素データと
前記歪み補正量テーブルから検索した歪み補正量とを用いて該補正対象ラインの各画素データを補間補正法により歪み補正することを特徴とする請求項１に記載の画像補正処理装置。
【請求項３】
前記撮像素子は、部品実装機に搭載されていることを特徴とする請求項１に記載の画像補正処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子の１フレーム分（１画面分）の画素データを補正する画像補正処理装置に関する発明である。
【背景技術】
【０００２】
従来より、撮像素子で撮像する画像の品質を向上させるために、画像歪み補正、シェーディング補正、画素欠陥補正等の様々な画像補正機能を搭載した画像処理装置が実用化されている。特に、部品実装機に搭載した画像処理装置では、精密な位置決め精度が要求されるため、画像の歪みが大きな問題となる。従来の画像歪み補正技術は、予め、ドットマークが所定ピッチでマトリックス状に表示された画像歪み補正治具を撮像素子で撮像してドットマーク毎に歪み量を測定して歪み量のテーブルデータを作成して記憶しておき、撮像素子の１フレーム分の画素データを全てフレームバッファに記憶し終えてから、歪み量のテーブルデータを用いて画像の歪みを補正するようにしている（特許文献１，２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１８００８４号公報
【特許文献２】特開２０１１−１７６４５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記従来の構成では、撮像素子の１フレーム分の画素データを全てフレームバッファに記憶し終えてから、画像補正処理を行うようにしているため、画素データを記憶するバッファの回路規模が大きくなり、コスト高になると共に、画像補正処理の高速化にも限界がある。【０００５】
そこで、本発明が解決しようとする課題は、低コスト化と画像補正処理の高速化を実現できる画像補正処理装置を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は、撮像対象物を撮像する撮像素子と、前記撮像素子の走査ライン毎に画素データを順次読み出して複数ライン分の画素データを一時的に記憶する複数のラインバッファと、前記複数のラインバッファに記憶された複数ライン分の画素データのうちの所定のラインを補正対象ラインとし、該補正対象ラインに隣接する少なくとも１つのラインの画素データを用いて該補正対象ラインの画素データを補正して、補正後の画素データを画像処理回路へ転送する画素データ補正手段とを備え、走査ラインをシフトさせて次の補正対象ラインを含む複数ライン分の画素データを前記複数のラインバッファに記憶する処理と、前記画素データ補正手段により前記補正対象ラインの画素データを補正して前記画像処理回路へ転送する処理とを繰り返すことで前記撮像素子の１フレーム分の各ラインの画素データを順次補正して該画像処理回路へ順次転送するようにしたものである。【０００７】
この構成では、補正対象ラインの画素データを補正するのに必要な複数ライン分の画素データを複数のラインバッファに記憶するだけであるため、画像補正処理に必要なメモリ量を大幅に削減でき、メモリの回路規模を小さくできて、低コスト化を実現できる。しかも、複数ライン分の画素データを複数のラインバッファに記憶する処理と、補正対象ライ
ンの画素データを補正する処理とを並列処理できるため、画像補正処理に要する時間を短縮できて、画像補正処理の高速化を実現できる。【０００８】
更に、画像歪みを補正する場合は、歪み補正量と画素座標との関係を設定した歪み補正量テーブルを記憶手段に記憶しておき、画素データ補正手段において、補正対象ラインの各画素の周辺の複数の画素データと前記歪み補正量テーブルから検索した歪み補正量とを用いて該補正対象ラインの各画素データを補間補正法により歪み補正するようにすれば良い。これにより、画像歪みを補正する処理を高速化できる。【０００９】
本発明の画像補正処理装置は、撮像素子で撮像した画像を処理する画像処理機能を搭載した様々な装置に適用でき、例えば、部品実装機等の産業用機械に適用すれば、部品実装機等の産業用機械の画像処理機能の低コスト化と高速処理化とを両立させることができる。
【図面の簡単な説明】
【００１０】
【図１】図１は本発明の一実施例の画像補正処理装置を示すブロック図である。
【図２】図２はローリングシャッタ方式で露光する場合の画像補正処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態を部品実装機、工作機、印刷機、検査機等の産業用機械の画像処理装置に適用して具体化した一実施例を図面を用いて説明する。
【００１２】
図１に示すように、撮像素子１１を内蔵したカメラユニット１２は、部品実装機等の産業用機械に交換可能に取り付けられる。このカメラユニット１２には、不揮発性の記憶手段であるフラッシュメモリ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の不揮発性メモリ１３が取り付けられている。この不揮発性メモリ１３には、画像歪み補正パラメータ、シェーディング補正パラメータ、コントラスト補正パラメータ、画素欠陥補正パラメータ等のうちの１つ以上の画像補正パラメータが記憶されている。
【００１３】
一方、部品実装機等の産業用機械の画像処理装置１４には、メインＣＰＵ（図示せず）の他に、プログラム可能なロジックデバイスであるＦＰＧＡ（Field Programmable Gate Array ）１５と、フレームバッファ等を含む画像処理回路１６等が設けられている。尚、図１の構成例では、画像補正パラメータが記憶された不揮発性メモリ１３をカメラユニット１２に設けたが、これを画像処理装置１４に設けた構成としても良い。
【００１４】
ＦＰＧＡ１５には、撮像素子１１の走査ライン毎に画素データを順次読み出して複数ライン分の画素データを一時的に記憶する複数のラインバッファ１７と、画素データ補正処理部１８（画素データ補正手段）とが設けられている。画素データ補正処理部１８は、複数のラインバッファ１７に記憶された複数ライン分の画素データのうちの中間のライン（ｎ）を補正対象ラインとし、該補正対象ライン（ｎ）の上下両側に隣接する合計６本のライン（ｎ−３），（ｎ−２），（ｎ−１），（ｎ＋１），（ｎ＋２），（ｎ＋３）の画素データを用いて該補正対象ライン（ｎ）の画素データを補正して、補正後の画素データを画像処理回路１６へ転送する。
【００１５】
例えば、画像歪みを補正する場合は、予め、画像歪み補正パラメータである歪み補正量と画素座標との関係を設定した歪み補正量テーブルとして不揮発性メモリ１３に記憶しておき、画素データ補正処理部１８において、補正対象ライン（ｎ）の各画素の周辺の複数
の画素データと前記歪み補正量テーブルから検索した歪み補正量とを用いて該補正対象ライン（ｎ）の各画素データを補間補正法により歪み補正すれば良い。補間補正法としては、例えば、バイリニア補間、バイキュービック補間、最近傍補間等のいずれかを用いれば良い。
【００１６】
ＦＰＧＡ１５は、走査ラインをシフトさせて次の補正対象ラインを含む複数ライン（ｎ−３）〜（ｎ＋３）の画素データを複数のラインバッファ１７に記憶する処理と、画素データ補正処理部１８により補正対象ライン（ｎ）の画素データを補間補正法により補正して画像処理回路１６へ転送する処理とを繰り返すことで、撮像素子１１の１フレーム分の各ラインの画素データを順次補正して該画像処理回路１６へ順次転送する。
【００１７】
尚、ＦＰＧＡ１５に、画素データ補正処理部１８から転送される補正後の画素データを所定ライン数分だけ一時的に記憶するバッファ（メモリ）を設けて、該バッファに所定ライン数分の補正後の画素データを記憶し終える毎に、該バッファから所定ライン数分の補正後の画素データを画像処理回路１６へ転送するようにしても良い。このようにすれば、画像処理装置１４のメインＣＰＵへの割り込み回数を削減しつつ高速な補正処理を行うことができる。
【００１８】
撮像素子１１の電子シャッタは、走査ライン毎に順次シャッタを切るローリングシャッタを用いても良いし、１フレーム同時にシャッタを切るグローバルシャッタを用いても良い。
【００１９】
図２は、ローリングシャッタ方式で露光する場合の画像補正処理の流れを示すフローチャートである。ローリングシャッタ方式で走査ライン毎に順次シャッタを切って露光して、該走査ラインの画素データを、例えば、１列目のラインバッファ１７に記憶し（ステップ１０１）、前回処理時に１列目のラインバッファ１７に記憶されていたラインの画素データを２列目のラインバッファ１７にシフトさせる。前回処理時に「Ｎ」列目のラインバッファ１７に記憶されていたラインの画素データは、「Ｎ＋１」列目のラインバッファ１７にシフトされる。前回処理時に最終列のラインバッファ１７に記憶されていたラインの画素データは、廃棄される。
【００２０】
走査ラインの画素データを１列目のラインバッファ１７に取り込む毎に、中間のラインバッファ１７に記憶された補正対象ライン（ｎ）の上下両側に隣接する合計６つのライン（ｎ−３），（ｎ−２），（ｎ−１），（ｎ＋１），（ｎ＋２），（ｎ＋３）の画素データを用いて該補正対象ライン（ｎ）の画素データを補間補正により補正して（ステップ１０２）、補正後の画素データを画像処理回路１６へ転送する（ステップ１０３）。
【００２１】
以上の処理を走査ラインを１ラインずつシフトさせて繰り返すことで、撮像素子１１の１フレーム分の各ラインの画素データを順次補正して該画像処理回路１６へ順次転送する。
【００２２】
尚、グローバルシャッタ方式で露光する場合は、露光は最初に１回行うだけで良い。
以上説明した本実施例によれば、補正対象ラインの画素データを補正するのに必要な複数ライン分の画素データを複数のラインバッファ１７に記憶するだけであるため、画像補正処理に必要なメモリ量を大幅に削減でき、メモリの回路規模を小さくできて、低コスト化を実現できる。しかも、複数ライン分の画素データを複数のラインバッファ１７に記憶する処理と、補正対象ラインの画素データを補正する処理とを並列処理できるため、画像補正処理に要する時間を短縮できて、画像補正処理の高速化を実現できる。
【００２３】
尚、ラインバッファ１７の数は７列に限定されず、例えば３列、５列等であっても良い
。また、補正対象ラインを複数設定して、複数の補正対象ラインの画素データを補正するようにしても良い。
【００２４】
その他、本発明は、部品実装機、工作機、印刷機、検査機等の産業用機械に限定されず、撮像素子で撮像した画像を処理する画像処理機能を搭載した様々な装置に適用できる等、要旨を逸脱しない範囲内で種々変更して実施できる。
【符号の説明】
【００２５】
１１…撮像素子、１２…カメラユニット、１３…不揮発性メモリ（記憶手段）、１４…画像処理装置、１５…ＦＰＧＡ、１６…画像処理回路、１７…ラインバッファ、１８…画素データ補正処理部（画素データ補正手段）
【図１】
2013136458.tif 000003
【図２】
2013136458.tif 000004
【国際調査報告】
2013136458.tif 000005
2013136458.tif 000006
2013136458.tif 000007
2013136458.tif 000008