(57)【要約】【課題】  ローリングシャッタ付きＣＭＯＳイメージセンサを用いてライン搬送中の製品を撮影するときに、製品の搬送に伴って生じる撮影画像の歪みを正確に補正できるローリングシャッタ画像の補正方法および装置を提供する。【解決手段】  座標変換式（１）のＸ１＝Ｘ＋ＢＹ、Ｙ１＝ＤＹの係数Ｂ、Ｄを順次変化させて生成した撮影画像の補正画像と、予め登録した基準画像とをそれぞれ比較して、両画像の違いを判定し、補正画像と登録基準画像の違いが最小値であるときの係数Ｂ、Ｄを検出するので、製品の移動速度を計測しなくとも、製品のＸ方向またはＹ方向の搬送に伴って生じるローリングシャッタ画像の歪みを元の画像に戻すように正確に補正できる。【選択図】        図１
2006058945.tif 000002
【特許請求の範囲】
【請求項１】
ライン搬送中の製品を、ローリングシャッタ付きＣＭＯＳイメージセンサを用いてＹ（縦）方向に順次露光を行って撮影するときに、製品のＸ（横）方向またはＹ方向の搬送に伴って生じる画像の歪みを座標変換によって補正する方法であって、
下記の座標変換式（１）により、撮影画像の読み出された座標ＸまたはＹを、係数Ｂ、Ｄに基づいて、座標Ｘ１またはＹ１に座標変換して画像を補正する際に、
Ｘ１＝Ｘ＋ＢＹ、  Ｙ１＝ＤＹ            …（１）
前記係数Ｂ、Ｄを順次変化させて生成した撮影画像の補正画像と、予め登録した基準画像とをそれぞれ比較して、両画像の違いを判定し、前記補正画像と登録基準画像の違いが最小値であるときの前記係数Ｂ、Ｄを検出する、ローリングシャッタ画像の補正方法。
【請求項２】
ライン搬送中の製品を、ローリングシャッタ付きＣＭＯＳイメージセンサを用いてＹ（縦）方向に順次露光を行って撮影するときに、製品のＸ（横）方向またはＹ方向の搬送に伴って生じる画像の歪みを座標変換によって補正する方法であって、
下記の座標変換式（１）により、撮影画像の読み出された座標ＸまたはＹを、係数Ｂ、Ｄに基づいて、座標Ｘ１またはＹ１に座標変換して画像を補正する際に、
Ｘ１＝Ｘ＋ＢＹ、  Ｙ１＝ＤＹ            …（１）
前記ＣＭＯＳイメージセンサの１行の転送時間をＴ、製品の移動速度に対応する製品が１画素を通過する時間をＰとしたとき、下記の式（２）により係数Ｂ、Ｄを演算する、ローリングシャッタ画像の補正方法。
Ｂ＝Ｔ／Ｐ、  Ｄ＝Ｔ／（Ｔ−Ｐ）          …（２）
【請求項３】
ライン搬送中の製品を、ローリングシャッタ付きＣＭＯＳイメージセンサを用いてＹ（縦）方向に順次露光を行って撮像するときに、製品のＸ（横）方向またはＹ方向の搬送に伴って生じる画像の歪みを座標変換によって補正する装置であって、
下記の座標変換式（１）により、撮影画像の読み出された座標ＸまたはＹを、係数Ｂ、Ｄに基づいて、座標Ｘ１またはＹ１に座標変換して画像を補正する際に、
Ｘ１＝Ｘ＋ＢＹ、    Ｙ１＝ＤＹ        …（１）
前記座標変換式の係数Ｂ、Ｄを順次変化させて生成した撮影画像の補正画像と、予め登録した基準画像とをそれぞれ比較して、両画像の違いを判定する判定手段と、
前記補正画像と登録基準画像の違いが最小値であるときの前記係数Ｂ、Ｄを検出する係数検出手段とを備えている、ローリングシャッタ画像の補正装置。
【請求項４】
ライン搬送中の製品を、ローリングシャッタ付きＣＭＯＳイメージセンサを用いてＹ（縦）方向に順次露光を行って撮像するときに、製品のＸ（横）方向またはＹ方向の搬送に伴って生じる画像の歪みを座標変換によって補正する装置であって、
下記の座標変換式（１）により、撮影画像の読み出された座標ＸまたはＹを、係数Ｂ、Ｄに基づいて、座標Ｘ１またはＹ１に座標変換して画像を補正する際に、
Ｘ１＝Ｘ＋ＢＹ、  Ｙ１＝ＤＹ          …（１）
前記ＣＭＯＳイメージセンサの１行の転送時間をＴ、製品の移動速度に対応する製品が１画素を通過する時間をＰとしたとき、下記の式（２）により係数Ｂ、Ｄを演算する係数演算手段を備えている、ローリングシャッタ画像の補正装置。
Ｂ＝Ｔ／Ｐ、  Ｄ＝Ｔ／（Ｔ−Ｐ）        …（２）
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ライン搬送中の製品をローリングシャッタ付きＣＭＯＳイメージセンサで撮影したローリングシャッタ画像を補正する方法および装置に関する。
【背景技術】
【０００２】
生産ラインで次々に搬送される製品を撮影し、撮影した画像と登録した基準画像とを比較して、製品の形状または製品の表面に表れた文字や図形などの良、不良を判定する場合に、製品をローリングシャッタ（ＥＲＳ）付きＣＭＯＳイメージセンサ（撮像素子）で撮像したとき、図４（Ａ）のように、例えばシャッタは画面の上から下に（Ｙ方向に）順番に開いていく。製品は通常コンベアなどでＸ方向およびＹ方向のいずれか１つの方向に搬送される。このため、製品がＸ方向またはＹ方向に搬送された状態で製品を撮影すると、図４（Ｂ）のように、方向１（上から下）、方向２（下から上）、方向３（左から右）、方向４（右から左）に製品が移動した場合、図４（Ｃ）のように、各方向１〜４の移動に伴って実際に撮影した画像がそれぞれ歪む。例えば、方向３の場合、製品３０の右下角部３０ａは、ｎ−１行目が撮影されたときには、右方向に移動済みであるから、図４（Ｃ）のように、ひし形に歪む。
【０００３】
画像の歪みが発生すると、製品の良／不良（ＯＫ／ＮＧ）を判定する際に正しい判定ができない。このため、従来は、全画面（全画素）同時にシャッタが開くＣＣＤイメージセンサを用いるか、全画素を同一のタイミングで露光を行うグローバルシャッタ機能を持ったＣＭＯＳイメージセンサを使用していた。
【０００４】
一方、ハンディ式画像スキャナの場合、手動でスキャナを動かして順番に画像を取り込む（例えば、特許文献１）が、このような用途にローリングシャッタ付きＣＭＯＳイメージセンサを使用すると、同様に画像が変形してしまう。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、ＣＣＤイメージセンサは素子そのものが高価で、複数の電源を要し、消費電力が大きいという欠点がある。また、グローバルシャッタ機能付きのＣＭＯＳイメージセンサは、グローバルシャッタ機能をチップ上に搭載するため、受光素子の面積が小さくなり、感度が下がりノイズの多い画面になったり、チップ面積が大きくなるためコストが高くなる。
【０００６】
本発明は、前記の問題点を解決して、ローリングシャッタ付きＣＭＯＳイメージセンサを用いてライン搬送中の製品を撮影するときに、製品の搬送に伴って生じる撮影画像の歪みを正確に補正できるローリングシャッタ画像の補正方法および装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
前記目的を達成するために、本発明の一構成にかかるローリングシャッタ画像の補正方法および装置は、ライン搬送中の製品を、ローリングシャッタ付きＣＭＯＳイメージセンサを用いてＹ（縦）方向に順次露光を行って撮影するときに、製品のＸ（横）方向またはＹ方向の搬送に伴って生じる画像の歪みを座標変換によって補正するものであって、下記の座標変換式（１）により、撮影画像の読み出された座標ＸまたはＹを、係数Ｂ、Ｄに基づいて、座標Ｘ１またはＹ１に座標変換して画像を補正する際に、
Ｘ１＝Ｘ＋ＢＹ、  Ｙ１＝ＤＹ              …（１）
前記係数Ｂ、Ｄを順次変化させて生成した撮影画像の補正画像と、予め登録した基準画像とをそれぞれ比較して、両画像の違いを判定し、前記補正画像と登録基準画像の違いが最小値であるときの前記係数Ｂ、Ｄを検出するものである。
【０００８】
この構成によれば、座標変換式（１）の係数Ｂ、Ｄを順次変化させて生成した撮影画像の補正画像と、予め登録した基準画像とをそれぞれ比較して、両画像の違いを判定し、補正画像と登録基準画像の違いが最小値であるときの係数Ｂ、Ｄを検出するので、製品の移動速度を計測しなくとも、製品のＸ方向またはＹ方向の搬送に伴って生じるローリングシャッタ画像の歪みを元の画像に戻すように正確に補正できる。
【０００９】
本発明の他の構成にかかるローリングシャッタ画像の補正方法および装置は、ライン搬送中の製品を、ローリングシャッタ付きＣＭＯＳイメージセンサを用いてＹ（縦）方向に順次露光を行って撮影するときに、製品のＸ（横）方向またはＹ方向の搬送に伴って生じる画像の歪みを座標変換によって補正するものであって、前記の座標変換式（１）により、撮影画像の読み出された座標ＸまたはＹを、係数Ｂ、Ｄに基づいて、座標Ｘ１またはＹ１に座標変換して画像を補正する際に、
前記ＣＭＯＳイメージセンサの１行の転送時間をＴ、製品の搬送速度に対応する製品が１画素を通過する時間をＰとしたとき、下記の式（２）により係数Ｂ、Ｄを演算するものである。
Ｂ＝Ｔ／Ｐ、  Ｄ＝Ｔ／（Ｔ−Ｐ）          …（２）
【００１０】
この構成によれば、ＣＭＯＳイメージセンサの１行の転送時間をＴ、製品の移動速度に対応する製品が１画素を通過する時間をＰとしたとき、前記の式（２）により座標変換式（１）の係数Ｂ、Ｄを演算するので、製品の移動速度に応じて、製品のＸ方向またはＹ方向の搬送に伴って生じるローリングシャッタ画像の歪みを元の画像に戻すように正確に補正できる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態を図面にしたがって説明する。図１は、本発明の一実施形態に係るローリングシャッタ画像の補正装置を示すブロック図である。本装置は、例えば生産ラインで次々に搬送される製品を撮影し、撮影した画像と登録した基準画像とを比較して、製品の形状または製品の表面に表れた文字や図形などの良／不良（ＯＫ／ＮＧ）を判定する場合、ローリングシャッタ付きＣＭＯＳイメージセンサを用いて、Ｙ（縦）方向に例えば上から下に順次露光を行って撮影するときに、製品のＸ（横）方向またはＹ方向の搬送に応じて歪む撮影画像を元の形状の画像に戻す補正を行うものである。
【００１２】
図１の本装置は、ローリングシャッタ付きＣＭＯＳイメージセンサ１、画像メモリ２、登録画像メモリ３、読み出し番地計算手段４、座標カウンタ５、移動方向設定値保存メモリ６、係数カウンタ７、画像重ね合わせ手段８、違い判定手段９、および違い最小値検出手段１０を備えている。
【００１３】
前記ローリングシャッタ付きＣＭＯＳイメージセンサ１は、シャッタがＹ（縦）方向に上から下に順次開いて露光し、製品を撮影する。画像メモリ２はライン搬送中の製品を撮影した画像を記憶する。登録画像メモリ３は、登録指示により、予め基準となる製品を撮影した登録基準画像を記憶する。
【００１４】
前記読み出し番地計算手段４は、下記の座標変換式（１）によって、座標カウンタ５によりカウントされる撮影画像の読み出し番地である座標（Ｘ、Ｙ）ごとに、係数Ｂ、Ｄに基づいて、座標Ｘ１またはＹ１に座標変換して、画像メモリ２に記憶された撮影画像を補正する計算を行う。製品がＸ方向に移動せずＹ方向にのみ移動する場合には、係数Ｂ＝０であり、製品がＹ方向に移動せずＸ方向にのみ移動する場合には、係数Ｄ＝１である。
Ｘ１＝Ｘ＋ＢＹ、  Ｙ１＝ＤＹ          …（１）
【００１５】
図２に、撮影画像の読み出し番地の座標（Ｘ、Ｙ）を示す。同図のとおり、Ｘ方向のｍ−１列目でＹ方向のｎ−１行目の読み出し番地の座標（Ｘｍ−１、Ｙｎ−１）で表される。上記の座標変換計算により、画像メモリ２から係数Ｂ、Ｄを順次変化させて生成した撮影画像の補正画像が読み出される。
【００１６】
前記移動方向設定値保存メモリ６で、Ｘ方向またはＹ方向の移動方向および移動速度の設定値が保存され、この設定値に対応して順次変化される係数Ｂ、Ｄが係数カウンタ７により、読み出し番地計算手段４に与えられる。
【００１７】
画像重ね合わせ手段８は、係数Ｂ、Ｄを順次変化させて生成した補正画像と、予め登録した基準画像とをそれぞれ比較するために、両画像を重ね合わせる。そして、それぞれ両画像の違いが違い判定手段９により判定される。これら読み出し番地計算手段４、座標カウンタ５、移動方向設定値保存メモリ６、係数カウンタ７、画像重ね合わせ手段８および違い判定手段９により、判定手段２０が構成される。
【００１８】
そして、係数カウンタ５で係数Ｂ、Ｄを順次変化させて生成した撮影画像の補正画像と登録基準画像との違いの最小値が、違い最小値検出手段（係数検出手段）１０により検出されて、このときの係数Ｂ、Ｄが検出される。
【００１９】
以下に、上記構成のローリングシャッタ画像の補正装置の動作を、図３に基づいて説明する。この例では、製品はＸ方向に移動せず、Ｙ方向の上から下にのみ移動（図４の方向１）するものとする。
(1)補正画像と登録基準画像の比較
まず、ローリングシャッタ付きＣＭＯＳイメージセンサにより、製品が撮影され、図３（Ｂ）のように、画像メモリ２にライン搬送中の製品３０を撮影した画像が記憶される。図３（Ａ）のように、登録画像メモリ３には、予め基準となる製品３０を撮影した登録基準画像が記憶される。
【００２０】
製品３０はＹ方向に上から下に移動するので、上記の座標変換式（１）のうちＹ１＝ＤＹにより、撮影画像の読み出された座標Ｙを、順次変化させた係数Ｄに基づいて、座標Ｙ１に座標変換して、撮影画像の補正画像が生成されて、画像メモリ２から読み出される。この場合、係数Ｄは１以上となる。なお、この例では、製品３０はＸ方向に移動しないので、座標変換式（１）のうちＸ１＝Ｘ＋ＢＹは、係数Ｂが０であり、Ｘ１＝Ｘとなる。
【００２１】
図３（Ｃ）はＤ＝１で読み出された補正画像、図３（Ｄ）はＤ＝１．１で読み出された補正画像、図３（Ｅ）はＤ＝１．２で読み出された補正画像、図３（Ｆ）はＤ＝１．３で読み出された補正画像である。図３（Ｃ）〜（Ｆ）の各補正画像と、図３（Ａ）の登録基準画像とがそれぞれ重ね合わされて比較され、両画像の違いが判定される。
【００２２】
(2)係数検出
各補正画像と登録基準画像の違いが判定されて、それぞれの違いが得られる結果、登録基準画像と図３（Ｅ）の補正画像との違いが最小（両画像が一致）であるので、このときの係数Ｄ＝１．２が検出される。
【００２３】
同様に、製品がＹ方向に下から上に移動する場合には、係数Ｂ＝０で、係数Ｄ＝１以下で、係数Ｄが検出される。
【００２４】
製品がＸ方向に左から右に移動する場合には、係数Ｂ＝０以上で、係数Ｄ＝１となり、Ｘ方向に右から左に移動する場合には、係数Ｂ＝０以下（負の値）で、係数Ｄ＝１となって、それぞれ係数Ｂが検出される。
【００２５】
このように、本発明では、座標変換式（１）の係数Ｂ、Ｄを順次変化させて生成した撮影画像の補正画像と、予め登録した画像とをそれぞれ比較して、それぞれ両画像の違いを判定し、補正画像と登録画像の違いが最小値であるときの係数Ｂ、Ｄを検出するので、製品の移動速度を計測しなくとも、製品のＸ方向またはＹ方向の搬送に伴って生じるローリングシャッタ画像の歪みを元の画像に戻すように正確に補正できる。
【００２６】
なお、上記した実施形態では係数Ｂ、Ｄを検出しているが、製品の移動速度が明確に知得されている場合、以下のように、製品の移動速度に基づいて、係数Ｂ、Ｄを演算してもよい。すなわち、係数演算手段が前記ＣＭＯＳイメージセンサの１行の転送時間をＴ、製品の移動速度に対応する製品が１画素を通過する時間をＰとしたとき、下記の式（２）により係数Ｂ、Ｄを演算する。
Ｂ＝Ｔ／Ｐ、  Ｄ＝Ｔ／（Ｔ−Ｐ）          …（２）
演算された係数Ｂ、Ｄを用いて、座標変換式（１）により撮影画像の正確な補正画像を生成することができる。
【００２７】
このように、ＣＭＯＳイメージセンサの１行の転送時間をＴ、製品の移動速度に対応する製品が１画素を通過する時間をＰとしたとき、前記の式（２）により座標変換式（１）の係数Ｂ、Ｄを演算するので、製品の移動速度に応じて、製品のＸ方向またはＹ方向の搬送に伴って生じるローリングシャッタ画像の歪みを元の画像に戻すように正確に補正できる。
【００２８】
なお、本発明において、ローリングシャッタ付きＣＭＯＳイメージセンサを用いてＹ（縦）方向に順次露光を行って撮影しているが、Ｘ（横）方向に順次露光を行って撮影してもよい。
【図面の簡単な説明】
【００２９】
【図１】本発明の一実施形態に係るローリングシャッタ画像の補正装置を示すブロック図である。
【図２】座標（Ｘ、Ｙ）を示す図である。
【図３】座標変換式の係数を検出する動作を示す図である。
【図４】製品の移動方向に伴う撮影画像の歪みを示す図である。
【符号の説明】
【００３０】
１：ローリングシャッタ付きＣＭＯＳイメージセンサ
３：登録画像メモリ
１０：係数検出手段
２０：判定手段
【図１】
2006058945.tif 000003
【図２】
2006058945.tif 000004
【図３】
2006058945.tif 000005
【図４】
2006058945.tif 000006