(57)【要約】【課題】マシンビジョンカメラによる外観検査を人間が部分的に行う場合においても、視認性を向上することを可能にする撮像装置を提供する。【解決手段】イメージセンサ１０１を有する撮像装置１００であって、予め設定された複数の注目領域の画像情報を記憶する画像記憶手段１０８と、前記注目領域の座標データ及び回転情報を記憶する記憶手段１０７と、部分読み出し位置から前記イメージセンサ１０１の撮影領域を制御するセンサ制御手段１０２と、前記記憶手段１０７から座標データを読み出し、前記部分読み出し位置を設定する位置設定手段１０５と、前記回転情報と、前記画像記憶手段１０８に記憶された前記画像情報とに基づいて、出力画像を出力する出力制御手段１０９と、を備える。【選択図】図１
2018029232.tif 000002
【特許請求の範囲】
【請求項１】
イメージセンサを有する撮像装置であって、
予め設定された複数の注目領域の画像情報を記憶する画像記憶手段と、
前記注目領域の座標データ及び回転情報を記憶する記憶手段と、
部分読み出し位置から前記イメージセンサの撮影領域を制御するセンサ制御手段と、
前記記憶手段から座標データを読み出し、前記部分読み出し位置を設定する位置設定手段と、
前記回転情報と、前記画像記憶手段に記憶された前記画像情報とに基づいて、出力画像を出力する出力制御手段と、
を備える撮像装置。
【請求項２】
前記出力制御手段の前記画像情報の出力は、前記回転情報に対応して前記画像情報のアドレスを読み出す順序を制御することを特徴とする、
請求項１に記載の撮像装置。
【請求項３】
前記イメージセンサは、画素配列がベイヤー配列であるカラーイメージセンサであり、且つ、
前記位置設定手段は、前記座標データを微修正して前記部分読み出し位置を設定する機能を有する、
請求項２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関するものである。より詳しくは、イメージセンサを有する撮像装置に関する。
【背景技術】
【０００２】
近年、工場の製造ライン等の外観検査システムにおいて、イメージセンサを搭載したマシンビジョンカメラが普及している。イメージセンサには、１０００万以上の高画素を有するものがある。特許文献１では、高画素化したイメージセンサの信号読み出し時間を短縮するため、全画素の一部を注目領域として指定し、該当する注目領域のみを読み出す技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３４８４１７８号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、部品が小ロットである場合等には、マシンビジョンが自動判定するのに必要なパターンマッチング設定に時間がかかるため、人間が部分的に検査を行う必要がある。そして、特許文献１はそのような場合を考慮していない。例えば、注目領域を人間が確認する場合には、天地が逆さまに表示されていると視認性が低下し、確認が困難となる。
【０００５】
本発明における課題を、図１２に示す被写体を用いてより具体的に説明する。図１２は、２枚のプリント回路板１２０５と１２０６を組み合わせている。これは、プリント回路板の元となるリジット基板が四角形であるため、所望するプリント基板がＬ字形状の場合の面積の無駄を低減するための工夫である。本願では、図１２の様な配置で組み合わされた２枚以上のプリント回路板を組基板と呼ぶ。
【０００６】
この組基板をマシンビジョンカメラで撮影し、注目領域１２０１、１２０２、１２０３、１２０４を検査する場合、これらの撮影個所の部分読み出しを行ったモニタは、図１３のように表示される。
【０００７】
シルク文字１３０１、１３０２、１３０３、１３０４は、各々の注目領域１２０１、１２０２、１２０３、１２０４を切り出したものである。このとき、シルク文字１３０１や１３０２は天地が逆さまに表示されてしまう。仮に、カメラを１８０度回転させても今度はシルク文字１３０３、１３０４が逆さまに表示されてしまう。このような状態で人間が文字の確認を行う場合、視認性が悪く検査し難い。
【０００８】
本発明は、上記課題に鑑みてなされ、その目的は、マシンビジョンカメラによる外観検査を人間が部分的に行う場合においても、視認性を向上することを可能にした撮像装置を提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明は、イメージセンサを有する撮像装置であって、予め設定された複数の注目領域の画像情報を記憶する画像記憶手段と、前記注目領域の座標データ及び回転情報を記憶する記憶手段と、部分読み出し位置から前記イメージセンサの撮影領域を制御するセンサ制御手段と、前記記憶手段から座標データを読み出し、前記部分読み出し位置を設定する位置設定手段と、前記回転情報と、前記画像記憶手段に記憶された前記画像情報とに基づいて、出力画像を出力する出力制御手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、マシンビジョンカメラによる外観検査を人間が部分的に行う場合においても視認性を向上することを可能にした撮像装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る実施形態の装置構成を示すブロック図。
【図２】図１２の組基板に関する全画面の撮影図。
【図３】実施形態１のメモリ１０７に記憶されるデータを纏めた表。
【図４】画像メモリ１０８に全画面を記憶した場合の画素とアドレスの関係を例示する図。
【図５】部分読み出し撮影した画像の各画素を画像メモリ１０８に記憶した場合のアドレスを例示する図。
【図６】画像メモリ１０８からのデータの出力順序を例示する図。
【図７】実施形態１の最終的な出力画像を例示する図。
【図８】実施形態２のカラーイメージセンサの課題を例示する図。
【図９】実施形態２の解決手段を例示する図。
【図１０】実施形態２の注目領域の修正処理を示すフローチャート。
【図１１】実施形態２の座標系を例示する図。
【図１２】従来例の課題説明図。
【図１３】従来例の課題説明図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。なお、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。
【００１３】
（実施形態１）
まず、図１乃至７、図１２及び１３を参照して、実施形態１について説明する。なお、以下では、イメージセンサの撮影領域のうち検査を行う必要がある指定された領域を注目領域（関心領域）と呼ぶ。また、図１２に示すような注目領域を切り出して撮影し、所定の情報を記憶し、当該注目領域の撮像信号を出力する方式を部分読み出しと呼ぶ。また、当該部分読み出しにおける撮影を部分読み出し撮影と呼ぶ。
【００１４】
本実施形態では、被写体をモノクロ画像で部分読み出し撮影し、注目領域の一部を回転させた状態で画像情報を出力する。
【００１５】
図１を参照して、各実施形態の撮像装置の全体の構成を説明する。撮像装置１００は、イメージセンサ１０１、センサ駆動制御部１０２、ＡＤ変換部１０３、部分読み出し位置設定部１０５、カメラ制御通信部１０６、メモリ１０７、画像メモリ１０８、画像メモリ制御部１０９、レンズ１１０、画像信号出力部１１１を備える。ＡＤ変換部１０３は、イメージセンサ１０１に構成されていてもよい。
【００１６】
撮像装置１００は、イメージセンサ１０１を含む撮像系を有し、センサ駆動制御部１０２、ＡＤ変換部１０３で撮像処理が行われる。レンズ１１０を通った光束は、撮像装置１００のイメージセンサ１０１に結像する。センサ駆動制御部１０２は、センサ制御手段としてイメージセンサ１０１の蓄積動作や読み出し動作の制御を行う。イメージセンサ１０１からはアナログの撮像信号が出力される。アナログの撮像信号は、ＡＤ変換部１０３にてデジタル変換され、画像データとして、一旦、画像メモリ１０８に記憶される。画像メモリ１０８は、予め設定された複数の注目領域の画像情報を記憶する、画像記憶手段である。
【００１７】
画像メモリ１０８に記憶された画像データは、出力制御手段となる画像メモリ制御部１０９によって出力画像の出力を制御される。画像メモリ制御部１０９は画像メモリ１０８に対してアドレスを指定してデータを取り出し、画像信号出力部１１１へ画像データを送信する。画像信号出力部１１１では画像データを出力映像フォーマットに変換し映像を出力する。
【００１８】
一方、カメラ制御通信部１０６は、ＰＣや外部機器等から、撮像装置１００の設定や、部分読み出しを行いたい注目領域の座標データ及び注目領域の回転情報を受信するインターフェースである。メモリ１０７は、カメラ制御通信部１０６で入力された撮像装置１００の設定値や、部分読み出しを行いたい注目領域の座標データ及び注目領域の回転情報を記憶するための記憶手段である。部分読み出し位置設定部１０５は、メモリ１０７から注目領域の座標データの読み出しを行い、センサ駆動制御部１０２に対し部分読み出しする位置を設定する位置設定手段である。
【００１９】
センサ駆動制御部１０２はイメージセンサ１０１が注目領域の画像情報のみを出力するようにイメージセンサ１０１の撮影領域を制御する。画像メモリ制御部１０９はメモリ１０７からの注目領域の回転情報を受け取り、その情報に従い画像メモリ１０８からの画像データの読み出しを行う。注目領域の回転情報に関しては後述する。
【００２０】
次に、被写体を部分読み出し撮影し、注目領域の一部を回転させて画像を出力する方法について説明する。
【００２１】
図２は、図１２の組基板に関する全画面の撮影図である。画面２０５における、プリント回路板２０１、２０２上には、正方形の注目領域２０３、２０４がある。座標２０７、２０８、２０９、２１０はそれぞれの注目領域の左上と右下の角の座標である。各座標値は原点２０６から起算して、右又は下に置くほど大きくなる。例えば、座標２０７、２０８、２０９、２１０の座標値はそれぞれ（２０００，５０）、（２１００，１５０）、（１０００，２０００）、（１１００，２１００）である。
【００２２】
これら座標値は、外部機器などから図１のカメラ制御通信部１０６を通してメモリ１０７に記憶される。メモリ１０７内部では、図３のように各注目領域に対して左上座標と右下座標が記憶できる。図２の注目領域２０３は図３の注目領域ＮＯ．１、図２の注目領域２０４は図３の注目領域ＮＯ．２として記憶される。
【００２３】
また、図２の注目領域２０３に表示される文字列は逆さまになっており、回転させる必要があるため、図３のＮＯ．１の回転情報として１８０度と記憶される。注目領域の回転情報は、０度、９０度、１８０度、２７０度の４通りが記憶できる。また、当該回転情報は、実際の製造ラインにおける誤差角度においても対応可能に記憶できる。
【００２４】
次に、図４を参照して、図１の画像メモリ１０８に全画面を記憶した場合の画素とアドレスの関係を説明する。画像メモリ１０８のアドレスマップ４０１において、イメージセンサの画素配列４０２は、１アドレスにつき１画素の情報を格納する。１ライン分の４８００画素を記憶するためには、０〜４７９９アドレスまで使用する。本件のイメージセンサは３２００ラインあるため、１画面を記憶する為に４８００×３２００＝１５，３６０，０００アドレスを用意している。
【００２５】
実施形態１では注目領域２０３、２０４の合計２か所のみの切り出しを行っている。そのため、ＡＤ変換部１０３からの画像データは読み込んだ順に画像メモリ１０８に記憶される。その結果、画像メモリ１０８には図５のように記憶されることになる。
【００２６】
次に、図５を参照して、部分読み出し撮影をした各画素がどのアドレスに記憶されているかを説明する。画像メモリ制御部１０９は、メモリ１０７に記憶されている注目領域の座標情報と回転情報を元に画像メモリ１０８から呼び出すアドレスを決定する。
【００２７】
次に、図６を参照して、画像メモリ１０８からのデータの出力順序を説明する。図３の注目領域ＮＯ．１は１８０度逆さにする情報が書き込まれているため、図６に示すような順序で画像メモリから読み込んでゆく。画像メモリ制御部１０９は画像メモリ１０８が（１）、（２）、（３）、（４）の順に画像データを出力するようにアドレスを出力し、アドレスの出力順序を制御する。
【００２８】
なお、アドレスの出力順序は、注目領域の各回転情報に対応して変更できることはいうまでもない。
【００２９】
なお、実施形態１はモノクロ画像であるため、ベイヤー配列などの画素のカラー配列を考慮する必要はない。このように読み出すことにより、注目領域の一部が回転され、図７に示すように注目領域２０３、２０４が２つとも天地が正しい状態で表示されるようになる。
【００３０】
以上のように、本実施形態によれば、マシンビジョンカメラによる外観検査を人間が部分的に行う場合においても、注目領域の一部が回転され、天地が正しい状態で表示されることにより、視認性を向上することを可能にした撮像装置を得ることが可能となる。
【００３１】
（実施形態２）
次に、図８乃至１１を参照して、本発明の実施形態２について説明する。実施形態１は、モノクロのイメージセンサを用いた、モノクロ画像における部分読み出しについて説明した。これに対し実施形態２では、カラーイメージセンサを用いた、カラー画像における部分読み出しについて説明する。カラーイメージセンサの場合、各画素は図８のベイヤー配列８０１のように構成される。
【００３２】
その場合、単に指定された範囲を回転させると、条件によっては、回転後の配列８０２、８０３、８０４のように、元の配列８０１とは異なるベイヤー配列となってしまう。そのため、この画像データをそのまま図１の画像信号出力部１１１へ渡してしまうと、画像信号出力部１１１は元の配列で色情報を取得するため、色が変化し正しく画像を表示できないという問題が生じる。
【００３３】
実施形態２と実施形態１の違いは、この点を改善したものである。したがって、実施形態２では図１の部分読み出し位置設定部１０５のみ説明をし、それ以外の部分の説明については実施形態１と同様であるため省略する。
【００３４】
実施形態２における部分読み出し位置設定部１０５は、メモリ１０７から注目領域の座標データを読み出した際、その注目領域の範囲を微修正し、部分読み出し位置を設定する機能を有することにより、上記問題を解決している。
【００３５】
図９を参照して、その修正方法を説明する。カラーイメージセンサの画素配列９０１において、Ｒは赤、Ｇは緑、Ｂは青の画素である。破線で囲まれた範囲９０２は図１のメモリ１０７から読み出す注目領域の範囲である。注目領域の範囲を回転させても、配列パターンを崩さないようにするためには、４つ角がＲ画素の点対象の配列パターンである必要がある。
【００３６】
つまり、範囲９０２を範囲９０３に示すような範囲に修正すればよい。修正は１画素オーダーで行われるため、注目領域の範囲が著しく変化することはない。修正後の注目領域が範囲９０３のような配列パターンならば９０度、１８０度、２７０度、どの角度で回転させても配列パターンの変化はないため、後段の画像信号出力部１１１へ影響を与えることはなくなる。
【００３７】
次に、図１１を参照して、注目領域の修正フローにおける座標系について説明する。図１のメモリ１０７には、注目領域の座標データとして２座標が記憶されている。図１１の座標系は、左上を原点（０，０）としており、イメージセンサの画素と対応する。ＰｔとＰｂは注目領域の左上（Ｔｏｐ）と右下（Ｂｏｔｔｏｍ）の座標データであり、範囲１１０１が注目領域の範囲である。この注目領域は、正方形になるように外部から予め設定してある。これは回転させても形状が変わらないようにするためである。
【００３８】
次に、図１０を参照して、これらの注目領域の４つ角がすべてＲ画素になるようにＰｔとＰｂ座標を修正するフローについて説明する。
【００３９】
図１０のステップ１０１１では、Ｐｂ座標の画素がＲ画素かを判断する。Ｒ画素でないときには、処理をステップ１０１２に移す。
【００４０】
次に、ステップ１０１２では、Ｐｂ座標の画素がＢ画素かを確認する。Ｂ画素である場合は、処理をステップ１０１３に移す。Ｂ画素の場合は、その画素の左上、右上、左下、右下にＲ画素が隣接しているので、どれかをＰｂ座標に変更すればよい。ただし、注目領域の形状を修正後も正方形にするためには、右下か左上のどちらかのＲ画素にしか変更できない。
【００４１】
従って、ステップ１０１３では、Ｐｂ画素がイメージセンサエリアの右端か下端でないことを確認し、どちらの端でもない場合は、右下のＲ画素に変更するため、処理をステップ１０１４に移す。
【００４２】
次に、ステップ１０１４では、Ｐｂ画素の座標Ｘｂ、Ｙｂにそれぞれ１を足し、注目領域の下１行と右１列を追加する。ステップ１０１３でＰｂ画素がイメージセンサエリアの右端又は下端の場合には、ステップ１０１５にてＸｂ−１、Ｙｂ−１を行い、注目領域の下１行と右１列を削除する。これにより、Ｐｂ座標の画素がＢ画素であった場合においてのＲ画素へ修正が行われる。
【００４３】
次に、ステップ１０１２で、Ｐｂ座標の画素がＢ画素でなかった場合、つまりＧ画素の場合には、処理をステップ１０１６に移す。ステップ１０１６では、Ｒ画素の行にあるＧ画素か、Ｂ画素の行にあるＧ画素かを判断する。ＰｂのＹ座標Ｙｂが偶数ならＲ画素の行であり、その場合は、ステップ１０１７に進む。
【００４４】
次に、ステップ１０１７では、Ｐｂ座標の画素がイメージセンサの右端かどうかの判断をしている。イメージセンサのベイヤー配列は、最終行がＢ画素の行であるため、Ｒ画素の行にあるＧ画素は下端であることを確認する必要はない。従って、ステップ１０１７で右端と判定した場合はステップ１０１８でＸｂ−１を行い、注目領域の右側を１列削除する。これにより、Ｐｂ座標の画素がＲ画素に変更される。
【００４５】
次に、ステップ１０１８では、注目領域の右側を１列削除すると、注目領域の形状が正方形ではなくなってしまうため、ステップ１０１９でＸｔ−１を行い、注目領域の左側に１列追加する。
【００４６】
次に、ステップ１０１７で、Ｐｂ座標の画素が右端でない場合、ステップ１０２０でＸｂ＋１を行い、注目領域の右側に１列追加する。これにより、Ｐｂ座標の画素がＲ画素に変更される。ステップ１０２０で右側に１列追加すると、注目領域の形状が正方形ではなくなってしまうため、ステップ１０２１でＸｔ＋１を行い、注目領域の左側を１列削除する。
【００４７】
一方、ステップ１０１６でＰｂ座標の画素がＢ画素行のＧ画素と判定された場合は、ステップ１０２２でＰｂ座標がイメージセンサの下端かどうかの判断をしている。Ｂ画素の行の右端にある画素は、ベイヤー配列上Ｂ画素になるため、Ｂ画素の行にあるＧ画素が右端であることを確認する必要はない。
【００４８】
従って、ステップ１０２２で下端と判定した場合はステップ１０２３でＹｂ−１を行い、注目領域の下側を１行削除する。これにより、Ｐｂ座標の画素がＲ画素に変更される。ステップ１０２３で注目領域の下側を１行削除すると、注目領域の形状が正方形ではなくなってしまうため、ステップ１０２４でＹｔ−１を行い、注目領域の上側に１行追加する。ステップ１０２２でＰｂ座標の画素が下端でない場合は、ステップ１０２５でＹｂ＋１を行い、注目領域の下側に１行追加する。これにより、Ｐｂ座標の画素がＲ画素に変更される。
【００４９】
次に、ステップ１０２５で注目領域の下側に１行追加すると、注目領域の形状が正方形ではなくなってしまうため、ステップ１０２６でＹｔ＋１を行い、注目領域の上側を１行削除する。これらの処理により、ステップ１０１１でＰｂ座標の画素がＲ画素ではないと判断された場合でも、注目領域は正方形を維持したまま、注目領域の右下画素ＰｂはＲ画素に変更されることになる。
【００５０】
このような注目領域の範囲修正を行うことにより、判断ステップ１０２７において注目領域の左上座標ＰｔはＲ画素又はＢ画素になっている。なぜならば、Ｐｂ座標の画素がＲ画素で注目領域が正方形であるということは、図８の画素配列上、Ｒ画素かＢ画素でしかなりえない。
【００５１】
従って、ステップ１０２７でＰｔ座標の画素がＲ画素ではないと判断された場合は必ずＢ画素ということになる。その場合は、処理をステップ１０２８に移し、Ｘｔ−１，  Ｙｔ−１を行うことによって注目領域を上側と左側に広げ、ＰｔをＲ画素に微修正する。ここで、Ｐｔ座標の画素がＢ画素ということは、ベイヤー配列上イメージセンサの左端や上端ではないため、端の確認を行うことをせずＸｔ−１，Ｙｔ−１を行うことができる。
【００５２】
上記のフローに従うことにより、注目領域は４つ角がＲ画素のパターンに修正され、点対象のパターン配置となる。これにより注目領域を９０度、１８０度、２７０度のどの角度で回転させた場合でも必ず元のカラー配列となるため、図１の画像信号出力１１１にて正しく色を再現することが可能になる。その他の処理は実施例１と同様であるため、説明は省略する。
【００５３】
以上のように、本実施形態によれば、カラーイメージセンサを備えるマシンビジョンカメラによる外観検査を人間が部分的に行う場合に、注目領域の一部を回転させて天地が正しい状態で表示される。更に、正しく色を再現することにより、視認性を向上することを可能にした撮像装置を得ることが可能となる。
【００５４】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５５】
１０７    メモリ
１０５    部分読み出し位置設定部
１０９    画像メモリ制御部
【図１】
2018029232.tif 000003
【図２】
2018029232.tif 000004
【図３】
2018029232.tif 000005
【図４】
2018029232.tif 000006
【図５】
2018029232.tif 000007
【図６】
2018029232.tif 000008
【図７】
2018029232.tif 000009
【図８】
2018029232.tif 000010
【図９】
2018029232.tif 000011
【図１０】
2018029232.tif 000012
【図１１】
2018029232.tif 000013
【図１２】
2018029232.tif 000014
【図１３】
2018029232.tif 000015