(57)【要約】【課題】複雑な背景がカメラに写り込むような環境においても、部品の良否判定などの画像検査を安定的かつ高速に実行できるようにする。【解決手段】第１の波長を含む第１の照明光を照射する濃淡画像取得用照明装置１０２と、第１の波長とは異なる第２の波長を含む第２の照明光を照射する距離画像取得用照明装置１０３と、を設ける。撮像装置１０１は、各照明装置から対象物に第１の照明光と第２の照明光とを照射して照明した状態で対象物を撮像する。濃淡画像生成部１１０は、第１の波長を透過させる第１の光学フィルタを介して撮像された画素から成る濃淡画像を生成する。距離画像生成部１１１は、第２の波長を透過させる第２の光学フィルタを介して撮像された画素を含む距離画像を生成する。画像処理部１０４は、距離画像の対象物の距離情報を用いて濃淡画像ないしは距離画像の検査領域を決定する。【選択図】図１
2020193867.tif 000002
【特許請求の範囲】
【請求項１】
第１の波長を含む第１の光を照射する第１の照明装置と、
前記第１の波長とは異なる第２の波長を含む第２の光を照射する第２の照明装置と、
対象物を撮像する撮像装置と、
前記第１の照明装置および前記第２の照明装置から前記対象物に前記第１の光および前記第２の光を照射した状態で前記撮像装置を用いて前記対象物を撮像するコントローラと、を備えた画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記撮像装置の出力から、前記第１の波長を透過させる第１の光学フィルタを介して撮像された第１の画像を生成する第１の画像生成部と、
前記撮像装置の出力から、前記第２の波長を透過させる第２の光学フィルタを介して撮像された第２の画像を生成する第２の画像生成部と、を備えた画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記第２の画像および／または前記第１の画像から取得した前記対象物の距離情報を用いて前記第１の画像および／または前記第２の画像の検査領域を決定し、前記検査領域に対して画像処理を行うことにより、前記対象物を検査する画像処理部と、を備えた画像処理装置。
【請求項４】
請求項２または３に記載の画像処理装置において、前記撮像装置が、前記第１の光学フィルタを通過した撮像光で撮像された第１の画素データ、または、前記第２の光学フィルタを通過した撮像光で撮像された第２の画素データを出力する読み出し機構を備える画像処理装置。
【請求項５】
請求項２から４のいずれか１項に記載の画像処理装置において、前記第１の光学フィルタ、および前記第２の光学フィルタは、赤色を透過するフィルタ、緑色を透過するフィルタ、青色を透過するフィルタ、赤外線を透過するフィルタのうち、互いに異なるいずれか１つを、それぞれ備える画像処理装置。
【請求項６】
請求項１から３のいずれか１項に記載の画像処理装置において、前記撮像装置がステレオカメラであり、前記撮像装置が前記第２の画像としてステレオ撮像した画像データから前記対象物の距離情報が取得される画像処理装置。
【請求項７】
請求項２から６のいずれか１項に記載の画像処理装置において、前記撮像装置の撮像素子が、２つの光電変換部を備える撮像面位相差センサを備え、前記第２の波長を含む撮像光により前記撮像面位相差センサが前記第２の画像として撮像した画像データから前記対象物の距離情報が取得される画像処理装置。
【請求項８】
請求項６または７に記載の画像処理装置において、前記第１の照明装置が、前記撮像装置の撮像光軸と平行な照明光によって前記対象物に対して前記第１の光を照射する画像処理装置。
【請求項９】
請求項６から８のいずれか１項に記載の画像処理装置において、前記第２の照明装置が、前記対象物の周囲から前記対象物に対して前記第２の光を照射する照明装置である画像処理装置。
【請求項１０】
請求項１から５のいずれか１項に記載の画像処理装置において、前記第２の照明装置が、前記対象物に対して所定の明暗パターンを有するパターン光を照射するプロジェクタである画像処理装置。
【請求項１１】
請求項１０に記載の画像処理装置において、前記撮像装置が前記第２の画像として撮像した画像データの前記パターン光の画像から前記対象物の距離情報が取得される画像処理装置。
【請求項１２】
請求項１から１１のいずれか１項に記載の画像処理装置において、前記第１の照明装置および／または前記第２の照明装置の照明光源がＬＥＤ素子である画像処理装置。
【請求項１３】
請求項１から１１のいずれか１項に記載の画像処理装置において、前記第１の照明装置および／または前記第２の照明装置の照明光源がレーザ光源である画像処理装置。
【請求項１４】
請求項１から１３のいずれか１項に記載の画像処理装置において、前記画像処理部は、前記検査領域に対する画像処理において、前記第１の画像および前記第２の画像を用いて前記対象物を検査する画像処理装置。
【請求項１５】
請求項１から１４のいずれか１項に記載の画像処理装置と、ロボット装置と、前記ロボット装置を制御し、前記ロボット装置に部品を操作させて物品の製造を実行させる制御装置と、を備えたロボットシステムにおいて、
前記画像処理装置が前記対象物としての前記部品を検査した検査結果に応じて、前記制御装置が前記ロボット装置を制御し物品の製造を行うロボットシステム。
【請求項１６】
請求項１５に記載のロボットシステムにおいて、
前記コントローラは、前記ロボット装置が前記対象物としての前記部品を操作している際に、前記第１の照明装置および前記第２の照明装置を用いて前記部品に前記第１の光および前記第２の光を照射し、前記撮像装置を用いて前記部品を撮像するロボットシステム。
【請求項１７】
請求項１から１４のいずれか１項に記載の画像処理装置と、ロボット装置と、前記ロボット装置を制御し、前記ロボット装置に部品を操作させて物品の製造を実行させる制御装置と、を備えたロボットシステムにより物品を製造する物品の製造方法において、
前記画像処理装置が前記対象物としての前記部品を検査した検査結果に応じて、前記制御装置が前記ロボット装置を制御し物品の製造を行う物品の製造方法。
【請求項１８】
撮像装置により対象物を撮像した画像に画像処理を行う画像処理装置の制御方法において、
第１の照明装置および第２の照明装置を用いて第１の波長を含む第１の光と、前記第１の波長とは異なる第２の波長を含む第２の光と、を照射した状態で、前記撮像装置により前記対象物を撮像する撮像工程と、を含む制御方法。
【請求項１９】
請求項１８に記載の制御方法において、
前記撮像装置の出力から、前記第１の波長を透過させる第１の光学フィルタを介して撮像された第１の画像を生成する第１の画像生成工程と、
前記撮像装置の出力から、前記第２の波長を透過させる第２の光学フィルタを介して撮像された第２の画像を生成する第２の画像生成工程と、を含む制御方法。
【請求項２０】
請求項１９に記載の制御方法において、
前記第２の画像および／または前記第１の画像から取得した前記対象物の距離情報を用いて前記第１の画像および／または前記第２の画像の検査領域を決定し、前記検査領域に対して前記画像処理を行うことにより、前記対象物を検査する検査工程と、を含む制御方法。
【請求項２１】
請求項１７に記載の物品の製造方法、または請求項１８から２０のいずれか１項に記載の制御方法における各工程をコンピュータに実行させる制御プログラム。
【請求項２２】
請求項２１に記載の制御プログラムを格納した、コンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物を撮像した画像データに対する画像処理の結果に応じて前記対象物を検査する画像処理装置、制御方法、制御プログラムおよびコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
従来、各種工業製品の製造工程において、部品を撮像して取得した画像データを画像処理し、その処理結果を用いて部品の有無検査、表裏検査、位置検査、姿勢検査、外観検査などの各種画像検査が行われている。
【０００３】
これらの画像検査で用いる画像処理では、部品を撮像して取得した画像データに対して部品の良否を判定可能な特性を表現する画像特徴量、例えば、輝度平均値、特徴点／特徴エッジの位置、エッジ強度などを計算する。例えば、良否判定の場合は、部品の良否を定量的に判定可能な画像特徴量の閾値を設定しておき、画像処理によって得た画像特徴量が閾値を超えるか否かにより良否を判定する。
【０００４】
一方、実際の部品を撮像して取得した画像データにおいては、本来検査の対象となるべき部品だけではなく、検査治具表面の模様、部品を搬送する機械の構造物、部品が置かれているトレイなど、複雑な模様を持つ様々な物体が背景として写り込むことが多い。このような複雑な背景が写り込むと、画像検査で誤判定を生じる可能性がある。例えば、このような誤判定は、部品の表面や端部の画像情報から計算される本来良否を判定するために用いるべき画像特徴量に対して、背景の画像情報から計算される画像特徴量が重畳された画像特徴量が計算されることにより生じる。
【０００５】
複雑な背景が写り込んだ画像から部品の良否を安定的に検査する技術として、下記の特許文献１のような構成が提案されている。特許文献１の装置では、通常の濃淡画像を撮像して取得するとともに、距離に応じた濃淡値を有する距離画像を取得する。その上で、濃淡画像と距離画像の一方の画像情報により、他方の画像情報に基づいた検査を行うための検査領域を特定する。このような構成により、例えば濃淡画像では互いの区別のつかない複雑な背景が写り込むような環境での部品検査でも、距離画像により部品の領域を特定し、特定された部品の領域に対してのみ、濃淡画像を用いた検査を実施することができる。このような構成では、濃淡画像と距離画像は、同じ位置および同じスケールで領域情報を扱う必要があり、同一のカメラで取得できるのが望ましい。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１２−２１９１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ここで、特許文献１に記載の従来技術による部品の検査を、実際の工場内の環境で安定的に実施するためには、部品の領域の特定、あるいは部品の良否の検査に用いる画像特徴量を強調するような、適切な照明光の照射が必要である。また、上述のように濃淡画像と距離画像は同一のカメラで取得できることが望ましい。
【０００８】
しかしながら、濃淡画像の取得時と距離画像の取得時とでは、適切な照明の照射方法は必ずしも同一であるとは限らない。例えば、濃淡画像中の所定部位の特定、良否検査などの場合、部品の輪郭や凹凸のエッジ部分のみを強調するような照明光や、部品の表面が均一に白く光るような照明光、表面の凹凸を強調するような照明光が好ましい。これにより、後段の画像処理で用いる画像特徴量が安定的に計算されるようになる。一方、距離画像で部品の領域の特定や部品の良否の検査を行う場合には、カメラと部品の距離情報が正確かつ安定的に求まるような照明光が用いられる場合がある。パッシブステレオ方式では左右のカメラの対応付けが容易になる模様を補助的に照射する、あるいはアクティブステレオ方式ではレーザや集光によりスリット光やパターン光を照射することで画像上の位置と距離情報との関連づけの精度を向上できる。
【０００９】
このように濃淡画像と距離画像とでは好適な照明光の態様が異なっている。そのため、濃淡画像に適した照明光を用いた一度目の撮像、距離画像に適した照明光を用いた二度目の撮像、のように少なくとも二回の撮像を行う必要があり、撮像に時間がかかる問題がある。また、複数回の撮像を行う方式では、二回の撮像の間に衝撃や振動などで部品が動いて、濃淡画像と距離画像の間で検査領域がずれてしまい、良否の検査が失敗する可能性がある。
【００１０】
本発明の課題は、上記の問題点に鑑み、複雑な背景がカメラに写り込むような環境においても、確実に背景分離を行え、部品の良否判定などの画像検査を安定的かつ高速に実行できるようにすることにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本発明においては、第１の波長を含む第１の光を照射する第１の照明装置と、前記第１の波長とは異なる第２の波長を含む第２の光を照射する第２の照明装置と、対象物を撮像する撮像装置と、前記第１の照明装置および前記第２の照明装置から前記対象物に前記第１の光および前記第２の光を照射した状態で前記撮像装置を用いて前記対象物を撮像するコントローラと、を備えた構成を採用した。
【発明の効果】
【００１２】
上記構成によれば、第１の光と第２の光との波長分離によって、濃淡画像ないし距離画像に相当する第１の画像ないし第２の画像を一回の撮像によって取得できる。そのため、例えば、複雑な背景がカメラに写り込むような環境においても、確実に背景分離を行え、部品の良否判定などの画像検査を安定的かつ高速に実行することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態１に係る画像処理装置のシステム構成を示した説明図である。
【図２】本発明の実施形態１に係る部品の外観を示した説明図である。
【図３】本発明の実施形態１に係る同軸落射型のＬＥＤ照明装置の構造を示した説明図である。
【図４】本発明の実施形態１に係るリング型のＬＥＤ照明装置を示した説明図である。
【図５】本発明の実施形態１に係る波長フィルタの構造を示した説明図である。
【図６】本発明の実施形態１に係る波長フィルタを通して撮像された画像上でのフィルタ順序を示した説明図である。
【図７】本発明の実施形態１に係る濃淡画像の生成方法を示した説明図である。
【図８】本発明の実施形態１に係る距離画像の生成方法を示した説明図である。
【図９】本発明の実施形態１に係る濃淡画像の例を示した説明図である。
【図１０】本発明の実施形態１に係る距離画像の例を示した説明図である。
【図１１】本発明の実施形態１に係るマスク画像の例を示した説明図である。
【図１２】本発明の実施形態１に係るマスクされた濃淡画像の例を示した説明図である。
【図１３】本発明の実施形態２に係る画像処理装置のシステム構成を示した説明図である。
【図１４】本発明の実施形態２に係るプロジェクタにより投影するパターン光の例を示した説明図である。
【図１５】本発明の実施形態３に係る波長フィルタの構造を示した説明図である。
【図１６】本発明の実施形態３に係る波長フィルタを通して撮像された画像上でのフィルタ順序を示した説明図である。
【図１７】本発明の実施形態３に係る濃淡画像の生成方法を示した説明図である。
【図１８】本発明の実施形態３に係る距離画像の生成方法を示した説明図である。
【図１９】本発明の実施形態４に係る画像処理装置の構成を示した説明図である。
【図２０】本発明の実施形態５に係る画像処理装置の構成を示した説明図である。
【図２１】本発明の実施形態６に係るマスクされた距離画像の例を示した説明図である。
【図２２】本発明の実施形態２に係るプロジェクタによりパターン光を投影して得た画像の例を示した説明図である。
【図２３】本発明の実施形態１〜６に係る画像処理装置の画像検査の処理手順を示したフローチャート図である。
【図２４】本発明の実施形態１〜６に係る画像処理装置の画像処理部の構成例を示したブロック図である。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照して本発明を実施するための形態につき説明する。なお、以下に示す構成はあくまでも一例であり、例えば細部の構成については本発明の趣旨を逸脱しない範囲において当業者が適宜変更することができる。また、本実施形態で取り上げる数値は、参考数値であって、本発明を限定するものではない。
【００１５】
＜実施形態１＞
本発明に係る画像処理装置の実施形態１について説明する。
【００１６】
図１に、本実施形態に係る画像処理装置の全体構成を示す。同図に示すように、この画像処理装置は、撮像装置１０１、画像処理部１０４、濃淡画像取得用照明装置１０２、距離画像取得用照明装置１０３、およびコントローラ１０６を備える。
【００１７】
撮像装置１０１は、２つの撮像素子１０７、１０７、２つの波長フィルタ１０８、１０８、２つのレンズ１０９、１０９、濃淡画像生成部１１０、距離画像生成部１１１を備える。
【００１８】
画像処理部１０４は、検査領域特定部１１２、および検査処理部１１３を備える。コントローラ１０６は、撮像指令によって撮像装置１０１の動作を、また、照明制御指令によって濃淡画像取得用照明装置１０２、および距離画像取得用照明装置１０３の動作を制御する。コントローラ１０６は、画像処理部１０４の処理結果に応じて、ロボット制御指令によって搬送ロボット１１６の動作を制御する。搬送ロボット１１６は、架台１１５上に配置された置き台１１４上あるいはその周辺に載置された部品１０５を操作する。この搬送ロボット１１６（ロボット装置）の操作によって、部品１０５から工業製品ないしその部品アセンブリなどの物品が製造される。
【００１９】
本実施形態では、撮像装置１０１は２つの撮像素子１０７、１０７、波長フィルタ１０８、１０８、レンズ１０９、１０９を備えた例えばステレオカメラの形態で実装される。ただし、これらの撮像装置１０１の構成部材は、３つずつ、４つずつなど、より多くの撮像素子、波長フィルタ、レンズにより撮像装置を構成されていてもよい。
【００２０】
本実施形態の画像検査ユニットは、１台の撮像装置１０１を用いた１回のステレオ撮影によって、画像処理に用いる濃淡画像と距離画像を取得できるよう構成されている。そのために、本実施形態では濃淡画像取得用照明装置１０２、距離画像取得用照明装置１０３を、それぞれ異なる波長の照明光を照射するよう構成する。また、濃淡画像取得用照明装置１０２、距離画像取得用照明装置１０３は後述するように、それぞれの用途に適した照明光の照射形態となるよう構成する。そして、例えば、撮像素子１０７、１０７からＲ、Ｇ、Ｂ各色の画素単位で読み出しを行い、上記各照明装置の分光スペクトラムを有する画素データを取得する。このような読み出しは、撮像素子１０７、１０７がそのような読み出し機構を備えていれば、その読み出し機構を用いて実施してもよい。
【００２１】
波長フィルタ１０８、１０８は、通常、撮像素子１０７、１０７の前方、対象物側に配置され、１つのカラー画素につき、それぞれＲ、Ｇ、Ｂの各分光強度を取得するセンサの前方でそれぞれの波長を通過させるフィルタアレイとして構成される。
【００２２】
ここで、図２３を参照しつつ、上記構成において、部品を検査する処理の流れを説明する。まず、コントローラ１０６の照明制御指令により、濃淡画像取得用照明装置１０２と距離画像取得用照明装置１０３の両方を点灯する（図２３、Ｓ１０）。この状態で、撮像装置１０１は、コントローラ１０６の撮像指令に応じて２つの撮像素子１０７、１０７で同時に画像を撮像し、２枚の画像データを得る（図２３、Ｓ１２：撮像工程）。
【００２３】
ここで、例えば濃淡画像取得用照明装置１０２は青色（Ｂ）の波長（第１の波長）を照射し、距離画像取得用照明装置１０３は赤色（Ｒ）の波長（第２の波長）を照射する照明形態とする。撮像装置１０１は、２枚の画像データに基づき、濃淡画像取得用照明装置１０２および距離画像取得用照明装置１０３のそれぞれの照明光で得た濃淡画像と距離画像を画像処理部１０４の濃淡画像生成部１１０および距離画像生成部１１１に転送する。
【００２４】
図２３のステップＳ１４では、波長フィルタ１０８、１０８の内、青色光が透過する第１の光学フィルタのみを通過した撮像光で撮像された第１の画素データの集合を用いて濃淡画像を生成する。また、赤色光が透過する第２の光学フィルタのみを通過した撮像光で撮像された第２の画素データの集合を用いて距離画像を生成する。
【００２５】
画像処理部１０４の検査領域特定部１１２は、生成された距離画像の画像情報に基づき、検査領域を特定する（図２３、Ｓ１６）。例えば、距離画像から得られる特定の撮像距離の対象物のみが撮影されている画像の範囲を検査領域として特定する。撮像されている対象物の撮像距離は、例えば撮像素子１０７、１０７でステレオ撮像したそれぞれの画像の視差から演算することができる。
【００２６】
また、検査処理部１１３は、濃淡画像の中で、検査領域特定部１１２が特定した検査領域に対してのみ検査処理を実施し、部品の良否を判定する（図２３、Ｓ１８：検査工程）。その判定結果はコントローラ１０６へ転送され、転送された良否判定結果に基づいて後段の工程で搬送ロボット１１６あるいはその他の生産機器（詳細不図示）が制御される（図２３、Ｓ２０）。本実施形態の画像処理装置を用いることにより、以上のようなロボットシステムを構成することができる。
【００２７】
以上のように、本実施形態では、濃淡画像と距離画像を一回の撮像で取得することができるので、濃淡画像と距離画像を使用した部品の良否の検査を、高速に実施することができる。また、複数回撮像ではないため、前述のような撮像のタイムラグによって検査エラーを生じる可能性も極めて低い。以下では、各構成要素につきさらに詳細に説明する。
【００２８】
部品１０５は、製品たる物品を構成する物体である。本実施形態では、図２に示すように、部品は例えば歯車状の形状を有するものとする。また、部品は架台１１５上に配置された置き台１１４の上に例えば人の手によって載置され、図１の画像検査ユニットにより歯車状の形状にカケ等の欠損が無いか否かを検査されるものとする。
【００２９】
部品１０５は、図２に示すように置き台１１４に、撮像装置１０１からは歯車が円状に見えるように配置される。部品１０５の表面には模様（テクスチャ）があるものとする。図２の例では、部品１０５が置かれた置き台１１４の周辺には、部品１０５とよく似た形状の物体１０５ａ、１０５ｂ…が多数配置されている。このため、部品１０５を撮像し画像データを得る時、背景に部品とよく似た形状が多数映り込む状態であるものとする。部品１０５および部品１０５が載置される置き台１１４の位置は不定であり、様々な位置に変化する可能性があるものとする。そして、コントローラ１０６は、例えば、部品１０５の画像検査の結果が良品であれば、搬送ロボットにより後工程へ搬送され、部品１０５の検査結果が不良品であれば、システムを停止して警告音を発生させるものとする。
【００３０】
図１のコントローラ１０６は、画像処理部１０４の画像処理結果を利用する側の装置である。コントローラ１０６の実装形態は種々考えられるが、生産ラインを統合的に制御する例えば、ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｃｏｎｔｒｏｌｌｅｒ）などが挙げられる。あるいは、コントローラ１０６の機能は、搬送ロボット１１６を制御するロボット制御装置などに実装されていてもよい。コントローラ１０６がＰＬＣの場合、図中の他のブロックに対するＩＯ信号の入出力は、ＥｔｈｅｒｎｅｔやＲＳ−２３２Ｃ通信のような通信インタフェースを用いて行なわれる。図１中に括弧書きで示した各種の指令は、この通信インタフェースを介して送受信される。
【００３１】
コントローラ１０６は、濃淡画像取得用照明装置１０２と距離画像取得用照明装置１０３に対して照明制御指令を発行し、２種類の照明を発光させる。次に、コントローラ１０６は、撮像装置１０１に対して撮像指令を発行し、撮像装置１０１に濃淡画像および距離画像を生成させ、さらに画像処理部１０４で検査処理を実行させ、画像処理部１０４から処理結果を受信する。そして、コントローラ１０６は、画像処理部１０４から受信した画像処理結果に基づき、搬送ロボット１１６に対して処理結果に応じたロボット制御指令を発行する。例えば、良否検査の場合は、良品判定では搬送ロボット１１６が部品１０５を後段の工程に搬送するよう、また不良品判定では搬送ロボット１１６が部品１０５をラインから除去するよう制御される。
【００３２】
なお、本実施形態ではコントローラ１０６が撮像装置１０１に対して撮像指令を発行することにより撮像を開始する。しかしながら、コントローラ１０６が撮像装置１０１ではなく画像処理部１０４に対して撮像指令を発行し、画像処理部１０４を介して撮像装置１０１に撮像指令を発行してもよい。
【００３３】
濃淡画像取得用照明装置１０２は、例えば、図３に示すような同軸落射型のＬＥＤ照明装置である。この種の同軸落射型のＬＥＤ照明装置は、図示のように側面に配置されたＬＥＤ素子１０２１の照明光を、ハーフミラー１０２３により反射させ、下部に配置した物体を照明する。ＬＥＤ素子１０２１の前方には、必要に応じて拡散板１０２２などを配置することができる。なお、光源にはＬＥＤ素子のみならず他の発光素子、例えば半導体レーザ素子のようなレーザ光源を用いてもよい。
【００３４】
図３のような同軸落射型のＬＥＤ照明装置を用いることにより、撮像装置１０１は、ハーフミラーを介して、その撮像光軸とほぼ平行な照明方向を有する平行光の照明光で照明したものと同等の画像データが得られる。そのため、対象物表面を正反射させ、その正反射光を撮像する場合などに特に有効である。本実施形態では、濃淡画像取得用照明装置１０２のＬＥＤ素子１０２１の発光波長（発光色）は、例えば青色（Ｂ）とする。ただし、後述のように、濃淡画像生成では、撮像素子１０７から赤色（Ｒ）を除く青色（Ｂ）および緑色（Ｇ）の画素を読み出して用いる。従って、ＬＥＤ素子１０２１の発光波長（発光色）は例えば緑色（Ｇ）のスペクトルを含んでいてもよい。
【００３５】
濃淡画像取得用照明装置１０２は、部品の検査の際に、撮像に先立ってコントローラ１０６から送信される照明制御指令に基づいて所定の輝度で部品を照明する。本実施形態では、濃淡画像取得用照明装置１０２は、上記のように同軸落射型のＬＥＤ照明装置により部品の正反射光を撮像する構成とする。しかしながら、濃淡画像取得用照明装置１０２は、表面の模様やキズなどを強調するためにローアングルの照明光を照射するリング型ＬＥＤ照明装置で構成してもよい。また、濃淡画像取得用照明装置１０２には、特定の画像検査のために最適な形状、最適な配置位置を選ぶことができる。また、発光素子としては、発光波長帯が選択できるものであれば、ＬＥＤ素子１０２１以外の任意の方式の発光素子を用いてもよい。
【００３６】
一方、距離画像取得用照明装置１０３は、本実施形態では、例えば、図４の上半部に示すようなリング形状のＬＥＤ照明装置で構成する。このＬＥＤ照明装置は、同図の下半部に示すような断面形状を有している。即ち、金属やプラスチックから、内周と下部とを開口させたリング形状の筐体部に、照射方向が下方の対象物の方向を向くようにＬＥＤ素子１０３１を多数配置する。そして、好ましくはＬＥＤ素子１０３１の前方はリング状の拡散板１０３３で覆う。
【００３７】
本実施形態では、図４のようなリング型のＬＥＤ照明装置で、距離画像取得用照明装置１０３を構成し、これを例えば図１に示すように対象物の部品１０５に近い高さに配置する。これにより、部品１０５を周囲側方、あるいは真横に近い角度から照明する。このような構成により、照明光の正反射光を撮像装置１０１の方向に反射させないよう制御し、主に物体の拡散反射光で撮像を行うことができる。本実施形態では、距離画像取得用照明装置１０３の発光波長（発光色）は、例えば赤色（Ｒ）とする。
【００３８】
距離画像取得用照明装置１０３は、部品の検査の際に、撮像の際、コントローラ１０６から送信される照明制御指令に基づいて所定の輝度で部品を照明する。撮像装置１０１が撮像を行う時の照明の状態は、濃淡画像取得用照明装置１０２と距離画像取得用照明装置１０３の両方により部品が照明されているものとする。
【００３９】
なお、本実施形態では、距離画像取得用照明装置１０３は、リング型のＬＥＤ照明装置を用いるが、検査対象の部品１０５に応じて、表面の模様を強調して撮像するために最適な形状、最適な位置で使用可能なその他のＬＥＤ照明装置を用いることができる。また、距離画像取得用照明装置１０３の場合も、発光素子としては、発光波長帯が選択できるものであれば、ＬＥＤ以外の任意の方式の発光素子を用いることができる。
【００４０】
撮像装置１０１は、２つの撮像素子１０７、１０７、２つの波長フィルタ１０８、１０８、２つのレンズ１０９、１０９、濃淡画像生成部１１０（第１の画像生成部）、距離画像生成部１１１（第２の画像生成部）から構成される。好ましくは撮像装置１０１は、単一筐体にこれらの部材を組み込んだ例えば一体のカメラとしての形態で製造する。しかしながら、それぞれ２つの撮像素子、波長フィルタ、レンズの部分は例えば別体のカメラ装置を用いて構成してもよい。以下では、撮像装置１０１の構成要素を詳細に説明する。
【００４１】
例えば、撮像素子１０７、１０７は、各画素で８ｂｉｔのｂｉｔ深度を持つＣＭＯＳイメージセンサで構成し、ＬＶＤＳ信号により画像データを素子外へ出力する。撮像素子１０７、１０７とレンズ１０９、１０９を組み合わせた撮像光学系は、撮像素子１０７、１０７の撮像視野に関して水平方向および垂直方向について、例えば部品の直径の２倍程度の撮影視野（画角）を持つよう構成する。この種の撮像素子１０７、１０７は、ＳＰＩやＩ２ＣといったＩＯ仕様の通信を介して撮像素子１０７、１０７に内蔵するレジスタへ設定値を書込んだ上で画像データを読み出すことができる。
【００４２】
撮像素子１０７、１０７は、素子内部あるいは外部で発行された撮影トリガに応じて画像の撮像動作を開始する。撮像素子１０７、１０７は、濃淡画像取得用照明装置１０２および距離画像取得用照明装置１０３が所定の点灯状態となった後、コントローラ１０６から発行される撮像指令のタイミングで２枚の画像を撮像する。また、撮像素子１０７、１０７はレジスタへの設定値書き込みにより、間引き撮像やビニング撮像を行うことができるものとする。２つの撮像素子１０７、１０７は、例えば図１に示すように水平方向に並ぶように回路基板上に配置する。
【００４３】
波長フィルタ１０８、１０８は、例えば撮像素子１０７、１０７の各画素に位置が対応するように、これら撮像素子に対してオンチップで配置されるカラーフィルタである。例えば、波長フィルタ１０８、１０８を構成するカラーフィルタは、撮像素子１０７、１０７の２×２画素毎に、例えば、図５に１０８Ｒ、１０８Ｇ、１０８Ｂで示すように、Ｒ（赤）、Ｇ（緑）、Ｇ（緑）、Ｂ（青）順で配列したベイヤー配置である。このカラーフィルタを通して撮像された画像データは、図５、図６に示すように、２×２画素毎に、Ｒ（赤）成分（左上）、Ｇ（緑）成分（左下）、Ｇ（緑）成分（右上）、Ｂ（青）成分（右下）のパターンの波長に相当する画素データが得られる。なお、上記のフィルタ配列パターンは一例に過ぎない。カラーフィルタのＲ（赤）Ｇ（緑）Ｂ（青）の配置パターンは、本実施形態とは異なる任意の順番や組合せをとっても構わない。本実施形態では、２つの撮像素子１０７、１０７に対してオンチップでそれぞれ同一の波長フィルタ１０８、１０８を配置するものとする。
【００４４】
濃淡画像生成部１１０は、図７に示すように撮像で得られた２枚の画像データのうち、どちらか１枚の画像に対して（１０７１）、Ｒ（赤）成分の画素を無視し、Ｇ（緑）成分およびＢ（青）成分の画素のみを抽出する（１０７２）。なお、撮像素子の機能によりカラーフィルタの２×２画素を１ブロックとして、間引きもしくはビニングをした上で画像を出力する場合にも、同様にＲ（赤）、Ｇ（緑）ないしＢ（青）の所望の画素のみを抽出することができる。その後、濃淡画像生成部１１０は、抽出した画像に対して既知のベイヤー現像処理を施した上でグレースケール化し、濃淡画像を生成する。
【００４５】
図２の状態で、部品１０５を載置した置き台１１４とその周辺を撮像した場合、濃淡画像生成部１１０により図９のような濃淡画像が生成される。図９において、画像３０２は置き台１１４の画像、画像３０３は検査対象の図２の部品１０５の画像、画像３０４、３０５は置き台１１４の周囲の物体１０５ａ、１０５ｂ…の画像である。
【００４６】
なお、ここでは濃淡画像生成部１１０を撮像装置１０１の中に設けた構成を示しているが濃淡画像生成手段を画像処理部１０４の中に設ける構成でも構わない。その場合、撮像装置１０１で撮像した画像をそのまま画像処理部１０４へ転送し、画像処理部１０４の中で濃淡画像を生成してもよい。なお濃淡画像生成部１１０で生成する濃淡画像は、データとして、容量削減のため、少なくともＧ（緑）とＢ（青）の２ｃｈ分のデータを保持する形式とするのが望ましい。しかしながら、データ処理の流用性などのためにＲ（赤）、Ｇ（緑）、Ｂ（青）の３ｃｈ分のデータを保持する形式としてもよい。また、さらに容量を削減するためには、Ｂ（青）の１ｃｈ分のデータを保持する形式であってもよい。
【００４７】
一方、距離画像生成部１１１は、図８に示すように、撮像で得られた２枚の画像データの両方について、Ｇ（緑）成分およびＢ（青）成分の画素を無視し、Ｒ（赤）成分の画素のみを抽出する（１０７１、１０７３）。なお、撮像素子の機能によりカラーフィルタの２×２画素を１ブロックとして、間引きもしくはビニングをした上で画像を出力する場合にも、同様にして、Ｒ（赤）、Ｇ（緑）ないしＢ（青）の所定の画素のみを抽出することができる。その後、抽出した画像に対して既知のベイヤー現像処理を施した上でグレースケール化し、２枚のグレースケール画像を得る。さらに、既知のステレオ法を用い、２枚のグレースケール画像のステレオ対応付けを行って各画素について視差を算出し、距離画像を生成する。
【００４８】
ここで生成される距離画像は、例えば、図１０に示すように撮像装置１０１からの距離が遠いほど明るく、距離が近いほど暗い輝度値で表現される（図１０：３０１）。本実施形態における距離画像は、各画素毎に距離データとして、３２ｂｉｔの浮動小数点データを持つものとする。なお、本実施形態では距離画像生成部１１１を撮像装置１０１の中に設ける例を示しているが、距離画像生成部１１１を画像処理部１０４の中に設ける構成を用いてもよい。その場合、撮像装置１０１で撮像した画像をそのまま画像処理部１０４へ転送し、画像処理部１０４の側で距離画像を生成することができる。
【００４９】
また、本実施形態では濃淡画像に青色（Ｂ）の波長帯の照明光を用い、距離画像に赤色（Ｒ）の波長帯の照明光を用いている。しかしながら、濃淡画像生成部１１０および距離画像生成部１１１が取り扱う照明光（撮影光）の波長（照明の発光色）の割り当ては任意であり、上記と異なる割り当てを採用しても構わない。要するに、濃淡画像と距離画像で互いに照明光（撮影光）の波長帯（照明の発光色）が異なっていればよく、濃淡画像と距離画像の各々について、他の照明光（撮影光）の波長帯（照明の発光色）が割り当てられていて構わない。
【００５０】
画像処理部１０４は、検査領域特定部１１２と検査処理部１１３を備えている。撮像装置１０１から入力した濃淡画像及び距離画像を用いて検査領域特定部１１２は検査領域を決定し、検査処理部１１３は検査領域特定部１１２が特定した検査領域に対して検査処理のための画像処理を行う。画像処理部１０４は、例えばＣＰＵを搭載したＰＣ、ボードコンピュータ、ＧＰＵ、ＦＰＧＡ等の演算装置などによって実装可能である。
【００５１】
ここで、図２４に図１の画像処理部１０４の具体的なハードウェア構成の一例を示しておく。同図のような制御系は、例えばいわゆるＰＣフォームの実装形態で実現できる。
【００５２】
図２４の制御系は、主制御手段としてのＣＰＵ１６０１、記憶装置としてのＲＯＭ１６０２、およびＲＡＭ１６０３を備えたＰＣハードウェアなどによって構成することができる。ＲＯＭ１６０２には、本実施形態の製造手順を実現するためのＣＰＵ１６０１の制御プログラムや定数情報などを格納しておくことができる。また、ＲＡＭ１６０３は、その制御手順を実行する時にＣＰＵ１６０１のワークエリアなどとして使用される。また、図２４の制御系には、外部記憶装置１６０６が接続されている。外部記憶装置１６０６は、本発明の実施には必ずしも必要ではないが、ＨＤＤやＳＳＤ、ネットワークマウントされた他のシステムの外部記憶装置などから構成することができる。
【００５３】
本実施形態の画像処理、例えば検査領域特定部１１２と検査処理部１１３の処理を実現するためのＣＰＵ１６０１の制御プログラムは、上記の外部記憶装置１６０６やＲＯＭ１６０２の（例えばＥＥＰＲＯＭ領域）のような記憶部に格納しておく。その場合、本実施形態の制御手順を実現するためのＣＰＵ１６０１の制御プログラムは、ネットワークインターフェース１６０７（ＮＩＦ）を介して、上記の各記憶部に供給し、また新しい（別の）プログラムに更新することができる。あるいは、後述の制御手順を実現するためのＣＰＵ１６０１の制御プログラムは、各種の磁気ディスクや光ディスク、フラッシュメモリなどの記憶手段と、そのためのドライブ装置を経由して、上記の各記憶部に供給し、またその内容を更新することができる。本実施形態の制御手順を実現するためのＣＰＵ１６０１の制御プログラムを格納した状態における各種の記憶手段、記憶部、ないし記憶デバイスは、本発明の制御手順を格納したコンピュータ読み取り可能な記録媒体を構成することになる。
【００５４】
ネットワークインターフェース１６０７は、例えばＩＥＥＥ  ８０２．３のような有線通信、ＩＥＥＥ  ８０２．１１、８０２．１５のような無線通信による通信規格を用いて構成することができる。ＣＰＵ１６０１は、ネットワークインターフェース１６０７を介して、他の装置１１０４と通信することができる。この装置１１０４は、例えば、物品の製造に係るコントローラ１０６統轄制御装置、あるいは他の管理サーバなどに相当する。図１の搬送ロボット１１６、ないし搬送ロボット１１６に配置された生産ラインの他の生産機器との通信も、ネットワークインターフェース１６０７を介して行うことができる。
【００５５】
また、図２４の制御装置は、ユーザインターフェース装置４００（ＵＩ装置）を備える。ユーザインターフェース装置４００としては、ＬＣＤディスプレイ、キーボード、ポインティングデバイス（マウス、ジョイスティックなど）などから成るＧＵＩ装置を配置してもよい。このようなユーザインターフェース装置４００を介して、画像処理の進行状況をユーザに報知したり、画像処理を制御する各種パラメータの設定などを行うことができる。
【００５６】
画像処理部１０４は次のような機能要素を備える。これらの機能要素は、上述の図２４に示した制御系のハードウェアおよびソフトウェアによって実現することができる。
【００５７】
検査領域特定部１１２は、距離画像生成部１１１が生成した距離画像に基づき、撮像装置１０１で撮像された画像データ中の特定の距離範囲にある画像領域を検査領域として決定する。
【００５８】
ここでは、例えば図１０に示す距離画像の各画素を閾値処理により二値化した上で、画素値を論理反転（「１」⇔「０」）し、図１１のような二値画像を得る。この二値化の閾値の選び方としては、例えば距離画像の各画素の距離情報の最大値を抽出し、最大値の半分の値を閾値とする手法が考えられる。図２のような部品配置では、図１１に示すように置き台１１４の上面に相当する撮像距離より近い画像の領域が検査領域３０７として決定される。この検査領域３０７は「１」の画素値を有する。また、検査領域３０７以外の撮像距離がより遠い領域３０６は、背景に相当する領域で、この領域３０６は「０」の画素値を有する。なお、距離画像の二値化を行う前に、画像データにノイズを低減する既知のフィルタをかけてもよい。以上のようにして図１１のように得られる二値画像を、以下では「マスク画像」と呼ぶ。後段の検査処理部１１３は、以上のようにして決定された検査領域３０７に対して良否検査などの種々の検査のための画像処理を実行する。
【００５９】
検査処理部１１３は、例えば距離画像から生成されたマスク画像（図１１）、および濃淡画像（図９：３０１）を用いて検査を実行する。ここでは、まず濃淡画像（図９：３０１）に対して、検査領域特定部１１２が生成したマスク画像（図１１）に基づき、マスキング処理を行う。このマスキング処理では、マスク画像（図１１）の輝度値が「１」の画素では濃淡画像（図９：３０１）の輝度値をそのまま採用し、マスク画像（図１１）の輝度値が「０」の画素では輝度値を０とする。このマスキング処理により、図１２のように、検査対象の部品１０５の画像３０８が存在する検査領域３０７に有意な画像が存在し、それ以外の背景に相当する領域３０６が輝度値「０」（黒）である画像が得られる。
【００６０】
次に、図１２のように部品１０５（３０８）のみが存在する画像に対する、検査処理部１１３は、適当な画像処理を行うことによって、例えば部品１０５（３０８）の良否判定結果を得る。この検査画像処理としては、例えば画像を二値化して二値画像を生成し、二値画像の面積が閾値以上であれば良品と判定する方法などが考えられる。あるいは、テンプレートマッチングにより予め用意した部品画像とのマッチングスコアを計算し、マッチングスコアが閾値以上であれば良品と判定する方法などを利用してもよい。また、画像のエッジ成分を検出し、形状マッチングにより、予め用意した形状情報とのマッチングスコアを計算し、マッチングスコアが閾値以上であれば良品と判定する方法、既知の良品学習方法などを用いてもよい。検査処理部１１３で得られた良否判定結果は、コントローラ１０６に出力する。
【００６１】
コントローラ１０６は、良否判定結果に基づき、搬送ロボット１１６に送信する指令内容を生成する。例えば、良否検査の場合には、部品の検査結果が良品であれば、コントローラ１０６は搬送ロボット１１６に部品を把持して生産ライン上の後工程へ搬送する動作を行なわせる指令を行う。また、部品の検査結果が不良品であれば、搬送ロボット１１６に部品を把持して生産ラインから排出させるような指令を行う。この時、不図示の音声発生手段などによって、警告音を発生させてもよい。あるいは、不良品判定の場合には、搬送ロボット１１６を含む生産システムを停止して警告音を発生させるようなエラー処理を行ってもよい。
【００６２】
本実施形態によれば、一度の撮像によって、それぞれの撮像に適した適切な照明状態で濃淡画像（第１の画像）と距離画像（第２の画像）を取得することができる。そして、距離画像の距離情報を用いて濃淡画像に対する画像処理を行う検査領域を決定することができる。例えば、複雑な背景がカメラに写り込むような環境における検査でも、距離画像の距離情報を用いて背景部分を除いた検査領域を設定することができ、対象物、例えば部品の画像検査、例えば、良否判定を安定的かつ高速に検査することができる。
【００６３】
＜実施形態２＞
実施形態１では、撮像装置１０１がステレオカメラであって、ステレオ撮影により距離画像（第２の画像）を取得したが、別の構成を有する撮像装置１０１によっても距離情報を取得することができる。本実施形態では、パターン光による照明光（第２の光）を用いて距離画像（第２の画像）を取得する例を示す。なお、以下では、上述と同様の構成部材、機能には同一の参照符号を用い、特に必要がなければその詳細な説明は省略するものとする。
【００６４】
実施形態１の構成では、例示した歯車のように、部品の表面に模様（テクスチャ）があるのが望ましく、ステレオ撮像により２つの画像のステレオ対応付けをした上で距離画像を生成することができる。しかしながら実際の部品は、表面に模様（テクスチャ）がなく、ステレオ撮像してもステレオ対応付けができず、従って視差が計測できず、距離画像が生成できないような形態のものがある。
【００６５】
本実施形態２の構成では、検査対象の対象物に模様（テクスチャ）がないような場合でも、距離画像（第２の画像）を取得することができる。
【００６６】
図１３は、本実施形態に係る画像検査システムの構成を示している。図１３の画像検査システムでは、撮像装置１０１は撮像素子１０７、波長フィルタ１０８、レンズ１０９、濃淡画像生成部１１０、距離画像生成部１１１から構成されている。しかしながら、図１３の撮像装置１０１は、ステレオ構成ではなく、いわゆる単眼の撮像装置である。撮像装置１０１の撮像素子１０７、波長フィルタ１０８、レンズ１０９などの構成は実施形態１の単眼の構成と同様である。
【００６７】
濃淡画像取得用照明装置１０２は、実施形態１のものと同様に撮像装置１０１の撮像光軸とほぼ平行な平行光として照明光を照射する構成である。距離画像取得用照明装置１０３は、例えば、周知のＤＭＤデバイスを搭載したプロジェクタである。
【００６８】
検査領域特定部１１２、検査処理部１１３を備えた画像処理部１０４、およびコントローラ１０６の構成は上記実施形態１と同様である。また、部品を検査する処理の流れについては、実施形態１と同様（図２３）であり、詳細な説明を省略する。
【００６９】
部品１０５は、実施形態１と同様に架台１１５に設置された置き台１１４上に配置され、搬送ロボット１１６によって操作される。本実施形態では部品１０５の表面には模様（テクスチャ）がないものとする。
【００７０】
距離画像取得用照明装置１０３は、例えば既知のＤＭＤデバイスを搭載したプロジェクタである。この種のプロジェクタは、既知の空間コード化法を実施可能な所定の明暗パターンを有するパターン光を、撮像装置とは異なる角度、例えば撮像装置１０１の撮像光軸に対して傾斜した方向から照明する。
【００７１】
図１４において、４０１、４０２、４０３、４０４（…）は、パターンの異なる本実施形態のプロジェクタから成る距離画像取得用照明装置１０３により投影する種々のパターン光（第２の光）の例を示している。本実施形態では、例えば距離画像取得用照明装置１０３の照明光（第２の光）の発光波長は赤色であるものとする。距離画像取得用照明装置１０３は、部品１０５の検査の際に、撮像に先立ってコントローラからの照明制御指令に基づいて点灯され、所定の輝度で部品を照明する。
【００７２】
撮像装置１０１による撮像時には、濃淡画像取得用照明装置１０２（第１の照明装置）と、距離画像取得用照明装置１０３（第２の照明装置）の両方により部品１０５が照明されている状態を形成する。なお、濃淡画像取得用照明装置１０２（第１の照明装置）の照明光（第１の光）の発光波長は青色であるものとする。
【００７３】
本実施形態でも、濃淡画像生成部１１０は、図７に示すように、画像データに対して、Ｒ（赤）成分の画素を無視し、Ｇ（緑）成分およびＢ（青）成分の画素のみを抽出する。なお、撮像素子の機能によりカラーフィルタの２×２画素を１ブロックとして、間引きもしくはビニングをした上で画像を出力する場合にも、同様にＲ（赤）、Ｇ（緑）ないしＢ（青）の所望の画素のみを抽出することができる。その後、抽出した画像に対して既知のベイヤー現像処理を施した上でグレースケール化し、濃淡画像を生成する。濃淡画像は、実施形態１と同様に図９のような形態で生成される。
【００７４】
なお、濃淡画像生成部１１０を撮像装置１０１ではなく、画像処理部１０４に配置する変形例は、本実施形態においても実施できる。その場合、撮像装置１０１で撮像した画像をそのまま画像処理部１０４へ転送し、画像処理部１０４で濃淡画像を生成することができる。また、濃淡画像生成部１１０で生成する濃淡画像データは、容量削減のため、Ｇ（緑）とＢ（青）の２ｃｈ分のデータを保持する形式とするのが望ましい。しかしながら、データ処理の流用性などのため、Ｒ（赤）Ｇ（緑）Ｂ（青）の３ｃｈ分のデータを保持する形式としてもよい。また、さらに容量を削減するためには、Ｂ（青）の１ｃｈ分のデータを保持する形式であってもよい。
【００７５】
一方、距離画像生成部１１１は、図８に示すように、撮像で得られた画像データについて、Ｇ（緑）成分およびＢ（青）成分の画素を無視し、Ｒ（赤）成分の画素のみを抽出する。なお、撮像素子の機能によりカラーフィルタの２×２画素を１ブロックとして、間引きもしくはビニングをした上で画像を出力する場合にも、同様にして、Ｒ（赤）、Ｇ（緑）ないしＢ（青）の所定の画素のみを抽出することができる。その後、距離画像生成部１１１は、抽出した画像に対して既知のベイヤー現像処理を施した上でグレースケール化し、周知の空間コード化法を用いて距離画像を生成する。
【００７６】
図２２は、実施形態１と同様の図２のような対象物を撮像装置１０１で撮像し、Ｒ（赤）成分の画素のみを抽出して得た画像を示している。図２２において、画像２３０２は置き台１１４の画像、画像２３０３は検査対象の図２の部品１０５の画像、画像２３０４、２３０５は置き台１１４の周囲の物体１０５ａ、１０５ｂ…の画像である。２３０１、２４０１は、距離画像取得用照明装置１０３のプロジェクタから照射されたストライプ状のパターン光の明、暗の部分をそれぞれ示している。このストライプ状のパターン光の明、暗の部分のずれ方は、距離画像取得用照明装置１０３の照明光の照射角度（既知）と、対象物の高低差（形状）に依存する。従って、距離画像生成部１１１は、空間コード化法を用いて、明、暗の部分のずれ方から当該の対象物がパターン光で照明された部位の高さ、即ち、距離画像を生成する。このようにして、図１３の構成においても、実施形態１と同様に、検査領域特定部１１２が検査領域特定処理で用いる距離情報を含む距離画像を生成することができる。
【００７７】
実施形態１と同様に、生成される距離画像は、例えば、図１０に示すように撮像装置１０１からの距離が遠いほど明るく、距離が近いほど暗い輝度値で表現される（図１０：３０１）。本実施形態における距離画像は、各画素毎に距離データとして、３２ｂｉｔの浮動小数点データを持つものとする。なお、本実施形態では距離画像生成部１１１を撮像装置１０１の中に設ける例を示しているが、距離画像生成部１１１を画像処理部１０４の中に設ける構成を用いてもよい。その場合、撮像装置１０１で撮像した画像をそのまま画像処理部１０４へ転送し、画像処理部１０４の側で距離画像を生成することができる。
【００７８】
なお、本実施形態でも、濃淡画像に青色（Ｂ）の波長帯の照明光を用い、距離画像に赤色（Ｒ）の波長帯の照明光を用いている。しかしながら、照明光（撮影光）の波長（照明の発光色）の割り当ては実施形態１と同様、任意である。要するに、濃淡画像と距離画像で互いに照明光（撮影光）の波長帯（照明の発光色）が異なっていればよく、濃淡画像と距離画像の各々について、他の照明光（撮影光）の波長帯（照明の発光色）が割り当てられていて構わない。
【００７９】
搬送ロボット１１６は良否判定結果に基づいてコントローラが指令する指令内容に基づき動作させることができる。具体的には、部品の検査結果が良品の場合は、搬送ロボットが部品を把持して後工程へ搬送し、部品の検査結果が不良品であれば、システムを停止して警告音を発生させるような制御を行うことができる。
【００８０】
なお、本実施形態ではプロジェクタを利用した空間コード化法により、部品に模様（テクスチャ）が無い場合に、能動的に部品表面にテクスチャを投影する方法について説明した。しかしながら、空間コード化法以外に、距離画像取得用照明装置を単一またはマルチラインのスリットレーザ、あるいは多点のポイントレーザとして構成し、既知の三角測量や光切断法により各所の距離情報を計算し、距離画像を生成してもよい。また、プロジェクタにより能動的に部品表面にランダムなテクスチャを投影し、ステレオ対応付けの特徴点として活用し、実施形態１で記載したステレオ法により距離画像を生成してもよい。
【００８１】
本実施形態によれば、部品に模様（テクスチャ）が無い場合においても、一度の撮像で、それぞれ適切な照明態様で濃淡画像と距離画像を取得できる。従って、例えば複雑な背景がカメラに写り込むような環境での部品の良否判定を安定的かつ高速に検査することができる。
【００８２】
＜実施形態３＞
前述した実施形態１では、それぞれ濃淡画像と距離画像に適した方向を有する照明光の波長帯を、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のうちそれぞれいずれか１つ、例えばＲ（赤）、Ｂ（青）に分離した。そして、波長フィルタを使用して濃淡画像と距離画像で照明光の波長帯を分離して濃淡画像と距離画像を取得するようにしている。これにより、それぞれ適切な照明態様を有する照明光によって濃淡画像と距離画像を撮像することができた。しかしながら実際の検査においては、濃淡画像にＲ（赤）、Ｇ（緑）、Ｂ（青）全ての色情報が必要になる検査もあり得る。また、検査環境における蛍光灯などの外乱光の波長成分にはＲ（赤）、Ｇ（緑）、ないしＢ（青）の波長帯が含まれることがあり、例えば距離画像に対して影響のある外乱となり、距離画像が正常に生成できない可能性がある。
【００８３】
そこで、本実施形態では、濃淡画像にＲ（赤）、Ｇ（緑）、Ｂ（青）の全ての色情報を使用でき、かつ画像検査を安定的かつ高速に実行できる構成を考える。そのため、本実施例では、距離画像のためにＲ（赤）、Ｇ（緑）、Ｂ（青）以外の波長、例えば赤外線（Ｉｒ）の波長帯を割り当てる。なお、本実施形態に係る画像処理装置の構成は、実施形態１の図１と同様であるものとする。即ち、この構成は、距離情報を利用するための距離画像をステレオカメラで生成する構成である。
【００８４】
本実施形態で部品を検査する処理の流れは次のようなものとなる。まず、コントローラ１０６の照明制御指令により濃淡画像取得用照明装置１０２と距離画像取得用照明装置１０３の両方を点灯した状態とする（図２３、Ｓ１０）。そして、コントローラの撮像指令によりステレオ構成を有する撮像装置１０１の撮像素子１０７、１０７で画像を撮像し、左右視差を有する２枚の画像データを得る（図２３、Ｓ１２）。
【００８５】
本実施形態では、濃淡画像取得用照明装置１０２は、赤色、緑色、青色の波長帯を含む可視光を照射する。一方、距離画像取得用照明装置１０３は赤外光を照射する。これらの照明光の波長帯の設定は、それぞれの照明装置の照明光源に用いる例えばＬＥＤ素子の選定、あるいは適当なフィルタを各照明光源の前方に配置することにより行える。
【００８６】
濃淡画像生成部１１０、距離画像生成部１１１は、上述と同様にステレオ撮像され２枚の画像データに基づき、濃淡画像と距離画像を生成し、これら濃淡画像と距離画像を画像処理部１０４に転送する。濃淡画像の生成では、撮像装置１０１の波長フィルタ１０８のうち、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の波長帯の光が透過するフィルタに対応する画素を用いる。また、距離画像の生成では、赤外光（Ｉｒ）が透過するフィルタに対応する画素を用いる（図２３、Ｓ１４）。画像処理部１０４では、検査領域特定部１１２により、距離画像の画像情報に基づき、画像検査を行う検査領域を特定する（図２３、Ｓ１６）。また、検査処理部１１３において、濃淡画像の中で、検査領域特定部が特定した検査領域に対してのみ、検査処理、例えば対象物として撮像した部品の良否判定を行う（図２３、Ｓ１８）。この判定結果はコントローラ１０６へ転送され、判定結果に基づいて後段の工程の搬送ロボット１１６などの生産機器の動作が制御される（図２３、Ｓ２０）。
【００８７】
以上のように、本実施形態でも、濃淡画像と距離画像を一度の撮像で取得することができ、濃淡画像と距離画像を使用した部品の良否の検査を高速に実施することができる。
【００８８】
続いて、以下では本実施形態の構成をより詳細に説明する。前記のように本実施形態における検査システムの構成は図１と同様であり、部品１０５、コントローラ１０６、画像処理部１０４などの構成は、実施形態１と同様である。実施形態１と異なるのは、以下の照明装置および波長フィルタの構成である。
【００８９】
濃淡画像取得用照明装置１０２の部材配置は実施形態１（図３）と同様であるが、例えばＬＥＤ素子の発光波長は青色（Ｂ）、緑色（Ｇ）、赤色（Ｒ）の波長帯を含む白色とする。距離画像取得用照明装置１０３の部材配置は実施形態１（図４）と同様であるが、例えばＬＥＤ素子の発光波長は赤外線（Ｉｒ）の波長域とする。
【００９０】
撮像装置１０１は、２つの撮像素子１０７、１０７、２つの波長フィルタ１０８、１０８、２つのレンズ１０９、１０９、濃淡画像生成部１１０、距離画像生成部１１１から構成される。撮像装置１０１は、例えば一体のカメラとしての形態で製造されていてよい。撮像素子１０７およびレンズ１０９の構成は実施形態１と同様でよい。
【００９１】
本実施形態の波長フィルタ１０８は、Ｒ（赤）Ｇ（緑）Ｂ（青）の組合せで構成される一般的なカラーフィルタとは少々、異なる。本実施形態の波長フィルタ１０８は、例えば図１５に示すように、撮像素子の２×２画素毎に、Ｒ（赤）、Ｇ（緑）、Ｉｒ（赤外）、Ｂ（青）が配置されている。この構成は、図５の波長フィルタ１０８の２つ配置されたＧ（緑）のフィルタの１つをＩｒ（赤外）に置換した構成に相当する。
【００９２】
この波長フィルタ１０８を通して撮像素子１０７により撮像された画像データでは、図１６に示すように２×２画素毎に上段はＲ（赤）成分とＧ（緑）成分、下段はＩｒ（赤外）成分、Ｂ（青）成分の波長帯の画素が並ぶ。なお、この色配置は一例であって、フィルタのＲ（赤）、Ｇ（緑）、Ｂ（青）、Ｉｒ（赤外）の配置は上記と異なる任意の順番や組合せであってもよい。また、本実施形態では、カラー１画素毎に波長成分を異ならせる波長フィルタを用いるが、２×２画素分を１波長にする、あるいは所定のサイズの領域を１波長にするなど、波長を異ならせる単位を変更して波長フィルタを構成してもよい。２つの撮像素子１０７、１０７のそれぞれに同一の波長フィルタ１０８、１０８を配置する。
【００９３】
濃淡画像生成部１１０は、図１７に示すように、撮像された２枚の画像データのうち、どちらか１枚の画像（１０７１）に対してＩｒ（赤外）成分の画素を無視し、Ｒ（赤）、Ｇ（緑）、Ｂ（青）成分の画素のみを抽出する（１０７６）。撮像素子の機能によりフィルタの２×２画素を１ブロックとして、間引きもしくはビニングをした上で画像を出力する場合は、同様にＲ（赤）Ｇ（緑）Ｂ（青）Ｉｒ（赤外）の所定の画素のみを抽出することができる。その後、抽出した画像に対して既知のベイヤー現像処理を施した上でグレースケール化し、濃淡画像を生成することができる。この濃淡画像は、カラー画像であるが、図９のような構成となる。なお、本実施形態では濃淡画像生成部１１０を撮像装置１０１に設けているが、濃淡画像生成部１１０は画像処理部１０４の側に設けてもよい。その場合、撮像装置１０１で撮像した画像はそのまま画像処理部１０４へ転送し、画像処理部１０４の側で濃淡画像を生成してもよい。
【００９４】
一方、距離画像生成部１１１は、図１８に示すように、撮像で得られた２枚の画像データの両方について、Ｒ（赤）、Ｇ（緑）、Ｂ（青）成分の画素を無視し、Ｉｒ（赤外）成分の画素のみを抽出する（１０７１、１０７７）。なお、撮像素子の機能によりフィルタの２×２画素を１ブロックとして、間引きもしくはビニングをした上で画像を出力する場合にも、同様にＲ（赤）Ｇ（緑）Ｂ（青）Ｉｒ（赤外）の所定の画素のみを抽出することができる。その後、抽出した画像に対して既知のベイヤー現像処理を施した上でグレースケール化し、ステレオ処理可能な２枚のグレースケール画像を得る。さらに、既知のステレオ法を用い、２枚のグレースケール画像のステレオ対応付けを行って各画素について視差を算出し、距離画像を生成する。この距離画像は撮像されている対象物の距離情報を有する。
【００９５】
距離画像は、図１０のように、例えば撮像装置からの距離が遠いほど明るく、距離が近いほど暗い輝度値で表現された画像として生成する。本実施形態における距離画像は、各画素に対する距離データとして３２ｂｉｔの浮動小数点データを持つものとする。なお、本実施形態では距離画像生成部１１１を撮像装置１０１の中に設けたが、距離画像生成部１１１を画像処理部１０４に設けてもよい。その場合、撮像装置１０１で撮像した画像をそのまま画像処理部１０４へ転送し、画像処理部の側で距離画像を生成することができる。
【００９６】
なお、本実施形態では濃淡画像の撮像に白色の照明光を用い、距離画像の撮像に赤外波長の照明光を用いている。しかしながら、それぞれ異なる照明態様の濃淡画像と距離画像で互いに照明光の波長帯が異なっていれば、濃淡画像と距離画像の各々について、他の波長帯の照明光を用い、それに対応した波長フィルタを用いることができる。
【００９７】
搬送ロボット１１６は、例えば良否判定結果に基づいてコントローラ１０６が指令する指令内容に基づき動作させる。例えば部品の検査結果が良品の場合は、搬送ロボットが部品を把持して後工程へ搬送し、部品の検査結果が不良品であれば、システムを停止して警告音を発生させる。
【００９８】
以上のように、本実施形態によれば、濃淡画像をＲ（赤）、Ｇ（緑）、Ｂ（青）の全ての成分を使って生成することができる。従って、良否判定などのための画像処理に、多くの色情報が必要な場合でも、所期の画像検査を適切に実施できる。そして、実施形態１で説明したのと同様に、複雑な背景がカメラに写り込むような環境での部品の良否判定を安定的かつ高速に検査することができる。
【００９９】
＜実施形態４＞
前述した実施形態１および実施形態３では、距離画像（距離情報）を取得するために撮像装置１０１がステレオ構成であり、２つの撮像素子、２つの波長フィルタ、２つのレンズを備える。この構成はいわゆる単眼構成のカメラ、例えば単一の撮像素子、波長フィルタおよびレンズを使用する構成と比較してシステムが複雑であり高価になりがちである。また、実施形態２はプロジェクタを用いており、やはりシステムが複雑であり高価になる可能性がある。
【０１００】
そこで、本実施形態では、よりシンプルな構成、背景除去などのための距離画像（距離情報）を取得し、かつ部品の良否判定などの画像検査を安定的かつ高速に実行できる構成を考える。本実施形態では、例えば、撮像装置１０１に撮像面位相差センサで構成した撮像素子を用い、距離画像（距離情報）を取得する。
【０１０１】
図１９に本実施形態に係る画像処理装置の構成を示す。同図に示すように、この画像処理装置は、撮像装置１０１、画像処理部１０４、濃淡画像取得用照明装置１０２、距離画像取得用照明装置１０３、およびコントローラ１０６を備える。
【０１０２】
撮像装置１０１は、撮像素子１０７、波長フィルタ１０８、レンズ１０９、濃淡画像生成部１１０、距離画像生成部１１１を備える。図示のように、撮像装置１０１は単眼構成であり、図１のようなステレオカメラ構成ではない。また、画像処理部１０４は、検査領域特定部１１２、および検査処理部１１３を備える。
【０１０３】
図１９の制御系周りの構成は、図１と同等である。コントローラ１０６は、撮像指令によって撮像装置１０１の動作を、また、照明制御指令によって濃淡画像取得用照明装置１０２、および距離画像取得用照明装置１０３の動作を制御する。コントローラ１０６は、画像処理部１０４の処理結果に応じて、ロボット制御指令によって搬送ロボット１１６の動作を制御する。搬送ロボット１１６は、架台１１５上に配置された置き台１１４上あるいはその周辺に載置された部品１０５を操作する。この搬送ロボット１１６の操作によって、部品１０５から工業製品ないしその部品アセンブリなどの物品が製造される。
【０１０４】
部品を検査する処理の全体の流れは、これまでに図２３を参照して説明してきた態様と同等である。次に、各構成要素の詳細を説明する。
【０１０５】
撮像装置１０１は、例えば撮像素子１０７、波長フィルタ１０８、レンズ１０９、濃淡画像生成部１１０、距離画像生成部１１１から構成される。撮像装置１０１は、例えば例えば一体のカメラとしての形態で製造されるものであってよい。
【０１０６】
本実施形態の撮像装置１０１において、撮像素子１０７とレンズ１０９は、撮像面位相差方式のカメラと同様に構成されている。周知のように撮像面位相差方式では、撮像素子１０７の複数画素が、それぞれ２つの光電変換部（フォトダイオード）を備える。この２つの光電変換部（フォトダイオード）を備えた複数の画素は、撮像素子１０７の受光面に一定のパターンで規則的に配置されるか、あるいは可能であれば全画素が２つの光電変換部を備えた構成であってもよい。
【０１０７】
撮像面位相差方式では、カメラ光学系の射出瞳における異なる２つの領域（部分瞳）を通過した光束によって形成される一対の画像（以下、Ａ像、Ｂ像と呼ぶことがある）が得られる。従って、本実施形態の撮像装置１０１は、実施形態１、３などのステレオカメラと同様に、Ａ像、Ｂ像から視差を求め、当該視差から三角測量の原理に基づいて対象物上の特定の計測点の撮像距離を測定することができる。
【０１０８】
図１９の撮像素子１０７は、例えば上記の２つの光電変換部を備えるＣＭＯＳイメージセンサであり、各々の光電変換部では例えば８ｂｉｔのビット深度を持つ画像データが得られる。撮像した画像データの入出力は、例えばＬＶＤＳ方式により行うことができ、Ａ像、Ｂ像の２つの画像データを素子外へ出力する。撮像素子１０７とレンズ１０９を組み合わせた撮像光学系は、撮像画像データ状の水平方向および垂直方向について、部品の寸法、例えば直径の２倍程度の撮影視野を持つよう構成される。撮像素子１０７は、ＳＰＩやＩ２Ｃ等の通信を介して、内蔵するレジスタへ設定値を書込んだ上で画像データを読み出す。また、撮像素子１０７は、素子内部あるいは外部で発行された撮影トリガを受信し、画像の撮像を開始することができる。
【０１０９】
撮像装置１０１は、濃淡画像取得用照明装置１０２および距離画像取得用照明装置１０３が点灯状態となった後、コントローラ１０６から発行される撮像指令により、画像の撮像を行う。また、撮像素子１０７はレジスタへの設定値書き込みにより、間引き撮像やビニング撮像を行うことができるものとする。
【０１１０】
濃淡画像生成部１１０、距離画像生成部１１１は、濃淡画像と距離画像を生成し、画像処理部１０４に転送する。濃淡画像生成部１１０の処理は、実施形態１や３の場合と同等で、濃淡画像は、実施形態１と同様に図９のような形態で生成される。一方、距離画像生成部１１１は、Ａ像、Ｂ像の２つの画像データを実施形態１のステレオ撮像の場合と同等に取り扱うことができ、Ａ像、Ｂ像の視差から距離情報を有する距離画像を生成することができる。距離画像生成部１１１が生成する距離画像は、実施形態１と同様に、例えば、図１０に示すように撮像装置１０１からの距離が遠いほど明るく、距離が近いほど暗い輝度値で表現された形態とすることができる。
【０１１１】
以降の画像処理による部品１０５の画像検査は、上述同様に実施でき、例えば部品１０５の良否判定結果に応じて部品１０５を扱う生産ラインに配置された生産機器、例えば搬送ロボット１１６の動作を制御することができる。例えば、良否判定結果に基づいてコントローラ１０６が指令する指令内容に基づき搬送ロボット１１６を動作させることができる。例えば部品の検査結果が良品の場合は、搬送ロボットが部品を把持して後工程へ搬送し、部品の検査結果が不良品であれば、システムを停止して警告音を発生させる。
【０１１２】
本実施形態によれば、一組の撮像素子、波長フィルタ、レンズで撮像装置を構成でき、簡単安価な構成によって、一度の撮像で、それぞれ適切な照明態様で濃淡画像と距離画像を取得できる。従って、例えば複雑な背景がカメラに写り込むような環境での部品の良否判定を安定的かつ高速に検査することができる。
【０１１３】
＜実施形態５＞
前述した実施形態１では、撮像装置１０１、濃淡画像取得用照明装置１０２、距離画像取得用照明装置１０３、画像処理部１０４が別体の構成で設置手順が複雑になりがちである。本実施形態では、これらの構成部材を一体ユニットとして設ける構成を示す。
【０１１４】
図２０に、本実施形態の画像処理装置の構成を示す。同図に示すように、この画像処理装置は撮像装置１０１、濃淡画像取得用照明装置１０２、距離画像取得用照明装置１０３、画像処理部１０４を一体の筐体に収容した検査ユニット１１７を備える。これらの個々の構成部材の機能は、上述の実施形態のものと同等である。この検査ユニット１１７をコントローラ１０６に接続することにより検査システムが構成される。
【０１１５】
撮像装置１０１と濃淡画像取得用照明装置１０２と距離画像取得用照明装置１０３と画像処理部１０４は、検査ユニット１１７の筐体に位置を固定される。ただし、濃淡画像取得用照明装置１０２と距離画像取得用照明装置１０３などについては、各々、位置や角度を調整可能にするための調整機構を備えてもよい。また、濃淡画像取得用照明装置１０２と距離画像取得用照明装置１０３は、各々、着脱可能とし、照明装置の種類・サイズ・発光波長を変更できるようにしてもよい。
【０１１６】
部品を検査する処理の全体の流れは、これまでに図２３を参照して説明してきた態様と同等である。次に、各構成要素の詳細を説明する。
【０１１７】
本実施形態では、一体の筐体に各部を収容できるよう、特に照明装置については次のような構成を採用している。
【０１１８】
本実施形態では距離画像生成部１１１に実施形態２で示した濃淡画像取得用照明装置１０２は、実施形態１、３などで距離画像取得用照明装置１０３として用いた例えば、図４に示す形態を有するＬＥＤ照明装置である。本実施形態では、下記のように距離画像取得用照明装置１０３に実施形態２のようなプロジェクタを用いるため、必ずしも実施形態１、３などのような平行光照明でなくても構わない。逆に、上記の実施形態２でも、濃淡画像取得用照明装置１０２に例えば、図４のようなＬＥＤ照明装置を用いることも考えられる。本実施形態では、濃淡画像取得用照明装置１０２の発光波長は例えば青色（Ｂ）とする。濃淡画像取得用照明装置１０２は、部品の検査の際、撮像に先立ってコントローラ１０６からの照明制御指令に基づいて所定の輝度で部品を照明する。
【０１１９】
距離画像取得用照明装置１０３は、実施形態２で示したような例えば既知のＤＭＤデバイスを搭載したプロジェクタ構成である。プロジェクタの照明態様は、実施形態２において図１４や図２２で説明した通りで、部品表面にランダムなテクスチャを投影することによりステレオ対応付けの特徴点を得ることができる。本実施形態では、距離画像取得用照明装置１０３の発光波長は赤色（Ｒ）とする。距離画像取得用照明装置１０３は、部品の検査の際に、撮像に先立ってコントローラ１０６からの照明制御指令に基づいて所定の輝度で部品を照明する。撮像時は、１回の撮像で濃淡画像と距離画像を取得すべく、濃淡画像取得用照明装置１０２と距離画像取得用照明装置１０３の両方により部品が照明されている状態とすることができる。
【０１２０】
実際の検査の手順は、プロジェクタによる距離画像取得用照明装置１０３を用いた実施形態２のものと同様であるため、ここでは重複した説明は省略する。本実施形態によれば、画像処理装置をシンプルなシステム構成とすることができ、上述の実施形態と同様にそれぞれに適切な照明態様で取得した濃淡画像と距離画像に基づき、部品の良否判定などの画像検査を安定的かつ高速に検査することができる。また、撮像装置や照明装置が一体の検査ユニット１１７として構成されており、検査ユニット１１７をコントローラ１０６に接続するだけで短時間で簡単にシステムを設置することができる。
【０１２１】
＜実施形態６＞
前述の実施形態１では、最終的な検査処理を２次元の濃淡画像（第１の画像）により行うものとし、距離画像（第２の画像）によって濃淡画像（第１の画像）に対して行う画像検査の検査領域を決定する例を示した。
【０１２２】
しかしながら、特定の画像検査方式、あるいは対象物の部品の形態などによっては、撮像されている対象物の奥行情報が検査に重要な情報である場合なども考えられ、距離画像（第２の画像）を用いて画像検査処理を行いたい、という需要も存在し得る。また、画像検査処理に、濃淡画像（第１の画像）および距離画像（第２の画像）の双方を利用したい、という需要も考えられる。
【０１２３】
一般化すれば、本明細書で扱う画像処理は、濃淡画像（第１の画像）および／または距離画像（第２の画像）から取得した対象物の距離情報を用いて、濃淡画像（第１の画像）および／または距離画像（第２の画像）の検査領域を決定するものであってよい。
【０１２４】
そこで、以下では、一例として、検査領域特定部１１２で濃淡画像を用いた上で、検査処理部１１３では特定した検査領域に対して距離画像により画像検査処理を行う例につき説明する。
【０１２５】
本実施形態に係る画像検査システムの構成は、例えば図１と同様でよい。本実施形態における実際に部品を検査する処理の流れ（図２３）は次のようなものである。
【０１２６】
まず、コントローラの照明制御指令により濃淡画像取得用照明装置１０２と距離画像取得用照明装置１０３の両方を点灯した状態とする（図２３のＳ１０）。この状態で、コントローラの撮像指令により２つの撮像装置１０１で画像を撮像し、２枚の画像データを得る（図２３のＳ１２）。この時、例えば、濃淡画像取得用照明装置１０２は、青色（Ｂ）の照明光を照射し、距離画像取得用照明装置１０３は、赤色（Ｒ）の照明光を照射するものとする。
【０１２７】
撮像装置１０１は、実施形態１と同様に、ステレオ撮像した２枚の画像データに基づき濃淡画像と距離画像を生成し（図２３のＳ１４）、濃淡画像と距離画像を画像処理部１０４に転送する。濃淡画像の生成（第１の画像生成工程）では、撮像装置１０１の波長フィルタ１０８のうち、青色（Ｂ）が透過するフィルタに対応する画素を使って濃淡画像を生成する。距離画像の生成（第２の画像生成工程）では、赤色（Ｒ）が透過するフィルタに対応する画素を使って距離画像を生成する。
【０１２８】
本実施形態では、画像処理部１０４では、検査領域特定部１１２が濃淡画像の画像情報に基づき、検査領域を特定する（図２３のＳ１６）。また、検査処理部１１３では、検査領域特定部１１２が特定した距離画像の検査領域に対してのみ、画像検査を実施（図２３のＳ１８）し、部品の良否を判定する。その画像検査の結果はコントローラ１０６へ転送され、コントローラ１０６は判定結果に基づいて搬送ロボット１１６などの生産機器を制御する（図２３のＳ２０）。
【０１２９】
以上の処理により、濃淡距離画像と距離画像を一度の撮像で取得することができ、濃淡画像と距離画像を使用して、画像検査、例えば部品の良否判定を、安定して、かつ高速に実施することができる。
【０１３０】
続いて、画像処理装置の各構成要素の動作につき詳細に説明する。本実施形態における部品１０５、コントローラ１０６、濃淡画像取得用照明装置１０２、距離画像取得用照明装置１０３、撮像装置１０１は、実施形態１と同様の構成であるものとする。
【０１３１】
画像処理部１０４は、検査領域特定部１１２と検査処理部１１３から構成され、撮像装置１０１から入力した濃淡画像及び距離画像を用い、検査領域特定および検査処理を実行する。実際の画像処理部１０４は、前述同様、例えばＣＰＵを搭載したＰＣ、ボードコンピュータ、ＧＰＵ、ＦＰＧＡ等の演算装置などにより実装可能である。
【０１３２】
本実施形態の検査領域特定部１１２は、濃淡画像生成部１１０が生成した濃淡画像に基づき、矩形形状となる画像領域を検査領域として特定する。ここでは、図２のような部品１０５とその周囲の物体から成る対象物につき、部品１０５の画像検査を行うものとする。その場合、検査領域は、濃淡画像から、部品１０５が搭載された置き台１１４の上面の矩形形状を検出、ないし特定することにより決定できる。
【０１３３】
置き台１１４の上面の矩形形状を検出するのであれば、例えばまず、濃淡画像（図９：３０１）の複数の直線エッジ成分を検出する。次に、検出した直線エッジ成分に基づき、公知の矩形検出処理を行うことにより濃淡画像中の矩形形状を検出する。これにより、矩形の内側を「１」、矩形の外側を「０」とした、図１１のような二値画像を生成することができる。なお、濃淡画像から直線エッジ成分を検出する前に、ノイズを低減するための既知のフィルタをかけてもよい。このようにして得られる二値画像を、以降では「マスク画像」と呼び、後段の画像処理の検査領域として用いる。
【０１３４】
検査処理部１１３は、上記のようにして検査領域特定部１１２が濃淡画像から生成したマスク画像、および距離画像を用いて画像検査を実行することができる。まず、距離画像に対して、検査領域特定部１１２が生成したマスク画像に基づき、マスキング処理を行う。具体的には、マスク画像の輝度値が「１」の画素では距離画像の輝度値をそのまま採用し、マスク画像の輝度値が「０」の画素では輝度値を０とする。
【０１３５】
このようなマスキング処理により、図２１のように部品のみが存在する距離画像が得られる。図２１において、１３０１は上記マスク画像の輝度値の「０」に対応する領域で、置き台１１４の周囲の背景に相当する部位である。１３０３は上記マスク画像の輝度値の「１」に対応する領域で、置き台１１４上面の矩形形状に相当する部位である。１３０２は部品１０５の距離画像に相当する。
【０１３６】
このように生成された部品１０５のみが存在する距離画像（図２１）に対して画像検査を行うことができる。距離画像を用いた画像検査としては、例えば部品１０５の良否検査として、部品１０５の高さ、即ち距離画像の奥行き方向に相当する厚みが、一定以上の大きさであるか否かを判定する処理などが考えられる。
【０１３７】
このような部品１０５の高さの検査では、例えば、部品１０５のみが存在する距離画像（図２１）に対し、距離情報に基づく閾値処理を行い、距離画像を二値化する。
【０１３８】
ここで、例えば置き台１１４の架台１１５からの高さが１００ｍｍ、部品１０５の上面の特定部位の高さ（厚み）が２０ｍｍの仕様とし、仮にその特定部位の高さ（厚み）が１０ｍｍ以下の部品１０５は不良品と判定するものとする。その場合、例えば閾値を架台１１５からの高さ１１０ｍｍに相当する撮像距離に設定し、撮像されている部品１０５上面の高さに相当する撮像距離と閾値を比較することにより、部品１０５の仕上がりの寸法を判定することができる。
【０１３９】
そして、例えば上記の閾値判定によって、架台１１５からの高さ１１０ｍｍを超える画素の輝度値を「１」、高さ１１０ｍｍ以下の画素の輝度値を「０」、とする二値画像を取得する。この場合、生成した二値画像に対して、例えば「１」の画素値の面積（例えば「１」の画素値の数）を求め、面積が面積閾値よりも大きければ良品と判定し、面積閾値以下であれば不良品と判定するような良否判定を行うことができる。このようにして取得した良否判定結果は、コントローラ１０６に出力される。
【０１４０】
搬送ロボット１１６は良否判定結果に基づいてコントローラが指令する指令内容に基づき動作させることができる。具体的には、部品の検査結果が良品の場合は、搬送ロボットが部品を把持して後工程へ搬送し、部品の検査結果が不良品であれば、システムを停止して警告音を発生させる、といった機器制御を行うことができる。
【０１４１】
以上のように、本実施形態によれば、距離情報を用いた画像検査を行う場合でも適切な照明環境での濃淡画像と距離画像を一度の撮像で取得することができる。そのため、複雑な背景がカメラに写り込むような環境においても、確実に背景分離が可能で、部品の良否判定などの画像検査を安定的かつ高速に検査することができる。
【０１４２】
なお、ロボット装置が複数の関節を有する多関節ロボットアームを用いる場合を説明したが、関節の駆動源はサーボモータに限らず、例えば人工筋肉などであってもよい。また、上述した種々の実施形態は、制御装置に設けられる記憶装置の情報に基づき、伸縮、屈伸、上下移動、左右移動もしくは旋回の動作またはこれらの複合動作を自動的に行うことができる機械に適用可能である。
【０１４３】
本発明は上述の実施例の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１４４】
１０１…撮像装置、１０２…濃淡画像取得用照明装置、１０３…距離画像取得用照明装置、１０４…画像処理部、１０５…部品、１０６…コントローラ、１０７…撮像素子、１０８…波長フィルタ、１０９…レンズ、１１０…濃淡画像生成部、１１１…距離画像生成部、１１２…検査領域特定部、１１３…検査処理部、１１４…置き台、１１５…架台、１１６…搬送ロボット、１１７…検査ユニット。
【図１】
2020193867.tif 000003
【図２】
2020193867.tif 000004
【図３】
2020193867.tif 000005
【図４】
2020193867.tif 000006
【図５】
2020193867.tif 000007
【図６】
2020193867.tif 000008
【図７】
2020193867.tif 000009
【図８】
2020193867.tif 000010
【図９】
2020193867.tif 000011
【図１０】
2020193867.tif 000012
【図１１】
2020193867.tif 000013
【図１２】
2020193867.tif 000014
【図１３】
2020193867.tif 000015
【図１４】
2020193867.tif 000016
【図１５】
2020193867.tif 000017
【図１６】
2020193867.tif 000018
【図１７】
2020193867.tif 000019
【図１８】
2020193867.tif 000020
【図１９】
2020193867.tif 000021
【図２０】
2020193867.tif 000022
【図２１】
2020193867.tif 000023
【図２２】
2020193867.tif 000024
【図２３】
2020193867.tif 000025
【図２４】
2020193867.tif 000026