(57)【特許請求の範囲】
【請求項１】
複数の撮像部と、
複数の前記撮像部から画像データを個別に取得し、個々の前記撮像部に起因する像劣化を画像処理によって個別に補正する第１画像処理部と、
前記第１画像処理部から補正後の前記画像データを個別に取得し、撮像されている対象を画像処理によって個別に検査、計測又は認識する第２画像処理部と、
を備え、
前記第１画像処理部は、複数の前記撮像部が複数の同じ形状または／及び外観である実質的な同一対象を個別に撮像した場合に、前記第２画像処理部の結果が所望の範囲内において一致するように、複数の前記撮像部から取得した画像データを個別に補正する、
画像処理システム。
【請求項２】
複数の前記撮像部から前記画像データを個別に取得し、撮像環境の相違によって生じた画質のバラツキを画像処理によって個別に補正し均一化する第３画像処理部を更に備え、
前記第１画像処理部は、前記第３画像処理部から補正後の前記画像データを個別に取得し、個々の前記撮像部に起因する像劣化を画像処理によって個別に補正する、
請求項１に記載の画像処理システム。
【請求項３】
前記第１画像処理部は、個々の前記撮像部に備えられた光学系に起因する像劣化を画像処理によって個別に補正する、
請求項１又は２に記載の画像処理システム。
【請求項４】
前記第１画像処理部が行う画像処理のパラメータを設定するパラメータ設定部を更に備え、
前記パラメータ設定部は、前記第２画像処理部による検査、計測又は認識の結果に基づいて、前記パラメータを設定する、
請求項１から３のいずれか１項に記載の画像処理システム。
【請求項５】
前記パラメータ設定部は、パラメータを変化させた場合の前記第２画像処理部の結果の変化に基づいて、前記パラメータを最適化する、
請求項４に記載の画像処理システム。
【請求項６】
前記パラメータ設定部は、勾配法により前記パラメータを最適化する、
請求項４に記載の画像処理システム。
【請求項７】
複数の撮像部から画像データを個別に取得し、個々の前記撮像部に起因する像劣化を画像処理によって個別に補正する第１画像処理部と、
前記第１画像処理部から補正後の前記画像データを個別に取得し、
撮像されている対象を画像処理によって個別に検査、計測又は認識する第２画像処理部と、
を備え、
前記第１画像処理部は、複数の前記撮像部が複数の同じ形状または／及び外観である実質的な同一対象を個別に撮像した場合に、前記第２画像処理部の結果が所望の範囲内において一致するように、複数の前記撮像部から取得した画像データを個別に補正する、
画像処理装置。
【請求項８】
複数の前記撮像部から前記画像データを個別に取得し、撮像環境の相違によって生じた画質のバラツキを画像処理によって個別に補正し均一化する第３画像処理部を更に備え、
前記第１画像処理部は、前記第３画像処理部から補正後の前記画像データを個別に取得し、個々の前記撮像部に起因する像劣化を画像処理によって個別に補正する、
請求項７に記載の画像処理装置。
【請求項９】
前記第１画像処理部は、個々の前記撮像部に備えられた光学系に起因する像劣化を画像処理によって個別に補正する、
請求項７又は８に記載の画像処理装置。
【請求項１０】
前記第１画像処理部が行う画像処理のパラメータを設定するパラメータ設定部を更に備え、
前記パラメータ設定部は、前記第２画像処理部による検査、計測又は認識の結果に基づいて、前記パラメータを設定する、
請求項７から９のいずれか１項に記載の画像処理装置。
【請求項１１】
複数の撮像部から画像データを個別に取得し、個々の前記撮像部に起因する像劣化を画像処理によって個別に補正する第１画像処理工程と、
前記第１画像処理工程による補正後の前記画像データを個別に取得し、撮像されている対象を画像処理によって個別に検査、計測又は認識する第２画像処理工程と、
を含み、
前記第１画像処理工程は、複数の前記撮像部が複数の同じ形状または／及び外観である実質的な同一対象を個別に撮像した場合に、前記第２画像処理工程による検査、計測又は認識の結果が所望の範囲内において一致するように、複数の前記撮像部から取得した画像データを個別に補正する、
画像処理方法。
【請求項１２】
複数の前記撮像部から前記画像データを個別に取得し、撮像環境の相違によって生じた画質のバラツキを画像処理によって個別に補正し均一化する第３画像処理工程を更に含み、
前記第３画像処理工程の後に前記第１画像処理工程が実行される、
請求項１１に記載の画像処理方法。
【請求項１３】
前記第１画像処理工程により行われる画像処理のパラメータを設定するパラメータ設定工程を更に備え、
前記パラメータ設定工程は、第２画像処理工程による検査、計測又は認識の結果に基づいて、前記パラメータを設定する、
請求項１１又は１２に記載の画像処理方法。
【請求項１４】
前記第１画像処理工程は、個々の前記撮像部に備えられた光学系に起因する像劣化を画像処理によって個別に補正する、
請求項１１から１３のいずれか１項に記載の画像処理方法。
【請求項１５】
複数の撮像部から画像データを個別に取得し、個々の前記撮像部に起因する像劣化を画像処理によって個別に補正する第１画像処理機能と、
前記第１画像処理機能による補正後の前記画像データを個別に取得し、撮像されている対象を画像処理によって個別に検査、計測又は認識する第２画像処理機能と、
をコンピュータに実現させる画像処理プログラムであって、
前記第１画像処理機能は、複数の前記撮像部が複数の同じ形状または／及び外観である実質的な同一対象を個別に撮像した場合に、前記第２画像処理機能による検査、計測又は認識の結果が所望の範囲内において一致するように、複数の前記撮像部から取得した画像データを個別に補正する、
画像処理プログラム。
【請求項１６】
複数の前記撮像部から前記画像データを個別に取得し、撮像環境の相違によって生じた画質のバラツキを画像処理によって個別に補正し均一化する第３画像処理機能を更に備え、
前記第１画像処理機能は、前記第３画像処理機能から補正後の前記画像データを個別に取得し、個々の前記撮像部に起因する像劣化を画像処理によって個別に補正する、
請求項１５に記載の画像処理プログラム。
【請求項１７】
前記第１画像処理機能が行う画像処理のパラメータを設定するパラメータ設定機能を更に備え、
前記パラメータ設定機能は、前記第２画像処理機能による検査、計測又は認識の結果に基づいて、前記パラメータを設定する、
請求項１５又は１６に記載の画像処理プログラム。
【請求項１８】
前記第１画像処理機能は、個々の前記撮像部に備えられた光学系に起因する像劣化を画像処理によって個別に補正する、
請求項１５から１７のいずれか１項に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像部から画像データを取得し、各撮像部により撮像されている対象を画像処理によって検査、計測又は認識する画像処理システム、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
複数の撮像部から画像データを取得し、各撮像部により撮像されている対象を画像処理によって検査、計測又は認識する技術が知られている。【０００３】
たとえば、特許文献１、２等には、検査対象を複数の撮像部によって撮像し、各撮像部から得られた画像データを画像処理して、外観の良否、傷の有無等を検査する技術が記載されている。【０００４】
また、特許文献３には、計測対象を複数の撮像部によって撮像し、各撮像部から得られた画像データを画像処理して、位置、寸法等を計測する技術が記載されている。【０００５】
また、特許文献４、５等には、複数の撮像部によって撮像して得られた画像データを画像処理して、撮像された対象に記されている文字等を認識する技術が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−１５３６２５号公報
【特許文献２】特開平７−２７７１４号公報
【特許文献３】特開２００８−２８１３４８号公報
【特許文献４】特開平８−５３１６号公報
【特許文献５】特開２０１５−１９７７８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、複数の撮像部を使用して検査等する場合、各撮像部の性能が揃っていないと、各撮像部から得られる画像データの品質にバラツキが生じる。たとえば、個々の撮像部で使用する撮像レンズに個体差があると、各撮像部から得られる画像データの品質にバラツキが生じる。各撮像部から得られる画像データの品質にバラツキがあると、後段の検査等の結果に影響が生じる。【０００８】
撮像部を構成するカメラには、通常、個体差があり、完全に同じ性能の撮像部を複数揃えるのは難しい。特に、完全に同じ性能の撮像レンズを複数揃えるのは難しい。【０００９】
また、各撮像部を個別に調整して、性能を揃えることもできるが、調整には多大な手間と時間を要するという問題がある。特に、個体差のある撮像レンズを使用している場合に、その性能を揃えるには、多大な手間と時間を要する。【００１０】
また、後段の検査等の判定基準等を個別に調整することもできるが、その調整にも多大な手間と時間を要するという問題がある。特に、非常に多くのパラメータが存在する場合、その１つ１つを調整するのは現実的ではない。また、後段の検査等の処理において、機械学習等を使用している場合には、パラメータを調整すると、思わぬ悪影響が現れる場合もある。また、後段の検査等の処理において、ニューラルネットワークを用いた機械学習等を使用している場合には、撮像部の個体差ごとに学習させ直すのは大変な手間がかかる。【００１１】
本発明は、このような事情に鑑みてなされたもので、各撮像部の性能に個体差がある場合であっても、複数の撮像部を使用して対象を適切に検査、計測又は認識できる画像処理システム、画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するための手段は、次のとおりである。【００１３】
（１）複数の撮像部と、複数の撮像部から画像データを個別に取得し、個々の撮像部に起因する像劣化を画像処理によって個別に補正する第１画像処理部と、第１画像処理部から補正後の画像データを個別に取得し、撮像されている対象を画像処理によって個別に検査、計測又は認識する第２画像処理部と、を備え、第１画像処理部は、複数の撮像部が同一対象を撮像した場合に、第２画像処理部の結果が所望の範囲内において一致するように、複数の撮像部から取得した画像データを個別に補正する、画像処理システム。【００１４】
本態様によれば、画像処理部として、第１画像処理部及び第２画像処理部が備えられる。第１画像処理部は、複数の撮像部から画像データを個別に取得し、個々の撮像部に起因する像劣化、たとえば、個々の撮像部に備えられた光学系に起因する像劣化を画像処理によって個別に補正する。第２画像処理部は、第１画像処理部から補正後の画像データを個別に取得し、撮像されている対象を画像処理によって個別に検査、計測又は認識する。第１画像処理部は、単に個々の撮像部に起因する像劣化を補正するのではなく、後段の検査等を考慮して補正する。すなわち、像劣化を完全に解消するように補正するのではなく、複数の撮像部が同一対象を撮像した場合に、検査等の結果が所望の範囲内において一致するように補正する。これにより、各撮像部の性能に個体差がある場合であっても、複数の撮像部を使用して、精度よく対象を検査等できる。また、検査等で行う画像処理については、変更を加える必要がないので、検査等のアルゴリズムが未知（いわゆるブラックボックス）であっても使用できる。更に、撮像部に起因する像劣化を直接操作できるため、高い自由度をもって調整できる。【００１５】
なお、「同一対象」には、実質的に同一とみなせる範囲のものが含まれる。すなわち、ここにおける同一は、ほぼ同一の概念を含むものである。たとえば、同じ形状、外観ではあるが異なるもの（たとえば、複数のネジ等）を撮像する場合も同一対象の撮像に含まれる。【００１６】
また、「所望の範囲内において一致」とは、検査等に要求される精度のレベルにおいて一致させることを意味するものである。したがって、望ましくは、検査等の結果が一致するように補正することであるが、一定の範囲内において誤差が許容される。すなわち、ほぼ一致するように補正されればよい。【００１７】
第１画像処理部で行う補正としては、たとえば、像の歪みの補正、解像の補正、像倍率の補正、分光透過率の補正等が挙げられる。【００１８】
（２）複数の撮像部から画像データを個別に取得し、撮像環境の相違によって生じた画質のバラツキを画像処理によって個別に補正し均一化する第３画像処理部を更に備え、第１画像処理部は、第３画像処理部から補正後の画像データを個別に取得し、個々の撮像部に起因する像劣化を画像処理によって個別に補正する、上記（１）の画像処理システム。【００１９】
本態様によれば、第３画像処理部が更に備えられる。第３画像処理部は、複数の撮像部から画像データを個別に取得し、撮像環境の相違によって生じた画質のバラツキを画像処理によって個別に補正し均一化する。第１画像処理部は、第３画像処理部から補正後の画像データを個別に取得し、個々の撮像部に起因する像劣化を画像処理によって個別に補正する。これにより、撮像環境の相違によって生じる画質のバラツキを補正できる。【００２０】
第３画像処理部による補正としては、たとえば、明るさの補正、ホワイトバランスの補正等が挙げられる。【００２１】
（３）第１画像処理部は、個々の撮像部に備えられた光学系に起因する像劣化を画像処理によって個別に補正する、上記（１）又は（２）の画像処理システム。【００２２】
本態様によれば、第１画像処理部において、個々の撮像部に備えられた光学系に起因する像劣化が画像処理によって個別に補正される。たとえば、光学系に起因して発生するディストーション、解像低下等が画像処理によって補正される。これにより、個体差のある撮像レンズを使用した場合であっても、適切に検査等できる。【００２３】
（４）第１画像処理部が行う画像処理のパラメータを設定するパラメータ設定部を更に備え、パラメータ設定部は、第２画像処理部による検査、計測又は認識の結果に基づいて、パラメータを設定する、上記（１）から（３）のいずれか一の画像処理システム。【００２４】
本態様によれば、第１画像処理部が行う画像処理のパラメータを設定するパラメータ設定部が更に備えられる。パラメータ設定部は、第２画像処理部による検査等の結果に基づいて、パラメータを設定する。すなわち、複数の撮像部が同一対象を撮像した場合に、検査等の結果が所望の範囲内において一致するように、第１画像処理部が行う画像処理のパラメータを設定する。【００２５】
（５）パラメータ設定部は、パラメータを変化させた場合の第２画像処理部の結果の変化に基づいて、パラメータを最適化する、上記（４）の画像処理システム。【００２６】
本態様によれば、パラメータを変化させた場合の第２画像処理部の検査等の結果の変化を観測することにより、パラメータが最適化される。たとえば、パラメータを微小に変化させて、第２処理部の検査等の結果がどのように変化するかを測定し、その測定結果に基づいてパラメータを最適化する。【００２７】
（６）パラメータ設定部は、勾配法によりパラメータを最適化する、上記（４）の画像処理システム。【００２８】
本態様によれば、パラメータを最適化する手法として、勾配法が採用される。【００２９】
（７）複数の撮像部から画像データを個別に取得し、個々の撮像部に起因する像劣化を画像処理によって個別に補正する第１画像処理部と、第１画像処理部から補正後の画像データを個別に取得し、撮像されている対象を画像処理によって個別に検査、計測又は認識する第２画像処理部と、を備え、第１画像処理部は、複数の撮像部が同一対象を撮像した場合に、第２画像処理部の結果が所望の範囲内において一致するように、複数の撮像部から取得した画像データを個別に補正する、画像処理装置。【００３０】
本態様によれば、画像処理部として、第１画像処理部及び第２画像処理部が備えられる。第１画像処理部は、複数の撮像部から画像データを個別に取得し、個々の撮像部に起因する像劣化を画像処理によって個別に補正する。第２画像処理部は、第１画像処理部から補正後の画像データを個別に取得し、撮像されている対象を画像処理によって個別に検査、計測又は認識する。第１画像処理部は、単に個々の撮像部に起因する像劣化を補正するのではなく、後段の検査等を考慮して補正する。すなわち、像劣化を完全に解消するように補正するのではなく、複数の撮像部が同一対象を撮像した場合に、検査等の結果が所望の範囲内において一致するように補正する。これにより、各撮像部の性能に個体差がある場合であっても、複数の撮像部を使用して、精度よく対象を検査等できる。また、検査等で行う画像処理については、変更を加える必要がないので、検査等のアルゴリズムが未知（いわゆるブラックボックス）であっても使用できる。更に、撮像部に起因する像劣化を直接操作できるため、高い自由度をもって調整できる。【００３１】
（８）複数の撮像部から画像データを個別に取得し、撮像環境の相違によって生じた画質のバラツキを画像処理によって個別に補正し均一化する第３画像処理部を更に備え、第１画像処理部は、第３画像処理部から補正後の画像データを個別に取得し、個々の撮像部に起因する像劣化を画像処理によって個別に補正する、上記（７）の画像処理装置。【００３２】
本態様によれば、第３画像処理部が更に備えられる。第３画像処理部は、複数の撮像部から画像データを個別に取得し、撮像環境の相違によって生じた画質のバラツキを画像処理によって個別に補正し均一化する。第１画像処理部は、第３画像処理部から補正後の画像データを個別に取得し、個々の撮像部に起因する像劣化を画像処理によって個別に補正する。これにより、撮像環境の相違によって生じる画質のバラツキを補正できる。【００３３】
（９）第１画像処理部は、個々の撮像部に備えられた光学系に起因する像劣化を画像処理によって個別に補正する、上記（７）又は（８）の画像処理装置。【００３４】
本態様によれば、第１画像処理部において、個々の撮像部に備えられた光学系に起因する像劣化が画像処理によって個別に補正される。【００３５】
（１０）第１画像処理部が行う画像処理のパラメータを設定するパラメータ設定部を更に備え、パラメータ設定部は、第２画像処理部による検査、計測又は認識の結果に基づいて、パラメータを設定する、上記（７）から（９）のいずれか一の画像処理装置。【００３６】
本態様によれば、第１画像処理部が行う画像処理のパラメータを設定するパラメータ設定部が更に備えられる。パラメータ設定部は、第２画像処理部による検査等の結果に基づいて、パラメータを設定する。すなわち、複数の撮像部が同一対象を撮像した場合に、検査等の結果が所望の範囲内において一致するように、第１画像処理部が行う画像処理のパラメータを設定する。【００３７】
（１１）複数の撮像部から画像データを個別に取得し、個々の撮像部に起因する像劣化を画像処理によって個別に補正する第１画像処理工程と、第１画像処理工程による補正後の画像データを個別に取得し、撮像されている対象を画像処理によって個別に検査、計測又は認識する第２画像処理工程と、を含み、第１画像処理工程は、複数の撮像部が同一対象を撮像した場合に、第２画像処理工程による検査、計測又は認識の結果が所望の範囲内において一致するように、複数の撮像部から取得した画像データを個別に補正する、画像処理方法。【００３８】
本態様によれば、複数の撮像部から取得した画像データを画像処理して、撮像されている対象を検査等する画像処理工程として、第１画像処理工程及び第２画像処理工程を備える。第１画像処理工程は、複数の撮像部から画像データを個別に取得し、個々の撮像部に起因する像劣化を画像処理によって個別に補正する。第２画像処理工程は、第１画像処理工程による補正後の画像データを個別に取得し、撮像されている対象を画像処理によって個別に検査、計測又は認識する。第１画像処理工程は、単に個々の撮像部に起因する像劣化を補正するのではなく、後段の検査等を考慮して補正する。すなわち、像劣化を完全に解消するように補正するのではなく、複数の撮像部が同一対象を撮像した場合に、検査等の結果が所望の範囲内において一致するように補正する。これにより、各撮像部の性能に個体差がある場合であっても、複数の撮像部を使用して、精度よく対象を検査等できる。また、検査等によって行う画像処理については、変更を加える必要がないので、検査等のアルゴリズムが未知（いわゆるブラックボックス）であっても使用できる。更に、撮像部に起因する像劣化を直接操作できるため、高い自由度をもって調整できる。【００３９】
（１２）複数の撮像部から画像データを個別に取得し、撮像環境の相違によって生じた画質のバラツキを画像処理によって個別に補正し均一化する第３画像処理工程を更に含み、第３画像処理工程の後に第１画像処理工程が実行される、上記（１１）の画像処理方法。【００４０】
本態様によれば、第３画像処理工程が更に含まれる。第３画像処理工程は、複数の撮像部から画像データを個別に取得し、撮像環境の相違によって生じた画質のバラツキを画像処理によって個別に補正し均一化する。第１画像処理工程は、第３画像処理工程の後に実施される。これにより、撮像環境の相違によって生じる画質のバラツキを補正できる。【００４１】
（１３）第１画像処理工程により行われる画像処理のパラメータを設定するパラメータ設定工程を更に備え、パラメータ設定工程は、第２画像処理工程による検査、計測又は認識の結果に基づいて、パラメータを設定する、上記（１１）又は（１２）の画像処理方法。【００４２】
本態様によれば、第１画像処理工程により行われる画像処理のパラメータを設定するパラメータ設定工程が更に含まれる。パラメータは、検査等の結果に基づいて設定される。すなわち、複数の撮像部が同一対象を撮像した場合に、検査等の結果が所望の範囲内において一致するように、検査等の結果に基づいて、パラメータを設定する。【００４３】
（１４）第１画像処理工程は、個々の撮像部に備えられた光学系に起因する像劣化を画像処理によって個別に補正する、上記（１１）から（１３）のいずれか一の画像処理方法。【００４４】
本態様によれば、第１画像処理工程において、個々の撮像部に備えられた光学系に起因する像劣化が画像処理によって個別に補正される。【００４５】
（１５）複数の撮像部から画像データを個別に取得し、個々の撮像部に起因する像劣化を画像処理によって個別に補正する第１画像処理機能と、第１画像処理機能による補正後の画像データを個別に取得し、撮像されている対象を画像処理によって個別に検査、計測又は認識する第２画像処理機能と、をコンピュータに実現させる画像処理プログラムであって、第１画像処理機能は、複数の撮像部が同一対象を撮像した場合に、第２画像処理機能による検査、計測又は認識の結果が所望の範囲内において一致するように、複数の撮像部から取得した画像データを個別に補正する、画像処理プログラム。【００４６】
本態様によれば、画像処理機能として、第１画像処理機能及び第２画像処理機能が備えられる。第１画像処理機能は、複数の撮像部から画像データを個別に取得し、個々の撮像部に起因する像劣化を画像処理によって個別に補正する。第２画像処理機能は、第１画像処理機能から補正後の画像データを個別に取得し、撮像されている対象を画像処理によって個別に検査、計測又は認識する。第１画像処理機能は、単に個々の撮像部に起因する像劣化を補正するのではなく、後段の検査等を考慮して補正する。すなわち、像劣化を完全に解消するように補正するのではなく、複数の撮像部が同一対象を撮像した場合に、検査等の結果が所望の範囲内において一致するように補正する。これにより、各撮像部の性能に個体差がある場合であっても、複数の撮像部を使用して、精度よく対象を検査等できる。また、検査等によって行う画像処理については、変更を加える必要がないので、検査等のアルゴリズムが未知（いわゆるブラックボックス）であっても使用できる。更に、撮像部に起因する像劣化を直接操作できるため、高い自由度をもって調整できる。【００４７】
（１６）複数の撮像部から画像データを個別に取得し、撮像環境の相違によって生じた画質のバラツキを画像処理によって個別に補正し均一化する第３画像処理機能を更に備え、第１画像処理機能は、第３画像処理機能から補正後の画像データを個別に取得し、個々の撮像部に起因する像劣化を画像処理によって個別に補正する、上記（１５）の画像処理プログラム。【００４８】
本態様によれば、第３画像処理機能が更に備えられる。第３画像処理機能は、複数の撮像部から画像データを個別に取得し、撮像環境の相違によって生じた画質のバラツキを画像処理によって個別に補正し均一化する。第１画像処理機能は、第３画像処理機能から補正後の画像データを個別に取得し、個々の撮像部に起因する像劣化を画像処理によって個別に補正する。これにより、撮像環境の相違によって生じる画質のバラツキを補正できる。【００４９】
（１７）第１画像処理機能が行う画像処理のパラメータを設定するパラメータ設定機能を更に備え、パラメータ設定機能は、第２画像処理機能による検査、計測又は認識の結果に基づいて、パラメータを設定する、上記（１５）又は（１６）の画像処理プログラム。【００５０】
本態様によれば、第１画像処理機能が行う画像処理のパラメータを設定するパラメータ設定機能が更に備えられる。パラメータ設定機能は、第２画像処理機能による検査等の結果に基づいて、パラメータを設定する。すなわち、複数の撮像部が同一対象を撮像した場合に、検査等の結果が所望の範囲内において一致するように、第１画像処理機能が行う画像処理のパラメータを設定する。【００５１】
（１８）第１画像処理機能は、個々の撮像部に備えられた光学系に起因する像劣化を画像処理によって個別に補正する、上記（１５）から（１７）のいずれか一の画像処理プログラム。【００５２】
本態様によれば、第１画像処理機能によって、個々の撮像部に備えられた光学系に起因する像劣化が画像処理によって個別に補正される。
【発明の効果】
【００５３】
本発明によれば、各撮像部の性能に個体差がある場合であっても、複数の撮像部を使用して対象を適切に検査、計測又は認識できる。
【図面の簡単な説明】
【００５４】
【図１】本発明に係る画像処理システムが適用された検査システムの一例を示すシステム構成図
【図２】検査対象である基板の一例を示す平面図
【図３】検査装置が備える機能のブロック図
【図４】同一対象を撮像した場合に第１カメラ及び第２カメラから取得されるオリジナルの画像データの一例を示す図
【図５】台形歪み補正後の画像データの一例を示す図
【図６】検査結果が同じになるように補正した場合の画像データの一例を示す図
【図７】第２の実施の形態の検査装置が備える機能のブロック図
【図８】パラメータを最適化する処理の手順を示すフローチャート
【発明を実施するための形態】
【００５５】
以下、添付図面に従って本発明を実施するための好ましい形態について詳説する。
【００５６】
◆◆第１の実施の形態◆◆
［検査システムの構成］
図１は、本発明に係る画像処理システムが適用された検査システムの一例を示すシステム構成図である。
【００５７】
同図に示すように、本実施の形態の検査システム１は、コンベヤ２によって連続的に搬送される基板Ｂを連続的に検査するシステムとして構成される。特に、本実施の形態の検査システム１は、基板Ｂの長さを検査するシステムとして構成される。すなわち、基板Ｂの長さが、あらかじめ定められた基準を満たすか否かを検査するシステムとして構成される。
【００５８】
《検査対象》
図２は、検査対象である基板の一例を示す平面図である。
【００５９】
同図に示すように、検査対象である基板Ｂは、平面視において、横長の矩形状である。
【００６０】
検査システム１は、基板Ｂの縦方向の長さ（短辺の長さ）Ｌを計測し、計測した長さＬが、あらかじめ定められた基準を満たすか否かを判定する。また、その判定結果に基づいて、基板Ｂの合否を判定する。すなわち、計測した長さＬが基準を満たせば合格（ＯＫ）、満たさなければ不合格（ＮＧ（NG：No Good））と判定する。
【００６１】
基準は一定の幅をもって設定される。たとえば、合格とする長さの範囲をＬｍｉｎ≦Ｌ≦Ｌｍａｘとする。この場合、計測した長さＬが、Ｌｍｉｎ以上、Ｌｍａｘ以下の場合に合格とされる。
【００６２】
検査の際には、ラベルＬｂの判別も行われる。すなわち、基板Ｂに、どのようなラベルが付されているかが判別される。
【００６３】
《システム構成》
図１に示すように、検査システム１は、コンベヤ２によって搬送される基板Ｂを撮像する２台のカメラ１０Ａ、１０Ｂと、２台のカメラ１０Ａ、１０Ｂから画像データを個別に取得して、撮像されている基板Ｂを画像処理により検査する検査装置１００と、を備えて構成される。
【００６４】
〈コンベヤ〉
コンベヤ２は、検査対象の基板Ｂを所定の搬送経路に沿って搬送する。本実施の形態では、基板Ｂを直線に沿って水平に搬送する。
【００６５】
基板Ｂは、コンベヤ２の上に２列に並べられて搬送される。また、基板Ｂは、各列において、一定の間隔によって配置されて搬送される。
【００６６】
なお、図２において、矢印Ｆｄによって示す方向が、基板Ｂの搬送方向である。基板Ｂは、短辺と平行に搬送される。
【００６７】
〈カメラ〉
２台のカメラ１０Ａ、１０Ｂは、複数の撮像部の一例である。２台のカメラ１０Ａ、１０Ｂは、コンベヤ２による基板Ｂの搬送経路上に設置される。以下、２台のカメラ１０Ａ、１０Ｂを区別するため、一方のカメラ１０Ａを第１カメラ１０Ａとし、他方のカメラ１０Ｂを第２カメラ１０Ｂとする。
【００６８】
〔第１カメラ〕
第１カメラ１０Ａは、撮像した画像をデジタルデータとして出力する。第１カメラ１０Ａは、撮像レンズ１２Ａ及びカメラ本体１４Ａにより構成される。
【００６９】
撮像レンズ１２Ａは、光学系の一例である。本実施の形態の撮像レンズ１２Ａは、単焦点の撮像レンズであり、絞り及びフォーカス機構を備える。撮像レンズ１２Ａは、マウントを介してカメラ本体１４Ａに着脱自在に装着される。
【００７０】
カメラ本体１４Ａは、撮像レンズ１２Ａにより結像された像を撮像し、デジタルの画像データとして出力する。カメラ本体１４Ａには、撮像レンズ１２Ａで結像された像を撮像する手段として、イメージセンサが備えられる。また、カメラ本体１４Ａには、イメージセンサから出力される信号を処理して画像データを生成する手段として、信号処理部が備えられる。イメージセンサには、たとえば、ＣＭＯＳ（CMOS: Complementary Metal Oxide Semiconductor）、ＣＣＤ（CCD: Charged Coupled Device）等の固体撮像素子が使用される。
【００７１】
第１カメラ１０Ａは、コンベヤ２によって２列において搬送される基板Ｂのうち一方側の列（図１において左側の列）の基板Ｂを撮像する。したがって、第１カメラ１０Ａは、一方側の列の基板Ｂを撮像できる位置に設置される。この位置は検査対象とする基板Ｂの全体像を１フレームに収めて撮像できる位置である。
【００７２】
〔第２カメラ〕
第２カメラ１０Ｂの構成は、第１カメラ１０Ａの構成と同じである。すなわち、撮像レンズ１２Ｂ及びカメラ本体１４Ｂにより構成される。撮像レンズ１２Ｂの仕様及びカメラ本体１４Ｂの仕様も、第１カメラ１０Ａの撮像レンズ１２Ａの仕様及びカメラ本体１４Ａの仕様と同じである。
【００７３】
第２カメラ１０Ｂは、コンベヤ２によって２列において搬送される基板Ｂのうち他方側の列（図１において右側の列）の基板Ｂを撮像する。したがって、第２カメラ１０Ｂは、他方側の列の基板Ｂを撮像できる位置に設置される。この位置は検査対象とする基板Ｂの全体像を１フレームに収めて撮像できる位置である。
【００７４】
〈検査装置〉
検査装置１００は、画像処理装置の一例である。検査装置１００は、第１カメラ１０Ａ及び第２カメラ１０Ｂから画像データを取得し、得られた画像データを個別に画像処理して、撮像されている基板Ｂを検査する。すなわち、撮像されている基板Ｂの長さＬを計測し、計測した長さＬが基準を満たすか否か判定して、合否を判定する。
【００７５】
検査装置１００は、ＣＰＵ（CPU：Central Processing Unit）、ＲＡＭ（RAM：Random Access Memory）、ＲＯＭ（ROM：Read Only Memory）を備えたコンピュータにより構成される。すなわち、コンピュータが所定のプログラムを実行することにより、検査装置１００として機能する。コンピュータには、たとえば、パーソナルコンピュータ等を使用できる。
【００７６】
図３は、検査装置が備える機能のブロック図である。
【００７７】
同図に示すように、検査装置１００は、第１カメラ１０Ａ及び第２カメラ１０Ｂから取得した画像データを補正処理する画像補正処理部１０２としての機能（第１画像処理機能）と、画像補正処理部１０２から補正後の画像データを取得し、撮像されている基板Ｂを画像処理によって検査する検査処理部１０４としての機能（第２画像処理機能）と、画像補正処理部１０２が行う画像処理（画像補正処理）のパラメータを設定するパラメータ設定部１０６としての機能（パラメータ設定機能）と、を備える。これらの機能は、検査装置１００を構成するコンピュータが、所定のプログラム（画像処理プログラム等）を実行することにより提供される。プログラムは、たとえば、ＲＯＭに格納される。
【００７８】
〔画像補正処理部〕
画像補正処理部１０２は、第１画像処理部の一例である。画像補正処理部１０２は、第１カメラ１０Ａから取得した画像データを補正処理する第１画像補正処理部１０２Ａ及び第２カメラ１０Ｂから取得した画像データを補正処理する第２画像補正処理部１０２Ｂを備える。
【００７９】
第１画像補正処理部１０２Ａは、第１カメラ１０Ａの画像データを取得し、第１カメラ１０Ａに起因する像劣化を画像処理により補正する。
【００８０】
ここで、第１カメラ１０Ａに起因する像劣化には、像の歪み、解像の低下等、さまざまな種類のものが存在する。
【００８１】
第１画像補正処理部１０２Ａが補正する対象は、第１カメラ１０Ａに起因する像劣化のすべてではなく、後段の検査に影響を及ぼす像劣化が対象となる。
【００８２】
本実施の形態の検査システム１では、基板Ｂの長さＬを検査するので、長さＬの検査に影響を及ぼす像劣化が補正される。長さＬの検査に影響を及ぼす像劣化は、主として像の歪みである。このため、本実施の形態の検査システム１では、第１画像補正処理部１０２Ａにおいて、像の歪みが補正される。補正は発生している歪みの種類に応じて行われる。たとえば、ディストーションが生じている場合は、ディストーション補正が行われる。また、台形歪みが生じている場合は台形歪み補正が行われる。補正には、公知の画像処理手法が採用される。
【００８３】
また、ここでの補正は、像劣化を完全に除去することを目的とするものではなく、使用するカメラの性能差による検査結果のバラツキを低減させることを目的として行われる。すなわち、同一対象を第１カメラ１０Ａ及び第２カメラ１０Ｂで撮像した場合に、その検査結果を所望の範囲内において一致させることを目的として行われる。この点については、後述する。
【００８４】
第２画像補正処理部１０２Ｂは、第２カメラ１０Ｂの画像データを取得し、第２カメラ１０Ｂに起因する像劣化を画像処理により補正する。補正する対象は、第１画像補正処理部１０２Ａと同じであり、像の歪みである。
【００８５】
〔検査処理部〕
検査処理部１０４は、第２画像処理部の一例である。検査処理部１０４は、第１画像補正処理部１０２Ａから補正後の画像データを取得し、撮像されている基板Ｂを画像処理によって検査する第１検査処理部１０４Ａ及び第２画像補正処理部１０２Ｂから補正後の画像データを取得し、撮像されている基板Ｂを画像処理によって検査する第２検査処理部１０４Ｂを備える。
【００８６】
第１検査処理部１０４Ａは、第１画像補正処理部１０２Ａから補正後の画像データを取得し、撮像されている基板Ｂを画像処理によって検査する。また、第１検査処理部１０４Ａは、検査と同時に基板Ｂに付されているラベルＬｂを判別する。すなわち、どのようなラベルが付されているかを画像処理によって認識し、判別する。
【００８７】
第１検査処理部１０４Ａが行う検査は、上記のように、基板Ｂの長さＬの検査である。すなわち、撮像されている基板Ｂの長さＬが基準を満たしているか否かを検査する。第１検査処理部１０４Ａは、まず、得られた画像データから基板Ｂを抽出する。次いで、抽出した基板Ｂの縦方向の長さＬを画像処理によって計測する。次いで、計測により得られた基板Ｂの長さＬが基準を満たしているか否かを判定する。基準を満たしていれば、合格と判定する。一方、基準を満たしていなければ、不合格と判定する。検査対象の抽出及び計測には、公知の画像処理手法が採用される。ラベルＬｂの判別も公知の画像処理手法が採用される。
【００８８】
第２検査処理部１０４Ｂは、第２画像処理部の一例である。第２検査処理部１０４Ｂは、第２画像補正処理部１０２Ｂから補正後の画像データを取得し、撮像されている基板Ｂを画像処理によって検査する。また、第２検査処理部１０４Ｂは、検査と同時に基板Ｂに付されているラベルＬｂを判別する。
【００８９】
第２検査処理部１０４Ｂが行う検査は、第１検査処理部１０４Ａと同様に、基板Ｂの長さＬの検査である。また、その検査手法も第１検査処理部１０４Ａと同じである。すなわち、第１検査処理部１０４Ａ及び第２検査処理部１０４Ｂは、取得した画像データに対して同じ画像処理を行って撮像されている基板Ｂを検査する。第１検査処理部１０４Ａ及び第２検査処理部１０４Ｂは、取得した画像データに対して同じ画像処理を行って基板Ｂに付されているラベルＬｂを判別する。
【００９０】
〔パラメータ設定部〕
パラメータ設定部１０６は、第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂが行う画像処理（画像補正処理）のパラメータを個別に設定する。パラメータは、第１カメラ１０Ａ及び第２カメラ１０Ｂで同一対象を撮像した場合に、第１検査処理部１０４Ａ及び第２検査処理部１０４Ｂの検査結果が、所望の範囲内において一致するように設定する。
【００９１】
ここで、「所望の範囲内において一致」とは、検査等で要求される精度のレベルにおいて一致させることを意味するものである。したがって、望ましくは、検査等の結果が一致するように補正することであるが、一定の範囲内において誤差が許容される。すなわち、ほぼ一致するように補正されればよい。また、ここでの同一対象には、実質的に同じ対象とみなせる場合が含まれる。
【００９２】
このようにパラメータを設定し、画像データを補正することにより、個体差のあるカメラを使用した場合であっても、精度よく対象を検査できる。以下、この点について、詳説する。
【００９３】
［画像補正処理部による補正の概念］
第１カメラ１０Ａ及び第２カメラ１０Ｂは、同じ仕様のカメラが使用される。使用するカメラの性能に差がない場合、第１カメラ１０Ａから得られる画像データの品質と第２カメラ１０Ｂから得られる画像データの品質は実質的に一致する。この場合、同一対象を第１カメラ１０Ａ及び第２カメラ１０Ｂによって撮像すれば、第１検査処理部１０４Ａ及び第２検査処理部１０４Ｂの検査結果（基板の合否の判定結果及びラベルの判別結果）は実質的に一致する。
【００９４】
しかし、通常、カメラには個体差が存在する。第１カメラ１０Ａと第２カメラ１０Ｂとで使用するカメラの性能に差が存在すると、第１カメラ１０Ａから得られる画像データの品質と第２カメラ１０Ｂから得られる画像データの品質に差が生じる。この場合、同一対象を撮像した場合であっても、第１検査処理部１０４Ａの検査結果と第２検査処理部１０４Ｂの検査結果との間には差が生じ得る。
【００９５】
本実施の形態の検査装置１００では、このカメラの性能の差によって生じる検査結果の差を第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂによる補正処理によって解消する。すなわち、使用するカメラの性能に差が存在する場合であっても、検査結果に差が生じないように、事前に第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂにおいて処理対象の画像データを補正する。これにより、第１カメラ１０Ａ及び第２カメラ１０Ｂの性能に差がある場合であっても、その画像データを用いて精度よく対象を検査できる。
【００９６】
なお、ここでのカメラの性能の差には、装着された撮像レンズの光学性能の差に基づく性能差の他、マウントの精度に基づく性能差、カメラ本体への撮像レンズの装着精度に基づく性能差、カメラ内部のイメージセンサの傾き、感度等に基づく性能差等も含まれる。マウントの精度の差、装着の精度の差、イメージセンサの傾き等によって光軸のズレ、傾き等が生じ、検査結果に差が生じ得るからである。また、カメラに備えられているイメージセンサの感度の差によっても、検査結果に差が生じ得るからである。
【００９７】
以下、具体例を挙げて、画像補正処理部が行う補正について説明する。ここでは、台形歪みを補正する場合を例に説明する。
【００９８】
図４は、同一対象を撮像した場合に第１カメラ及び第２カメラから取得されるオリジナルの画像データの一例を示す図である。同図（Ａ）は、第１カメラ１０Ａから取得されるオリジナルの画像データの一例を示している。また、同図（Ｂ）は、第２カメラ１０Ｂから取得されるオリジナルの画像データの一例を示している。
【００９９】
図４に示すように、オリジナルの画像データは、第１カメラ１０Ａ及び第２カメラ１０Ｂの双方において台形歪みが発生している。ただし、第２カメラ１０Ｂから取得される画像データｉ０ｂの方が、第１カメラ１０Ａから取得される画像データｉ０ａよりも歪み量が大きい。
【０１００】
なお、図４（Ａ）、（Ｂ）には、比較のため、歪みが発生しない場合に撮像される基板の像を破線で重ねて表示している。
【０１０１】
図５は、台形歪み補正後の画像データの一例を示す図である。同図（Ａ）は、第１カメラ１０Ａから取得された画像データに対して台形歪み補正を施した場合の一例を示している。また、同図（Ｂ）は、第２カメラ１０Ｂから取得された画像データに対して台形歪み補正を施した場合の一例を示している。
【０１０２】
図５は、検査結果を考慮せずに各画像データを補正した場合の例である。この場合、各画像データは独立して補正され、歪みを完全に除去するように補正される。すなわち、各画像データにおいて、完全に理想的な画像形状に補正される。この結果、同図（Ａ）に示すように、第１カメラ１０Ａの補正後の画像データｉ１ａは、実際の基板の形状と同じ矩形状に補正される。また、同図（Ｂ）に示すように、第２カメラ１０Ｂの補正後の画像データｉ１ｂも実際の基板の形状と同じ矩形状に補正される。
【０１０３】
このように補正された画像データｉ１ａ、ｉ１ｂに基づいて、基板を検査すると、基板Ｂの長さＬの検査については、両者の検査結果を一致させることができる。
【０１０４】
しかし、基板Ｂに付されたラベルＬｂの判別の結果については、両者の結果に差が生じ得る。これは次の理由による。オリジナルの画像データは、第１カメラ１０Ａの画像データｉ０ａよりも第２カメラ１０Ｂの画像データｉ０ｂの方が、歪み量が大きい（図４参照）。このため、完全に歪みを除去するように補正すると、補正後の画像データは、第１カメラ１０Ａの補正後の画像データｉ１ａよりも第２カメラ１０Ｂの補正後の画像データｉ１ｂの方が、補正量が大きくなる。この結果、第２カメラ１０Ｂの補正後の画像データｉ１ｂは解像が低下し、ラベルＬｂの判別ができない事態が生じ得る。
【０１０５】
図６は、検査結果が同じになるように補正した場合の画像データの一例を示す図である。同図（Ａ）は、第１カメラ１０Ａから取得された画像データに対して補正した場合の一例を示している。また、同図（Ｂ）は、第２カメラ１０Ｂから取得された画像データに対して補正した場合の一例を示している。なお、同図（Ａ）、（Ｂ）には、比較のため、歪みを完全に補正した場合の基板の像を破線で重ねて表示している。
【０１０６】
図６（Ａ）、（Ｂ）に示すように、検査結果が同じになるように補正すると、第１カメラ１０Ａの補正後の画像データｉ２ａ及び第２カメラ１０Ｂの補正後の画像データｉ２ｂは、ほぼ同じ画像データとなる。
【０１０７】
検査結果が同じになるように補正する場合、図６（Ａ）、（Ｂ）に示すように、歪みの残存が許容される場合がある。すなわち、検査結果が同じになるように補正する場合、検査結果に影響を及ぼさない項目については、劣化の残存が許容される。本例では、基板Ｂの縦方向の長さＬの検査なので、基板Ｂの横方向の歪みは許容される。一方、ラベルＬｂの判別に影響を及ぼすため、補正が制限される。すなわち、ラベルＬｂの判別が可能な範囲で補正が行われる。
【０１０８】
このように、本実施の形態の検査システム１では、第１カメラ１０Ａ及び第２カメラ１０Ｂで同一対象を撮像した場合に、第１検査処理部１０４Ａ及び第２検査処理部１０４Ｂの検査結果に差が生じないように、すなわち、所望の範囲内において一致するように、第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂにおいて画像データを補正する。
【０１０９】
パラメータ設定部１０６は、そのような補正が行われるように、画像処理のパラメータを設定する。すなわち、同一対象を撮像した場合に、検査結果を所望の範囲内において一致させるようなパラメータを設定する。
【０１１０】
パラメータは、たとえば、検査結果をフィードバックして設定する。たとえば、すべてのパラメータを順番に微小変化させて検査結果がどのように変化するかに基づいて、第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂに設定する画像処理のパラメータを最適化する。この場合、感度がない、すなわち、変更しても検査結果に影響しないパラメータは、変更しないようにすることが好ましい。
【０１１１】
検査結果がどのように変化するかは、たとえば、パラメータの変化に対する検査結果の差の偏微分を求めて観測する。
【０１１２】
また、パラメータを最適化する際は、たとえば、検査結果の確率分布が、第１検査処理部１０４Ａ及び第２検査処理部１０４Ｂにおいてほぼ同じになるようにする。
【０１１３】
このようにパラメータを微小変化させて、パラメータを最適化する手法には、公知の最適化手法を採用できる。たとえば、公知の勾配法による最適化手法を採用することができる。ただし、感度がない場合にパラメータが動かない必要があるため、ＤＬＳ（DLS：Dumped Least Squares／減衰最小自乗法）のように、正則化項を含む手法を採用することが好ましい。
【０１１４】
なお、単に検査結果が同じになるようにパラメータを設定すると、本来、合格とすべきところを不合格と判定してしまう事態が生じ得る。このため、パラメータを設定する場合は、検査の正確性も考慮する。たとえば、正確な検査結果を用意し、その検査結果と同じになるように、パラメータを設定する。本例の場合、たとえば、第１検査処理部１０４Ａの検査結果が正しいことを保証し、第２検査処理部１０４Ｂの検査結果が第１検査処理部１０４Ａの検査結果とほぼ一致するように、パラメータを設定する。
【０１１５】
［検査システムの作用］
《初期設定》
まず、初期設定として、パラメータ設定部１０６において、第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂが行う画像処理のパラメータが設定される。すなわち、第１カメラ１０Ａ及び第２カメラ１０Ｂで同一対象を撮像した場合に第１検査処理部１０４Ａ及び第２検査処理部１０４Ｂの検査結果が、ほぼ一致するように、第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂの画像処理のパラメータが調整され、かつ、設定される。これにより、たとえば、装着された撮像レンズに個体差がある場合などのように、第１カメラ１０Ａ及び第２カメラ１０Ｂの性能に差がある場合であっても、適切に検査できる。
【０１１６】
《検査の処理手順》
検査は、コンベヤ２の上を２列で搬送される基板Ｂを第１カメラ１０Ａ及び第２カメラ１０Ｂによって撮像することにより行われる。
【０１１７】
第１カメラ１０Ａ及び第２カメラ１０Ｂから出力された画像データは、検査装置１００に取り込まれ、検査に供される。検査装置１００は、次の手順（画像処理方法）によって画像データを処理し、撮像されている基板を検査する。
【０１１８】
検査装置１００に取り込まれた第１カメラ１０Ａの画像データ及び第２カメラ１０Ｂの画像データは、まず、第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂにおいて、光学系に起因する像劣化が画像処理によって補正される（第１画像処理工程）。本例では、台形歪みが補正される。この際、第１カメラ１０Ａから取得された画像データは、第１画像補正処理部１０２Ａにおいて画像処理されて、台形歪みが補正される。また、第２カメラ１０Ｂから取得された画像データは、第２画像補正処理部１０２Ｂにおいて画像処理されて、台形歪みが補正される。
【０１１９】
ここで、上記のように、第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂにおいて行う画像処理のパラメータは事前に設定される（パラメータ設定工程）。このパラメータは、同一対象を撮像した場合に、検査結果がほぼ一致するように設定される。第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂは、設定されたパラメータに従って画像データを画像処理し、画像に生じた台形歪みを補正する。
【０１２０】
第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂにおいて台形歪みが補正された第１カメラ１０Ａの画像データ及び第２カメラ１０Ｂの画像データは、次に、第１検査処理部１０４Ａ及び第２検査処理部１０４Ｂに加えられ、検査に供される（第２画像処理工程）。
【０１２１】
第１検査処理部１０４Ａは、第１画像補正処理部１０２Ａにおいて補正処理された画像データを取得して、取得した画像データを画像処理して、撮像されている基板の長さを検査する。より詳しくは、撮像されている基板の縦方向の長さＬを計測し、あらかじめ設定された基準を満たしているか否かを判定して、基板の合否を判定する。また、取得した画像データを画像処理して、基板に付されているラベルを判別する。
【０１２２】
第２検査処理部１０４Ｂは、第２画像補正処理部１０２Ｂにおいて補正処理された画像データを取得して、取得した画像データを画像処理して、撮像されている基板の長さを検査する。また、取得した画像データを画像処理して、基板に付されているラベルを判別する。
【０１２３】
ここで、第１検査処理部１０４Ａ及び第２検査処理部１０４Ｂにおいて処理対象とする画像データは、第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂにおいて補正処理された画像データであり、同一対象を撮像した場合にほぼ同じ結果が得られるように補正された画像データである。このため、第１カメラ１０Ａ及び第２カメラ１０Ｂの性能に差がある場合であっても、個々のカメラで対象を適切に検査できる。
【０１２４】
このように、本実施の形態の検査システム１によれば、複数のカメラを使用して検査する場合であっても、個々のカメラにおいて、適切に対象を検査できる。特に、個体差のあるカメラを使用した場合であっても、適切に対象を検査できる。また、個々のカメラにおいて、個体差のある撮像レンズを使用した場合であっても、適切に対象を検査できる。
【０１２５】
また、第１検査処理部１０４Ａ及び第２検査処理部１０４Ｂにおいて行う処理については変更を加える必要がないので、検査のアルゴリズムが未知（いわゆるブラックボックス）であっても適用できる。このことは、検査に機械学習等の手法を採用している場合に特に有効である。
【０１２６】
また、本実施の形態の検査システム１によれば、カメラに起因する像劣化を直接操作できるため、高い自由度をもって調整できる。
【０１２７】
◆◆第２の実施の形態◆◆
図７は、第２の実施の形態の検査装置が備える機能のブロック図である。
【０１２８】
同図に示すように、本実施の形態の検査装置１１０は、前処理部１１２を更に備えている点で上記第１の実施の形態の検査装置１００と相違する。したがって、ここでは、前処理部１１２の機能についてのみ説明する。
【０１２９】
前処理部１１２は、第３画像処理部の一例である。前処理部１１２は、第１カメラ１０Ａ及び第２カメラ１０Ｂから取得した画像データを前処理する。ここでの前処理とは、画像データを画像補正処理部１０２において補正処理する前に所定の画像処理を施すことを意味する。具体的には、撮像環境の相違によって第１カメラ１０Ａ及び第２カメラ１０Ｂの間において生じた画質のバラツキを画像処理によって補正し、均一化する処理を行う。撮像環境の相違によって生じる画質のバラツキには、たとえば、画像の明るさバラツキ、色調のバラツキ等が挙げられる。
【０１３０】
前処理部１１２は、第１前処理部１１２Ａ及び第２前処理部１１２Ｂを備える。第１前処理部１１２Ａは、第１カメラ１０Ａから取得した画像データを画像処理して、その画質を補正する。第２前処理部１１２Ｂは、第２カメラ１０Ｂから取得した画像データを画像処理して、その画質を補正する。たとえば、第１カメラ１０Ａの撮像領域と第２カメラ１０Ｂの撮像領域における照明光の当たり方が異なることにより、撮像される画像の明るさに差が生じる場合、前処理部１１２において画像の明るさが補正される。
【０１３１】
このように、前処理部１１２は、撮像環境の相違によって生じる画質のバラツキを画像処理によって補正し、均一化する（第３画像処理工程）。画像補正処理部１０２は、この前処理部１１２において処理された画像を取り込み、補正処理する（第１画像処理工程）。これにより、撮像環境の相違によって生じる画質のバラツキを除去でき、対象をより適切に検査できる。
【０１３２】
前処理部１１２の機能（第３画像処理機能）は、検査装置１１０を構成するコンピュータが、所定のプログラム（画像処理プログラム等）を実行することにより提供される。
【０１３３】
なお、前処理部１１２の機能は、第１カメラ１０Ａ及び第２カメラ１０Ｂに備えてもよい。すなわち、第１カメラ１０Ａ及び第２カメラ１０Ｂのカメラ本体１４Ａ、１４Ｂに備えられた信号処理部に前処理部１１２の機能を備えてもよい。
【０１３４】
◆◆その他の実施の形態◆◆
［撮像された対象に対する処理］
上記実施の形態では、対象を検査するシステムに本発明を適用した場合を例に説明したが、本発明の適用は、これに限定されるものではない。この他、たとえば、対象を計測、認識等するシステム、装置等に適用できる。
【０１３５】
対象を計測するシステム、装置等とは、対象が撮像された画像データを取得し、画像処理によって対象を計測するシステム、装置等をいう。計測には、たとえば、長さの計測、面積の計測、色の計測、位置の計測などが挙げられる。
【０１３６】
対象を認識するシステム、装置等とは、対象が撮像された画像データを取得し、画像処理によって対象を認識するシステム、装置等をいう。認識には、たとえば、文字の認識、図形の認識、外観形状の認識、特定対象物の認識などが挙げられる。
【０１３７】
また、上記実施の形態では、検査として、対象の長さを検査する場合を例に説明したが、検査の種類は、これに限定されるものではない。たとえば、外観形状の検査、表面性状の検査、位置の検査、サイズの検査、種類の検査等、画像処理を用いた種々の検査に本発明は適用できる。また、検査に伴い計測、認識等の処理が画像処理によって行われる場合には、それらの処理にも本発明は適用できる。
【０１３８】
［検査等を行うシステムの構成］
上記実施の形態では、コンベヤによって搬送される対象を順次撮像し、処理する場合を例に説明したが、検査等を行うシステムの構成は、これに限定されるものではない。この他、たとえば、車両に複数台のカメラを設置し、人等を認識するシステム等にも本発明は適用できる。
【０１３９】
また、上記実施の形態では、各カメラが異なる対象を撮像する構成としているが、各カメラが同じ対象を撮像し、検査等するシステムにも本発明は適用できる。また、同じ対象の異なる部位を複数のカメラで撮像し、検査等するシステムにも本発明は適用できる。たとえば、１枚の基板の表面を複数の領域に分割し、各領域を異なるカメラで撮像して、キズの有無、異物の有無等を検査するシステムに本発明を適用できる。
【０１４０】
また、上記実施の形態では、カメラが２台の場合を例に説明したが、使用するカメラの数は、特に限定されるものではない。複数台のカメラが使用されていればよい。また、撮像レンズは、カメラ本体に一体的に組み付けられていてもよい。
【０１４１】
また、本発明は、ウェブ等の連続物を検査等する場合にも適用できる。たとえば、連続して搬送されるウェブの表面を複数台のカメラで撮像し、キズの有無等を検査したり、所定の間隔で表示されたマーク等を認識、判別等したりする場合にも適用できる。
【０１４２】
［画像補正処理部（第１画像処理部）の補正対象］
上記のように、画像補正処理部１０２では、後段の検査等の結果に影響を及ぼす像劣化が画像処理によって補正される。
【０１４３】
たとえば、対象に付された文字、図形等を認識するシステム、対象の位置合わせ、位置決め等を行うために対象の位置を計測するシステム等においては、主として、光学系に起因する画像の歪み、解像の低下等が認識結果に影響を及ぼす。したがって、この種のシステムでは、主として、光学系に起因する画像の歪み、解像が補正される。画像の歪みは、たとえば、公知のディストーション補正の技術、上記の台形歪み補正の技術等、公知の歪み補正の技術を用いて補正される。解像は、たとえば、公知の点像復元処理の技術を用いて補正される。点像とは、点物体が撮像レンズを通して得られる光学像のことである。撮像レンズに収差、回折があると、点が点にならず広がった点像（ボケた点像）が得られる。すなわち、点像は、撮像レンズの光学的な劣化状態を表わす。点像復元処理は、光学的な劣化を元の状態に近づける画像処理である。
【０１４４】
また、対象の形状を計測、検査等するシステムでは、主として、光学系に起因する画像の歪みが処理結果に影響を及ぼす。したがって、この種のシステムにおいては、主として、光学系に起因する画像の歪みが補正される。
【０１４５】
また、対象の面積、長さ等を計測、検査等するシステムでは、主として、光学系に起因する画像の歪み、各光学系の像倍率の差が、処理結果に影響を及ぼす。したがって、この種のシステムにおいては、主として、光学系に起因する画像の歪み、像倍率が補正される。像倍率は、たとえば、画像データを拡縮処理（電子ズーム、デジタルズームなどともいう。）することにより補正する。
【０１４６】
また、対象の色を計測、検査等するシステムでは、主として、各光学系の分光透過率の差が処理結果に影響を及ぼす。したがって、この種のシステムにおいては、主として、分光透過率の差が補正される。
【０１４７】
［その他の実施の形態］
上記実施の形態では、第１画像処理部、第２画像処理部、第３画像処理部及びパラメータ設定部をコンピュータによって構成しているが、第１画像処理部、第２画像処理部、第３画像処理部及びパラメータ設定部を実現するためのハードウェア的な構成は、これに限定されるものではない。これらの処理部等は、各種のプロセッサーによって構成できる。各種のプロセッサーには、ソフトウェア（プログラム）を実行して各種の処理を行う処理部として機能する汎用的なプロセッサーであるＣＰＵ、ＦＰＧＡ（FPGA：Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサーであるＰＬＤ（PLD：Programmable Logic Device）、ＡＳＩＣ（ASIC：Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサーである専用電気回路などが含まれる。
【０１４８】
一つの処理部は、これら各種のプロセッサーのうちの一つにより構成されていてもよいし、同種又は異種の二つ以上のプロセッサーにより構成されていてもよい。たとえば、複数のＦＰＧＡで構成されてもよいし、ＣＰＵ及びＦＰＧＡの組み合わせで構成されてもよい。
【０１４９】
また、複数の処理部を一つのプロセッサーによって構成してもよい。複数の処理部を一つのプロセッサーによって構成する例としては、第１に、クライアント、サーバなどのコンピュータに代表されるように、一つ以上のＣＰＵとソフトウェアとの組合せで一つのプロセッサーを構成し、このプロセッサーが複数の処理部として機能する形態がある。第２に、システムオンチップ（SoC：System On Chip）などに代表されるように、複数の処理部を含むシステム全体の機能を一つのＩＣチップ（IC：Integrated Circuit）で実現するプロセッサーを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサーを一つ以上用いて構成される。
【０１５０】
更に、これらの各種のプロセッサーのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路である。
【実施例】
【０１５１】
以下、上記第１の実施の形態の検査システム１において、第１検査処理部１０４Ａ及び第２検査処理部１０４Ｂの検査結果が、所望の範囲内において一致するように、第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂが行う画像処理のパラメータを設定する場合の一実施例を説明する。【０１５２】
なお、本例では、第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂが台形歪み補正を行う場合を例に説明する。【０１５３】
また、本例では、勾配法により各パラメータを最適化する場合を例に説明する。【０１５４】
［台形歪み補正］
一般に、台形歪みは、射影変換によって補正される。【０１５５】
入力画像の点(x0,y0)を点(x1,y1)の位置に変換する場合、座標変換は、次式で定義される。【０１５６】
x1 = (a1*x0+b1*y0+c1) / (a0*x0+b0*y0+c0)；
y1 = (a2*x0+b2*y0+c2) / (a0*x0+b0*y0+c0)、
なお、式中の*は乗算を意味する（以下同様）。【０１５７】
パラメータをまとめてパラメータベクトルθ=(a0,b0,c0,a1,b1,c1,a2,b2,c2)として表記する。【０１５８】
［記号の定義］
IAn : n番目の教師画像（合否の判定結果が既知の第１カメラ１０Ａにより撮影された画像、1≦n≦N）；
TAn : n番目の教師画像の合否の判定結果（合格の場合：1、不合格の場合：0）；
MAm,MBm : m番目の結果一致のための比較画像（1≦m≦M、M>>N、M≧dimθ)；なお、dimθはθベクトルのディメンションである。
Y = g(X|θ) : 入力画像Xを補正して画像Yに変換する画像補正処理（θはパラメータベクトル）；
D = f(X) : 入力画像Xが合格である確率（0≦D≦1）を返す識別アルゴリズム（検査アルゴリズム）。
［準備すべきパラメータ］
Δθ : パラメータの微少変化量；
Vth : 所望とされる結果一致の程度を示す閾値；
Tth : 非線形最適化打ち切り閾値；
λ : 第１カメラおける判定結果の精度と第１、第２カメラ間の判定結果の一致の程度のバランスを定義する定数；
θ0 : 初期パラメータベクトル；
ε : 最急降下法の更新量。
［変数の説明］
θ : 現在のパラメータベクトル；
itr : 非線形最適化の反復の回数。
［実施手順］
図８は、画像処理のパラメータを最適化する処理の手順を示すフローチャートである。【０１５９】
画像処理のパラメータを最適化する手順は、次のとおりである。【０１６０】
（１）初期パラメータを設定（ステップＳ１）
まず、初期パラメータベクトルθ0を設定する（θ ← θ0）。また、非線形最適化の反復の回数itrを１に設定する（itr ← 1）。【０１６１】
（２）教師のある画像すべての合否判定結果を取得（ステップＳ２）
次に、教師のある画像すべての合否の判定結果を確率YAnとして取得する。【０１６２】
YAn = f(g(IAn|θ))
（３）比較画像のすべての合否判定結果を取得（ステップＳ３）
次に、比較画像のすべての合否の判定結果を確率ZAm、ZBmとして取得する。【０１６３】
ZAm = f(g(MAm|θ))
ZBm = f(g(MBm|θ))
（４）評価基準Ｖの値を算出（ステップＳ４）
次に、評価基準Ｖの値を算出する。評価基準Ｖは、次式のように、交差エントロピーとカルバック情報量のλ倍の和として定義される。【０１６４】
V = (-1/N) * Σn TAn*log(YAn) + λ * (-1/M) * Σm ZBm*log(ZAm)
（５）判定（ステップＳ５）
次に、算出した評価基準Ｖの値と閾値Vthとを比較し、算出した評価基準Ｖの値が閾値Vth未満か否かを判定する。算出した評価基準Ｖの値が、閾値未満（V<Vth）の場合、正常終了する。【０１６５】
（６）判定（ステップＳ６）
上記ステップＳ５の判定において、算出した評価基準Ｖの値が閾値以上（V≧Vth）の場合、非線形最適化の反復の回数itrと閾値Tthとを比較し、非線形最適化の反復の回数itrが閾値Tthを超えているか否かを判定する。非線形最適化の反復の回数itrが閾値Tthを超えている場合（itr>Tth）、所望の補正効果は得られないものとして処理を中断する。この場合、補正アルゴリズム、撮像系の見直しが必要となる。【０１６６】
（７）パラメータを微小変化（ステップＳ７）
上記ステップＳ６において、非線形最適化の反復の回数itrが閾値以下（itr≦Tth）の場合、パラメータを微小変化させる。この処理は、次の手順で行われる。【０１６７】
パラメータベクトルθのi番目の要素にΔθ加算したパラメータベクトルをθ+Δθiと表記する。1≦i≦dimθ のすべてのiについて、パラメータをθ+Δθiに置き換え、上記ステップＳ２〜Ｓ４の計算を繰り返し、各場合の評価基準Vの値Viを求める。【０１６８】
YAni = f(g(IAn|θ+Δθi))；
ZAmi = f(g(MAm|θ+Δθi))；
ZBmi = f(g(MBm|θ+Δθi))；
Vi = (-1/N) * Σn TAni*log(YAni) + λ * (-1/M) * Σm ZBmi*log(ZAmi)。
次に、評価基準Ｖのパラメータベクトルθによる勾配の近似を得る。【０１６９】
dVi/dθ = (Vi-V)/Δθ；
dV/dθ = (dV1/dθ, dV2/dθ, ... , dVk/dθ), k=dimθ、
次に、評価基準Ｖの値が小さくなる方向にθを移動させる。【０１７０】
θ←θ-ε*dV/dθ、
以上によってパラメータを微小変化させる処理が完了する。【０１７１】
パラメータを微小変化させた後、上記ステップＳ２に戻り、ステップＳ２以降の処理を再度実行する。正常終了又は処理が中断されるまでステップＳ２〜Ｓ７の処理が繰り返し実施される。【０１７２】
以上のようにして画像処理のパラメータを最適化することにより、検査結果を所望の範囲内において一致させることができる。一方、準備にコストがかかる判定教師データの数を大幅に抑えることができる。
【符号の説明】
【０１７３】
１  検査システム
２  コンベヤ
１０Ａ  第１カメラ
１０Ｂ  第２カメラ
１２Ａ  第１カメラの撮像レンズ
１２Ｂ  第２カメラの撮像レンズ
１４Ａ  第１カメラのカメラ本体
１４Ｂ  第２カメラのカメラ本体
１００  検査装置
１０２  画像補正処理部
１０２Ａ  第１画像補正処理部
１０２Ｂ  第２画像補正処理部
１０４  検査処理部
１０４Ａ  第１検査処理部
１０４Ｂ  第２検査処理部
１０６  パラメータ設定部
１１０  検査装置
１１２  前処理部
１１２Ａ  第１前処理部
１１２Ｂ  第２前処理部
Ｂ  基板
Ｆｄ  基板の搬送方向
Ｌｂ  ラベル
ｉ０ａ、ｉ０ｂ、ｉ１ａ、ｉ１ｂ、ｉ２ａ、ｉ２ｂ  画像データ
Ｓ１〜Ｓ７  画像処理のパラメータを最適化する処理の手順
【図１】
0006588675.tif 000002
【図２】
0006588675.tif 000003
【図３】
0006588675.tif 000004
【図４】
0006588675.tif 000005
【図５】
0006588675.tif 000006
【図６】
0006588675.tif 000007
【図７】
0006588675.tif 000008
【図８】
0006588675.tif 000009