(57)【要約】【課題】装置の小型化、および取り扱い性、操作性の向上が可能なカラー画像処理装置を提供する。【解決手段】イメージセンサ２、画像処理部３よび表示部４が筐体内に収納されて一体形成されているので、従来のように各部が分離したものと比べて、装置を小型化できるとともに、装置の設置や運搬時などにおける取り扱い性を向上できる。これと同時に、第２の面３２側で、表示部４の画面を見ながらスイッチ操作部２０により操作ができるから、装置の操作性も向上できる。【選択図】        図１
2004212167.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも２つの対向面を有する筐体内に、検出対象物のカラー画像を撮像するイメージセンサと、入力したカラー画像を処理して検出対象物の色とその面積を判定する画像処理部と、画像および判定結果を含む処理内容を画面に表示する表示部と、画像処理のための操作を行うスイッチ操作部と、が収納されてなるカラー画像処理装置であって、
検出対象物に向けられる第１の面側に前記イメージセンサが設けられ、第１の面に対向する第２の面側に前記表示部とスイッチ操作部とが設けられており、さらに、装置の取付状態に応じて、前記表示部の画面内の字形を反転する字形反転手段が設けられているカラー画像処理装置。
【請求項２】
請求項１において、さらに、前記第１の面側に、検出対象物へ投光する照明用光源が設けられているカラー画像処理装置。
【請求項３】
請求項１または２に記載のカラー画像処理装置と、このカラー画像処理装置と同一形状の筐体からなり、少なくとも前記第２の面側に表示部を有する外部表示装置または少なくとも前記第１の面側に照明用光源を有する外部照明装置の少なくともいずれか１つとを備え、
前記カラー画像処理装置と、前記外部表示装置および／または外部照明装置とが、それぞれ互いに接続可能に設けられてなるカラー画像処理システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、検出対象物の色を検出してその色の良否を判定するカラー画像処理装置に関し、特に装置の小型化、および取り扱い性、操作性の向上に関する。
【０００２】
【従来の技術】
従来から、生産ライン上に設けられて、検出対象物の色を検出してその色の良否を判定するカラー画像認識装置が知られており、この装置は、検出対象物のカラー画像を撮像するイメージセンサと、入力したカラー画像を処理して検出対象物の色の良否を判定する画像処理部と、画像および判定結果を含む処理内容を画面に表示する表示部と、画像処理のための操作を行うスイッチ操作部と、照明用光源とを備えている（例えば、非特許文献１）。
【０００３】
【非特許文献１】
「ＮΛｉＳ  ＲＥＰＯＲＴ」松下電工株式会社発行、２００２年１１
月、Ｐ４、５
【０００４】
【発明が解決しようとする課題】
しかし、従来装置では、各部が分離していることから、装置が大型化するとともに、装置の設置や運搬時などにおける取り扱い性が劣るという問題があった。
また、表示部とスイッチ操作部が分離していることから、画像および判定結果を含む処理内容を画面で見ながら、画像処理のためのスイッチ操作を行う際の操作性が劣るという問題もあった。
【０００５】
本発明は、前記の問題点を解決して、装置の小型化、および取り扱い性、操作性の向上が可能なカラー画像処理装置を提供することを目的としている。
【０００６】
【課題を解決するための手段】
前記目的を達成するために、本発明にかかるカラー画像処理装置は、少なくとも２つの対向面を有する筐体内に、検出対象物のカラー画像を撮像するイメージセンサと、入力したカラー画像を処理して検出対象物の色とその面積を判定する画像処理部と、画像および判定結果を含む処理内容を画面に表示する表示部と、画像処理のための操作を行うスイッチ操作部と、が収納されてなるものであって、検出対象物に向けられる第１の面側に前記イメージセンサが設けられ、第１の面に対向する第２の面側に前記表示部とスイッチ操作部とが設けられており、さらに、装置の取付状態に応じて、前記表示部の画面内の字形を反転する字形反転手段が設けられているものである。
【０００７】
この構成によれば、イメージセンサ、画像処理部および表示部が筐体内に収納されて一体形成されているので、従来のように各部が分離したものと比べて、装置を小型化できるとともに、装置の設置や運搬時などにおける取り扱い性を向上できる。さらに、第１の面に対向する第２の面側に前記表示部とスイッチ操作部とが設けられているので、第２の面側で、表示部の画面を見ながらスイッチ操作部により操作ができるから、装置の操作性を向上できる。しかも、装置の取付状態に応じて、表示部の画面内の字形を反転できるので、画面内の文字や数字が読みやすくなるから、装置の操作性をさらに向上できる。
【０００８】
好ましくは、前記第１の面側に、検出対象物へ投光する照明用光源が設けられている。したがって、装置をより小型化でき、装置の取り扱い性をより向上できる。
【０００９】
本発明にかかるカラー画像処理システムは、前記カラー画像処理装置と、このカラー画像処理装置と同一形状の筐体からなり、少なくとも前記第２の面側に表示部を有する外部表示装置または少なくとも前記第１の面側に照明用光源を有する外部照明装置の少なくともいずれか１つとを備え、前記カラー画像処理装置と、前記外部表示装置および／または外部照明装置とが、それぞれ互いに接続可能に設けられてなる。
【００１０】
この構成によれば、カラー画像処理装置と外部表示装置および外部照明装置とが同一形状の筐体からなるので、システムを構成する装置の筐体を共用できるから、システムの製造コストを低減でき、装置の取り扱い性も向上できる。また、各装置がそれぞれ互いに接続可能に設けられているので、システムの必要に応じて、設計の自由度が高くかつ容易に外部表示装置および外部照明装置を追加できる。
【００１１】
【発明の実施の形態】
以下、本発明の実施形態を図面にしたがって説明する。
図１は、本発明の第１実施形態に係るカラー画像処理装置の外形を示す斜視図、図２はそのブロック図である。本装置１は生産ライン上に設けられ、例えば検出対象物Ｍがりんごやみかんなどの果物、またはビンのラベルなどであって、検出した色の面積がしきい値の範囲内か否かによって良品、不良品を判別するものである。
【００１２】
図２のブロック図に示すように、本装置１は、検出対象物Ｍのカラー画像をスキャンしながら撮像する、例えばＣＭＯＳイメージセンサのようなイメージセンサ２、入力した画像を例えばＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色に変換して各色についてその面積を判定して処理するゲートアレイ（Ｇ／Ａ）のような画像処理部３、および画像および判定結果を含む処理内容を画面に表示する表示部４を備えている。前記イメージセンサ２はレンズユニット５を有し、Ａ／Ｄ変換器を内蔵している。
【００１３】
前記ゲートアレイ（Ｇ／Ａ）３は、内部セル領域１０と、入出力パッド領域および入出力バッファ領域（図示せず）との３つの部分から構成される。内部セル領域１０には、ＲＧＢ変換・明るさ補正部１１、検出色抽出部１２と面積計算部１３からなる色面積検出手段１４、設定値Ｒ／Ｗ部１５、面積判定手段であるしきい値判定部１６、ＣＰＵ（制御部）１８が設けられており、検出対象物Ｍへ投光する照明用（白色ＬＥＤ（発光ダイオード））光源２１に対して投光パルスを生成する投光パルス生成部１７および受像データをＬＣＤモジュール４に転送する受像データ転送部１９も設けられている。
【００１４】
設定値Ｒ／Ｗ部１５では、検出色抽出部１２のしきい値となる検出色相（上下限値）および色余裕度、面積計算部１３のしきい値となる面積上下限値および面積余裕度、その他シャッター速度、照明ＯＮ／ＯＦＦ、解像度などが、設定値メモリ（ＥＥＰＲＯＭ）のようなしきい値記憶手段２２に対して読み込み、書き込みがなされる。これらは、後述するスイッチ操作部２０の操作により、ＣＰＵ１８を介して行われる。
【００１５】
色面積検出手段１４は検出色抽出部１２と面積計算部１３からなり、受像データの各画素の輝度から、検出対象物Ｍの指定した色を抽出しその面積を計算する。
検出色抽出部１２は、受像データの各画素の指定した色の輝度から、検出色相および色余裕度に基づいて、各色を抽出する。検出色相は、指定した色ごとに、指定した色の輝度／３原色の輝度の総和で計算され、例えば赤の輝度が１００、緑の輝度が０、青の輝度が０で、赤を指定した場合には、１００／（１００＋０＋０）＝１となる。
面積計算部１３は、画像の検出領域内において、指定した色ごとにその画素数から面積を計算する。
しきい値判定部１６は、検出対象物Ｍの指定した色の面積と前記しきい値記憶手段２２に記憶されたしきい値とを比較して、検出対象物Ｍの良否を判定する。
例えば、検出色の占める面積の設定値としてしきい値３０００の場合、４７５２であると判定はＯＫ（良）となる（図１（ａ）のＳ６）。
この例では、単一の色面積検出手段１４としているが、複数の、つまり検出色抽出部１２および面積計算部１３を複数並列に設けてもよく、その場合、例えばりんごとみかんの両方を同時に検出することができる。
【００１６】
前記イメージセンサ２および表示部４は、前記ゲートアレイ（Ｇ／Ａ）３の入出力パッド領域を介してそれぞれ接続され、さらにスイッチ操作部２０が接続されて、ＣＰＵ１８を介して設定値Ｒ／Ｗ部１５に対して画面表示の切り換え、設定値の設定や変更、検出対象物の３原色についての各基準値のティーチングおよびその検出領域の移動やサイズ変更などが行われる。なお、点線部で示すように、フォトカプラ２４を介してＣＰＵ１８に入力する検出対象物Ｍを選択するバンク切り換え入力部２５、ティーチングするためのティーチング入力部２６を別に設けるようにしてもよい。その他、前記した照明用（白色ＬＥＤ）光源２１、しきい値判定部１６からのしきい値出力部２３、電源入力部２７、クロック源２８、リセット回路２９なども接続されている。
【００１７】
前記表示部４は、検出対象物Ｍの画像、設定やティーチングの内容、判定結果などの処理内容を画面に表示する、例えばカラーＬＣＤ（液晶ディスプレイ）、ＬＣＤコントローラおよびメモリを有するＬＣＤモジュールからなる。図１（ａ）に示す表示部４の画面Ｄの各表示例を以下に示す。表示領域Ｓ１は検出対象物Ｍの画像を表示する。Ｓ２  〜Ｓ９は処理内容が表示され、Ｓ２のモード表示は、通常運転（ＲＵＮ）モード、ティーチング（ＴＥＡＣＨ）モード、キーロック（ＬＯＣＫ）モード、画面保持（ＨＯＬＤ）モードなどを表示する。Ｓ３の面積設定値はしきい値である例えば面積下限値を表示する。Ｓ４の画面表示モードは色検出フィルタ後の画像または生画像などを表示する。Ｓ５の検出色は検出する色の上下限値の中間値、Ｓ６の判定結果は、面積判定ＯＫ（良）のとき出力ＯＮで○、面積判定ＮＧ（否）のとき出力ＯＦＦで×を表示する。Ｓ７の検出色の面積は現在の検出色の占める面積を表示する。Ｓ８のバンク番号は、検出対象物Ｍの種類を番号で表示する。例えば、検出対象物がりんごやみかんなどの場合である。Ｓ９の受光量最大値は画面全体の最大明るさを受光量（輝度）で表示する。前記投光パルス生成部１７はこの画面全体の明るさに基づいて、適切な投光パルスを生成する。
【００１８】
また、本装置１は、図２の設定値メモリ（ＥＥＰＲＯＭ）２２内に設けられた「字形反転設定」からなる字形反転手段９を有しており、スイッチ操作部２０の操作により前記表示部４の画面Ｄ内の字形が上下逆さまに反転される。したがって、生産ラインにおいて、図３（ａ）のように、本装置１を、例えば、コード８を下方にした取付状態から、図３（ｂ）のように、これを上下逆さまにして、コード８を上方にした取付状態に変更した場合でも、前記字形反転手段９により、画面Ｄ内の字形を反転することにより、作業者から見て画面Ｄの中の文字や数字が図３（ａ）と同様の向きとなり、文字や数字が読みやすくなる。
【００１９】
図１（ｂ）に示すように、本装置１は、例えば直方体のような立体形状の筐体Ｋ内にイメージセンサ２、ゲートアレイ（画像処理部）３、表示部４、スイッチ操作部２０および白色ＬＥＤ光源２１が収納されてなる。筐体Ｋには電源や信号入出力用にコード８が接続されている。第１の面（裏面）３１側には保護パネル６を介してレンズユニット５、イメージセンサ２と、白色ＬＥＤ光源２１とが設けられて、この面が検出対象物Ｍに向けられる。したがって、イメージセンサ２は第１の面３１を通して検出対象物Ｍを撮像する。第１の面３１に対向する第２の面（表面）３２側には、保護パネル７を介してカラーＬＣＤ４の画面Ｄが設けられて、作業者は検出対象物の画像、動作モード、設定値やティーチング値、しきい値および判定結果などの処理内容を見ることができる。また、この画面Ｄに隣接して位置するスイッチ操作部２０は、例えば「ＶＩＥＷ」、「ＳＥＴ」、「ＴＥＡＣＨ」、「△」、「▽」の各スイッチからなり、各スイッチを押すことにより、および各スイッチの押す時間や組合せにより、画面の表示切り換えや字形反転、設定値の設定や変更、ティーチングおよびその検出領域の移動やサイズ変更の操作を行うことができる。
【００２０】
すなわち、本装置１は、イメージセンサ２、ゲートアレイ３、表示部４、スイッチ操作部２０および白色ＬＥＤ光源（照明用光源）２１を筐体Ｋ内に収納して一体形成したものであり、従来のように各部が分離したものと比べて、装置を小型化できるとともに、装置の設置や運搬時などにおける取り扱い性を向上できる。なお、白色ＬＥＤ光源２１は別に分離させて設けてもよい。
さらに、第２の面（表面）３２側に表示部４の画面Ｄおよびスイッチ操作部２０が設けられて、検出対象物Ｍの画像や処理内容を表示する画面Ｄを見ながら、スイッチ操作部２０の各スイッチを操作することにより、設定値の設定や変更、ティーチングおよびその検出領域の移動やサイズ変更の操作を容易に行うことができるから、装置の操作性を向上できる。しかも、装置の取付状態に応じて、表示部４の画面Ｄ内の字形を反転できるので、作業者は画面Ｄ内の文字や数字が読みやすくなり、装置の操作性をさらに向上できる。
【００２１】
図４に示すように、本装置１は、検出対象物Ｍ周囲の明るさ変化に応じて、画像スキャン中に、前記色面積検出手段１４へ送られる受像データの各画素の輝度を補正する明るさ補正手段３０を備えている。この例では、画像スキャン開始から数行までの、つまり一画面全体の先頭部分のスキャン初期部４０で最大明るさを更新し、それ以降はスキャン初期部４０における最大明るさの値に基づき補正する。
【００２２】
前記ＲＧＢ変換・明るさ補正部１１に含まれる明るさ補正手段（明るさ補正部）３０は、イメージセンサ２からの受像データを転送する転送回路３３、最大輝度保持用メモリ３４、受像データの輝度と最大輝度保持用メモリ３４に記憶された最大輝度とを比較する比較手段３５、比較の結果、受像データの輝度が最大輝度より大きい場合に最大輝度保持用メモリ３４に記憶された最大輝度を当該受像データの輝度に更新する更新部３６、および受像データの輝度を最大輝度に基づいて補正する輝度補正部３７を備えている。
【００２３】
以下、図５（ａ）により、明るさ補正手段３０の動作の一例について説明する。この例では、画像スキャン開始の最初の行から２行目までをスキャン初期部４０とする。
まず、イメージセンサ２から転送回路３３により転送された受像データの１行目の１番目の画素の輝度は５０であるので、この値が最大輝度とされ、最大輝度保持用メモリ３４に記憶される。輝度補正部３７で補正した輝度は、（受像した輝度÷最大輝度）×１００＝（５０÷５０）×１００＝１００となる。次に２番目の画素の輝度は５３であるので、輝度比較部３５で比較すると、記憶された最大輝度５０より大きいから、更新部３６によりこの値が最大輝度に更新され、最大輝度保持用メモリ３４に記憶される。輝度補正部３７で補正した輝度は、（５３÷５３）×１００＝１００となる。同様に、３番目の画素の輝度は４６で、記憶された最大輝度５３より小さく、補正したデータは、（４６÷５３）×１００＝８７となる。４番目の画素の輝度は７０であるので、記憶された最大輝度５３より大きく、この値が最大輝度とされ、最大輝度保持用メモリ３４に記憶される。補正した輝度は、（７０÷７０）×１００＝１００となる。５番目の画素の輝度は８０（図示ｄ１）であるので、記憶された最大輝度７０より大きく、この値が最大輝度とされ、最大輝度保持用メモリに記憶される。補正した輝度は、（８０÷８０）×１００＝１００（図示Ｄ１）となる。６番目の画素の受像輝度は６５で、記憶された最大輝度８０より小さく、補正した輝度は、（６５÷８０）×１００＝８１となる。以下の画素については最大輝度８０が維持され、２行目の最後の画素の輝度は３０で、記憶された最大輝度８０より小さく、補正した輝度は、（３０÷８０）×１００＝３８となる。３行目以降は２行目までの最大輝度８０に基づいて補正される。
【００２４】
こうして、補正された輝度で色の抽出、面積計算がなされる。これにより、画像スキャン中に明るさ補正をするので、フリッカー光のような高速に点滅するような外乱光にもリアルタイムに応答することができ、また、従来のように、別にカメラを設ける必要がないため、コストの低下、設置スペースの縮小を実現できる。
【００２５】
なお、上記のように、検出対象物Ｍの画像のスキャン初期部４０で最大輝度を更新するのではなく、図１（ｃ）に示すように、スキャン初期部４０を検出対象物Ｍの近傍に配置された例えば白色の輝度検出用物体４８としてこれをスキャンするようにして、この輝度検出用物体４８の最大輝度を用いて明るさ補正をしてもよい。これにより、確実に検出対象物Ｍ周囲の明るさを検出できる。
【００２６】
また、画像スキャン開始から２行に限定せずに、図５（ｂ）に示すように、全ての行について最大輝度を更新するようにしてもよい。ただ画面中央付近に最大輝度９８（図示ｄ２）がある場合、この最大輝度の画素以降の例えば画素の輝度７５（図示ｄ３）が、補正した輝度７７（図示Ｄ３３）となって、図５（ａ）の補正した輝度９４（図示Ｄ３）と比べて低くなり、実際よりも暗くなってしまうこととなる。
【００２７】
また、本装置１では、図４のように、受像データを転送回路３３を介して色面積検出手段１４に転送しており、従来のように画像メモリに転送しないで、直接計算を行っている。従来では、受像されたデータの位置補正や回転補正を行うため、画像メモリに一旦保存していたが、本発明では、位置補正や回転補正を行わずに色抽出と面積計算だけで良否判別を行っている。このため、イメージセンサ２からの受像データを画像メモリに転送しないで直ちに計算するので、処理時間を短くできる。
【００２８】
図６（ａ）〜（ｃ）は、本発明の第２実施形態にかかるカラー画像処理システムを示す。このシステムは、上記したカラー画像処理装置１と、このカラー画像処理装置１と同一形状の筐体からなり、少なくとも第２の面３２側に表示部を有する外部表示装置である外付けモニタ５３または少なくとも第１の面３１側に照明用光源を有する外部照明装置である外付け照明５４の少なくともいずれか１つとを備えている。各筐体には、電源・信号入出力用（照明同期、外部モニタ信号用など）ケーブル５１を接続するコネクタＣＮ１と、電源・信号入出力用（照明同期、外部モニタ信号用、ビデオ出力用など）ケーブル５２を接続するコネクタＣＮ２が設けられており、カラー画像処理装置１、外付けモニタ５３および外付け照明５４が、それぞれ互いに接続される。
【００２９】
図６（ａ）は、例えば単一の外付けモニタ５３を使用したものであり、図６（ｂ）は、外付け照明５４を例えば２つ追加したものであり、図６（ｃ）は、それぞれ単一の外付けモニタ５３および外付け照明５４を追加したものである。各図において、使用されないコネクタには防水キャップ５６が装着される。また各ケーブルは延長ケーブル５８を継ぎ足すことにより延長が可能となっている。
【００３０】
これにより、カラー画像処理装置１と外付けモニタ５３および外付け照明５４とが同一形状の筐体からなるので、システムを構成する装置の筐体を共用できるから、システムの製造コストを低減でき、装置の取り扱い性も向上できる。また、各装置がそれぞれ互いに接続可能に設けられているので、システムの必要に応じて、設計の自由度が高くかつ容易に外付けモニタ５３および外付け照明５４を追加できる。
【００３１】
この実施形態では３原色をそれぞれ検出しているが、指定する１色のみを検出するようにしてもよい。
【００３２】
【発明の効果】
以上のように、本発明によれば、イメージセンサ、画像処理部および表示部が筐体内に収納されて一体形成されているので、従来のように各部が分離したものと比べて、装置を小型化できるとともに、装置の設置や運搬時などにおける取り扱い性を向上できる。これと同時に、第２の面側で、表示部の画面を見ながらスイッチ操作部により操作ができるから、装置の操作性も向上できる。
【図面の簡単な説明】
【図１】（ａ）は本発明の第１実施形態に係るカラー画像処理装置の外形を示す斜視図、（ｂ）はその側面図、（ｃ）は検出対象物の近傍に配置された輝度検出用物体を示す図である。
【図２】図１のカラー画像処理装置を示すブロック図である。
【図３】画面を反転した状態を示す斜視図である。
【図４】図１の明るさ補正手段を示すブロック図である。
【図５】明るさ補正手段の動作を示す図である。
【図６】（ａ）〜（ｃ）は第２実施形態に係るカラー画像処理システムを示す斜視図である。
【符号の説明】
１…カラー画像処理装置、２…イメージセンサ、３…画像処理部、４…表示部、５、６…保護パネル、１４…色面積検出手段、１６…面積判定手段、２０…スイッチ操作部、２１…照明用光源、２２…しきい値記憶手段、３１…第１の面、３２…第２の面、３０…明るさ補正手段、Ｋ…筐体、Ｍ…検出対象物。
【図１】
2004212167.tif 000003
【図２】
2004212167.tif 000004
【図３】
2004212167.tif 000005
【図４】
2004212167.tif 000006
【図５】
2004212167.tif 000007
【図６】
2004212167.tif 000008