(57)【特許請求の範囲】
【請求項１】
画像処理装置が取り込んでいる画像を入力する画像入力手段と、
当該画像入力手段によって入力した画像を記憶する画像記憶手段と、
当該画像記憶手段に記憶されている複数の画像とその画像の画像処理条件に関する複数の画像パラメータを前記画像処理装置に出力する一方、当該画像処理条件での複数の画像に対する画像処理の結果を前記画像処理装置から入力し、入力した画像処理の結果から最適な画像パラメータを選択する画像パラメータ選択手段とを有し、
前記画像パラメータ選択手段は、各画像パラメータについて、入力した画像処理の結果の内、画像処理が正常に行なわれたものを選択して平均を算出し、複数の画像の画像処理の結果と当該平均との差の合計を算出し、その合計値の最も少ない画像パラメータを最適な画像パラメータとして選択することを特徴とする画像処理パラメータのオートチューニング装置。
【請求項２】
前記画像入力手段から入力する画像は、前記画像処理装置に接続されている撮像手段から分配して取得することを特徴とする請求項１に記載の画像処理パラメータのオートチューニング装置。
【請求項３】
前記画像パラメータ選択手段は、画像記憶手段から取り出した画像の１つ１つに対して、画像パラメータの構成要素の各数値が異なる複数種類の画像処理パラメータを与え、それぞれの画像パラメータごとに１つ１つの画像を前記画像処理装置で画像処理させることを特徴とする請求項１に記載の画像処理パラメータのオートチューニング装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カメラで取り込んだ画像に対して最適な画像処理をすることができるようにする画像処理パラメータのオートチューニング装置に関する。
【０００２】
【従来の技術】
現在、自動車の生産現場では画像処理装置を用いた各種の自動化装置が稼働している。
図７に示す装置は、タイヤの自動取り付け装置の概略構成図である。このタイヤの自動取り付け装置は、視覚センサとして機能するテレビカメラの撮像画像を画像処理し、その処理結果に基づいてロボットがタイヤを自動的に取り付けるようにした装置である。
【０００３】
具体的には、タイヤを取り付けるハブの部分を照明１により照明し、その照明部分の画像をカメラ２によって撮像する。これによって、タイヤを取り付けるハブの部分の状態が取り込まれることになる。カメラ２の撮像画像は画像処理装置３によって画像処理され、バブの部分がどのような角度で傾いているか、また、ハブに設けられているボルト又は孔がどの位置に存在するか等が認識される。タイヤを取り付けるロボットは、この画像処理の結果に基づいて教示データを三次元座標変換し、この変換後の教示データに基づいてタイヤを自動的に取り付ける。
【０００４】
ところが、このような画像処理をする場合には、照明条件などによってその処理結果にバラツキが生じることから、撮像環境が変化したときには、作業者がこれまでの経験により画像処理のパラメータを調整する必要がある。
【０００５】
通常は、ある条件で撮像された画像から最適な処理結果が得られるように、その条件下での最適な画像処理のパラメータ（二値化の閾値、フィルタ等）を設定しておくが、照明の照度低下や直射日光の影響などにより、その条件が変化することから、最適な画像処理が行なえるように、具体的には、ハブの角度やハブに設けられているボルト又は孔の位置が確実に認識できるように、最適な画像処理のパラメータを設定し直す必要がある。
【０００６】
なお、この画像処理のパラメータの調整は、画像処理異常が生じたときに作業者が行なうが、作業の関係上、この調整を稼働中にすることは困難であるので、通常は、作業開始時や作業の再開時など、「直」の合間に行なっている。
【０００７】
【発明が解決しようとする課題】
このように、従来の装置では、画像処理のパラメータの調整が稼働中にできないため、「直」の合間、すなわち休み時間や休日出勤などを利用して行なわなければならない。また、その調整は、作業者の経験と感に因るので、調整に多くの時間を要する（数多くのパラメータを調整してトライアンドエラーを繰り返す必要があるから）ばかりでなく、また、選択されたパラメータが果たして最適なパラメータであるかどうかも分からない。
【０００８】
本発明は、このような従来の不具合を解消するためになされたものであり、カメラで取り込んだ画像に対して最適な画像処理をすることができるようにする画像処理パラメータのオートチューニング装置の提供を目的とする。
【０００９】
【課題を解決するための手段】
上記のような目的を達成するための本発明は、次のように構成される。
請求項１に記載の発明にあっては、画像処理装置が取り込んでいる画像を入力する画像入力手段と、当該画像入力手段によって入力した画像を記憶する画像記憶手段と、当該画像記憶手段に記憶されている複数の画像とその画像の画像処理条件に関する複数の画像パラメータを前記画像処理装置に出力する一方、当該画像処理条件での複数の画像に対する画像処理の結果を前記画像処理装置から入力し、入力した画像処理の結果から最適な画像パラメータを選択する画像パラメータ選択手段とを有し、前記画像パラメータ選択手段は、各画像パラメータについて、入力した画像処理の結果の内、画像処理が正常に行なわれたものを選択して平均を算出し、複数の画像の画像処理の結果と当該平均との差の合計を算出し、その合計値の最も少ない画像パラメータを最適な画像パラメータとして選択することを特徴とする
【００１０】
請求項２に記載の発明にあっては、請求項１に記載の画像処理パラメータのオートチューニング装置において、前記画像入力手段から入力する画像は、前記画像処理装置に接続されている撮像手段から分配して取得することを特徴とする。
【００１１】
請求項３に記載の発明にあっては、請求項１に記載の画像処理パラメータのオートチューニング装置において、前記画像パラメータ選択手段は、画像記憶手段から取り出した画像の１つ１つに対して、画像パラメータの構成要素の各数値が異なる複数種類の画像処理パラメータを与え、それぞれの画像パラメータごとに１つ１つの画像を前記画像処理装置で画像処理させることを特徴とする。
【００１３】
【発明の効果】
以上のように構成された本発明の画像処理パラメータのオートチューニング装置は、次のような効果を奏する。
【００１４】
請求項１乃至請求項３に記載の発明によれば、画像処理装置が各画像パラメータについて取り込んだ画像の内、画像処理が正常に行なわれたものを選択して平均を算出し、複数の画像の画像処理の結果と当該平均との差の合計を算出し、その合計値の最も少ない画像パラメータを最適な画像パラメータとして選択できるようにしたので、人間が感に頼って設定する場合よりも信頼性の高い最適な画像パラメータの選定が自動的かつ確実にでき、また、画像パラメータ選定の工数も掛からなくなり、作業者の負担を軽減させることができるようになる。
【００１５】
【発明の実施の形態】
本発明装置の一実施形態の説明をする前に、本発明装置の概略の動作を説明する。
本発明装置では、画像処理装置の稼働中に取り込まれる画像を保存しておき（一直分程度）、空き時間などを利用して、この保存した画像を画像処理装置に送って画像処理をさせる。この画像処理は、１つの画像に対して画像パラメータの数値や組み合わせを変え、異なる条件で複数回行なう。この画像処理を設定台数分だけ行ない、最適な画像パラメータ（画像処理結果のバラツキが少なく、目標値に近い結果が得られるもの）を自動的に算出し、以降の画像処理は、その最適な画像パラメータを用いて行なう。
【００１６】
図１は、本発明の画像処理パラメータのオートチューニング装置周辺の構成を示す図である。
撮像画像を提供するカメラ２Ａ，２Ｂは、分配器１０及び切替器１２を介して画像処理装置３と画像パラメータ選択装置１６に接続されている。なお、この画像処理装置３は、前述の画像処理装置（図７参照）３と同一の機能を持つものであるが、画像処理結果、画像取込タイミング等の種々の情報を出力する機能を有するとともに、画像パラメータを入力して設定する機能を有している点が従来の装置と異なっている。なお、これらの情報は、シリアル通信によって授受される。
【００１７】
分配器１０は画像入力手段として機能するものであって、カメラ２Ａ，２Ｂから出力される画像を画像処理装置３と画像パラメータ選択装置１６のそれぞれに分配する機能を有するものである。したがって、画像パラメータ選択装置１６は、カメラ２Ａ，２Ｂから出力される画像を横取り入力することができるようになる。
【００１８】
切換器１２は、画像処理装置３に取り込まれる画像の選択をする機能を有しているものである。図のように切り換えられている時には、画像処理装置３には、カメラ２Ａ，２Ｂから出力されている画像が直接入力される。また、その接点を下げると、画像処理装置３には、画像パラメータ選択装置１６から出力される画像が入力されることになる。
【００１９】
画像パラメータ選択装置１６は、分配器１０を介して入力した画像を画像記憶手段としての画像データベース１８に記憶させておくことができるもので、その記憶した画像を画像データベース１８から取り出して出力することもできるものである。
【００２０】
図２は、本願発明の装置を適用するタイヤの自動取り付け装置の概略構成を示すブロック図であり、図１に示した装置の構成をブロック図として示したものである。
この図は、タイヤの自動取り付け装置の稼働中のものである。図１も参照すれば良くわかるが、カメラ２によって撮像されたハブの部分の画像は、分配器１０及び切換器１２を介して画像処理装置３に出力される一方、画像処理パラメータ選択装置１６にも出力される。
【００２１】
画像処理装置３は、カメラ２から出力される撮像画像を、設定されている画像パラメータで画像処理し、この画像処理の結果に基づいて、ロボット等のプレイバック装置２０の補正データを出力する。
一方、画像パラメータ選択装置１６は、画像処理装置３から出力される取込タイミングに同期してカメラ２から出力されている撮像画像を画像データベース１８に記憶させる。なお、取込タイミングは、画像処理装置３がカメラ２の画像を取り込む時に発生する信号である。したがって、画像処理装置３と画像パラメータ選択装置１６とは同一の撮像画像を取り込むことができる。
【００２２】
なお、画像データベース１８に画像を記録させる場合には、その画像に対する種々の情報を付加する。この情報は、画像処理装置３からフィードバック装置２０に出力した補正データ、画像処理結果の異常情報（画像処理できなかったこと、タイヤの取り付けが正常に行なわれなかったことなど）、画像処理に用いられた画像処理のパラメータ、日付や車種情報である。このような情報を取り込んだ画像（生画像データ）に付加しておけば、後からの解析に役立つからである。たとえば、タイヤの取り付けがうまくいかなかった時の画像を解析して原因を究明することなどに役立てることができる。
【００２３】
図３は、図２と同様に本発明装置のブロック図であるが、この図は、作業期間中に画像データベース１８に記録された画像から最適の画像パラメータを見出す処理を行なう場合のものである。
【００２４】
この場合には、切換器１２（図１参照）が画像処理装置３と画像パラメータ選択装置１６を接続するように切り換えられ、画像パラメータ選択装置１６によって作業期間中に画像データベース１８に記録された撮像画像があたかもカメラ２から出力されたかのようにして画像処理装置３に供給される。画像データベース１８からの画像は、データ解析再処理部１７を介して画像処理装置３に出力される。この出力に際して、データ解析再処理部１７は、画像の取り込みタイミング、画像処理パラメータ（１〜ｎ）、撮像画像（画像データ１〜ｎ）を画像処理装置３に出力し、画像処理装置３ではその画像パラメータでの画像処理結果及び処理情報をデータ収集部１９に出力する。
【００２５】
たとえば、ある１つの撮像画像に対して画像処理する場合、画像パラメータがｘ（０〜２），ｙ（０〜２），ｚ（０〜２）の３種類ある場合には、（ｘ，ｙ，ｚ）の数値の組み合わせを変えて全ての組み合わせ（３3 通り）で画像処理をし、データ収集部１９はその各組み合わせでの処理結果を収集する。そして、この処理結果から最適のパラメータが算出される。この解析作業は、工場の稼働が終わってから翌日の作業開始までの間に終われば良いので、作業者が介入することなく、自動的に最適な画像パラメータ（画像処理を正常に行なうことができる確率の高い画像パラメータ）が算出されることになる。
【００２６】
つぎに、図４及び図５のフローチャート及び図６に基づいて、本発明の画像処理パラメータのオートチューニング装置による解析処理をさらに詳細に説明する。
【００２７】
なお、このフローチャートに用いている画像データＮＯは、画像データベース１８に記録されているそれぞれの画像に対して付された番号であり、Ｎは、画像パラメータを算出するために設定されるサンプル数（例えば１００台分）である。また、ｎは、画像パラメータの種類であり、たとえば、画像パラメータがｘ，ｙ，ｚという３種類の要素の組み合わせで構成され、それぞれの要素が３段階のレベルで設定することができるようになっていると仮定すると、２７通りの組み合わせの画像パラメータが存在することになるので、ｎを２７に設定する。
【００２８】
以上の前提の下にプログラムがスタートすると、画像データのＮＯを０（Ｄ＝０）に設定すると共に、処理結果のＮＯを０（Ｉ＝０）に設定する（Ｓ１，Ｓ２）。画像データＮＯ：Ｄが、設定台数Ｎよりも大きくなければ、画像パラメータＮＯ：Ｐを０に設定し（Ｓ３，Ｓ４）、画像パラメータＮＯ：Ｐが、設定されているパラメータ数ｎよりも大きくなければ、画像パラメータＮＯ：１を画像処理装置３に送信する（Ｓ５，Ｓ６）。
【００２９】
つぎに、画像データベース１８から、画像データＮＯ：１の画像データを取り出して画像処理装置３に送り、画像パラメータＮＯ：１の条件で画像データＮＯ：１の画像処理をさせ、その画像処理の結果を画像処理装置３から結果ＮＯ：１として取得する（Ｓ７，Ｓ８）。結果を取得したら、処理結果ＮＯと画像パラメータＮＯを１だけインクリメントし、画像パラメータがｎになるまで、換言すれば、ｎ種類の画像パラメータでＳ６からＳ９のステップを繰り返す（Ｓ９）。以上の処理によって、画像データＮＯ：１という画像データに対して、画像パラメータＮＯ：１〜ｎで画像処理が行なわれ、それぞれの画像パラメータでの画像処理結果ＮＯ：１〜ｎが得られることになる。
【００３０】
以上の処理が終了したら、画像データＮＯ：２の画像に対しても、画像パラメータＮＯを変えてステップＳ４からＳ９までの処理を繰り返し行なう（Ｓ１０、Ｓ３〜Ｓ９）。以上の処理は、画像データＮＯがＮになるまで繰り返す（Ｓ３）。
【００３１】
以上の処理によって、画像データＮＯ：１〜Ｎの画像に対して、それぞれ異なる画像パラメータＮＯ：１〜ｎで画像処理をさせた結果ＮＯ：Ｉ＝Ｎ×ｎが得られることになる。
本発明の画像処理パラメータのオートチューニング装置では、このようにして、シミュレーションの結果得られ得たＮ×ｎ個の処理結果を解析し、最適パラメータを表示する（Ｓ１１，Ｓ１２）。
【００３２】
図５のフローチャート及び図６は、図４のフローチャートの処理によって収集された処理結果の解析処理を説明するものである。
【００３３】
画像処理パラメータ選択装置１６では、処理結果ＮＯ：１〜Ｎ×ｎまでを順番にサーチして（Ｓ２０）、画像処理の結果がＯＫ（ハブの部分のボルトや孔の位置が認識できた場合）であったものだけをテーブルに保管し（Ｓ２１〜Ｓ２３）、保管結果の平均値を算出する。図６に示したように、それぞれの画像パラメータについて行なった処理結果のうち、処理結果がＯＫであったものだけを取り出して、それぞれの画像パラメータごとに処理結果の平均値Ｈを算出する（Ｓ２４）。そして、図６に示すように、各画像パラメータで処理された画像ごとにその平均値Ｈとの差Ｓを算出し、その差Ｓの合計値ＳＧを各画像パラメータごとに算出する。この各画像パラメータごとに算出された差の合計値ＳＧの最も小さいものが、全ての画像に対して正常な画像処理が可能であろうと判断できるので、この差の合計値ＳＧの最も小さかった画像パラメータを最適な画像パラメータとして選択し、これを画像処理装置３に送る（Ｓ２５，Ｓ２６）。
【００３４】
以降の画像処理は、この画像パラメータを用いて行なわれることになるので、信頼性の高い画像処理をすることが可能となり、たとえばタイヤの取り付け装置においては、画像処理不良のためにタイヤの取り付けができなくなるような事態の発生が激減する。また、ライン停止の回数も減少し、生産効率が向上することになる。
【００３５】
もちろん、最適な画像パラメータの選定が自動的かつ確実にすることができるので、人間が感に頼って設定する場合よりも信頼性が高くなり、また、画像パラメータ選定の工数も掛からなくなり、作業者の負担を軽減させることができるようになる。
【図面の簡単な説明】
【図１】  本発明の画像処理パラメータのオートチューニング装置周辺の構成を示す図である。
【図２】  本願発明の装置を適用するタイヤの取り付け装置の概略構成を示すブロック図である。
【図３】  本願発明の装置を適用するタイヤの取り付け装置の概略構成を示すブロック図である。
【図４】  本発明の画像処理パラメータのオートチューニング装置による解析処理を示すフローチャートである。
【図５】  本発明の画像処理パラメータのオートチューニング装置による解析処理を示すフローチャートである。
【図６】  図４、図５のフローチャートの説明に供する図である。
【図７】  従来のタイヤの自動取り付け装置の概略構成図である。
【符号の説明】
１…照明、
２…カメラ、
３…画像処理装置、
１０…分配器、
１２…切換器、
１６…画像処理パラメータの選択装置、
１７…データ解析再処理部、
１８…画像データベース、
１９…データ収集部、
２０…フィードバック装置。
【図１】
0003959835.tif 000002
【図２】
0003959835.tif 000003
【図３】
0003959835.tif 000004
【図４】
0003959835.tif 000005
【図５】
0003959835.tif 000006
【図６】
0003959835.tif 000007
【図７】
0003959835.tif 000008