(57)【要約】【課題】  自動車の停車位置を正しく誘導でき、画像処理により給油口フタの位置を正確に認識し、給油口キャップの傾きを計測でき、給油口の位置を計測できる自動給油装置を提供する。【解決手段】  給油ノズル１４を有する給油装置１１と、給油装置１１近傍の給油エリア３に設けられ自動車１の位置を検知する停車位置誘導装置４０と、停車位置誘導装置４０により検知された自動車１の位置に基づき給油可能な位置へ誘導案内する誘導案内装置３０と、給油装置１１の近傍に配置されセンサ２８，２９により給油口を検知し給油ノズル１４を掴んで給油操作を行うロボット装置２０と、停車位置誘導装置４０からの信号に基づいて誘導案内装置３０の処理を行いセンサ２８，２９からの信号でロボット装置２０を動作させるための計測・画像認識処理を行う制御装置５０とを備える。【選択図】  図１
2006069549.tif 000002
【特許請求の範囲】
【請求項１】
燃料油を給油する給油ノズルを有する給油装置と、該給油装置近傍の給油エリアに設けられ進入してくる自動車の位置を検知する停車位置誘導装置と、該停車位置誘導装置により検知された前記自動車の位置に基づき給油可能な位置へ誘導案内する誘導案内装置と、前記給油装置の近傍に配置されセンサにより給油口を検知し給油ノズルを掴んで給油操作を行うロボット装置と、前記停車位置誘導装置からの信号に基づいて前記誘導案内装置の誘導案内に関する処理を行うとともに前記センサからの信号に基づいて前記ロボット装置を動作させるための計測あるいは画像認識処理を行う制御装置とを備えたことを特徴とする自動給油装置。
【請求項２】
予め契約して給油所に入ってくる顧客の自動車に搭載された車載装置と通信することにより事前に登録された給油口位置を含む車種情報を読取るとともに該自動車へ案内情報を送信する無線装置をさらに備えたことを特徴とする請求項１記載の自動給油装置。
【請求項３】
前記無線装置は、給油所の車輌進入口の近傍に配置され契約した車輌であるか確認するとともに、自動給油に必要な車固有データ及び契約者データを交信により読取り、必要により音声や表示により警告や誘導を行う第１無線装置、及び前記給油エリアに進入してきたとき、自動給油に必要な情報の交換を行う第２無線装置を有することを請求項２記載の自動給油装置。
【請求項４】
前記停車位置誘導装置は、前記自動車が給油エリアに進入してきたときに、車輪が進んだ位置により車輪位置を検知する後部側の第１車輪位置検知部と、前部側の第２車輪位置検知部及び第３車輪位置検知部とが該自動車の進行方向に沿って給油エリアの地面上に配置されていることを特徴とする請求項１記載の自動給油装置。
【請求項５】
前記第１〜第３車輪位置検知部は、薄い踏み板状に形成され、それぞれ前輪及び後輪の通過を検知するスイッチがそれぞれ設けられていることを特徴とする請求項４記載の自動給油装置。
【請求項６】
前記ロボット装置は、ロボット本体の上部に回動自在に設けられたアーム部を有するロボット機構と、このロボット機構の動作を制御するロボットコントローラとを備え、前記センサは、前記アーム部の先端部のアームヘッド部に配置された画像を検出する画像センサ及び給油口までの距離を測定する距離測定センサであることを特徴とする請求項１記載の自動給油装置。
【請求項７】
前記画像センサにより検出した給油フタの画像に関するデータに基づいて、前記制御装置は、エッジ検出フィルタである∇２Ｇフィルタを用いて二値化処理によりエッジ検出を行い、前記画像にスクリーニングとして候補座標を配置して給油フタの内部座標の判別を行い、領域検出として領域成長法を用いて給油領域フタを検出し給油フタ溝領域を検出し、形状認識として図形輪郭線の抽出、自己回帰モデルによる予測、形状識別及び面積計算を行うものであることを特徴とする請求項６記載の自動給油装置。
【請求項８】
前記請求項７で認識した給油フタが開けられた後に、前記制御装置は、露出されるフタ部の中央部にある給油キャップ面を中心にして、前記距離測定センサで縦、横、斜めに走査し、その走査で得られた距離データを３次元化し、そのデータからフタのつまみ部に相当する不用データ及び周辺部データを除去し、平らな部分の面と大きく変化するキャップ外縁の対角端部データから給油キャップの傾きを計算するものであることを特徴とする請求項７記載の自動給油装置。
【請求項９】
前記制御装置は、前記請求項８で検出された給油キャップの傾きを検出して該給油キャップが開けられた後に、前記制御装置は、前記画像センサで検出される画像に関するデータに基づいて、周囲より黒く検出されるデータを中心にして画像認識を行い、領域拡張法及びスクリーニング法により給油管中心位置座標を計測する処理を行うことを特徴とする請求項８記載の自動給油装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車へ燃料油を自動給油するときに、自動車の停車位置を正しく誘導できるようにするとともに、画像処理により給油口フタの位置を正確に認識し、給油口キャップの傾きを計測し、給油口の位置を正確に計測できる自動給油装置に関するものである。
【背景技術】
【０００２】
近年、給油作業の省力化あるいは自動化を図るため、給油ポンプに接続される給油ノズルをロボットアームに取付け、自動車の燃料タンクの給油口をセンサにより検出して、給油ノズルを給油口に自動挿入する、いわゆるロボット給油装置が導入されようとしている。このようなロボット給油装置による給油を円滑に実行するには、給油ノズルの先端を自動車の燃料タンクの挿入口に確実に位置合わせして挿入することが必要となる。この場合に、給油ロボット装置付近に、目印だけで自動車を正確に停車させることは困難で、また、正確な再現性を得るのも困難である。ロボットの可動範囲は限られるため、その範囲に自動車を誘導し、短時間で給油口の位置を検出することは、実用化する上で大切なことである。今までのように、車輛センサやゲートバーによる検知・規制だけでは多種の自動車には対応できず、給油口のある左右の位置や高さの違い、給油管の傾き等が異なっていて一律に扱うことは出来ない。
【０００３】
停止した自動車の給油フタの位置座標を画像処理で算出しようとする試みは今までにもなされてきたが、現実には車体の色、照度、光線の反射や影の映り込み等の障害が多く、これを避けることが困難であった。また、画像処理以外の方式では、小さなコイルアンテナを自動車の給油フタ近傍表面に貼り付けて、複数のマイクロ波検知装置で位置検出しようとした試みもあるが、車体の表面に目立つアンテナを貼り付ける等の必要があったり、精度を高めることは困難であった。
【０００４】
まず、自動車の給油口位置を自動的に探索するには、探索装置が稼動できる範囲に自動車を誘導し、停車させるシステム機構が必要である。この後に、既存の自動車燃料タンクの挿入口にロボットヘッドとドッキングできるアダプターを取り付ける技術が開示されている（例えば、特許文献1参照）。また、他の技術として、自動車の給油口を囲む位置に光線を入射方向に反射する反射器を設け、ノズル側に投光器及び反射光を受光する受光器を設けて、ノズルを反射光の方向へ導く給液ロボットシステムが開示されている（例えば、特許文献２参照）。しかし、全ての自動車がアダブタを備えていたり、反射器を設けているわけではない。また、前記のようにマイクロ波アンテナを給油フタ近くの車体表面に貼り付ける等、自動給油できる車輛が限定されるという問題があるとともに、いずれも間接的な認識方法で、認識精度や美観面やコスト面で問題が多く残り、広く普及するのは困難であった。さらに、同じ目的の画像処理技術は今までにも提案されているが、画像検索と処理の時間が多く掛かり、実用上の再現精度を出すことが十分ではなかった。前記のように光線の反射具合や影の映り込み等の障害を避ける対処方法が不充分であった。すなわち、画像処理のソフトウエアを工夫して、実用的な手法を確立する必要があった。給油フタの自動開閉、給油キャップの自動開閉、そして正確に給油口の中にノズルを挿入する位置座標や角度の計測をして、正確・安全に給油する必要があった。
【特許文献１】特表平１０−５０３９９４号公報（第４〜９ページ、図２〜６）
【特許文献２】特開昭６３−６７２９６号公報（第２〜３ページ、図３〜５）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上記事情に鑑みなされたもので、誤りなく給油するために自動車の停車位置を正しく誘導できるようにするとともに、画像処理により給油口フタの位置を正確に認識し、給油口キャップの傾きを正しく計測でき、給油口の位置を正確に計測できる自動給油装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために請求項1記載の発明にあっては、燃料油を給油する給油ノズルを有する給油装置と、該給油装置近傍の給油エリアに設けられ進入してくる自動車の位置を検知する停車位置誘導装置と、該停車位置誘導装置により検知された前記自動車の位置に基づき給油可能な位置へ誘導案内する誘導案内装置と、前記給油装置の近傍に配置されセンサにより給油口を検知し給油ノズルを掴んで給油操作を行うロボット装置と、前記停車位置誘導装置からの信号に基づいて前記誘導案内装置の誘導案内に関する処理を行うとともに前記センサからの信号に基づいて前記ロボット装置を動作させるための計測あるいは画像認識処理を行う制御装置とを備えたことを特徴とする自動給油装置。
【０００７】
請求項２記載の発明にあっては、予め契約して給油所に入ってくる顧客の自動車に搭載された車載装置と通信することにより事前に登録された給油口位置を含む車種情報を読取るとともに該自動車へ案内情報を送信する無線装置をさらに備えたことを特徴とする請求項１記載の自動給油装置。
【０００８】
請求項３記載の発明にあっては、前記無線装置は、給油所の車輌進入口の近傍に配置され契約した車輌であるか確認するとともに、自動給油に必要な車固有データ及び契約者データを交信により読取り、必要により音声や表示により警告や誘導を行う第１無線装置、及び前記給油エリアに進入してきたとき、自動給油に必要な情報の交換を行う第２無線装置を有することを請求項２記載の自動給油装置。
【０００９】
請求項４記載の発明にあっては、前記停車位置誘導装置は、前記自動車が給油エリアに進入してきたときに、車輪が進んだ位置により車輪位置を検知する後部側の第１車輪位置検知部と、前部側の第２車輪位置検知部及び第３車輪位置検知部とが該自動車の進行方向に沿って給油エリアの地面上に配置されていることを特徴とする請求項１記載の自動給油装置。
【００１０】
請求項５記載の発明にあっては、前記第１〜第３車輪位置検知部は、薄い踏み板状に形成され、それぞれ前輪及び後輪の通過を検知するスイッチがそれぞれ設けられていることを特徴とする請求項４記載の自動給油装置。
【００１１】
請求項６記載の発明にあっては、前記ロボット装置は、ロボット本体の上部に回動自在に設けられたアーム部を有するロボット機構と、このロボット機構の動作を制御するロボットコントローラとを備え、前記センサは、前記アーム部の先端部のアームヘッド部に配置された画像を検出する画像センサ及び給油口までの距離を測定する距離測定センサであることを特徴とする請求項１記載の自動給油装置。
【００１２】
請求項７記載の発明にあっては、前記画像センサにより検出した給油フタの画像に関するデータに基づいて、前記制御装置は、エッジ検出フィルタである∇２Ｇフィルタを用いて二値化処理によりエッジ検出を行い、前記画像にスクリーニングとして候補座標を配置して給油フタの内部座標の判別を行い、領域検出として領域成長法を用いて給油領域フタを検出し給油フタ溝領域を検出し、形状認識として図形輪郭線の抽出、自己回帰モデルによる予測、形状識別及び面積計算を行うものであることを特徴とする請求項６記載の自動給油装置。
【００１３】
請求項８記載の発明にあっては、前記請求項７で認識した給油フタが開けられた後に、前記制御装置は、露出されるフタ部の中央部にある給油キャップ面を中心にして、前記距離測定センサで縦、横、斜めに走査し、その走査で得られた距離データを３次元化し、そのデータからフタのつまみ部に相当する不用データ及び周辺部データを除去し、平らな部分の面と大きく変化するキャップ外縁の対角端部データから給油キャップの傾きを計算するものであることを特徴とする請求項７記載の自動給油装置。
【００１４】
請求項９記載の発明にあっては、前記制御装置は、前記請求項８で検出された給油キャップの傾きを検出して該給油キャップが開けられた後に、前記制御装置は、前記画像センサで検出される画像に関するデータに基づいて、周囲より黒く検出されるデータを中心にして画像認識を行い、領域拡張法及びスクリーニング法により給油管中心位置座標を計測する処理を行うことを特徴とする請求項８記載の自動給油装置。
【発明の効果】
【００１５】
本発明では、燃料油を給油する給油ノズルを有する給油装置と、給油装置近傍の給油エリアに設けられ進入してくる自動車の位置を検知する停車位置誘導装置と、停車位置誘導装置により検知された自動車の位置に基づき給油可能な位置へ
誘導案内する誘導案内装置と、給油装置の近傍に配置されセンサにより給油口を検知し給油ノズルを掴んで給油操作を行うロボット装置と、停車位置誘導装置からの信号に基づいて誘導案内装置の誘導案内に関する処理を行うとともにセンサからの信号に基づいてロボット装置を動作させるための計測あるいは画像認識処理を行う制御装置とを備えたことで、誤りなく給油するために自動車の停車位置を正しく誘導できるようにするとともに、画像処理により給油口フタの位置を正確に認識し、給油口キャップの傾きを正しく計測でき、給油口の位置を正確に計測できる自動給油装置を提供することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明を図示の一実施形態により具体的に説明する。図１〜図４は本発明実施形態の自動給油装置を説明する図であり、図1は自動給油装置を説明する正面図、図2は自動給油装置を説明する平面図、図3は自動給油装置の構成を説明するブロック図、図４はロボット装置のアーム先端部の斜視図である。
【００１７】
これらの図において、本実施形態の自動給油装置１０は、図１及び図２に示すように、給油所の敷地に給油のために入ってきた自動車１に、ガソリン等の燃料油をロボット装置２０により自動給油する装置である。給油所の敷地に設けられたアイランド２上には、ガソリン等を給油する給油装置１１、自動車１の給油口を検知して給油フタを開き、給油装置１１の給油ノズル１４を掴んで給油を行うロボット装置２０、及び自動車１を案内音声や表示により誘導する誘導案内装置３０が配置されている。アイランド２の両側の給油エリア３には、正常に給油が行われるように進入してくる自動車１の停車位置を正しく誘導するための停車位置誘導装置４０が配置されている。給油装置１１は、アイランド２上に立設された装置本体１２内にガソリン等の給油機構が配置され、その給油機構に一端部側が接続され他端部側に給油ノズル１４を設けた給油ホース１３が、装置本体１２の上部側から吊り下げられている。給油ノズル１４は、装置本体１２の側面に設けられたノズル掛け１５に掛けられるようになっており、そのノズル掛け１５の近傍には、給油口フタ等を開閉するときのツールを配置する部分が設けられている。また、給油所の車輌進入口の近傍には、第１無線装置１６が配置され、給油所に給油のために入ってきた自動車１に搭載されている車載装置４と交信するようになっている。また、給油装置１１の上部には、第２無線装置１７が配置され、同様に自動車１の車載装置４と交信するようになっている。第１無線装置１６は、給油所に入ってきた自動車１が事前に自動給油ができるように契約した車輌であるか確認するとともに、自動給油に必要な車固有データ及び契約者データを交信により読取り、必要により音声や表示により警告や誘導を行う。また、第２無線装置１７は、自動車１が所定の給油エリア３に進入してきたとき、車載装置４と交信することで、自動給油に必要な情報の交換を行う。自動車１に搭載されている車載装置４は、第１及び第２無線装置１６及び１７と無線交信するとともに、受信した内容等を音声や表示により運転者等に知らせる機器を備えている。給油エリア３の自動車１の退出口側には、ゲートバーを上げ下げするためのゲートバー装置１８が配置されている。
【００１８】
ロボット装置２０は、給油装置１１近傍のアイランド２上で、給油エリア３に自動車１が停車したとき、給油が容易にできる位置に配置されており、ロボット機構２１と、このロボット機構２１の動作を制御するロボットコントローラ２２とを備えている。ロボット機構２１は、図４に示すように、アイランド２上に立設されたロボット本体２３と、このロボット本体２３の上部に設けられたアーム部２４等とを備えている。アーム部２４は、ロボット本体２３の上部に回動自在に設けられた第１アーム部２４ａと、この第１アーム部２４ａの先端部に回動自在に設けられた第２アーム部２４ｂと、この第２アーム部２４ｂの先端部に回動自在に設けられたアームヘッド部２４ｃとを有し、このアームヘッド部２４ｃの先端部の下部側には、給油ノズル１４を掴んだり自動車１の給油口のキャップを開閉するツールを掴むチャック部２５が設けられ、このチャック部２５の上部には給油フタを吸着して開閉するための開閉部２６が設けられ、この開閉部２６の上部側に形成された凹部状部分２７内には、給油口等の画像を検出する画像センサ２８、及び給油口までの距離を測定するためのレーザー等による距離測定センサ２９が配置されている。
【００１９】
さらに、本実施形態の自動給油装置１０は、図３に示すように、各種の入力機器から入力される信号を受信し、データ処理を行い、各種の出力機器へ制御信号を出力し機器を全体的に制御するための制御装置５０を備えている。この制御装置５０は、入力部５１と、システム演算処理部５２と、画像処理・計測プログラム部５３と、ＯＳ・メモリシステム制御部５４と、出力部５５とを有する。入力部５１は、第２無線装置１７、ロボット装置２０のアームヘッド部２４ｃの先端部に設けられた画像センサ２８及び距離測定センサ２９、停車位置誘導装置４０、その他の入力装置３１及びロボットコントローラ２２等から入力される信号を受信する部分である。システム演算処理部５２は、各部との間で入出力されるデータの演算処理を行う部分である。画像処理・計測プログラム部５３は、本発明の自動給油に際して実行される自動車位置の検出、及び給油フタの画像認識、給油口の傾き計測、給油口中心位置の画像処理認識を中心とするデータ処理を行うプログラムを有する部分である。ＯＳ・メモリシステム制御部５４は、オペレーティングシステム及びメモリシステムを構成する制御部である。出力部５５は、システム演算処理部５２から出力されるデータに基づいてロボット装置２０のロボットコントローラ２２、誘導案内装置３０、警報音声・表示装置３２、料金決済装置３３、ゲートバー装置１８、及びその他の出力装置３４へ制御データを出力する部分である。警報音声・表示装置３２は、警報を音声や表示により報知する装置である。料金決済装置３３は、給油料金を決済するための装置であり、給油所の事務所と無線通信ができるものである。その他の出力装置３４は、例えば、外部連絡や点検確認等を行うための装置である。
【００２０】
次に、上記構成の自動給油装置１０の詳細を説明する前に、自動給油動作の概要を説明する。図５は本発明の自動給油装置による動作の概要を説明するフローチャートである。
【００２１】
最初に、本実施形態の自動給油装置１０による給油ができる顧客は、契約によって事前に必要な車輌固有データ及び契約者データを登録するとともに、その自動車１に固有の車輌識別番号（車輌ＩＤ）を付与し、かつ自動車１には専用の無線通信ができる上記の車載装置４が搭載される。契約に際しては、自動給油が可能な形状の自動車及び顧客を対象とする。
【００２２】
図５に示すように、まず、契約した自動車１が給油所の車輌進入口に入ってきたとき、進入口近傍に設けられた上記第１無線装置１６は、自動車１に搭載されている車載装置４と無線交信して車輌ＩＤを読み込み（ＳＴ１）、その車輌ＩＤから契約車であることを確認するとともに、登録された車輌固有データから給油口の位置（例えば、車体の左右のいずれか等）や給油すべき油種を読取る。続いて、所定の音声案内等により給油口の位置や油種に適合した給油場所を指示するとともに誘導を行う（ＳＴ２）。給油エリア３に進入してきた自動車１は、後に詳細に説明する停車位置誘導装置４０により、自動車１の進入位置を検知し、誘導案内装置３０により自動車１を給油が正しく行われるよう指定位置への誘導案内を行う（ＳＴ３）。契約車は車の停止位置誘導装置４０に従って進入し、運転者は誘導案内装置３０により音声や表示での誘導を受け、指定位置に正しく停車したことが確認されると、エンジンを止めてサイドブレーキを掛けるように案内する。自動車１が所定の位置に停車したとき、第２無線装置１７は、車載装置４と無線交信して車輌ＩＤを読込み（ＳＴ４）、この車輌ＩＤから自動車１の給油口フタの位置（例えば、後輪を基準として給油口フタまでの水平及び垂直距離Ｘ及びＹ）、顧客情報、油種、支払方法あるいは有効期間等の確認を行う。なお、契約車でなければ入場が出来ない主旨を運転者に警報音声・表示装置３２により警報し、契約車であるが給油場所が異なる場合には、給油口の左右位置や油種を確認した上で、警報音声・表示装置３２により給油が可能な給油場所へ音声と表示で誘導する。
【００２３】
次に、ロボット装置２０による自動給油動作が開始され、後に詳細に説明する距離測定センサ２９を使用することで、自動車１の車体表面までの距離を測定する（ＳＴ５）。続いて、後輪基準として給油口フタまでの水平及び垂直距離Ｘ及びＹである給油口フタ位置情報を参考にし、画像センサ２８を使用することで、遠距離から給油フタを広角で画像検索し（ＳＴ６）、次に、近距離から高い精度で給油フタを画像検索する（ＳＴ７）。給油フタの位置が検索された後、誘導案内装置３０を介して運転者に給油フタの開放を指示する（ＳＴ８）。続いて、距離測定センサ２９により給油フタの開閉を確認する（ＳＴ９）。次に、専用ツールであるアーム部２４の開閉部２６により給油フタを開ける（ＳＴ１０）。給油フタが開いた後、、距離測定センサ２９を使用することで、給油キャップの位置と傾きを探索する（ＳＴ１１）。この検索の結果に基づき、キャップ開閉専用ツールをチャック部２５で掴んできて給油キャップを開き、所定のストッカに収容する（ＳＴ１２）。次に、画像センサ２８を使用することで、給油口の中心を画像検索する（ＳＴ１３）。この画像検索の結果に基づき、アーム部２４のチャック部２５で給油ノズル１４を掴みノズル口を給油口に挿入する（ＳＴ１４）。これにより、給油が可能になり、予め設定されている給油データに基づいて、給油装置１１により指定量又は満タンまで給油が行われる（ＳＴ１５）。給油終了後、給油ノズル１４を給油口から取り出し、ノズル掛け１５に掛けて収納する（ＳＴ１６）。次に、画像センサ２８を使用することで、給油口の中心を画像検索する（ＳＴ１７）。続いて、専用ツールで給油キャップを取り出し給油口を閉じる（ＳＴ１８）。次に、給油フタを閉じることで（ＳＴ１９）、ロボット装置２０による作動が終了し、料金決算装置３３等を用いて自動精算する（ＳＴ２０）。これにより、自動給油が終了し、ゲートバー装置１８のゲートが開き、誘導案内装置３０等による退車誘導を行い終了する。
【００２４】
次に、本発明の特徴部分である停車位置誘導装置４０を具体的に説明する。図６及び７は本発明実施形態の停車位置誘導装置を説明する図であり、図６は停車位置誘導装置の構成を説明する図、図７は停車位置誘導装置により検知される自動車の状態を説明する図である。
【００２５】
アイランド２の左右の給油エリア３には、停車位置誘導装置４０が設けられている。この停車位置誘導装置４０は、自動車１が給油エリア３に進入してきたときに、車輪が進んだ位置により車輌の大きさと停車位置を検知し、給油位置を正しく誘導するための装置であり、車輪位置を検知する後部側の第１車輪位置検知部４１と、車輪位置を検知する前部側の第２車輪位置検知部４２及び第３車輪位置検知部４３とが自動車１の進行方向に沿って給油エリア３の地面上に配置されている。これらの第１〜第３車輪位置検知部４１,４２,４３は、自動車１の車輪が通過するアイランド２に近い側に配置され、例えば、車輪の幅方向が３００mm， 車輪の進行方向が４００mm程度に形成された薄い踏み板状に形成され、それぞれ車輪の通過を検知するスイッチ（それぞれＳＷ１，ＳＷ２，ＳＷ３ ）等が設けられたものである。第１車輪位置検知部４１と、第２車輪位置検知部４２の中心間の距離は、約２,４００ｍｍ程度、第１車輪位置検知部４１と、第３車輪位置検知部４３の中心間の距離は、約２,８００ｍｍ程度に設定されており、自動車１の車輪位置検知の経過時間や持続時間により車輌の状態を判断するためのものである。停車位置誘導装置４０の検知信号は、制御装置５０の画像処理・計測プログラム部５３により計測されるようになっている。
【００２６】
上記構成の停車位置誘導装置４０では、図７に示すように、第１〜第３車輪位置検知部４１,４２,４３のいずれもが、車輪を検知していないでスイッチ（ＳＷ１，ＳＷ２，ＳＷ３）の全てがオフの場合には、自動車１がまだ給油エリア３に進入していない状態を示し、前回の給油作業が終了して給油待ち状態を示す。次に、自動車１が給油エリア３に進入して、第１車輪位置検知部４１のスイッチ（ＳＷ１）がオンになり、第２〜第３車輪位置検知部４２，４３ のスイッチ（ＳＷ２，ＳＷ３）がオフの場合には、自動車１が進入して最初に前輪が第１車輪位置検知部４１上を通過中であり、自動車１が進入している状態を示す。続いて、第１車輪位置検知部４１のスイッチ（ＳＷ１）がオフ、第２車輪位置検知部４２のスイッチ（ＳＷ２）がオン、第３車輪位置検知部４３のスイッチ（ＳＷ３）がオフの場合には、前輪が第１車輪位置検知部４１上を通り過ぎ、前輪が第２車輪位置検知部４２上まで達した状態を示し、自動車１が進入している状態を示す。続いて、前の状態から、第１車輪位置検知部４１のスイッチ（ＳＷ１）がオンになり、第２車輪位置検知部４２のスイッチ（ＳＷ２）がオン、第３車輪位置検知部４３のスイッチ（ＳＷ３）がオフの場合には、自動車１が小型車であることが検知され、この停止状態において給油作業が行われる。同様に、第１車輪位置検知部４１のスイッチ（ＳＷ１）がオンになり、第２及び第３車輪位置検知部４２のスイッチ（ＳＷ２，ＳＷ３）のいずれもがオン場合には、自動車１が中型車であることが検知され、この停止状態において給油作業が行われる。同様に、第１車輪位置検知部４１のスイッチ（ＳＷ１）がオンになり、第２車輪位置検知部４２のスイッチ（ＳＷ２）がオフ、第３車輪位置検知部４３のスイッチ（ＳＷ３）がオンの場合には、自動車１が大型車であることが検知され、この停止状態において給油作業が行われる。次に、給油作業が終了して、第１車輪位置検知部４１のスイッチ（ＳＷ１）がオフになり、第２車輪位置検知部４２のスイッチ（ＳＷ２）がオン又はオフ、第３車輪位置検知部４３のスイッチ（ＳＷ３）がオフ又はオンの場合には、車輌の大きさに応じて退車中であることが検知される。続いて、第１〜第３車輪位置検知部４１,４２,４３のスイッチ（ＳＷ１，ＳＷ２，ＳＷ３）のいずれもがオフになった場合には、給油作業が終了したことが検知される。この停車位置誘導装置４０により検知された自動車１の時間経過にともなう位置に関する信号は、予め第２無線装置１７により読み込まれた車輌ＩＤに基づく車固有データ等を参照して、制御装置５０の画像処理・計測プログラム部５３によりデータ処理が行われ、誘導案内装置３０に誘導案内のために必要な表示や音声として出力される。例えば、誘導案内装置３０は、車が進入しているときには、「前進誘導」の案内を行い、その後車固有データの基づいてスイッチ動作が一致したときには、定位置停車を確認して「正常停止」の案内を行い、異なるときには「警告」の案内を行い、「やり直し」の案内を行い、給油が正常に終了する前にスイッチが動作したときには、給油装置１１の給油動作は停止するとともにロボット装置２０の動作を停止し、緊急停止の「警告」の案内を行う。
【００２７】
上記構成では、停車位置誘導装置４０により検知される自動車１の位置と車固有データとに基づき、正しく誘導してロボット装置２０の作動範囲に自動車１の給油フタの位置が来るように停車させることが可能になり、また、安全が保持できる範囲を指定し、その範囲以内に限って自動給油の作動を可能にできる。また、比較的簡単な規制の中で、誰でも簡単に自動給油できる環境を整備することができ、画像処理する際、最初から的を絞って必要な部分を特定することによって処理時間を短縮し、認識確率を高めることができる。さらに、作動領域に人間の侵入を防ぎ、異常操作や登録事項との違いを検知して安全を確保することができる。
【００２８】
なお、上記の実施形態において、第１〜第３車輪位置検知部４１,４２,４３の大きさ、数、位置は、一例であり、少なくとも車輪の通過あるいは停止位置を検知するものであればよく、そのスイッチも防爆構造であれば機械式でも光学式または電磁的な種類のものでもよい。
【００２９】
次に、本発明の他の特徴部分である給油フタの画像認識について具体的に説明する。まず、給油作業に入る前に、車体にある給油フタを正確に画像認識することが先決である。環境の良くない屋外では、車体の色や照度の違い、反射による影の影響などのノイズに、如何に対応できるかに実用化の可否が掛かっている。給油フタは開閉するように作られた扉状のフタであり、車体とは別の部品であるため、その溝は給油フタの周囲に閉曲線を形成する。すなわち、給油フタ表面に写り込んだ周囲の環境は、その溝によって分断され、給油フタはその溝によって閉領域となっている。この特徴を生かした給油フタ認識手法として、給油フタ溝の検出をエッジ検出フィルタである∇２Ｇフィルタ（LOG： Laplacian  Of  Gaussian  ）を用いて行い、閉領域の検出手法として領域成長法（Region  Growing  Method）を用いる。得られた閉領域が給油フタであることを確認するために、自己回帰モデル（ARモデル）を用いて角部の数を数えること及びその面積などを計算することによりその概略形状を認識し、さらに認識精度を高める。
【００３０】
本実施形態の給油フタの画像認識は、画像センサ２８で検出された画像を制御装置５０の画像処理・計測プログラム部５３でデータ処理することで行われる。図８は本発明の給油フタの画像認識処理を説明するフローチャートである。  
【００３１】
まず、上記の車輌の停車位置への誘導で説明したように、給油口の位置座標は登録された車両の後輪の接地点を基準に読み取るようにしている。車両の停止位置には許容誤差が必要で、これを容認するために最初は、画像センサ２８が給油フタの全体画像を捕らえるように、少し離れた場所（約１ｍ）に引いて広い範囲を撮像する。そこで給油フタの認識と位置の計測が出来てから、画像センサ２８が給油フタの中心に来るように近づいて（約４０ｃｍ）、より正確にフタの認識と位置の計測を行う。基本的な画像処理の手順は、約１ｍ離れたときと、約４０ｃｍに近づいたときとは同じである。画像センサ２８のズーミング機能を使って、一箇所で広い範囲と拡大した範囲の画像を処理することは当然可能であるが、ここでは分離した状態を基本として説明する。
【００３２】
まず、図８に示すように、撮像画面をＬＯＧフィルタにより計算処理を行い（ＳＴ２１）、スクリーニングにより格子点を選定しラベリング処理で輪郭線を検索する（ＳＴ２２）。続いて、フタ輪郭線の角の数と形状を認識し（ＳＴ２３）、設定値内か判断する（ＳＴ２４）。設定値内のときには、フタの面積を計算し（ＳＴ２５）、設定値内かを判断し（ＳＴ２６）、設定値内であれば、認識結果を出力して（ＳＴ２８）、終了する。設定値内でないときには、全領域を見たかを判断し（ＳＴ２７）、見ていないときには再び前のステップ（ＳＴ２２）に戻り処理を繰り返し、見たときには認識失敗として認識結果を出力して（ＳＴ２８）、終了する。
【００３３】
次に、上記の処理を詳細に説明する。まず、エッジ検出処理に関して、これまでに多数の研究者によって様々なエッジ検出フィルタが提案されており、どのようなフィルタを用いるかによって得られる結果が大きく変化する。本発明での特徴を生かす重要な要素として、画像において空間的に大きなスケールでの強度変化に対応することである。給油フタ溝の幅は数画素ほどあり、給油フタの部分とその周囲の溝の部分にあたる画素との間での輝度値の変化は、大きな空間的スケールでの強度変化である。したがって、単に画素間での強度変化の検出（差分計算）を行ったのでは、より細かいエッジが多数検出され効率の良い検出を行うことができない。また、撮影距離によっても画像内での給油フタ溝の幅は変化するため、画像における空間的スケールの変化に対応できるフィルタが望まれる。このような条件を満たすものとして∇２Ｇフィルタを用いることにした。撮り込み画像に対して、∇２Ｇフィルタを用いてエッジ検出（エッジ画像の生成）を行なう。ここで、∇２はラプラス演算子であり、Ｇは図９の式（１）に示す2次元ガウス分布である。ただし、文字σは標準偏差である。∇２Ｇ円対称のメキシコ帽の形をした演算子であり、その２次元分布は原点からの半径ｒを用いて図９の式（２）と表わすことができ、その概形を図１０に示す。
【００３４】
∇２Ｇフィルタを用いる利点は、そのガウス関数Ｇによって画像がぼけ、その結果パラメータ文字σの値より十分小さなスケールの雑音が効果的に一掃され、得られるエッジは他のフィルタと比較すると雑音が少ないという特徴を持つ。また、画像のサイズ等の変更により求める特徴の大きさが変化した際にも、パラメータσを変更するだけで対応が効くことも挙げられる。
【００３５】
二値化処理に関して、上記の∇２Ｇフィルタを用いて得られたエッジ画像を扱う上での重要な点として、その二値化の方法が挙げられる。一般に画像に∇２Ｇフィルタのような2次微分フィルタを用いると、急激な強度変化を引き起こす部分（エッジ部分）において、図１１に示すような関数の値が正から負へと横断するゼロ交差が生じる。1次微分フィルタでは、ピークが生じるのみであり、ゼロ交差を生じる2次微分フィルタの有利な点は、その符号により画像内でどちらが明るくどちらが暗いかを示すことができることである。このような利点を生かすためにも、給油フタ溝の部分で生じるゼロ交差を過不足なく検出できる、二値化の方法を用いることが重要である。
【００３６】
図１２〜図１５は、∇２Ｇフィルタを用いて得られたエッジ画像の例を示している。図１２は元の画像であり、図１３は図１２に対する∇２Ｇフィルタの出力である。図１４は∇２Ｇフィルタの出力をゼロ交差の符号によって二値化したものであり、図１５はゼロ交差そのものを表わしている。図１４において、一見黒い部分がエッジのように思われるが、この画像においてエッジとは黒い画素と白い画素の境界であり、黒い画素は負の値を表し白い画素は正の値を表す。給油フタ認識において本発明で注目しているのは、給油フタの輪郭である給油フタと車体との間の溝である。図１４において、給油フタ溝の部分の画素は周囲に比べ輝度値が小さいため、黒画素で構成される一つの領域として検出される。それに対して図１５の画像では給油フタの溝の内側と外側の双方のゼロ交差が分離しており、給油フタの輪郭としての給油フタ溝は二重になり処理がより複雑になる。したがって、図１４のような二値化のしきい値を、∇２Ｇフィルタの出力をゼロ交差の符号によって二値化したものが、給油フタ認識に適している。
【００３７】
次に、スクリーニングに関して、本発明で提案する給油フタの認識手法では、１ｍの距離からの撮影による広域探索と、その後に行なう０．４ｍからの撮影による詳細な探索の2段階で行なう。１ｍの距離からの撮影で得られた画像は、利用者による停車位置のズレを吸収し、給油フタの実際の位置を認識するため、画像内で給油フタ領域の位置がどこにあるのかがわからない。しかし、全探索を行なうことは計算時間がかかり、実用化には適さないため、何らかの方法で探索範囲を狭め、計算時間を短縮する必要がある。そこで本発明では、効率的に給油フタの認識処理を行なうため、領域検出処理を行なう前に給油フタ内部と思われる座標を選択するためのスクリーニング手法を活用する。
【００３８】
次に、候補座標の配置に関して、給油口の大きさ・形状はＪＩＳによって定められているため、普通自動車で各社、車両での違いはない。したがって、同じ大きさの給油口を収めている給油フタの大きさも一定以下の大きさにはならないと考えられる。給油フタ内部に含まれる座標を選択するためには、この一定の大きさの間隔で画像全体に候補座標を配置し、これらの候補座標に対して給油フタ内部に含まれる座標か否かの判別をすればよい。図１４のエッジ検出画像に候補座標を配置した例を図１６に示す。ただし、候補座標を黒色の小四角形で表わし、エッジ画像の黒色部分は灰色に変更した。
【００３９】
次に、給油フタ内部座標の判別に関して、上記の候補座標に対して、以下の処理方法で給油フタ内部に含まれるか否かの判別をする。給油フタは、溝によって閉領域となっている。もし、候補座標が給油フタ内部に含まれるならば、エッジ検出画像内でその周囲を探索していくと、給油フタ溝による負の値の領域が見つかる。逆に、給油フタの大きさから決まる一定の範囲を超えても見つからない場合や、一部の方向のみで見つかる場合は、その候補座標は給油フタ外部にあると考えられる。ここで、給油フタ領域内部には外部の環境の反射による、たくさんの島状の負の値の領域（エッジ画像における黒色の領域）が存在する。しかし、これらは給油フタ溝領域にくらべ非常に小さいため、その大きさにより容易に判別できる。
【００４０】
以上のことから、給油フタ内部に含まれる座標を判別する方法として、候補座標から周囲８方向を探索する。給油フタ溝領域と同じ負の値の領域が見つかった場合は、後述の領域検出方法によりその大きさを調べ、給油フタ溝領域と考えられるかどうかを判別し、溝領領域であればその方向の探索を終え、そうでなければ、その負の値の領域を無視して探索を続ける。候補座標の配置間隔による一定の探索範囲内で、８方向すべてにおいて給油フタ溝領域と思われる負の値の領域が見つかった場合、その候補座標を給油フタ内部に含まれる座標とする。図１６の候補点を配置した画像に対して内部領域か否かの判別を行なった結果を図１７に示す。ただし、得られた内部領域の座標を２重の小四角形で表わし、エッジ画像の黒色部分は灰色に変更した。
【００４１】
次に、領域検出に関して、本発明では、給油フタを認識するための特徴として、給油フタが画像内で閉領域を形成することに注目しており、ここではその閉領域を検出する手法について述べる。画像データを局所的な特徴（たとえば、明るさ、色、テクスチャなど）の一様な部分画像に分割する手法を、領域分割（Segmentation）という。領域検出には領域分割法に含まれる様々な手法のうち、領域成長法（Region Growing）を用いる。領域成長法を他の手法と比較した際のメリットはその局所性にあるといえる。領域分割は、画像全体に対して処理を行なうのが基本であり、画像をいくつかの部分領域に分割する手法である。一般的に、画像全体に処理を行なうことが必須であるならば、領域成長法などの逐次処理は比較的処理時間が長くなる傾向がある。しかし、本研究では給油フタの領域を求めることが目的であり、注目している領域が限られている場合、計算時間を短縮することができる。また、処理の基本となる領域の同一性の基準やそのしきい値の変更によって、柔軟性に富んだ処理ができる手法であるといえる。
【００４２】
次に、領域成長法に関して、その基本的な処理の流れを説明する。まず、１）画像をラスター走査し、どの領域にも属していない画素を探す。２）その画素の濃淡レベルと、その８近傍でどの領域にもまだ属していない画素の濃淡レベルとを比較し、その差があらかじめ定めた同一領域と判断する基準を満たしているならば（あるしきい値以下であるならば）、同じ領域に属するものとするとして結合する。３）新たに結合した画素に注目し、２）の処理を行なう。４）前記の２）及び３）の処理をそれ以上領域が広げられなくなるまで反復して行なう。次に、５）前記の１）に戻って新たな画素を探し、処理を繰り返し行なう。以上の処理の流れは、画像全体に対して領域分割を行なう際の、領域成長法の処理の流れである。しかし、本発明において、必要な領域は給油フタ領域であり、その処理開始画素はスクリーニングにおいて得られている。したがって、上記処理の流れのうち、本発明で用いるのは、前記２）、３）及び４）の処理のみである。また、給油フタの認識では、エッジ検出処理で説明したように、あらかじめエッジ検出を行ないその出力の符号によって二値化を行なった画像に対して領域検出を行なう。したがって、領域検出において最も重要と考えられる同一領域と判断する基準には、比較する画素間で画素の値が一致するのかどうかを用いる。
【００４３】
次に、給油フタ領域の検出に関して、図１４に示す給油フタのエッジ画像に対して、スクリーニングにおいて得られた処理開始画素から領域検出を行ない、結果として得られた給油フタ領域を図１８に示す。ただし、給油フタ領域を灰色の領域で表わす。
【００４４】
次に、給油フタ溝領域の検出に関して、図１４からわかるように、この領域内には車体表面に反射した周囲の環境によって現れたエッジが島状の領域となって多数存在する。この島状の領域の大きさは周囲の環境によって変動し、一概にその大きさや量を決定することはできない。これは逆に、検出される給油フタ領域の面積も激しく変動することを表わしている。しかし、給油フタ認識の信頼性を確保するには、得られた領域に対してなんらかの確認の処理を行なう必要がある。そして、その領域の面積も信頼性確保のためには重要な情報である。そこで、給油フタ領域に外接する給油フタ溝領域を検出する。給油フタ溝領域を用いることによって、雑音による給油フタ面積の変動を抑え、給油フタ認識の信頼性を確保するための処理を行なう。
【００４５】
図１９に上記の処理によって得られた給油フタ溝領域を示す。ただし、給油フタ溝領域を黒色の領域で表わし、エッジ画像の黒色部分は灰色に変更した。
【００４６】
形状認識に関しては、領域検出の結果得られた領域が、果たして本当に給油フタを表わした領域であるのかどうかを確認し、誤認識を回避するために、その概略形状および面積を検出することによって給油フタを認識する。給油フタは人工物であり、その形状は四角形、もしくは円形といった基本的な形状をしている。人が図形の形状を理解する際に利用している特徴のうち、その図形にいくつの角があるのかということは、非常に直感的であり代表的なものであると言える。これを実現するために、図形の中心から輪郭線までの距離を等角度に調べたものを時系列データとして扱い、これに対して自己回帰モデルを用いることにより、順に次の画素と中心座標との距離を予測する。輪郭線の方向が大きく変化する角部においては、予測結果と実際の輪郭線との誤差が大きくなるため、その結果、誤差の大きい部分を数えることによって図形の概略形状を認識することができる。
【００４７】
次に、図形輪郭線の抽出に関して、領域検出により得られた給油フタ溝領域に対して、自己回帰モデルを用いて図形の概略形状の認識を行なうには、図形の輪郭線と図心との距離を、角度の増加に対する順序を持った時系列データとして扱う必要がある。しかし、給油フタ溝領域は数画素からの幅を持っている上に、各画素に順序付けはされていないため、給油フタ溝領域を輪郭線としての時系列データに変換しなくてはならない。図心からの各角度の輪郭線の代表座標を決定する処理の流れを以下に示す。
【００４８】
まず、１）フタ溝領域に含まれる画素ｐ（ｘｉ，ｙｉ）及び図心Ｏが成す線分ｒｉが、ｘ軸と成す角度Θｉを求める。サンプリング角度に対応した配列ＡΘを用意し、角度Θｉに対応した配列ＡΘｉに給油フタ溝領域に含まれる画素ｐ（ｘｉ，ｙｉ）を追加する。次に、２）フタ溝領域に含まれるすべての画素に対して１） の処理を行なう。続いて、３）すべての配列ＡΘについて、含まれる画素の平均座標を計算し、それを角度Θ方向の輪郭線の代表座標Ｐｎとする。
【００４９】
次に、自己回帰モデルによる予測に関して、図形輪郭線の抽出で給油フタ溝領域から得られた図形の輪郭線の等角度ごとの座標と、図心までの距離を、新たな時系列データとして扱い、これに対して自己回帰モデルを適用する。図２０に示すように、図心Ｏから注目点Ｐｎまでの距離ｒｎをそれ以前のデータを用いた自己回帰モデルで予測する。注目点Ｐｎの次のデータＰｎ＋１から図心Ｏまでの距離ｒｎ＋１の予測値は、図９の式（３）に示すとおり表わすことができる。ここでｐは自己回帰モデルの次数ａｉ（ｉ＝１，２，…，ｐ）は自己回帰係数である。自己回帰係数ａｉは、モデル作成に用いるデータ数ｌを（ｌ＞ｐ）として、最小２乗法により図９の式（４）で定義されるＩが最小となるように決定する。したがって、図９の式（３）を順に用いることで、ｑ点先のデータＰｎ＋ｑから図心Ｏまでの距離ｒｎ＋ｑの予測値は、図９の式（５）と表わすことができる。またこのときの自己回帰モデルの予測誤差ｅｎ＋ｑは、図９の式（６）となる。
【００５０】
次に、形状の識別に関して、時系列データすべてに対して図９の式（６）に示す予測誤差を求めると、角部の前後では輪郭線の方向が大きく変化するため、同一の自己回帰係数を用いて予測を行なうと予測誤差が大きな値をとる。図１９に示されるの給油フタ溝領域に対して上述の処理を行なった結果得られた予測誤差を図２１に示す。この図２１から、予測誤差の極大となる部分の数は図形の角の数と等しいことがわかり、予測誤差の極大値の数を求める事によって図形の形状を識別することができる。しかし、同図２１からもわかるように予測誤差をそのまま用いるには雑音が多い。したがって、移動平均を計算した後にその極大値の数を求め、図形の形状を識別する。図２１の予測誤差に対して移動平均を求め、0〜1の範囲に正規化した際の予測誤差を図２２に示す。給油フタが長方形であれば予測誤差の極大値が４箇所検出されるし、丸形であれば直線または連続曲線となって識別することが出来る。
【００５１】
次に、面積の計算に関して、領域検出の結果得られた領域が給油フタであることの確認として、形状認識の他にその領域の面積を求め、その大きさをもって判断する。輪郭線上の隣り合う画素と給油フタ中心座標の作る三角形の面積は、給油フタ全体の面積として図９の式（７）で求めることができる。ここでｐ及びｐ´とは給油フタ中心座標から輪郭線上の画素へ向かうベクトルである。このようにして領域検出された閉領域内の面積を計算し、あらかじめ設定された範囲内に入っていることで、本物のフタであると判定することが出来る。
【００５２】
実験による実証として、本発明の給油フタの認識方法の有効性を確認するために、サンプル画像に対して認識実験を行なった。実験に用いた各パラメータは、∇２Ｇフィルタは自己回帰モデルの次数はｐ＝２とし、モデル作成のサンプル数をλ＝２０、予測の範囲ｑ＝１とした。また、移動平均は前後１５ずつのデータを用いて計算した。
【００５３】
遠距離撮影画像は、給油フタ画像の撮影距離を１０００ｍｍとして、サンプル画像２５枚に対して遠距離からの画像による自動車の車体から給油フタ部分の探索を行なった。車体から給油フタ部分を探索することが目的であるため、各サンプルで画像内での給油フタの位置に変化を持たせた。また、周囲の環境を変化させ、車体の反射にも変化を持たせた。結果を図２３に示し、認識結果例を図２４及び図２５に示す。ただし、認識された給油フタの中心座標を2重の小四角形、給油フタの輪郭線を黒色の小四角形で表わし、エッジ画像の黒色部分は灰色に変更した。
【００５４】
次に、近距離撮影の画像に関しては、遠距離撮影画像と同様に給油フタ画像の撮影距離を４００ｍｍとして、サンプル画像２５枚に対して近距離からの画像による高い精度での給油フタの座標の計測を行なった。近距離撮影の場合は遠距離とは違い、給油フタの位置はすでに検出されているため、撮影位置は固定とし、周囲の環境を変化による車体の反射のみ変化を持たせた。結果を図２６に示し、認識結果例を図２７及び図２８に示す。ただし、認識された給油フタの中心座標を2重の小四角形、給油フタの輪郭線を黒色の小四角形で表わし、エッジ画像の黒色部分は灰色に変更した。
【００５５】
以上のとおり、上記構成の給油フタの画像認識では、遠距離撮影による画像、近距離撮影による画像どちらの実験においても認識率は１００％となり、良好な結果が出た。遠距離撮影による画像での実験では、スペアタイヤ、テールライトなど誤認識を誘発する雑音が画像内に多数存在するが、スクリーニングにより正しく領域検出の開始座標として給油フタ内部の座標を求めることができた。近距離撮影による画像での実験は、元画像の右方の給油フタ輪郭など肉眼では、はっきりしないような場合でも、∇２Ｇフィルタを用いることにより、実験結果の画像ではハッキリと給油フタ輪郭線が検出されている。面積のバラつきは遠距離撮影の場合に比べて小さく、また、中心座標も正しく求められており、給油フタを開く際にロボットアーム内臓のフタ開閉ツールによる位置決めには支障がないと考えられる。実際の給油現場における悪い環境下、例えば直射日光の影響や夜間照明の陰になってしまうなどに対しては、個別に現場に応じた対処策を講じて全体として、認識の確率を向上させる手法の改良も進めていく必要がある。
【００５６】
次に、本発明の他の特徴であるキャップを取り付けた状態での給油口の傾き計測について具体的に説明する。まず、給油口及び給油キャップは、人間が容易に給油できるように、斜め上方に向けて取り付けられている。給油キャップは、雄ネジ、給油口は雌ネジとなっており、給油キャップを回転させて開くためには、この角度と合うようにロボット装置２０のアーム部２４の向きを揃える必要がある。したがって、給油キャップを開くためには、傾き角度及びその中心座標を認識することが必要である。また、給油ノズル１４を給油管に沿って挿入するためにも、給油キャップの傾きから給油管の傾きを推測しなければならない。
【００５７】
キャップを取り付けた状態での給油口の認識では、距離測定センサ２９から得たデータ（以下、測距データという）から、統計処理を用いて給油キャップの傾き角度及び中心座標の認識を行なう。これは単一の視点の画像センサ２８から、画像処理によって奥行き情報を処理することは、困難であり正確性にも欠けるためである。本発明では、給油キャップの各部位のうち平坦な部分を選択し、この部分を平面と考えて、この平面とシステムとの傾き角度を求める。測距データには、給油キャップの表面上に位置するデータ以外のものも含まれているため、全てのデータの中から給油キャップの表面上に位置するデータを選別する必要がある。また、画像センサ２８から見た際に、円形の給油キャップの見かけ上の形状は楕円形状であると考え、測距データのうち、給油キャップの輪郭上に位置するデータからその中心座標を求める。そこで、測距データと給油フタ内部の構造の関係から給油キャップ表面上に位置するデータを選択する。それらのデータに対して重回帰分析を行なうことによって、給油キャップの傾き角度と中心座標を求めるようにした。
【００５８】
以下に本発明の計測の実施例をもとに記述するが、数字は固定化したものではない。まず、測距の計測条件に関して、ロボット装置２０側の制約により搭載する画像センサ２８の移動面は鉛直に対して、例えば、１０度傾いており、距離測定センサ２９もこの平面上を移動する。車輌のボディとの距離を計測して基準測定距離が、約４００mmとなるように位置決めしているため、キャップ上面までの距離は、約４４０mmとなる。これらの条件の下に図２９に幾何学的位置関係を示す。また、レーザ測距は以下の2種類について行ない、その計測条件を図３０、図３１及び図３２に示す。図３１では、走査方向が2方向でx軸方向のピッチが２mmの場合を示し、図３２では、走査方向が4方向でx軸方向のピッチが１mmの場合を示す。
【００５９】
給油キャップ上の計測点の分類に関して、前述の計測条件にて得られた測距データの一つをグラフで表わした例を図３３に示す。給油キャップ上にある計測点は、3種類の状況にある計測点、すなわち給油キャップ平面上の計測点（A）、給油キャップ輪郭上の計測点（B）、つまみ上に乗っていると思われる計測点（C）に分類することができる。ただし輪郭上の計測点（B）は給油キャップ平面上の計測点（A）に含まれるものとする。これら3種類の計測点と図３３に示すレーザ測距データのグラフとの対応は、給油キャップの画像を用いて図３４のようになる。2つの（B）の間にある細い線の部分は、（A）または（C）と明瞭に判断できない部分であり、つまみの側面にレーザ光が当たった場合などと考えられる。また2つの（B）の外側にある線の部分は、（B）に隣接してキャップの側面などにレーザ光が当たった場合などの部分があり、その外側は測定範囲（５００mm）を超えるデータが続いて明瞭に区別できる。ここでは簡易型レーザ測距センサである距離測定センサ２９を使用したため、測定誤差が見られるが高精度型を使用することによってもっと滑らかな測定値が得られる。
【００６０】
次に、カメラ移動面に対する給油キャップ面の傾き角度の検出に関して、まず、 座標軸の設定については、座標軸の設定は自動車の進行方向を基準とし、x軸を自動車における進行方向として他のものを設定した。図３５は画像センサ移動面と給油キャップ上面の2つの平面関係を表したもので、画像センサ移動面をｘz平面として、ｘ軸は水平、ｙ軸はつまみの中心を通るように定義する。キャップ上面がｚ軸となす角Ψは、ロボット装置側の制約により画像センサ移動面が円直面に対して１０度傾いていることでロール（Roll）角から１０度引いたものであり、この他にキャップ上面がx軸となす角Φ （Yaw角）を設定する。
【００６１】
次に、処理方式に関して、レーザ測距における給油キャップ平面上の計測点（A）に対して重回帰分析を行ない、給油キャップ面の傾き角度ΨおよびΦを求める。その際に図３７に示す式（１）を用いる。ここでｙはレーザによる測長距離、ｘ，zはその計測点の座標である。
【００６２】
次に、給油キャップ中心座標の検出に関して、給油キャップ上の計測点の分類において求めた給油キャップ輪郭上の計測点（B）は、円形の給油キャップを斜めに見た画面での楕円形の輪郭線上の点と考えることができる。そこで、楕円の方程式を図３７に示す式（１）のように設定し、給油キャップ輪郭上の計測点（B）に対して重回帰分析を行ない、給油キャップの中心座標を求める。ここで、
図３７に示す式（２）を式（２）′と置くと、図３７に示す式（３）のように展開できる。ここで、重回帰分析は、その式（３）を用いて行なう。これから求めたａ１，ａ２，ａ３，ａ4により、楕円の方程式の各パラメータA，ｘ０，Ｂ，ｚ０を決定することができる。
【００６３】
次に、実験による実証として、ここで考案したキャップを取りつけた状態での給油口の認識方法の有効性を確認するために、サンプルデータに対して認識実験を行なった。
【００６４】
まず、傾き角度の検出に関して、図３０に示す2種類の測距データに対して、前述の処理方式を用いて給油キャップ上面の計測点（Ａ）とカメラ移動面に対する傾きを求めた。ただし、計測点（Ａ）選択は手動で行なった。その結果を図３８及び図３９に示す。図において、Ｋｎｏｂの項は、給油キャップのつまみの角度であり、各行のデータは同一の給油キャップのつまみ角度を種々に変化させて計測したデータである。計測条件で述べた条件にもとづき、図３８は２ｍｍピッチで対角線状の2方向を走査したデータを用いた結果であり、図３９は１ｍｍピッチで4方向を走査したデータを用いた結果である。また、図３８及び３９のそれぞれの給油キャップ面の傾き角度Ψ及びΦについて平均値及び標準偏差を求めた。図３４に見られるように、給油キャップ表面上を走査する方向によっては（Ｃ）部のKnob上をなぞる場合があり得るので、4方向走査データの中より不適切なデータを削除して、測定精度を向上させる。
【００６５】
次に、中心座標の検出に関して、前項の結果より、比較的精度の良い結果の出た測距データ（ピッチ１ｍｍ、４方向）を用いて、給油キャップ中心座標の検出で述べた処理により給油キャップ中心を求めた。その結果を図４０に示す。また、求められた給油キャップ輪郭の方程式（楕円）から得られる輪郭線および給油キャップの中心座標を図３６に示す。 
【００６６】
以上の通り、傾き角度の検出では、図３８及び図３９の各行のデータは同一の給油キャップのつまみ角度を種々に変化させて計測したデータである。図３８と比較すると、図３９はΨ及びΦの標準偏差が小さく、異なるつまみの角度に対するバラツキの少ないことが分かる。図３９はレーザ測距におけるピッチが図３８の2倍の細かさになっており、計測されたデータ数も多い。したがって、安定した結果を得るためには、測定のピッチとデータ数が精度に対して強い影響を与えていると考えられる。また、図３８及び図３９ともに、Roll角ΨのバラつきはＹａｗ角Φと比べて、平均値に対する比率で判断すれば相対的に良いといえる。中心座標の検出では、図３９においても各行の4つのデータは給油キャップのつまみの角度は異なるがすべて同一の給油キャップを計測したものであるため、給油キャップの中心座標は等しい。ある程度のバラツキがみられるが、ロボットハンド及びツールの柔軟性で吸収できる範囲に収まった。給油キャップ表面上の計測点を選択する方法においては、簡易型レーザ測距センサではノイズが多く、計測点（Ａ）の選択を自動化することが困難であったが、高性能型では問題ないと考えられる。走査方向によってはKnobに沿ってなぞる方向があり得るので、複数方向の中から取捨選択して適切な２種類以上の複数データを複合計算して計測精度を高めることが可能である。簡易的には、計測点（Ｂ）に関してはその近傍に測定範囲（５０ｍｍ）を超えるデータが続いており明瞭に区別できる。そこで計測点（Ｂ）のみを用いて傾き角度の検出を行った結果を、傾き角度の検出と比較し図４１及び図４２に示す。また、図４３に有意水準５％での分散分析の結果を示すが、4方向走査の計測条件の場合では計測点（Ｂ）のみを用いても問題ないと考えられる。2方向走査の計測条件の場合では、誤差が見られる。上述のように測定のピッチが精度に対して強い影響を持っていると言える。結論として、簡易には4方向走査の（B）だけで傾き角度と中心座標を、高精度が必要な場合は複数の（A）面と（B）点を元に複合計算で正確に傾きと中心座標を求めることが可能となった。高性能のレーザ測距センサを使えばさらに精度を高め、計算時間を短縮することが可能である。
【００６７】
次に、本発明の他の特徴である給油キャップを外した状態での給油口中心位置の画像認識について具体的に説明する。
【００６８】
まず、 認識手法に関して、給油ノズルを挿入したり、給油キャップを閉める際には、給油管の中心が正確に把握されていなければならない。キャップを外した状態での給油口は、給油キャップは雄ネジ、給油口は雌ネジとなっており、給油口の中心位置と給油キャップの中心位置は等しいが、給油作業を確実に行なうためにはその都度、確認作業が必要である。給油による車体重量の変化による給油口の位置変動等があるため、給油キャップの中心位置をそのまま用いず、新たに給油口の中心を求めることができる認識手法が必要となる。
【００６９】
給油キャップを外した状態での給油口を撮影し画像処理を行なう際、給油口が雌ネジとなっているため、エッジ検出を行なうとその周辺に多数の同心円状の輪郭が現れ、エッジを利用したテンプレートマッチング等の手法では非常に誤認識を誘発しやすい。そのため、このような影響に左右されずに認識を行なう必要があり、新たに画像認識手法を考案した。
【００７０】
そこで、本発明ではエッジ検出ではなく、前述の給油フタの画像認識法における、領域検出と同様に、領域拡張法を用いた領域検出によって給油口領域を求める。給油口の管内部は、奥まっていて暗い状態にある。ここでは、給油口領域とは周囲に比較して輝度値が比較的小さい丸い領域と定義する。領域検出の処理開始画素は、給油キャップの中心座標に基づいたスクリーニングによって決定する。
【００７１】
まず、スクリーニングに関して、給油フタの画像認識法における、スクリーニングと同様に、領域拡張法を用いた領域検出の処理開始座標を決定する目的で、スクリーニングを行なう。前述のように給油キャップの中心位置はすでに求められているため、給油口の位置もほぼ判明している。給油口はタンクへ続く管の開口断面であるため、画像中の他の部分に比べ、明らかに輝度値が小さいと言える。そこで、給油キャップの中心座標の周辺で最も輝度値の低い画素を、領域検出の処理開始画素とする。
【００７２】
次に、領域検出に関して、キャップを外した状態での給油口の認識においては、先に述べたように給油口が雌ネジであり、給油口周辺に多数の同心円状の輪郭が表れるため、前述の 領域検出とは異なり、前処理としてエッジ検出を行なわない。したがって、キャップを外した状態での給油口の認識においては、給油フタの認識とは異なる同一領域と判断するための基準が必要である。前記のスクリーニングでも述べたように、給油口はタンクへ続く管の開口断面であるため、画像中の他の部分に比べ輝度値が小さく、給油口の周囲との輝度値の差が大きいと言える。よって、あらかじめしきい値を設定し、画素間の輝度値の差がそのしきい値以下であるならば、同一領域と判断する。一般に、画像処理は多数の画素に対して繰り返し計算を行なうので、短時間で終了しない場合が多い。このため処理を行なうべき問題の性質を利用して、できるだけ汎用性を維持しつつ、処理の高速化を図るアルゴリズムを考案するのが効果的である。この趣旨から本件では、画像の中央近くに給油口が暗い楕円形の領域として存在するという特徴に注目して、目的とする領域の内部の点から塗りつぶしを開始すれば、最初に（迅速に）給油口が検出できると考え、領域検出法（ラベリング法）を採用することとした。
【００７３】
ラベリング法による処理のアルゴリズムとしては、給油口の中心座標は識別する画像の中央近くに存在すること、給油口領域の内部にある可能性が高い点を選択して塗りつぶしを開始すること、及び給油口検出の成否を迅速に判定することに留意して、次のようなアルゴリズムを設定した。
【００７４】
すなわち、１）塗りつぶし開始点の決定に関して、ラベリング法による給油口の探索開始点は、画面中心の画素と、そこから左右上下に一定距離（現在は経験的に得られた給油口の半径を用いる）離れた格子点上の画素つまり3×3＝9個の点の輝度を調べ、輝度の一番低い画素とする。次に、２）ラベリング処理に関して、探索開始点の周囲の輝度が近い（設定した閾値以内の）画素を順に塗りつぶして領域を求める。複数画素の輝度の平均値を比較することも可能とする。領域周囲のすべての画素が異なる輝度（閾値より大きな差がある）となった状態で、一つのオブジェクト（画像内の部分領域）が検出されたとする。また、３）認識成功の判定に関して、検出されたオブジェクトについて、その左右上下の寸法（画素数の最大値）を長短径とする楕円（これを理想楕円と称する）を想定して、その面積（画素数）を計算し、オブジェクトの面積と比較する。両者の面積の一致度が閾値以上であれば給油口が認識されたものとし、計算を打ち切る。さらに、４）再探索に関して、面積の一致度が閾値未満であれば、探索開始点を画面の中心から外側に増やして、５×５＝２５個の点を考え、未探索の点２５−９＝１６個の点の輝度を調べ、輝度の一番低い画素から再探索を行なう。この結果についても同じ認識成功の判定を行なう。再探索によっても給油口が認識されなかった場合は、失敗として処理を打ち切り、異常終了とする。これらの全体処理フローは図４６に示す。
【００７５】
実験による実証に関して、キャップを外した状態での給油口の認識方法の有効性を確認するために、サンプル画像に対して認識実験を行なった。領域検出で用いるしきい値はthreshold＝１０とした。実験結果を図４４及び図４５に示す。ただし、認識された給油口の中心座標を黒色の小四角形で、その領域を白色の輪郭線の灰色の領域で表わす。図４５から分かるように給油口領域が正しく検出され、その中心座標も求めることができた。
【００７６】
上記構成では、給油キャップを取り外した状態での給油管の中心位置測定は、領域拡張法による領域検出を行うことによって正確に求めることが出来る用になった。今まで多く用いられていたエッジ検出においては、ネジ部で多くの同心円が現れ中心を特定することが困難であった。このことによって、給油前でのノズル挿入位置の正確な特定が出来るようになり、また給油後でのキャップ閉めの中心位置も正確に把握できて自動給油システムが円滑に運用されるようになった。
【産業上の利用可能性】
【００７７】
自動車へ燃料油を自動給油するときに、自動車の停車位置を正しく誘導できるようにするとともに、画像処理により給油口蓋の位置を正確に認識し、給油口キャップの傾きを計測し、給油口の位置を正確に計測できる自動給油装置に利用することができる。
【図面の簡単な説明】
【００７８】
【図１】本発明実施形態の自動給油装置の正面図である。
【図２】本発明実施形態の自動給油装置の平面図である。
【図３】本発明実施形態の自動給油装置の構成を説明するブロック図である。
【図４】本発明実施形態のロボット装置のアーム先端部の斜視図である。
【図５】本発明実施形態の自動給油装置の動作概要を説明するフローチャートである。
【図６】本発明実施形態の停車位置誘導装置の構成を説明する図である。
【図７】本発明実施形態の停車位置誘導装置により検出される自動車の状態を説明する図である。
【図８】本発明実施形態の給油フタの画像認識処理を説明するフローチャートである。
【図９】本発明実施形態の給油フタの画像認識処理において適用される計算式を示す図である。
【図１０】本発明実施形態の∇２Ｇフィルタの概形を説明する図である。
【図１１】本発明実施形態の∇２Ｇフィルタのゼロ交差が生じている状態を説明する図である。
【図１２】本発明実施形態の給油フタの元の画像を示す図である。
【図１３】本発明実施形態の∇２Ｇフィルタの出力を示す図である。
【図１４】本発明実施形態の給油フタの符号による二値化した図である。
【図１５】本発明実施形態の給油フタのゼロ交差による二値化図である。
【図１６】本発明実施形態の給油フタのエッジ検出画像に候補座標を配置した図である。
【図１７】本発明実施形態の給油フタの内部領域に含まれる座標の判別を示す図である。
【図１８】本発明実施形態の給油フタの領域を示す図である。
【図１９】本発明実施形態の給油フタの溝領域を示す図である。
【図２０】本発明実施形態の給油フタの溝領域から得られた図形の自己回帰モデルによる予測を説明する図である。
【図２１】本発明実施形態の給油フタの溝領域に対する処理の予測誤差を説明する図である。
【図２２】本発明実施形態の給油フタの溝領域に対する処理の移動平均の予測誤差を説明する図である。
【図２３】本発明実施形態の給油フタの遠距離撮影画像における実施結果を示す図である。
【図２４】本発明実施形態の給油フタの遠距離撮影画像における元画像を示す図である。
【図２５】本発明実施形態の給油フタの遠距離撮影画像における実施結果を示す図である。
【図２６】本発明実施形態の給油フタの近距離撮影画像における実施結果を示す図である。
【図２７】本発明実施形態の給油フタの近距離撮影画像における元画像を示す図である。
【図２８】本発明実施形態の給油フタの近距離撮影画像における実施結果を示す図である。
【図２９】本発明実施形態の給油口の傾き計測における幾何学的位置関係を説明する図である。
【図３０】本発明実施形態の給油口の傾き計測条件を説明する図である。
【図３１】本発明実施形態の給油口の２方向走査による傾き計測条件を説明する図である。
【図３２】本発明実施形態の給油口の４方向走査による傾き計測条件を説明する図である。
【図３３】本発明実施形態の給油口の傾き計測における測距データを示す図である。
【図３４】本発明実施形態の給油キャップ上の計測点の位置関係を説明する図である。
【図３５】本発明実施形態の給油口の傾き計測における座標軸設定を説明する図である。
【図３６】本発明実施形態の給油口の傾き計測における輪郭線及び給油キャップの中心座標を説明する図である。
【図３７】本発明実施形態の給油口の傾き計測において適用される計算式を説明する図である。
【図３８】本発明実施形態の給油口の傾き計測における給油キャップ上面のカメラ移動面に対する傾きを説明する図である。
【図３９】本発明実施形態の給油口の傾き計測における給油キャップ上面のカメラ移動面に対する傾きを説明するである。
【図４０】本発明実施形態の給油口の傾き計測における給油キャップの中心座標を説明する図である。
【図４１】本発明実施形態の給油口の傾き計測の４方向走査におけるＹａｗを示す図である。
【図４２】本発明実施形態の給油口の傾き計測の４方向走査におけるＲｏｏｌ角を示す図である。
【図４３】本発明実施形態の給油口の傾き計測の分析結果を説明する図である。
【図４４】本発明実施形態の給油口中心位置の画像認識における給油口の元画像を示す図である。
【図４５】本発明実施形態の給油口中心位置の画像認識における給油口の認識結果を示す図である。
【図４６】本発明実施形態のラベリングにる処理を示すフローチャートである。
【符号の説明】
【００７９】
１  自動車
２  アイランド
３  給油エリア
４  車載装置
１０  自動給油装置
１１  給油装置
１２  給油ノズル
１３  給油ホース
１４  給油ノズル
１５  ノズル掛け
１６  第１無線装置
１７  第２無線装置
１８  ゲートバー装置
２０  ロボット装置
２１  ロボット機構
２２  ロボットコントローラ
２３  ロボット本体
２４  アーム部
２４ａ  第１アーム部
２４ｂ  第２アーム部
２４ｃ  アームヘッド部
２５  チャック部
２６  開閉部
２７  凹部状部分
２８  画像センサ
２９  距離測定センサ
３０  誘導案内装置
３１  その他の入力装置
３２  警報音声・表示装置
３３  料金決済装置
３４  その他の出力装置
４０  停車位置誘導装置
５０  制御装置
５１  入力部
５２  システム演算処理部
５３  画像処理・計測プログラム部
５４  ＯＳ・メモリシステム制御部
５５  出力部
【図１】
2006069549.tif 000003
【図２】
2006069549.tif 000004
【図３】
2006069549.tif 000005
【図４】
2006069549.tif 000006
【図５】
2006069549.tif 000007
【図６】
2006069549.tif 000008
【図７】
2006069549.tif 000009
【図８】
2006069549.tif 000010
【図９】
2006069549.tif 000011
【図１０】
2006069549.tif 000012
【図１１】
2006069549.tif 000013
【図１２】
2006069549.tif 000014
【図１３】
2006069549.tif 000015
【図１４】
2006069549.tif 000016
【図１５】
2006069549.tif 000017
【図１６】
2006069549.tif 000018
【図１７】
2006069549.tif 000019
【図１８】
2006069549.tif 000020
【図１９】
2006069549.tif 000021
【図２０】
2006069549.tif 000022
【図２１】
2006069549.tif 000023
【図２２】
2006069549.tif 000024
【図２３】
2006069549.tif 000025
【図２４】
2006069549.tif 000026
【図２５】
2006069549.tif 000027
【図２６】
2006069549.tif 000028
【図２７】
2006069549.tif 000029
【図２８】
2006069549.tif 000030
【図２９】
2006069549.tif 000031
【図３０】
2006069549.tif 000032
【図３１】
2006069549.tif 000033
【図３２】
2006069549.tif 000034
【図３３】
2006069549.tif 000035
【図３４】
2006069549.tif 000036
【図３５】
2006069549.tif 000037
【図３６】
2006069549.tif 000038
【図３７】
2006069549.tif 000039
【図３８】
2006069549.tif 000040
【図３９】
2006069549.tif 000041
【図４０】
2006069549.tif 000042
【図４１】
2006069549.tif 000043
【図４２】
2006069549.tif 000044
【図４３】
2006069549.tif 000045
【図４４】
2006069549.tif 000046
【図４５】
2006069549.tif 000047
【図４６】
2006069549.tif 000048