(57)【要約】      （修正有）【課題】ユーザが給油作業の後に給油キャップを閉めたか否かを判定することができる給油作業モニタ装置、給油作業モニタシステム、給油作業モニタ方法および給油作業モニタプログラムを提供する。【解決手段】給油作業モニタ装置は、撮像部１１によって撮像された車両の給油口付近が写る画像を取得し、取得した画像の中から対象部分を検知するための対象部分検知部３２と、対象部分検知部３２によって検知された対象部分の状態に基づいて、ユーザが給油作業の後に車両の給油キャップを閉めたか否かを判定する給油キャップ判定を行うための動作判定部２４とを備える。【選択図】図３
2014118153.tif 000002
【特許請求の範囲】
【請求項１】
撮像部によって撮像された車両の給油口付近が写る画像を取得し、取得した前記画像の中から対象部分を検知するための対象部分検知部と、
前記対象部分検知部によって検知された前記対象部分の状態に基づいて、ユーザが給油作業の後に前記車両の給油キャップを閉めたか否かを判定する給油キャップ判定を行うための動作判定部とを備える、給油作業モニタ装置。
【請求項２】
前記対象部分は、前記ユーザの手であり、
前記動作判定部は、前記対象部分検知部によって検知された前記ユーザの手の動きに基づいて前記給油キャップ判定を行う、請求項１に記載の給油作業モニタ装置。
【請求項３】
前記動作判定部は、前記給油作業の後、前記画像中に第１の所定時間以上前記ユーザの手が写っているか否かの判断、または、前記ユーザの手が所定条件を満たす動作を行っているか否かの判断を行い、判断結果に基づいて前記給油キャップ判定を行う、請求項２に記載の給油作業モニタ装置。
【請求項４】
前記動作判定部は、前記給油作業の後、第２の所定時間が経過した場合、または、前記車両のドアが動いたことを検知した場合、前記ユーザの手に関する判断を終了し、
前記動作判定部は、前記ユーザの手に関する判断を終了するまでの間に、前記給油作業の後、前記画像中に前記ユーザの手が前記第１の所定時間以上写っていると判断しなかった場合、または、前記ユーザの手が前記所定条件を満たす動作を行っていると判断しなかった場合、前記ユーザが前記給油キャップを閉めていないと判定する、請求項３に記載の給油作業モニタ装置。
【請求項５】
前記動作判定部は、さらに、前記対象部分検知部によって検知された前記対象部分の状態に基づいて、前記ユーザが給油作業の後に給油口蓋を閉めたか否かを判定する給油口蓋判定を行う、請求項１から請求項４のいずれか１項に記載の給油作業モニタ装置。
【請求項６】
前記対象部分は、前記給油口または前記給油キャップであり、
前記動作判定部は、前記給油作業の後、前記画像中に前記給油口または前記給油キャップが写っているか否かを判断し、判断結果に基づいて、前記給油口蓋判定を行う、請求項５に記載の給油作業モニタ装置。
【請求項７】
前記動作判定部は、前記給油作業の後、第２の所定時間が経過した場合、または、前記車両のドアが動いたことを検知した場合、前記画像中に前記給油口または前記給油キャップが写っているか否かの判断を終了し、
前記動作判定部は、前記画像中に前記給油口または前記給油キャップが写っているか否かの判断を終了するまでの間、前記給油口または前記給油キャップが画像中に継続して写っていると判断した場合、前記ユーザが前記給油口蓋を閉めていないと判定する、請求項６に記載の給油作業モニタ装置。
【請求項８】
前記対象部分検知部は、前記画像に写る前記車両の側面のうち、給油口蓋、前記給油口、前記給油キャップ、または、給油ノズルの先端が写る位置を検知し、前記画像中において検知した前記位置を前記給油口付近として特定する、請求項１から請求項７のいずれか１項に記載の給油作業モニタ装置。
【請求項９】
前記給油作業モニタ装置は、さらに、
前記給油作業の終了タイミングを判断するための終了タイミング判断部を備え、
前記終了タイミング判断部は、前記対象部分検知部により検知された前記対象部分が前記画像中に写っているか否かを判断し、前記対象部分が前記画像に写っていないと判断した場合、前記対象部分が前記画像に写っていない時間を測定し、第３の所定時間以上前記対象部分が前記画像に写っていない場合、前記対象部分が前記画像に写らなくなったタイミングが前記終了タイミングであると判断する、請求項１から請求項８のいずれか１項に記載の給油作業モニタ装置。
【請求項１０】
前記給油作業モニタ装置は、さらに、
前記ユーザが前記給油キャップを閉めていないことの警告を行うための警告部を備え、
前記警告部は、前記給油作業の後に前記ユーザが料金の精算を行うための精算制御装置の表示部に前記警告を表示させる、請求項１から請求項９のいずれか１項に記載の給油作業モニタ装置。
【請求項１１】
前記撮像部による撮像される前記画像は近赤外線画像である、請求項１から請求項１０のいずれか１項に記載の給油作業モニタ装置。
【請求項１２】
ユーザが車両に対する給油作業の後に給油キャップを閉めたか否かの判定を行い、前記判定の結果を送信するための給油作業モニタ装置と、
前記給油作業モニタ装置から受けた前記判定の結果が、前記ユーザが前記給油キャップを閉めていないことを示す場合、前記ユーザに前記給油キャップの閉め忘れを通知するためのサーバ装置とを備える給油作業モニタシステムであって、
前記給油作業モニタ装置は、撮像部によって撮像された前記車両の給油口付近が写る画像を取得し、前記画像の中から対象部分を検知し、検知した前記対象部分の状態に基づいて前記判定を行う、給油作業モニタシステム。
【請求項１３】
ユーザが車両に対する給油作業の後に給油キャップを閉めたか否かの判定を行う給油作業モニタ装置における給油作業モニタ方法であって、
撮像部によって撮像された前記車両の給油口付近が写る画像を取得するステップと、
取得した前記画像の中から対象部分を検知するステップと、
検知した前記対象部分の状態に基づいて、前記ユーザが前記給油作業の後に前記車両の前記給油キャップを閉めたか否かを判定するステップとを含む、給油作業モニタ方法。
【請求項１４】
ユーザが車両に対する給油作業の後に給油キャップを閉めたか否かの判定を行う給油作業モニタ装置に用いられる給油作業モニタプログラムであって、
コンピュータに、
撮像部によって撮像された前記車両の給油口付近が写る画像を取得するステップと、
取得した前記画像の中から対象部分を検知するステップと、
検知した前記対象部分の状態に基づいて、前記ユーザが前記給油作業の後に前記車両の前記給油キャップを閉めたか否かを判定するステップとを実行させるための、給油作業モニタプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、給油作業モニタ装置、給油作業モニタシステム、給油作業モニタ方法および給油作業モニタプログラムに関し、特に、車両の給油所におけるユーザの動作を判定する給油作業モニタ装置、給油作業モニタシステム、給油作業モニタ方法および給油作業モニタプログラムに関する。
【背景技術】
【０００２】
近年、ガソリンなどの燃料油を車両へ給油する給油所においては、ユーザが燃料タンクへの給油作業を自ら行うセルフサービスの給油方式が導入される傾向にある。しかしながら、セルフサービスの給油方式に不慣れなユーザが多く存在するため、セルフサービスの給油所においてユーザによる給油作業を補助するための装置が開発されている。
【０００３】
たとえば、特開２０００−３３５６９４号公報（特許文献１）には、顧客自らが車両の燃料タンクへの給油操作を行うセルフサービス給油用の計量機が設置される給油所に配設され、車両が所定の停止位置に停止したときに、給油を行う前に当該車両に対して実施する事前操作を当該車両の運転者に報知する給油所用報知装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−３３５６９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、燃料タンクの給油口を塞ぐ給油キャップの取り外しをユーザが給油作業の前に行い、取り外した給油キャップをキャップ置き場に置いた場合、給油作業の後にユーザがこの給油キャップを閉め忘れることがある。
【０００６】
しかしながら、上述した特許文献１に記載の給油所報知装置では、ユーザに給油作業の前に行うべき操作または給油作業の後に行うべき操作を報知することができるものの、ユーザが報知された操作を実際に行ったか否かを確認することはできないため、ユーザが給油キャップを閉め忘れていても通知することができない。
【０００７】
そして、このような状況において、ユーザが給油キャップの閉め忘れに気付かず、給油キャップが外れたままの状態で車両を走行させた場合、燃料油が燃料タンクから外部に漏れて火災など重大な被害を招く虞がある。
【０００８】
この発明は、上述の課題を解決するためになされたもので、その目的は、ユーザが給油作業の後に給油キャップを閉めたか否かを判定することができる給油作業モニタ装置、給油作業モニタシステム、給油作業モニタ方法および給油作業モニタプログラムを提供することである。
【課題を解決するための手段】
【０００９】
（１）上記課題を解決するために、この発明のある局面に係わる給油作業モニタ装置は、撮像部によって撮像された車両の給油口付近が写る画像を取得し、取得した上記画像の中から対象部分を検知するための対象部分検知部と、上記対象部分検知部によって検知された上記対象部分の状態に基づいて、ユーザが給油作業の後に上記車両の給油キャップを閉めたか否かを判定する給油キャップ判定を行うための動作判定部とを備える。
【００１０】
このように、撮像された画像に写る給油口付近の実際の状態に基づいて給油キャップ判定を行う構成であるため、ユーザが給油作業の後に給油キャップを閉めたか否かを判定することができる。
【００１１】
（２）好ましくは、上記対象部分は、上記ユーザの手であり、上記動作判定部は、上記対象部分検知部によって検知された上記ユーザの手の動きに基づいて上記給油キャップ判定を行う。
【００１２】
このように、撮像された画像に写るユーザの手の動きを検知することより、正確な判定結果を得ることができる。
【００１３】
（３）好ましくは、上記動作判定部は、上記給油作業の後、上記画像中に第１の所定時間以上上記ユーザの手が写っているか否かの判断、または、上記ユーザの手が所定条件を満たす動作を行っているか否かの判断を行い、判断結果に基づいて上記給油キャップ判定を行う。
【００１４】
ここで、給油キャップを閉める場合、ユーザは、給油口に対して給油キャップを所定回数以上回転させることが一般的である。上記のように、ユーザの手が給油キャップを閉めるために必要とされる動きを行っているか否かを判断することにより、より正確な判定結果を得ることができる。
【００１５】
（４）好ましくは、上記動作判定部は、上記給油作業の後、第２の所定時間が経過した場合、または、上記車両のドアが動いたことを検知した場合、上記ユーザの手に関する判断を終了し、上記動作判定部は、上記ユーザの手に関する判断を終了するまでの間に、上記給油作業の後、上記画像中に上記ユーザの手が上記第１の所定時間以上写っていると判断しなかった場合、または、上記ユーザの手が上記所定条件を満たす動作を行っていると判断しなかった場合、上記ユーザが上記給油キャップを閉めていないと判定する。
【００１６】
このような構成により、単にユーザが給油キャップを閉めていない状態を検知するだけでなく、ユーザが給油キャップを閉め忘れて他の動作を始めたことを的確に判定することができる。
【００１７】
（５）好ましくは、上記動作判定部は、さらに、上記対象部分検知部によって検知された上記対象部分の状態に基づいて、上記ユーザが給油作業の後に給油口蓋を閉めたか否かを判定する給油口蓋判定を行う。
【００１８】
このような構成により、ユーザが給油キャップを閉めたか否かに加えて、ユーザが給油作業の後に給油口蓋を閉めたか否かを判定することができる。
【００１９】
（６）好ましくは、上記対象部分は、上記給油口または上記給油キャップであり、上記動作判定部は、上記給油作業の後、上記画像中に上記給油口または上記給油キャップが写っているか否かを判断し、判断結果に基づいて、上記給油口蓋判定を行う。
【００２０】
このような構成により、ユーザが給油口蓋を閉めたか否かを容易に判定することができる。
【００２１】
（７）好ましくは、上記動作判定部は、上記給油作業の後、第２の所定時間が経過した場合、または、上記車両のドアが動いたことを検知した場合、上記画像中に上記給油口または上記給油キャップが写っているか否かの判断を終了し、上記動作判定部は、上記画像中に上記給油口または上記給油キャップが写っているか否かの判断を終了するまでの間、上記給油口または上記給油キャップが画像中に継続して写っていると判断した場合、上記ユーザが上記給油口蓋を閉めていないと判定する。
【００２２】
このような構成により、単にユーザが給油口蓋を閉めていない状態を検知するだけでなく、ユーザが給油口蓋を閉め忘れて他の動作を始めたことを的確に判定することができる。
【００２３】
（８）好ましくは、上記対象部分検知部は、上記画像に写る上記車両の側面のうち、給油口蓋、上記給油口、上記給油キャップ、または、給油ノズルの先端が写る位置を検知し、上記画像中において検知した上記位置を上記給油口付近として特定する。
【００２４】
このような構成により、車両ごとに給油口の位置が異なる場合であっても、給油口のおよその位置を特定することができる。
【００２５】
（９）好ましくは、上記給油作業モニタ装置は、さらに、上記給油作業の終了タイミングを判断するための終了タイミング判断部を備え、上記終了タイミング判断部は、上記対象部分検知部により検知された上記対象部分が上記画像中に写っているか否かを判断し、上記対象部分が上記画像に写っていないと判断した場合、上記対象部分が上記画像に写っていない時間を測定し、第３の所定時間以上上記対象部分が上記画像に写っていない場合、上記対象部分が上記画像から消えたタイミングが上記終了タイミングであると判断する。
【００２６】
このような構成により、給油作業の終了タイミングを正確に判断することができるため、給油作業が終了するまでに撮像された画像に基づいて給油キャップ判定が行われることを防ぎ、一層正確な判定結果を得ることができる。
【００２７】
（１０）好ましくは、上記給油作業モニタ装置は、さらに、上記ユーザが上記給油キャップを閉めていないことの警告を行うための警告部を備え、上記警告部は、上記給油作業の後に上記ユーザが料金の精算を行うための精算制御装置の表示部に上記警告を表示させる。
【００２８】
このように、給油作業後であり、かつ、ユーザが車両へ乗車する前に、ユーザが目視するところに警告信号を表示する構成により、ユーザが給油キャップを閉め忘れたまま給油所を離れてしまうことを回避することができる。
【００２９】
（１１）好ましくは、上記撮像部による撮像される上記画像は近赤外線画像である。
【００３０】
このような構成により、対象部分検知部は、材質の違いにより生じる画像中の色彩の違い等に基づいて対象部分を容易に検知することができる。
【００３１】
（１２）上記課題を解決するために、この発明のある局面に係わる給油作業モニタシステムは、ユーザが車両に対する給油作業の後に給油キャップを閉めたか否かの判定を行い、上記判定の結果を送信するための給油作業モニタ装置と、上記給油作業モニタ装置から受けた上記判定の結果が、上記ユーザが上記給油キャップを閉めていないことを示す場合、上記ユーザに上記給油キャップの閉め忘れを通知するためのサーバ装置とを備える給油作業モニタシステムであって、上記給油作業モニタ装置は、撮像部によって撮像された上記車両の給油口付近が写る画像を取得し、上記画像の中から対象部分を検知し、検知した上記対象部分の状態に基づいて上記判定を行う。
【００３２】
このように、撮像された画像に写る給油口付近の実際の状態に基づいて給油キャップ判定を行う構成であるため、ユーザが給油作業の後に給油キャップを閉めたか否かを判定することができる。
【００３３】
また、このような構成により、ユーザが給油キャップを閉め忘れたまま車両を走行させて給油所を離れた場合であっても、ユーザに対して給油キャップの閉め忘れを通知することができる。
【００３４】
（１３）上記課題を解決するために、この発明のある局面に係わる給油作業モニタ方法は、ユーザが車両に対する給油作業の後に給油キャップを閉めたか否かの判定を行う給油作業モニタ装置における給油作業モニタ方法であって、撮像部によって撮像された上記車両の給油口付近が写る画像を取得するステップと、取得した上記画像の中から対象部分を検知するステップと、検知した上記対象部分の状態に基づいて、上記ユーザが上記給油作業の後に上記車両の上記給油キャップを閉めたか否かを判定するステップとを含む。
【００３５】
このように、撮像された画像に写る給油口付近の実際の状態に基づいて給油キャップ判定を行う構成であるため、ユーザが給油作業の後に給油キャップを閉めたか否かを判定することができる。
【００３６】
（１４）上記課題を解決するために、この発明のある局面に係わる給油作業モニタプログラムは、ユーザが車両に対する給油作業の後に給油キャップを閉めたか否かの判定を行う給油作業モニタ装置に用いられる給油作業モニタプログラムであって、コンピュータに、撮像部によって撮像された上記車両の給油口付近が写る画像を取得するステップと、取得した上記画像の中から対象部分を検知するステップと、検知した上記対象部分の状態に基づいて、上記ユーザが上記給油作業の後に上記車両の上記給油キャップを閉めたか否かを判定するステップとを実行させるためのプログラムである。
【００３７】
このように、撮像された画像に写る給油口付近の実際の状態に基づいて給油キャップ判定を行う構成であるため、ユーザが給油作業の後に給油キャップを閉めたか否かを判定することができる。
【発明の効果】
【００３８】
本発明によれば、ユーザが給油作業の後に給油キャップを閉めたか否かを判定することができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の実施の形態に係る給油作業モニタ装置を備える給油作業モニタシステムを示す図である。
【図２】本発明の実施の形態に係る給油作業モニタ装置の構成を示す図である。
【図３】図２に示す画像処理部の詳細な構成を示す図である。
【図４】（ａ）は、図２に示す撮像部により撮像された車両の側面が写る広角画像であり、（ｂ）は、（ａ）に示す画像中に写る給油口付近の拡大画像の一例である。
【図５】図２に示す撮像部により撮像された給油口付近が写る拡大画像の一例である。
【図６】本発明の実施の形態に係る給油作業モニタ装置の動作判定部により設定されるフラグの種類と、拡大画像に写る対象部分の状態との関係を示す図である。
【図７】図２に示す撮像部により撮像された給油口付近が写る拡大画像の一例である。
【図８】図２に示す撮像部により撮像された給油口付近が写る拡大画像の一例である。
【図９】本発明の実施の形態に係る給油作業モニタ装置の動作判定部により設定されるフラグの順番と、動作判定部により判定される判定結果の内容との関係を示す図である。
【図１０】本発明の実施の形態に係る給油作業モニタ装置が給油キャップ判定および給油口蓋判定を行なう際の動作手順を定めたフローチャートである。
【図１１】本発明の実施の形態の変形例１に係る給油作業モニタ装置を備える給油作業モニタシステムを示す図である。
【発明を実施するための形態】
【００４０】
（実施の形態）
以下、本発明の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。
【００４１】
［構成および基本動作］
図１は、本発明の実施の形態に係る給油作業モニタ装置を備える給油作業モニタシステムを示す図である。
【００４２】
図１を参照して、給油作業モニタシステム１００は、給油作業モニタ装置１０と、撮像部１１と、給油制御装置１２と、精算制御装置１３とを備える。
【００４３】
給油作業モニタ装置１０および給油制御装置１２は、給油装置本体１の内部に設けられ、撮像部１１は、給油装置本体１の表面に取り付けられている。また、精算制御装置１３は、料金精算装置本体２の内部に設けられている。
【００４４】
給油装置本体１および料金精算装置本体２は、たとえばセルフサービスの給油方式を導入している給油所内に設置されている。給油制御装置１２は、ユーザにより操作されて車両への燃料油の供給制御を行う。また、精算制御装置１３は、給油作業後にユーザが支払うべき料金の算出処理などを行う。
【００４５】
撮像部１１は、給油装置本体１の前方を撮像する。すなわち、給油装置本体１の前方に車両が停止した場合、当該車両の側面を撮像し、撮像した画像のデータを給油作業モニタ装置１０へ送信する。撮像部１１は、車両ごとに給油装置本体１に対する停車位置が多少異なる場合であっても、車両の前方ドア、車両の後方ドア、および車両の側面後方側に設けられた給油口蓋が画像に写る程度に広い画角を有する。なお、撮像部１１は、給油作業モニタ装置１０の構成要素であってもよい。
【００４６】
給油作業モニタ装置１０は、撮像部１１から車両の側面が写る画像（以下、「広角画像」と称する）のデータを受信して、この画像の中から車両の給油口のおよその位置を特定する。そして、給油作業モニタ装置１０は、特定した給油口の位置を示す位置情報を撮像部１１へ送信し、撮像部１１は、給油作業モニタ装置１０から受信した位置情報に基づいて、画角を狭く調整し、給油口付近が写る拡大画像を撮像する。
【００４７】
また、給油作業モニタ装置１０は、撮像部１１から拡大画像のデータを受信して、この拡大画像の中から対象部分を検知する。この対象部分とは、たとえばユーザの手であり、給油作業モニタ装置１０は、所定の画像処理を行うことにより拡大画像の中からユーザの手を検知する。
【００４８】
そして、給油作業モニタ装置１０は、検知した対象部分の状態、たとえばユーザの手の動きが所定条件を満たすか否かを判断し、判断した結果に基づいてユーザが給油作業の後に車両の給油キャップを閉めたか否かを判定する給油キャップ判定を行う。そして、給油作業モニタ装置１０は、給油キャップ判定の判定結果を示す信号、たとえばユーザが給油キャップを閉め忘れていることを警告する警告信号を精算制御装置１３へ送信する。
【００４９】
精算制御装置１３は、たとえば、給油作業モニタ装置１０からユーザが給油キャップを閉め忘れていることを示す警告信号を受けた場合、この警告信号を料金精算装置本体２に設けられた表示モニタ（表示部）に表示させる。これにより、ユーザは、給油作業後の料金支払いの際に表示モニタに表示されている警告信号を目視することにより、給油キャップを閉め忘れていることに気付くことができ、給油キャップが外れている状態のまま車両を走行させることなどを防ぐことができる。
【００５０】
［給油作業モニタ装置の詳細な構成］
図２は、本発明の実施の形態に係る給油作業モニタ装置の構成を示す図であり、図３は、図２に示す画像処理部の詳細な構成を示す図である。
【００５１】
図２および図３を参照して、給油作業モニタ装置１０は、画像処理部２１と、撮像調整部２２と、タイミング情報取得部２３と、動作判定部２４と、警告部２５とを含む。また、画像処理部２１は、位置特定部３１と、対象部分検知部３２と、終了タイミング判断部３３と、検知結果出力部３４とを有する。以下、各構成要素の説明を、「（ａ）給油口のおよその位置の特定」、「（ｂ）拡大画像の取得」、「（ｃ）対象部分の検知および給油作業の終了タイミングの判断」、「（ｄ）対象部分の状態に対応するフラグの設定」および「（ｅ）給油作業後におけるユーザの動作判定」に分けて行う。
【００５２】
（ａ）給油口のおよその位置の特定
位置特定部３１は、撮像部１１により撮像された広角画像のデータを受信する。そして、撮像部１１から受信した広角画像のデータに基づき、この広角画像の中から車両の給油口のおよその位置を特定する。
【００５３】
図４（ａ）は、図２に示す撮像部により撮像された車両の側面が写る広角画像であり、図４（ｂ）は、図４（ａ）に示す画像中に写る給油口付近の拡大画像の一例である。
【００５４】
たとえば、図４（ａ）に示す例では、位置特定部３１は、パターンマッチングなどの画像処理を行うことによって広角画像に写る車両Ｘの側面のうち切り込みが設けられた部分、すなわち給油口蓋Ａを検知する。そして、位置特定部３１は、検知した給油口蓋Ａの位置を給油口のおよその位置として特定し、特定した位置を示す位置情報を撮像調整部２２へ出力する。
【００５５】
なお、位置特定部３１は、給油口蓋Ａを検知するだけでなく、他の方法を用いて車両Ｘの給油口のおよその位置を特定することができる。たとえば、ユーザが給油口蓋Ａの開操作を行うことによって給油口蓋Ａが開いた場合、位置特定部３１は、広角画像の中から、給油キャップ、給油口または給油ノズルの先端を検知し、検知した部分の位置を給油口のおよその位置として特定し、特定した位置を示す位置情報を撮像調整部２２へ出力することも可能である。
【００５６】
また、撮像部１１は近赤外線センサであってもよい。この場合、位置特定部３１は、撮像部１１から近赤外線画像のデータを受けて、材質等の違いによって生じる近赤外線画像における色彩の違いなどに基づいて給油キャップなどを検知することができる。そして、この場合も上記と同様に、位置特定部３１は、検知した給油キャップなどの位置を給油口のおよその位置として特定し、特定した位置を示す位置情報を撮像調整部２２へ出力する。
【００５７】
（ｂ）拡大画像の取得
撮像調整部２２は、位置特定部３１から受けた位置情報に基づいて、給油口付近が写る拡大画像が撮像部１１により撮像されるように、撮像部１１へ制御情報を送信する。これにより、撮像部１１は、たとえば図４（ｂ）に示すように、給油口蓋Ａ、すなわち給油口付近に向けて画角を狭く調整し、給油口付近の拡大画像を撮像する。そして、撮像部１１は、撮像した拡大画像のデータを給油作業モニタ装置１０の対象部分検知部３２へ出力する。
【００５８】
（ｃ）対象部分の検知および給油作業の終了タイミングの判断
図５は、図２に示す撮像部により撮像された給油口付近が写る拡大画像の一例である。
【００５９】
対象部分検知部３２は、ユーザが給油口蓋Ａを開操作し、給油キャップを開けて給油作業を開始すると、図５に示すような拡大画像のデータを撮像部１１から受信する。この拡大画像には、ユーザの手および給油ノズルＮが写っている。
【００６０】
対象部分検知部３２は、拡大画像の中からパターンマッチングなどの画像処理を行うことによってユーザの手を検知する。なお、対象部分検知部３２は、パターンマッチングによる方法に限定されず、各種他の方法を用いてユーザの手を検知することが可能である。そして、対象部分検知部３２は、拡大画像にユーザの手が写っているか否かを示す情報およびユーザの手の動きを示す情報などが含まれる検知結果を、終了タイミング判断部３３へ出力する。
【００６１】
終了タイミング判断部３３は、対象部分検知部３２から受けた検知結果に基づいて、ユーザの手が拡大画像に写っていないと判断すると、このユーザの手が拡大画像に写っていない時間の測定を開始する。そして、ユーザの手が所定時間Ｔ３（第３の所定時間）以上拡大画像に写っていない場合、終了タイミング判断部３３は、ユーザの手が拡大画像から消えたタイミングが、ユーザによる給油作業が終了したタイミング（以下、「終了タイミング」と称する）であると判断し、終了タイミングを示すタイミング情報を対象部分検知部３２へ出力する。
【００６２】
なお、対象部分検知部３２は、ユーザの手だけでなく、給油ノズルを拡大画像の中から検知し、検知結果を終了タイミング判断部３３へ出力することも可能である。
【００６３】
すなわち、終了タイミング判断部３３は、上記と同様に、対象部分検知部３２から受けた検知結果に基づいて、拡大画像に給油ノズルが写っているか否かを判断し、給油ノズルが拡大画像に写っていないと判断すると、この給油ノズルが拡大画像に写っていない時間の測定を開始する。そして、給油ノズルが所定時間Ｔ３以上拡大画像に写っていない場合、終了タイミング判断部３３は、給油ノズルが拡大画像から消えたタイミングが終了タイミングであると判断し、終了タイミングを示すタイミング情報を対象部分検知部３２へ出力する。
【００６４】
さらに、終了タイミング判断部３３は、タイミング情報取得部２３を経由して給油制御装置１２からタイミング情報を受けることも可能である。
【００６５】
たとえば、給油制御装置１２は、ユーザにより設定された燃料油の供給を終えたタイミング、または、給油ノズルが所定の位置に戻されたタイミングを検知し、検知したタイミング、すなわち終了タイミング示すタイミング情報をタイミング情報取得部２３へ送信する。
【００６６】
そして、タイミング情報取得部２３は、給油制御装置１２から受信したタイミング情報を、終了タイミング判断部３３へ出力し、終了タイミング判断部３３は、このタイミング情報を対象部分検知部３２へ出力する。
【００６７】
（ｄ）対象部分の状態に対応するフラグの設定
対象部分検知部３２は、終了タイミング判断部３３からタイミング情報を受けると、終了タイミング以降に撮像部１１により撮像された拡大画像に写る対象部分の検知結果を検知結果出力部３４へ出力する。そして、検知結果出力部３４は、対象部分検知部３２から受けた検知結果を、動作判定部２４へ出力する。
【００６８】
動作判定部２４は、検知結果出力部３４から受けた検知結果に基づいて、拡大画像に写る対象部分の状態が所定条件を満たすか否かを判断することにより、ユーザが給油作業後に給油キャップを閉めたか否かを判定する給油キャップ判定、および、ユーザが給油作業後に給油口蓋を閉めたか否かを判定する給油口蓋判定を行う。
【００６９】
図６は、本発明の実施の形態に係る給油作業モニタ装置の動作判定部により設定されるフラグの種類と、拡大画像に写る対象部分の状態との関係を示す図である。また、図７は、図２に示す撮像部により撮像された給油口付近が写る拡大画像の一例であり、図８は、図２に示す撮像部により撮像された給油口付近が写る拡大画像の一例である。
【００７０】
図６を参照して、動作判定部２４は、検知結果出力部３４経由で対象部分検知部３２から受けた検知結果に基づいて、給油作業の後におけるユーザの手の動作に関する判断を行う。詳細には、給油作業の終了直後、図７に示すように、拡大画像には給油口Ｂが写っている。そして、ユーザが給油口Ｂに対して給油キャップＣを閉める場合、図８に示すように、拡大画像には給油キャップＣおよびユーザの手が所定時間Ｔ１（第１の所定時間）以上写る。
【００７１】
このため、動作判定部２４は、検知結果に基づいて、所定時間Ｔ１以上ユーザの手が拡大画像に写っていると判断した場合、フラグＦＡを設定する。また、動作判定部２４は、給油作業の後、ユーザの手の動作が所定条件を満たす場合も同様に、フラグＦＡを設定する。
【００７２】
なお、たとえば給油キャップＣを閉めるために給油キャップＣを給油口Ｂに対して時計回りに３回以上繰り返して回転させる必要がある場合、ユーザが時計回りに手を回す動作を３回以上繰り返して行った場合に、ユーザの手の動作が所定条件を満たしていると判断される。
【００７３】
また、対象部分検知部３２は、図７に示す給油口Ｂまたは図８に示す給油キャップＣを検知する。なお、給油口Ｂおよび給油キャップＣは、たとえば互いに周囲が略同一の半径を有する円形状であるため、対象部分検知部３２は、これらの区別を行うことなく同一のテンプレートを用いてパターンマッチングすることにより給油口Ｂまたは給油キャップＣを検知することができる。そして、対象部分検知部３２は、給油口Ｂまたは給油キャップＣが拡大画像に写っているか否かを示す情報などが含まれる検知結果を、検知結果出力部３４経由で動作判定部２４へ出力する。
【００７４】
動作判定部２４は、検知結果出力部３４経由で対象部分検知部３２から受けた検知結果に基づいて、拡大画像に給油口Ｂまたは給油キャップＣのいずれも写っていないと判断した場合、フラグＦＢを設定する。
【００７５】
さらに、動作判定部２４は、対象部分検知部３２から検知結果を受け始めたタイミング、すなわち終了タイミングから所定時間Ｔ２（第２の所定時間）が経過した場合には、フラグＦＣを設定する。そして、動作判定部２４は、フラグＦＣを設定すると、ユーザの手に関する判断、すなわち所定時間Ｔ１以上ユーザの手が拡大画像に写っているか否かの判断およびユーザの手が所定条件を満たす動作を行っているか否かの判断を終了する。また、動作判定部２４は、フラグＦＣを設定すると、画像中に給油口Ｂまたは給油キャップＣが写っているか否かの判断を終了する。なお、所定時間Ｔ２は、上述した所定時間Ｔ１よりも大きい値に設定されている。
【００７６】
なお、本発明の実施の形態に係る給油作業モニタ装置１０では、撮像部１１から車両Ｘの側面が写る広角画像のデータを取得した後、車両Ｘの給油口Ｂ付近が写る拡大画像のデータを取得する。しかしながら、給油作業モニタ装置１０は、広角画像に給油口Ｂ付近が写る限り、必ずしも拡大画像のデータを取得する必要はない。すなわち、給油作業モニタ装置１０は、撮像部１１から取得した車両Ｘの側面が写る広角画像の中から対象部分を検知し、検知した対象部分の状態に基づいて給油キャップ判定および給油口蓋判定を行うこともできる。
【００７７】
この場合、対象部分検知部３２は、ユーザの手、給油口Ｂまたは給油キャップＣだけでなく、広角画像に写る車両Ｘのドアを対象部分として検知することができる。そして、動作判定部２４は、車両Ｘのドアに関する検知結果を対象部分検知部３２から受けると、この検知結果に基づいて車両Ｘのドアの動きを検知し、給油作業の後にユーザが車両Ｘに乗車した場合または車両Ｘを走行させた場合など、車両Ｘのドアが動いたことを検知した場合、上記と同様にフラグＦＣを設定する。
【００７８】
（ｅ）給油作業後におけるユーザの動作判定
図９は、本発明の実施の形態に係る給油作業モニタ装置の動作判定部により設定されるフラグの順番と、動作判定部により判定される判定結果の内容との関係を示す図である。
【００７９】
動作判定部２４は、フラグＦＣを設定すると、自己の設定したフラグの順番に基づいて給油キャップ判定および給油口蓋判定を行う。
【００８０】
具体的には、動作判定部２４は、フラグＦＣを設定するまでに、給油作業の後、画像中にユーザの手が所定時間Ｔ１以上写っていると判断しなかった場合、または、ユーザの手が所定条件を満たす動作を行っていると判断しなかった場合、すなわちフラグＦＡを設定しなかった場合、ユーザが給油キャップＣを閉めていないと判定する。また、動作判定部２４は、フラグＦＣを設定するまでに、給油口Ｂまたは給油キャップＣが画像中に継続して写っていると判断した場合、すなわちフラグＦＢを設定しなかった場合、ユーザが給油口蓋Ａを閉めていないと判定する。
【００８１】
すなわち、図９を参照して、動作判定部２４は、フラグＦＡおよびフラグＦＢを設定することなくフラグＦＣを設定した場合、ユーザが給油キャップＣおよび給油口蓋Ａの双方を閉め忘れていると判定する（給油キャップ「ＮＧ」、給油口蓋「ＮＧ」）。また、動作判定部２４は、フラグＦＡを設定することなくフラグＦＢを設定し、その後フラグＦＣを設定した場合、ユーザが給油キャップＣを閉めずに給油口蓋Ａを閉めたと判定する（給油キャップ「ＮＧ」、給油口蓋「ＯＫ」）。
【００８２】
また、動作判定部２４は、フラグＦＡを設定した後、フラグＦＢを設定することなくフラグＦＣを設定した場合、ユーザが給油キャップＣを閉めたが、給油口蓋Ａを閉め忘れていると判定する（給油キャップ「ＯＫ」、給油口蓋「ＮＧ」）。
【００８３】
また、動作判定部２４は、フラグＦＡを設定した後にフラグＦＢを設定し、さらにその後フラグＦＣを設定した場合、ユーザが給油キャップＣおよび給油口蓋Ａの双方を閉めたと判定する（給油キャップ「ＯＫ」、給油口蓋「ＯＫ」）。そして、動作判定部２４は、以上のような各判定結果を示す信号を警告部２５へ出力する。
【００８４】
警告部２５は、動作判定部２４から判定結果を示す信号を受けると、この判定結果に基づく警告信号を、たとえば精算制御装置１３へ送信する。精算制御装置１３は、警告部２５から、ユーザが給油キャップＣを閉め忘れていることを示す判定結果を受けた場合、料金精算装置本体２の表示モニタに、給油キャップＣの閉め忘れを示す警告信号を表示させる。
【００８５】
［動作］
次に、本発明の実施の形態に係る給油作業モニタ装置１０が給油キャップ判定および給油口蓋判定を行なう際の動作の流れについて説明する。
【００８６】
給油作業モニタ装置１０は、以下に示す各フローチャートの各ステップを図示しないメモリから読み出して実行する。このプログラムは、外部からインストールすることができる。このインストールされるプログラムは、たとえば記録媒体に格納された状態で流通する。
【００８７】
図１０は、本発明の実施の形態に係る給油作業モニタ装置が給油キャップ判定および給油口蓋判定を行なう際の動作手順を定めたフローチャートである。
【００８８】
図１０を参照して、まず、給油作業モニタ装置１０の位置特定部３１は、撮像部１１により撮像された広角画像のデータを撮像部１１から受信する（ステップＳ１１）。
【００８９】
次に、位置特定部３１は、撮像部１１から受けたデータに基づいて、広角画像の中からたとえば車両Ｘの側面に設けられた切り込み、すなわち給油口蓋Ａを検知する。そして、位置特定部３１は、検知した給油口蓋Ａの位置を給油口Ｂのおよその位置として特定する（ステップＳ１２）。
【００９０】
次に、位置特定部３１は、特定した給油口Ｂのおよその位置を示す位置情報を撮像調整部２２へ出力し、撮像調整部２２は、出力された位置情報に基づいて、給油口Ｂ付近の拡大画像が撮像されるように、撮像部１１へ制御情報を送信する。そして、撮像部１１は、撮像調整部２２から受けた制御情報に従って、給油口Ｂ付近が写る拡大画像を撮像する。そして、対象部分検知部３２は、撮像部１１から拡大画像のデータを受信する（ステップＳ１３）。
【００９１】
次に、対象部分検知部３２は、撮像部１１から受けた拡大画像のデータに基づいて、拡大画像に写る対象部分、すなわちユーザの手を検知し、検知結果を終了タイミング判断部３３へ出力する（ステップＳ１４）。
【００９２】
次に、終了タイミング判断部３３は、対象部分検知部３２から受けた検知結果に基づいてユーザの手が拡大画像に写っていないと判断すると、このユーザの手が拡大画像に写っていない時間の測定を開始する。そして、終了タイミング判断部３３は、ユーザの手が所定時間Ｔ３以上拡大画像に写っていない場合、ユーザの手が拡大画像から消えたタイミングが終了タイミングであると判断し、この終了タイミングを示すタイミング情報を対象部分検知部３２へ出力する（ステップＳ１５）。
【００９３】
次に、対象部分検知部３２は、終了タイミング判断部３３からタイミング情報を受けると、終了タイミング以降に撮像部１１により撮像された拡大画像に写る対象部分の検知結果を、検知結果出力部３４経由で動作判定部２４へ出力する。そして、動作判定部２４は、対象部分検知部３２から受けた検知結果に基づいて、フラグＦＡ，ＦＢ，ＦＣの中から、対象部分検知部３２により検知された対象部分の状態に対応するフラグを設定する。
【００９４】
すなわち、動作判定部２４は、たとえば、所定時間Ｔ１以上ユーザの手が拡大画像に写っていると判断した場合、または、給油作業の後、ユーザの手の動作が所定条件を満たす場合、フラグＦＡを設定する。また、動作判定部２４は、拡大画像に給油口Ｂまたは給油キャップＣのいずれも写っていないと判断した場合、フラグＦＢを設定する。さらに、動作判定部２４は、たとえば所定時間Ｔ２が経過した場合には、フラグＦＣを設定する（ステップＳ１６）。
【００９５】
次に、動作判定部２４は、設定したフラグの順番に基づいて、給油作業後におけるユーザの動作の判定、すなわち給油キャップ判定および給油口蓋判定を行う（ステップＳ１７）。
【００９６】
次に、動作判定部２４は、判定結果を警告部２５へ出力する。そして、警告部２５は、動作判定部２４から受けた判定結果に基づく警告信号を、たとえば精算制御装置１３へ送信し、料金精算装置２に設けられた表示モニタに給油キャップの閉め忘れ等を示す警告信号を表示させる（ステップＳ１８）。
【００９７】
ところで、燃料タンクの給油口を塞ぐ給油キャップの取り外しをユーザが給油作業の前に行い、取り外した給油キャップをキャップ置き場に置いた場合、給油作業の後にユーザがこの給油キャップを閉め忘れることがある。
【００９８】
しかしながら、上述した特許文献１に記載の給油所報知装置では、ユーザに給油作業の前に行うべき操作または給油作業の後に行うべき操作を報知することができるものの、ユーザが報知された操作を実際に行ったか否かを確認することはできないため、ユーザが給油キャップの閉め忘れていても通知することができない。
【００９９】
そして、このような状況において、ユーザが給油キャップの閉め忘れに気付かず、給油キャップが外れたままの状態で車両を走行させた場合、燃料油が燃料タンクから外部に漏れて火災など重大な被害を招く虞がある。
【０１００】
これに対して、本発明の実施の形態に係る給油作業モニタ装置１０では、対象部分検知部３２が、撮像部１１によって撮像された車両Ｘの給油口Ｂ付近が写る画像を取得し、取得した画像の中から対象部分を検知する。また、動作判定部２４が、対象部分検知部３２によって検知された対象部分の状態に基づいて、ユーザが給油作業の後に車両Ｘの給油キャップＣを閉めたか否かを判定する。
【０１０１】
このように、撮像された画像に写る給油口Ｂ付近の実際の状態に基づいて給油キャップ判定を行う構成であるため、ユーザが給油作業の後に給油キャップＣを閉めたか否かを判定することができる。
【０１０２】
また、本発明の実施の形態に係る給油作業モニタ装置１０では、対象部分は、ユーザの手であり、動作判定部２４は、対象部分検知部３２によって検知されたユーザの手の動きに基づいて給油キャップ判定を行う。
【０１０３】
このように、撮像された画像に写るユーザの手の動きを検知することより、正確な判定結果を得ることができる。
【０１０４】
また、本発明の実施の形態に係る給油作業モニタ装置１０では、動作判定部２４は、給油作業の後、画像中に所定時間Ｔ１以上ユーザの手が写っているか否かの判断、または、ユーザの手が所定条件を満たす動作を行っているか否かの判断を行い、判断結果に基づいて給油キャップ判定を行う。
【０１０５】
ここで、給油キャップＣを閉める場合、ユーザは、給油口Ｂに対して給油キャップＣを所定回数以上回転させることが一般的である。上記のように、ユーザの手が給油キャップＣを閉めるために必要とされる動きを行っているか否かを判断することにより、より正確な判定結果を得ることができる。
【０１０６】
また、本発明の実施の形態に係る給油作業モニタ装置１０では、動作判定部２４は、給油作業の後、所定時間Ｔ２が経過した場合、または、車両Ｘのドアが動いたことを検知した場合、ユーザの手に関する判断を終了する。また、動作判定部２４は、ユーザの手に関する判断を終了するまでの間に、給油作業の後、画像中にユーザの手が所定時間Ｔ１以上写っていると判断しなかった場合、または、ユーザの手が所定条件を満たす動作を行っていると判断しなかった場合、ユーザが給油キャップＣを閉めていないと判定する。
【０１０７】
このような構成により、単にユーザが給油キャップＣを閉めていない状態を検知するだけでなく、ユーザが給油キャップを閉め忘れて他の動作を始めたことを的確に判定することができる。
【０１０８】
また、本発明の実施の形態に係る給油作業モニタ装置１０では、動作判定部２４は、さらに、対象部分検知部３２によって検知された対象部分の状態に基づいて、ユーザが給油作業の後に給油口蓋Ａを閉めたか否かを判定する給油口蓋判定を行う。
【０１０９】
このような構成により、ユーザが給油キャップを閉めたか否かに加えて、ユーザが給油作業の後に給油口蓋Ａを閉めたか否かを判定することができる。
【０１１０】
また、本発明の実施の形態に係る給油作業モニタ装置１０では、対象部分は、給油口Ｂまたは給油キャップＣであり、動作判定部２４は、給油作業の後、画像中に給油口Ｂまたは給油キャップＣが写っているか否かを判断し、判断結果に基づいて、給油口蓋判定を行う。
【０１１１】
このような構成により、ユーザが給油口蓋Ａを閉めたか否かを容易に判定することができる。
【０１１２】
また、本発明の実施の形態に係る給油作業モニタ装置１０では、動作判定部２４は、給油作業の後、所定時間Ｔ２が経過した場合、または、車両Ｘのドアが動いたことを検知した場合、画像中に給油口Ｂまたは給油キャップＣが写っているか否かの判断を終了する。また、動作判定部２４は、画像中に給油口Ｂまたは給油キャップＣが写っているか否かの判断を終了するまでの間、給油口Ｂまたは給油キャップＣが画像中に継続して写っていると判断した場合、ユーザが給油口蓋Ａを閉めていないと判定する。
【０１１３】
このような構成により、単にユーザが給油口蓋Ａを閉めていない状態を検知するだけでなく、ユーザが給油口蓋Ａを閉め忘れて他の動作を始めたことを的確に判定することができる。
【０１１４】
また、本発明の実施の形態に係る給油作業モニタ装置１０では、対象部分検知部２４は、画像に写る車両Ｘの側面のうち、給油口蓋Ａ、給油口Ｂ、給油キャップＣ、または、給油ノズルＮの先端が写る位置を検知し、画像中において検知した上記位置を給油口Ｂ付近として特定する。
【０１１５】
このような構成により、車両ごとに給油口Ｂの位置が異なる場合であっても、給油口Ｂのおよその位置を特定することができる。
【０１１６】
また、本発明の実施の形態に係る給油作業モニタ装置１０では、終了タイミング判断部３３は、対象部分検知部３２により検知された対象部分が画像中に写っているか否かを判断し、対象部分が画像に写っていないと判断した場合、対象部分が画像に写っていない時間を測定し、所定時間Ｔ３以上対象部分が画像に写っていない場合、対象部分が画像から消えたタイミングが終了タイミングであると判断する。
【０１１７】
このような構成により、給油作業の終了タイミングを正確に判断することができるため、給油作業が終了するまでに撮像された画像に基づいて給油キャップ判定が行われることを防ぎ、一層正確な判定結果を得ることができる。
【０１１８】
また、本発明の実施の形態に係る給油作業モニタ装置１０は、ユーザが給油キャップＣを閉めていないことの警告を行うための警告部２５を備える。警告部２５は、給油作業の後にユーザが料金の精算を行うための精算制御装置１３の表示部に警告を表示させる。
【０１１９】
このように、給油作業後であり、かつ、ユーザが車両Ｘへ乗車する前に、ユーザが目視するところに警告信号を表示する構成により、ユーザが給油キャップＣを閉め忘れたまま給油所を離れてしまうことを回避することができる。
【０１２０】
また、本発明の実施の形態に係る給油作業モニタ装置１０は、撮像部１１による撮像される画像は近赤外線画像である。
【０１２１】
このような構成により、対象部分検知部３２は、材質の違いにより生じる画像中の色彩の違い等に基づいて対象部分を容易に検知することができる。
【０１２２】
（変形例１）
次に、本発明の実施の形態の変形例１について説明する。図１１は、本発明の実施の形態の変形例１に係る給油作業モニタ装置を備える給油作業モニタシステムを示す図である。
【０１２３】
上述した本発明の実施の形態では、警告部２５は、ユーザが給油キャップＣを閉め忘れていることを示す警告信号、または、ユーザが給油口蓋Ａを閉め忘れていることを示す警告信号を、精算制御装置１３へ送信する。これに対して、本発明の実施の形態の変形例１に係る給油作業モニタ装置１０の警告部２５は、警告信号を給油所内の他の表示装置または対応の車両内へ送信する。
【０１２４】
詳細には、図１１を参照して、本発明の実施の形態の変形例１に係る給油作業モニタ１０の警告部２５は、ユーザが給油キャップＣを閉め忘れていることを示す信号、または、ユーザが給油口蓋Ａを閉め忘れていることを示す信号を動作判定部２４から受けた場合、たとえば給油所内を監視するための監視モニタ５１へ警告信号を送信することにより、監視モニタ５１の表示画面等に当該警告信号を表示させる。
【０１２５】
この場合、給油所内を監視する給油所の従業員等がこの監視モニタ５１の表示画面を見ることによって、ユーザが給油キャップＣまたは給油口蓋Ａを閉め忘れていることを把握して、ユーザへ通知することができる。なお、給油作業モニタ１０の警告部２５を除く他の構成は、図２および図３に示す本発明の実施の形態に係る給油作業モニタ１０と同様の構成であるため、ここでの説明は繰り返さない。
【０１２６】
また、警告部２５は、警告信号を所定のサーバ装置５２へ送信することも可能である。詳細には、撮像部１１は、車両Ｘの前方または後方に取り付けられたナンバープレートを撮像し、撮像した画像のデータを給油作業モニタ装置１０の対象部分検知部３２へ送信する。そして、対象部分検知部３２は、撮像部１１から送信された画像のデータに基づいて、画像に写る車両Ｘの車両番号を検知し、検知した車両番号を警告部２５へ出力する。
【０１２７】
そして、警告部２５は、ユーザが給油キャップＣを閉め忘れていることを示す信号、または、ユーザが給油口蓋Ａを閉め忘れていることを示す信号を動作判定部２４から受けた場合、警告信号および対象部分検知部３２から受けた車両番号をサーバ装置５２へ送信する。そして、サーバ装置５２は、受信した車両番号に対応づけられた車載器または携帯端末などを特定し、警告部２５から受信した警告信号を、特定した車載器または携帯端末などへ送信する。
【０１２８】
上記のように、警告部２５が警告信号をサーバ装置５２へ送信し、サーバ装置５２が給油所内の監視モニタ、車両Ｘに対応の車載器または携帯端末等へ警告信号を送信してユーザに給油キャップＣまたは給油口蓋Ａの閉め忘れを通知する構成により、ユーザが給油キャップＣまたは給油口蓋Ａを閉め忘れたまま車両Ｘを走行させて給油所を離れた場合であっても、ユーザに対して給油キャップＣまたは給油口蓋Ａの閉め忘れを通知することができる。
【０１２９】
（変形例２）
また、上述した本発明の実施の形態では、撮像部１１は、給油装置本体１の表面部分に取り付けられている。しかしながら、たとえば防犯用として給油所に予め設置された監視カメラなどを、給油作業モニタシステム１００の撮像部１１として用いてもよい。
【０１３０】
ここで、監視カメラは給油所の天井付近に取り付けられていることが多く、給油口蓋Ａを開いた状態であっても、この監視カメラを用いて給油口Ｂの画像を撮像することは難しい。このため、監視カメラを撮像部１１として用いる場合、給油作業モニタ装置１０は、撮像された画像に写るユーザの動き、車両Ｘの動き、および、給油ノズルＮの動き等を検知して、検知結果を組み合わせることにより給油キャップ判定または給油口蓋判定を行うことができる。
【０１３１】
このように、給油所に予め設けられた監視カメラ等を撮像部１１として用いる構成により、新たに撮像部１１を設ける必要がなく、コストを削減することができる。
【０１３２】
（変形例３）
また、上述した本発明の実施の形態では、動作判定部２４は、タイミング情報取得部２３から給油作業の終了タイミングを示すタイミング情報を受けて、終了タイミング以降に撮像部１１により撮像された画像に写る対象部分の状態に基づいて給油キャップ判定または給油口蓋判定を行う。
【０１３３】
しかしながら、給油作業モニタ装置１０は、給油作業後のユーザの動作だけでなく、給油口蓋Ａの開操作、静電気除去シートへの接触または給油ノズルＮの操作など、給油作業前および給油作業中におけるユーザの動作を判定することも可能である。
【０１３４】
上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１３５】
１  給油装置本体
２  料金精算装置本体
１０  給油作業モニタ装置
１１  撮像部
１２  給油制御装置
１３  精算制御装置
２１  画像処理部
２２  撮像調整部
２３  タイミング情報取得部
２４  動作判定部
２５  警告部
３１  位置特定部
３２  対象部分検知部
３３  終了タイミング判断部
３４  検知結果出力部
５１  監視モニタ
５２  サーバ装置
１００  給油作業モニタシステム
Ａ  給油口蓋
Ｂ  給油口
Ｃ  給油キャップ
ＦＡ，ＦＢ，ＦＣ  フラグ
Ｎ  給油ノズル
Ｘ  車両
【図１】
2014118153.tif 000003
【図２】
2014118153.tif 000004
【図３】
2014118153.tif 000005
【図４】
2014118153.tif 000006
【図５】
2014118153.tif 000007
【図６】
2014118153.tif 000008
【図７】
2014118153.tif 000009
【図８】
2014118153.tif 000010
【図９】
2014118153.tif 000011
【図１０】
2014118153.tif 000012
【図１１】
2014118153.tif 000013