(57)【特許請求の範囲】
【請求項１】
移動体の側面に取り付けられた側灯が点灯状態であるか、消灯状態であるかを判定する点灯状態判定装置であって、
前記移動体の側面を撮像したフレーム画像を入力するフレーム画像入力部と、
前記フレーム画像入力部に入力されたフレーム画像であって、撮像されている前記移動体が停止状態であり、且つ前記移動体の側面に取り付けられている側灯が消灯状態であるフレーム画像を基準フレーム画像として取得する基準フレーム画像取得部と、
前記フレーム画像入力部に入力されたフレーム画像であって、前記基準フレーム画像取得部が取得した前記基準フレーム画像以降に撮像されたフレーム画像を処理対象フレーム画像として取得する処理対象フレーム画像取得部と、
前記基準フレーム画像と、前記処理対象フレーム画像との輝度差分画像を生成する輝度差分画像生成部と、
前記輝度差分画像生成部が生成した輝度差分画像において、予め定めた輝度差が生じている領域を候補領域として抽出し、ここで抽出した候補領域に点灯状態である側灯が撮像されているかどうかを判定する状態判定部と、を備え、
前記状態判定部は、抽出した前記候補領域の大きさを、その候補領域における光の拡散に応じてリサイズするリサイズ機能を有し、
前記候補領域を前記リサイズ機能によってリサイズしたリサイズ領域に点灯状態である側灯が撮像されているかどうかを判定する、点灯状態判定装置。
【請求項２】
前記状態判定部は、前記候補領域を前記リサイズ機能によってリサイズしたリサイズ領域の大きさが、予め定めた大きさの範囲内でないとき、このリサイズ領域に点灯状態である側灯が撮像されていないと判定する、請求項１に記載の点灯状態判定装置。
【請求項３】
前記状態判定部は、前記候補領域を前記リサイズ機能によってリサイズしたリサイズ領域において、前記輝度差分画像生成部が生成した輝度差分画像で予め定めた輝度差が生じているとした画素の割合が予め定めた一定の割合以上でなければ、このリサイズ領域に点灯状態である側灯が撮像されていないと判定する、請求項１、または２に記載の点灯状態判定装置。
【請求項４】
前記状態判定部は、前記候補領域を前記リサイズ機能によってリサイズしたリサイズ領域が対応する前記基準フレーム画像上の領域の平均輝度値が予め定めた輝度値を超えていれば、このリサイズ領域に点灯状態である側灯が撮像されていないと判定する、請求項１〜３のいずれかに記載の点灯状態判定装置。
【請求項５】
前記状態判定部が前記移動体の側面に取り付けられた側灯が点灯状態であると判定した領域を点灯領域として登録する登録部を備え、
前記状態判定部は、前記登録部が登録した前記点灯領域毎に、その点灯領域に位置する側灯が消灯したかどうかを判定し、
前記登録部は、前記状態判定部において側灯が消灯したと判定された領域の登録を削除する、請求項１〜４のいずれかに記載の点灯状態判定装置。
【請求項６】
移動体の側面に取り付けられた側灯が点灯状態であるか、消灯状態であるかを判定する点灯状態判定装置であって、
前記移動体の側面を撮像したフレーム画像を入力するフレーム画像入力部と、
前記フレーム画像入力部に入力されたフレーム画像であって、撮像されている前記移動体が停止状態であり、且つ前記移動体の側面に取り付けられている側灯が消灯状態であるフレーム画像を基準フレーム画像として取得する基準フレーム画像取得部と、
前記フレーム画像入力部に入力されたフレーム画像であって、前記基準フレーム画像取得部が取得した前記基準フレーム画像以降に撮像されたフレーム画像を処理対象フレーム画像として取得する処理対象フレーム画像取得部と、
前記基準フレーム画像と、前記処理対象フレーム画像との輝度差分画像を生成する輝度差分画像生成部と、
前記輝度差分画像生成部が生成した輝度差分画像において、予め定めた輝度差が生じている領域を候補領域として抽出し、ここで抽出した候補領域に点灯状態である側灯が撮像されているかどうかを判定する状態判定部と、
前記状態判定部が前記移動体の側面に取り付けられた側灯が点灯状態であると判定した領域を点灯領域として登録する登録部と、を備え、
前記状態判定部は、前記登録部が登録した前記点灯領域毎に、その点灯領域に位置する側灯が消灯したかどうかを判定し、
前記登録部は、前記状態判定部において側灯が消灯したと判定された領域の登録を削除する、点灯状態判定装置。
【請求項７】
前記状態判定部は、前記登録部によって登録された前記点灯領域に重なっている候補領域を抽出した場合、この点灯領域の登録時に前記輝度差分画像生成部が生成した輝度差分画像上の前記点灯領域内に位置する画素であって、前記基準フレーム画像上の対応する画素との間で予め定めた輝度差が生じている画素の数に対する、前記輝度差分画像生成部が今回生成した輝度差分画像上の前記候補領域内に位置する画素であって、前記基準フレーム画像上の対応する画素との間で予め定めた輝度差が生じている画素の数の割合が、一定値以上でなければ、前記登録部に当該点灯領域の登録を削除させる、請求項５、または６に記載の点灯状態判定装置。
【請求項８】
前記状態判定部は、前記登録部によって登録された前記点灯領域に重なっている候補領域を抽出した場合、前記基準フレーム画像上の前記点灯領域付近に、輝度値が抽出した候補領域に類似する領域があれば、前記登録部に当該点灯領域の登録を削除させる、請求項５〜７のいずれかに記載の点灯状態判定装置。
【請求項９】
前記状態判定部は、前記登録部によって登録された前記点灯領域に重なる候補領域を抽出しなかった場合、前回の処理対象フレーム画像上における前記点灯領域と、今回の処理対象フレーム画像上における前記点灯領域と、を比較し、今回の処理対象フレーム画像において輝度値が下がっている画素の個数が、予め定めた一定数に達していなければ、その点灯領域に位置する側灯が消灯していないと判定する、請求項５〜８のいずれかに記載の点灯状態判定装置。
【請求項１０】
前記状態判定部は、前記登録部によって登録された前記点灯領域に重なる候補領域を抽出しなかった場合、今回の処理対象フレーム画像上の前記点灯領域付近に、輝度値が基準フレーム画像上の前記点灯領域に類似する領域がなければ、その点灯領域に位置する側灯が消灯していないと判定する請求項５〜９のいずれかに記載の点灯状態判定装置。
【請求項１１】
前記状態判定部は、前記登録部によって登録された前記点灯領域に重なる候補領域を抽出しなかった場合、前記点灯領域が予め定めたフレーム数にわたって側灯が点灯していると登録されていなければ、その点灯領域に位置する側灯が消灯していないと判定する請求項５〜１０のいずれかに記載の点灯状態判定装置。
【請求項１２】
前記フレーム画像入力部は、入力されるフレーム画像がカラー画像であり、
前記輝度差分画像生成部は、前記基準フレーム画像取得部が取得した前記基準フレーム画像をグレースケールの基準グレースケール画像に変換し、前記処理対象フレーム画像取得部が取得した処理対象フレーム画像をグレースケールの処理対象グレースケール画像に変換するグレースケール変換機能を有し、
前記グレースケール変換機能でグレースケールに変換した前記基準グレースケール画像と、前記処理対象グレースケール画像と、の差分画像を、輝度差分画像として生成する、請求項１〜１１のいずれかに記載の点灯状態判定装置。
【請求項１３】
前記グレースケール変換機能は、カラー画像からグレースケール画像への変換において、前記移動体の側面に取り付けられている側灯の点灯色が変換されたグレースケール画像の輝度値に与える影響を、他の色が変換されたグレースケール画像の輝度値に与える影響よりも大きくしている、請求項１２に記載の点灯状態判定装置。
【請求項１４】
前記移動体が移動している移動状態から、停止した停止状態になったことを検知する停止検知部を備え、
前記基準フレーム画像取得部は、前記フレーム画像入力部に入力されたフレーム画像であって、前記停止検知部により前記移動体が移動状態から、停止状態になったことが検知されたタイミングに撮像されたフレーム画像を前記基準フレーム画像として取得する、請求項１〜１３のいずれかに記載の点灯状態判定装置。
【請求項１５】
フレーム画像入力部に入力された移動体の側面を撮像したフレーム画像を処理し、前記移動体の側面に取り付けられた側灯が点灯状態であるか、消灯状態であるかを判定する点灯状態判定方法であって、
前記フレーム画像入力部に入力されたフレーム画像であって、撮像されている前記移動体が停止状態であり、且つ前記移動体の側面に取り付けられている側灯が消灯状態であるフレーム画像を基準フレーム画像として取得する基準フレーム画像取得ステップと、
前記フレーム画像入力部に入力されたフレーム画像であって、前記基準フレーム画像取得ステップで取得した前記基準フレーム画像以降に撮像されたフレーム画像を処理対象フレーム画像として取得する処理対象フレーム画像取得ステップと、
前記基準フレーム画像と、前記処理対象フレーム画像との輝度差分画像を生成する輝度差分画像生成ステップと、
前記輝度差分画像生成ステップで生成した輝度差分画像において、予め定めた輝度差が生じている領域を候補領域として抽出し、ここで抽出した候補領域に点灯状態である側灯が撮像されているかどうかを判定する状態判定ステップと、を備え、
前記状態判定ステップは、抽出した前記候補領域の大きさを、その候補領域における光の拡散に応じてリサイズする処理を含み、
前記候補領域を前記リサイズ処理によってリサイズしたリサイズ領域に点灯状態である側灯が撮像されているかどうかを判定するステップである、点灯状態判定方法。
【請求項１６】
フレーム画像入力部に入力された移動体の側面を撮像したフレーム画像を処理し、前記移動体の側面に取り付けられた側灯が点灯状態であるか、消灯状態であるかを判定する点灯状態判定方法であって、
前記フレーム画像入力部に入力されたフレーム画像であって、撮像されている前記移動体が停止状態であり、且つ前記移動体の側面に取り付けられている側灯が消灯状態であるフレーム画像を基準フレーム画像として取得する基準フレーム画像取得ステップと、
前記フレーム画像入力部に入力されたフレーム画像であって、前記基準フレーム画像取得ステップで取得した前記基準フレーム画像以降に撮像されたフレーム画像を処理対象フレーム画像として取得する処理対象フレーム画像取得ステップと、
前記基準フレーム画像と、前記処理対象フレーム画像との輝度差分画像を生成する輝度差分画像生成ステップと、
前記輝度差分画像生成ステップで生成した輝度差分画像において、予め定めた輝度差が生じている領域を候補領域として抽出し、ここで抽出した候補領域に点灯状態である側灯が撮像されているかどうかを判定する状態判定ステップと、
前記状態判定ステップで前記移動体の側面に取り付けられた側灯が点灯状態であると判定した領域を点灯領域として登録部に登録する登録ステップと、を備え、
前記状態判定ステップは、前記登録部に登録した前記点灯領域毎に、その点灯領域に位置する側灯が消灯したかどうかを判定するステップであり、
前記登録ステップは、前記状態判定ステップにおいて側灯が消灯したと判定された領域の登録を削除する処理を含むステップである、点灯状態判定方法。
【請求項１７】
フレーム画像入力部に入力された移動体の側面を撮像したフレーム画像を処理し、前記移動体の側面に取り付けられた側灯が点灯状態であるか、消灯状態であるかを判定する処理をコンピュータに実行させる点灯状態判定プログラムであって、
前記フレーム画像入力部に入力されたフレーム画像であって、撮像されている前記移動体が停止状態であり、且つ前記移動体の側面に取り付けられている側灯が消灯状態であるフレーム画像を基準フレーム画像として取得する基準フレーム画像取得ステップと、
前記フレーム画像入力部に入力されたフレーム画像であって、前記基準フレーム画像取得ステップが取得した前記基準フレーム画像以降に撮像されたフレーム画像を処理対象フレーム画像として取得する処理対象フレーム画像取得ステップと、
前記基準フレーム画像と、前記処理対象フレーム画像との輝度差分画像を生成する輝度差分画像生成ステップと、
前記輝度差分画像生成ステップで生成した輝度差分画像において、予め定めた輝度差が生じている領域を候補領域として抽出し、ここで抽出した候補領域に点灯状態である側灯が撮像されているかどうかを判定する状態判定ステップと、をコンピュータに実行させ、
前記状態判定ステップは、抽出した前記候補領域の大きさを、その候補領域における光の拡散に応じてリサイズする処理を含み、
前記候補領域を前記リサイズ処理によってリサイズしたリサイズ領域に点灯状態である側灯が撮像されているかどうかを判定するステップである、点灯状態判定プログラム。
【請求項１８】
フレーム画像入力部に入力された移動体の側面を撮像したフレーム画像を処理し、前記移動体の側面に取り付けられた側灯が点灯状態であるか、消灯状態であるかを判定する処理をコンピュータに実行させる点灯状態判定プログラムであって、
前記フレーム画像入力部に入力されたフレーム画像であって、撮像されている前記移動体が停止状態であり、且つ前記移動体の側面に取り付けられている側灯が消灯状態であるフレーム画像を基準フレーム画像として取得する基準フレーム画像取得ステップと、
前記フレーム画像入力部に入力されたフレーム画像であって、前記基準フレーム画像取得ステップが取得した前記基準フレーム画像以降に撮像されたフレーム画像を処理対象フレーム画像として取得する処理対象フレーム画像取得ステップと、
前記基準フレーム画像と、前記処理対象フレーム画像との輝度差分画像を生成する輝度差分画像生成ステップと、
前記輝度差分画像生成ステップで生成した輝度差分画像において、予め定めた輝度差が生じている領域を候補領域として抽出し、ここで抽出した候補領域に点灯状態である側灯が撮像されているかどうかを判定する状態判定ステップと、
前記状態判定ステップで前記移動体の側面に取り付けられた側灯が点灯状態であると判定した領域を点灯領域として登録部に登録する登録ステップと、をコンピュータに実行させ、
前記状態判定ステップは、前記登録部に登録した前記点灯領域毎に、その点灯領域に位置する側灯が消灯したかどうかを判定するステップであり、
前記登録ステップは、前記状態判定ステップにおいて側灯が消灯したと判定された領域の登録を削除する処理を含むステップである、点灯状態判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、移動体の側面に取り付けられた側灯が点灯状態であるか、消灯状態であるかを判定する技術に関する。
【背景技術】
【０００２】
従来、駅ホームにおける乗降客の安全を確保するため、駅ホームに停車している列車の車両の扉（ドア）の開閉状態を検知することが行われている。
【０００３】
例えば、特許文献１には、列車の車両の側面を撮像したフレーム画像を処理し、列車の扉の開閉に連動して点灯、または消灯する車側灯の点灯状態を検知する技術が記載されている。この特許文献１は、フレーム画像内における高輝度領域を抽出し、抽出した高輝度領域の色を識別することにより、点灯している車側灯が扉閉表示灯であるか、非常灯であるかを判定する構成である。扉閉表示灯は、扉開時に点灯し、扉閉時に消灯する。また、非常灯は、非常時に（例えば、電気関係のエラー、空調装置の故障、車内からの非常警報装置発報等を通知するときに）点灯し、通常時に消灯する。
【０００４】
なお、特許文献１にも記載されているように、扉閉表示灯と、非常灯とは、点灯色を異ならせている。一般的な列車の車両における扉閉表示灯の点灯色は、赤色であるが、非常灯の点灯色は、橙、黄、緑等、列車の車両の種類で異なる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５５０６５３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１は、フレーム画像内における高輝度領域が扉閉表示灯の点灯色であれば、扉閉表示灯が点灯していると判定する構成であるので、外乱光（太陽光や、駅ホームの照明光）が照射されている箇所を高輝度領域（車側灯が点灯している領域）として抽出することがある。そして、この抽出した高輝度領域の色が、扉閉表示灯の点灯色に近いと、扉閉表示灯が点灯していると誤判定することがある。
【０００７】
なお、外乱光が照射されたことによって抽出された高輝度領域の色が、扉閉表示灯の点灯色に近くない場合、非常灯が点灯していると誤判定することがある。
【０００８】
この発明の目的は、移動体の側面に取り付けられた側灯が点灯状態であるか、消灯状態であるかを精度よく判定する技術を提供することにある。
【課題を解決するための手段】
【０００９】
この発明の点灯状態判定装置は、上記目的を達するために、以下のように構成している。
【００１０】
この発明にかかる点灯状態判定装置は、移動体の側面に取り付けられた側灯が点灯状態であるか、消灯状態であるかを判定する。ここで言う、移動体とは、例えば列車の車両である。また、側灯とは、扉開時に点灯し、扉閉時に消灯する扉閉表示灯や、非常時に（例えば、電気関係のエラー、空調装置の故障、車内からの非常警報装置発報等を通知するときに）点灯し、通常時に消灯する非常灯である。
【００１１】
フレーム画像入力部には、移動体の側面を撮像したフレーム画像が入力される。すなわち、フレーム画像入力部に入力されるフレーム画像には、移動体の側面に取り付けた側灯が撮像されている。
【００１２】
基準フレーム画像取得部は、フレーム画像入力部に入力されたフレーム画像であって、撮像されている移動体が停止状態であり、且つ移動体の側面に取り付けられている側灯が消灯状態であるフレーム画像を基準フレーム画像として取得する。また、処理対象フレーム画像取得部は、フレーム画像入力部に入力されたフレーム画像であって、基準フレーム画像取得部が取得した基準フレーム画像以降に撮像されたフレーム画像を処理対象フレーム画像として取得する。さらに、輝度差分画像生成部は、基準フレーム画像と、処理対象フレーム画像との輝度差分画像を生成する。
【００１３】
基準フレーム画像が、側灯が消灯状態であるフレーム画像であり、処理対象フレーム画像が、側灯が点灯状態であるフレーム画像であれば、輝度差分画像生成部によって生成された輝度差分画像において、点灯状態である側灯が撮像されている領域が、ある程度の輝度差が生じている領域としてあらわれる。
【００１４】
そして、状態判定部は、輝度差分画像生成部が生成した輝度差分画像において、予め定めた輝度差が生じている領域を候補領域として抽出し、ここで抽出した候補領域に点灯状態である側灯が撮像されているかどうかを判定する。
【００１５】
状態判定部によって抽出される候補領域は、点灯状態である側灯が撮像されている領域だけでなく、基準フレーム画像と、処理対象フレーム画像とにおいて、照射されていた外乱光（太陽光や、照明光）の強さがある程度異なる領域も含まれる。状態判定部は、例えば、抽出した候補領域に対応する基準フレーム画像上の領域の輝度が、抽出した候補領域に対応する処理対象フレーム画像上の領域の輝度よりも大きければ、この候補領域には点灯状態である側灯が撮像されていないと判定する。すなわち、移動体の側面に取り付けられた側灯が点灯状態であるか、消灯状態であるかを精度よく判定することができる。
【００１６】
また、フレーム画像入力部に入力されるフレーム画像は、グレースケールの画像であってもよいし、カラー画像であってもよい。フレーム画像入力部に入力されるフレーム画像がカラー画像である場合には、輝度差分画像生成部は、基準フレーム画像取得部が取得した基準フレーム画像をグレースケールの基準グレースケール画像に変換し、処理対象フレーム画像取得部が取得した処理対象フレーム画像をグレースケールの処理対象グレースケール画像に変換するグレースケール変換機能を有する構成にすればよい。この場合、輝度差分画像生成部は、グレースケール変換機能でグレースケールに変換した基準グレースケール画像と、処理対象グレースケール画像と、の差分画像を、輝度差分画像として生成すればよい。
【００１７】
また、グレースケール変換機能は、カラー画像からグレースケール画像への変換において、予め定めた特定色が変換されたグレースケール画像の輝度値に与える影響を、他の色が変換されたグレースケール画像の輝度値に与える影響よりも大きくするのがよい。この特定色は、点灯状態を判定する側灯の点灯色に合わせるのが好ましい。このようにすれば、側灯が点灯状態である場合、グレースケールの輝度差分画像において、側灯が撮像されている領域の輝度差が大きくなるので、点灯状態である側灯が撮像されている領域が候補領域として抽出されないという事態の発生が抑えられる。また、反対に、グレースケールの輝度差分画像において、太陽光や照明光等が照射されている領域の輝度差を小さく抑えることができるので、太陽光や照明光等が照射されている領域を候補領域として無駄に抽出するのを抑えられる。
【００１８】
また、移動体が移動している移動状態から、停止した停止状態になったことを検知する停止検知部を備える構成としてもよい。この場合、基準フレーム画像取得部は、フレーム画像入力部に入力されたフレーム画像であって、停止検知部により移動体が移動状態から、停止状態になったことが検知されたタイミングに撮像されたフレーム画像を基準フレーム画像として取得すればよい。
【００１９】
例えば、移動体が列車である場合、列車は駅ホームに停車した後に、車両の扉を開する。したがって、列車が駅ホームに停車したことを検知したタイミングが撮像タイミングであるフレーム画像は、車両の側面に取り付けられている車側灯（この発明で言う側灯）である扉閉表示灯が消灯している状態を撮像したものである。このため、移動体が停止状態であり、且つ移動体の側面に取り付けられている側灯が消灯状態である基準フレーム画像の取得が適正に行える。
【００２０】
また、状態判定部は、抽出した候補領域の大きさを、その候補領域における光の拡散に応じてリサイズするリサイズ機能を有する構成としてもよい。この場合、状態判定部は、抽出された候補領域をリサイズ機能によってリサイズしたリサイズ領域に点灯状態である側灯が撮像されているかどうかを判定すればよい。
【００２１】
例えば、状態判定部は、以下に示す（１）〜（３）のいずれかの条件を満足しないときに、リサイズ領域に点灯状態である側灯が撮像されていないと判定すればよい。
（１）リサイズ領域の大きさが、予め定めた大きさの範囲内でない。
（２）リサイズ領域において、輝度差分画像生成部が生成した輝度差分画像で予め定めた輝度差が生じているとした画素の割合が予め定めた一定の割合以上でない。
（３）リサイズ領域が対応する基準フレーム画像上の領域の平均輝度値が予め定めた輝度値を超えている。
また、状態判定部は、上記（１）〜（３）の複数の条件を同時に満足するときに、このリサイズ領域に点灯状態である側灯が撮像されていないと判定してもよい。
【００２２】
また、状態判定部が移動体の側面に取り付けられた側灯が点灯状態であると判定した領域を点灯領域として登録する登録部を備え、状態判定部が、登録部が登録した点灯領域毎に、その点灯領域に位置する側灯が消灯したかどうかを判定し、さらに、登録部が、状態判定部において側灯が消灯したと判定された領域の登録を削除する構成にしてもよい。
【００２３】
この場合、状態判定部は、抽出した候補領域が登録部によって登録された点灯領域に重なっている候補領域を抽出した場合、例えば、以下に示す（１）、（２）のいずれかの条件を満足したときに、その点灯領域に位置する側灯が消灯していると判定する。
【００２４】
（１）登録部が登録した点灯領域について、この点灯領域の登録時に輝度差分画像生成部が生成した輝度差分画像上の点灯領域内に位置する画素であって、基準フレーム画像上の対応する画素との間で予め定めた輝度差が生じている画素の数に対する、輝度差分画像生成部が今回生成した輝度差分画像上の候補領域内に位置する画素であって、基準フレーム画像上の対応する画素との間で予め定めた輝度差が生じている画素の数の割合が一定値以上でない。
（２）基準フレーム画像上の前記点灯領域付近に、輝度値が抽出した候補領域に類似する領域がある。
また、状態判定部は、上記（１）、（２）の条件を同時に満足するときに、その点灯領域に位置する側灯が消灯していないと判定する構成にしてもよい。
【００２５】
また、状態判定部は、登録部によって登録された前記点灯領域に重なる候補領域を抽出しなかった場合、例えば、以下に示す（１）〜（３）のいずれかの条件を満足したときに、その点灯領域に位置する側灯が消灯していないと判定する。
【００２６】
（１）前回の処理対象フレーム画像上における点灯領域と、今回の処理対象フレーム画像上における点灯領域と、を比較し、今回の処理対象フレーム画像において輝度値が下がっている画素の個数が、予め定めた一定数に達していない。
（２）今回の処理対象フレーム画像上の点灯領域付近に、輝度値が基準フレーム画像上の点灯領域に類似する領域がない。
（３）点灯領域が予め定めたフレーム数にわたって側灯が点灯していると登録されていない。
【００２７】
また、状態判定部は、上記（１）〜（３）の複数の条件を同時に満足するときに、その点灯領域に位置する側灯が消灯していないと判定する構成としてもよい。
【発明の効果】
【００２８】
この発明によれば、列車の車両の側面に取り付けられている車側灯が点灯状態であるか、消灯状態であるかを精度よく判定することができる。
【図面の簡単な説明】
【００２９】
【図１】画像処理装置の主要部の構成を示すブロック図である。
【図２】撮像装置により撮像されたフレーム画像を示す図である。
【図３】画像処理装置の動作を示すフローチャートである。
【図４】停車検知処理を示すフローチャートである。
【図５】状態判定処理を示すフローチャートである。
【図６】車側灯検知前処理を示すフローチャートである。
【図７】図７（Ａ）、（Ｂ）は、マスク処理を説明する図である。
【図８】第１の状態判定処理を示す図である。
【図９】図９（Ａ）、（Ｂ）は、リサイズ処理を説明する図である。
【図１０】類似領域を探索する探索範囲を説明する図である。
【図１１】第２の状態判定処理を示す図である。
【図１２】別の例にかかる状態判定処理を示すフローチャートである。
【発明を実施するための形態】
【００３０】
以下、この発明の実施形態について説明する。
【００３１】
図１は、画像処理装置の主要部の構成を示すブロック図である。この画像処理装置１が、この発明にかかる点灯状態判定装置に相当する。画像処理装置１は、制御部２と、画像入力部３と、画像処理部４と、入出力部５と、を備えている。画像処理装置１は、駅ホームに停車している列車の車両の側面に取り付けられている車側灯（この例では、扉閉表示灯）が点灯状態であるか、消灯状態であるかを判定し、その判定結果を上位装置に出力する。この例では、列車が、この発明で言う移動体に相当する。画像処理装置１は、ハードウェアとして上述の構成を有するパーソナルコンピュータ等の情報処理装置を利用することができる。この情報処理装置（画像処理装置１）が、この発明にかかる点灯状態判定方法を実行する。また、この発明にかかる点灯状態判定プログラムは、この情報処理装置（画像処理装置１）にインストールされる。
【００３２】
制御部２は、画像処理装置１本体各部の動作を制御する。また、制御部２は、本体の動作を制御するのに用いる各種パラメータにかかるデータや、動作時に発生した処理データ等を記憶するメモリ等の記憶部を有する。
【００３３】
画像入力部３には、撮像装置１０が撮像したフレーム画像が入力される。撮像装置１０は、撮像エリアの動画像を撮像するビデオカメラである。撮像装置１０のフレームレートは、数十フレーム／ｓｅｃ（例えば、３０フレーム／ｓｅｃ）である。この例にかかる撮像装置１０は、撮像エリアの動画像をカラーで撮像する。
【００３４】
図２を参照しながら、撮像装置１０の撮像エリアについて説明する。図２は、撮像装置が撮像したフレーム画像を示す図である。撮像装置１０は、駅ホームに停車した列車の車両の側面が撮像エリア内に収まるアングルである。撮像装置１０は、駅ホームに立設するポール等に取り付けている。撮像装置１０は、アングルを、列車の移動方向（走行方向）に対して垂直ではなく、移動体である列車の消失点が生じる向きに取り付けている。移動体の消失点とは、周知のように、遠近感のある平面画像（例えば、撮像装置１０が撮像したフレーム画像）において、移動体が移動方向に集まる点である。図２に示すフレーム画像は、移動体である列車の消失点がフレーム画像外に位置するものである。
【００３５】
なお、撮像装置１０は、撮像したフレーム画像上に移動体である列車の消失点が撮像されるアングルで取り付けられていてもよいし、図２に示すように撮像したフレーム画像上に移動体である列車の消失点が撮像されないアングルで取り付けられていてもよい。
【００３６】
一般的な駅では、駅ホームにおける乗降客の安全監視のために監視用の撮像装置を設置している。この監視用の撮像装置は、乗降客や手荷物等の物体が駅ホームから線路内への落下を監視する目的であり、駅ホーム端部が撮像エリアに収まるアングルで設置している。したがって、この監視用の撮像装置は、上述した撮像装置１０として利用することもできる。すなわち、画像入力部３にフレーム画像を入力する撮像装置１０は、駅ホームに新たに設置してもよいし、ホームにおける乗降客の安全監視のために設置している既存の監視用の撮像装置を利用してもよい。
【００３７】
画像処理部４は、画像入力部３に入力されたフレーム画像を処理し、このフレーム画像に撮像されている列車の車両の側面に取り付けられている扉閉表示灯が点灯状態であるか、消灯状態であるかを判定する。この扉閉表示灯の状態（点灯状態であるか、消灯状態であるか）を判定する処理の詳細（画像処理部４における画像処理の詳細）については、後述する。扉閉表示灯が、この発明で言う側灯に相当する。この例では、扉閉表示の点灯色は、赤色である。扉閉表示灯は、列車の車両の扉が１または複数割り当てられており、割り当てられている全ての扉が閉しているときに消灯し、割り当てられている扉の少なくとも１つが開しているときに点灯する。
【００３８】
入出力部５は、図示していない上位装置との間における入出力を行う。入出力部５は、例えば、扉閉表示灯の状態を判定した判定結果を上位装置に出力する。
【００３９】
上位装置は、駅ホームに滞在している乗降客に対して注意喚起のメッセージ（例えば、「〇番線から、列車が発車します。白線まで、お下がりください。」等のメッセージ）を放送する案内装置であってもよいし、上述の特許文献１等で示されている可動柵（所謂、ホーム扉）の開閉を行う可動柵制御装置であってもよいし、他の種類の装置であってもよい。また、画像処理装置１は、列車の扉閉表示灯の状態を判定した判定結果を複数の上位装置（例えば、上記した案内装置、および可動柵制御装置）に通知する構成であってもよい。
【００４０】
以下、この画像処理装置１の動作について説明する。
【００４１】
図３は、この画像処理装置の動作を示すフローチャートである。
【００４２】
画像処理装置１は、駅ホームに列車が停車したかどうかを検知する停車検知処理を行う（ｓ１）。この停車検知処理の詳細については、後述する。画像処理装置１は、ｓ１にかかる停車検知処理を、駅ホームに列車が停車したことを検知するまで繰り返す。画像処理装置１は、ｓ１にかかる停車検知処理で、駅ホームに列車が停車したことを検知すると、ｓ１にかかる停車検知処理を終了し、車側灯である扉閉表示灯が点灯している状態であるか、消灯している状態であるかを判定する状態判定処理を行う（ｓ２）。この状態判定処理の詳細については、後述する。画像処理装置１は、ｓ２にかかる状態判定処理を、列車が駅ホームから発車するまで繰り返す。画像処理装置１は、ｓ２にかかる状態判定処理で、列車が駅ホームから発車したことを検知すると、ｓ２にかかる状態判定処理を終了し、ｓ１に戻って、上述した処理を繰り返す。
【００４３】
ｓ１にかかる停車検知処理を、図４を参照しながら説明する。図４は、この停車検知処理を示すフローチャートである。この例にかかる画像処理装置１は、この停車検知処理を画像処理部４で行う。この例では、画像処理部４は、消失点方向における列車の運動エネルギ（以下、消失エネルギと言う。）を算出することにより、駅ホームにおける列車の進入、停車、発車等を検知する。駅ホームにおける列車の進入、停車、発車等を消失エネルギにより検知する技術は、本願出願人による先の特許出願にかかる特開２０１４−５９６４９号公報において開示され、すでに公知になっているので、ここでは簡単に説明する。
【００４４】
上述したように、撮像装置１０が、撮像したフレーム画像を画像入力部３に入力している。画像処理部４は、画像入力部３に入力されたフレーム画像の中から今回処理する処理対象フレーム画像を抽出し、この処理対象フレーム画像における列車の消失エネルギＶＥを算出する（ｓ１１）。画像処理部４は、処理対象フレーム画像を時系列に選択する。画像処理部４は、画像入力部３に入力されたフレーム画像であって、ｎフレーム毎のフレーム画像を順次処理対象フレーム画像として抽出する。ｎは、１以上の整数である。
【００４５】
画像処理部４は、画像入力部３に入力されるフレーム画像（例えば、図２示すフレーム画像）上に、予め複数の計測点（不図示）を設定している。各計測点は、画像入力部３に入力されるフレーム画像上の位置に設定した点である（フレーム画像に撮像されている移動体に対して設定した点ではない。）。また、各計測点は、駅ホームに進入してきた列車が撮像される位置に設定している（列車が撮像されることがない位置、例えばホーム床面が撮像される位置、に設定していない。）。
【００４６】
画像処理部４は、前回の処理対象フレーム画像の各計測点に撮像されていた画像について、今回の処理対象フレーム画像における撮像位置を検出する。この撮像位置の検出は、前回の処理対象フレーム画像と、今回の処理対象フレーム画像と、を用いたパターンマッチング等で行える。画像処理部４は、各計測点について、その計測点から、上述した処理で検出した位置に達するベクトルを、その計測点の移動ベクトルとして検出する。
【００４７】
画像処理部４は、各計測点の移動ベクトルをもとに、各計測点の消失エネルギを算出する。計測点の消失エネルギは、その計測点に対して予め設定している消失点方向の単位ベクトルと、奥行き補正係数と、を用いることで算出できる。奥行き補正係数は、計測点の移動ベクトルの大きさを、その計測点と、消失点と、の距離に応じて補正する係数である。計測点の消失エネルギは、その計測点について検出した移動ベクトルの消失点方向の成分に応じたエネルギである。画像処理部４は、各計測点について算出した消失エネルギの総和を、今回の処理対象フレーム画像における消失エネルギＶＥとして算出する。
【００４８】
ここで算出される消失エネルギＶＥは、消失点方向に移動する列車等の移動体の運動エネルギの大きさに相当し、この運動エネルギが大きくなるにつれて大きくなる。したがって、消失エネルギＶＥは、消失点方向に移動する列車等の移動体の移動速度が速くなるにつれて大きくなる。
【００４９】
画像処理部４は、ｓ１１で今回の処理対象フレーム画像における消失エネルギＶＥを算出すると、消失エネルギＶＥの時系列平滑化処理を行う（ｓ１２）。ｓ１２にかかる時系列平滑化処理は、公知の最小二乗法等により、今回算出された消失エネルギＶＥを基準にし、予め定めているサンプリング期間（過去の期間）に算出した消失エネルギＶＥを用いて平滑化する処理である。
【００５０】
画像処理部４は、ｓ１２で平滑化した消失エネルギＶＥの値に対する、進入閾値、発車閾値、および停車閾値（進入閾値＞発車閾値＞停車閾値）を予め設定している。また、画像処理部４は、ｓ１１で算出した消失エネルギＶＥ（ｓ１２で平滑化していない消失エネルギＶＥ）に対して、存在閾値、および通過閾値（存在閾値＞通過閾値）を予め設定している。
【００５１】
画像処理部４は、前回の処理対象フレーム画像に対して列車が撮像されていない（列車無し）と判定していると、列車の進入判定を行う（ｓ１３、ｓ１４）。ｓ１４では、ｓ１２で時系列平滑化処理を行った消失エネルギＶＥの値が、予め設定している進入閾値以上であれば今回の状態を列車進入と判定し、反対に、この進入閾値未満であれば今回の状態を列車無しと判定する。画像処理部４は、ｓ１４における今回の判定結果をメモリに記憶し（ｓ１５）、ｓ１１に戻る。
【００５２】
また、画像処理部４は、前回の処理対象フレーム画像に対して列車進入と判定していると、列車通過判定を行う（ｓ１３、ｓ１６）。ｓ１６では、今回の処理対象フレーム画像の撮像タイミングを基準にして定まる存在時間中において、ｓ１１で算出した消失エネルギＶＥが常に予め設定している存在閾値以上であり、且つ、今回ｓ１１で算出した消失エネルギＶＥが予め設定している通過閾値未満であれば、列車通過と判定する。存在時間は、今回の処理対象フレーム画像の撮像タイミングをｔとした場合、ｔ−Ｔ１〜ｔ−Ｔ２の時間帯である。Ｔ１、およびＴ２は、予め定めた時間であり、Ｔ１＞Ｔ２である。画像処理部４は、ｓ１６にかかる列車通過判定において、列車通過と判定すると、今回の判定結果（列車無し）をメモリに記憶し（ｓ１７、ｓ１８）、ｓ１１に戻る。
【００５３】
一方、画像処理部４は、ｓ１６にかかる列車通過判定において、列車通過と判定しないと、列車停車判定を行う（ｓ１７、ｓ１９）。ｓ１９では、今回ｓ１２で時系列平滑化処理を行った消失エネルギＶＥの値が、予め定めている停車閾値未満であれば、今回の状態を列車停車と判定し、今回の処理対象フレーム画像を基準フレーム画像として記憶する（ｓ２０、ｓ２２）。一方、画像処理部４は、今回ｓ１２で時系列平滑化処理を行った消失エネルギＶＥの値が、予め定めている停車閾値未満でなければ、今回の状態を列車進入と判定し、今回の判定結果をメモリに記憶し（ｓ２０、ｓ２１）、ｓ１１に戻る。
【００５４】
画像処理部４は、ｓ２２で基準フレーム画像を記憶すると、ｓ１にかかる停車検知処理を終了し、ｓ２にかかる状態判定処理に進む。すなわち、画像処理部４は、駅ホームにおける列車の停車を検知するまで、ｓ１にかかる停車検知処理（図４に示す処理）を繰り返す。
【００５５】
なお、この例では、画像処理部４が、画像入力部３に入力されたフレーム画像を処理して、駅ホームにおける列車の停車を検知する構成としたが、駅ホームに列車が停車しているかどうかを示す停車通知信号を上位装置から入出力部５に入力する構成としてもよい。このように構成した場合には、画像処理装置１は、上位装置から入力されている停車通知信号が、駅ホームに列車が停車したことを示す信号に変化したタイミングを停車タイミングと判定し、駅ホームに列車が停車していないことを示す信号に変化したタイミングを発車タイミングと判定すればよい。また、画像処理装置１は、撮像タイミングが停車タイミングの直後であるフレーム画像を、上述したｓ２２で記憶する基準フレーム画像にすればよい。また、画像処理部４において、図４に示した処理を行う必要がないので、撮像装置１０は、移動体である列車の消失点が生じるアングルに取り付けられていなくてもよい。すなわち、撮像装置１０のアングルは、列車の移動方向（走行方向）に対して垂直であってもよい。
【００５６】
また、画像処理装置１における列車の停車検知については、上記以外の方法であってもよい。
【００５７】
次に、ｓ２にかかる状態判定処理を、図５を参照しながら説明する。図５は、状態判定処理を示すフローチャートである。
【００５８】
まず、画像処理部４が、ｓ２２で記憶した基準フレーム画像について説明する。列車は、駅ホームに停車した後に列車の車両の扉を開する。したがって、ｓ２２では、駅に停車した列車の車両の扉が開される前の状態（すなわち、列車の車両の扉が閉されている状態）を撮像したフレーム画像である。すなわち、基準フレーム画像は、駅ホームに列車が停車した状態であり、且つ扉閉表示灯が消灯状態であるフレーム画像である。このｓ２２にかかる処理が、この発明で言う基準フレーム画像取得部に相当する構成である。
【００５９】
画像処理部４は、扉閉表示灯が点灯している状態であるか、消灯している状態であるかの判定を開始する判定開始タイミングになるのを待つ（ｓ３１）。画像処理部４は、ｓ２２で記憶した基準フレーム画像の撮像タイミングを基準にして、判定開始タイミングを定める。判定開始タイミングは、例えば基準フレーム画像の撮像タイミングから一定時間経過したタイミングである。この一定時間は、画像入力部３に入力されたフレーム画像のフレーム数で規定してもよい。
【００６０】
ｓ３１は、ｓ１にかかる停車検知処理で駅ホームに停車したことを検知した列車の扉が開し、この列車の車両の側面に取り付けられている扉閉表示灯が点灯するのを待つ処理である。すなわち、ｓ３１は、駅ホームに停車した列車の車両の扉閉表示灯が点灯した後に、以下に示すｓ３２以降の処理を開始するために設けたステップである。
【００６１】
ｓ３１における待ち時間は、列車が停車する駅ホームに応じて設定される。一般的な駅では、駅ホームに列車が停車してから、扉が介するまでの時間は数秒であるので、ｓ３１における待ち時間も数秒（１〜５秒程度）に設定すればよい。一方、乗客の降車ホームと、乗客の乗車ホームとを異ならせている駅（例えば、列車を折り返し運転している路線の終着・始発駅）では、駅ホームに列車が停車すると、数秒後に降車ホーム側の扉を開して、列車内の乗客を降車させ、その後に乗車ホーム側の扉を開する。したがって、乗客の降車ホームと、乗客の乗車ホームとを異ならせている駅では、開閉状態を判定する列車の車両の扉が乗車ホーム側である場合には、ｓ３１における待ち時間を数分（１〜５分程度）に設定すればよい。
【００６２】
画像処理部４は、判定開始タイミングになると、画像入力部３に入力されたフレーム画像の中から今回処理する処理対象フレーム画像を抽出し、停車を検知した列車が駅ホームから発車したかどうかを判定する（ｓ３２）。画像処理部４は、この状態判定処理においても、上述した停車検知処理と同様に処理対象フレーム画像を時系列に選択する。画像処理部４は、画像入力部３に入力されたフレーム画像であって、ｍフレーム毎のフレーム画像を順次処理対象フレーム画像として抽出する。ｍは、１以上の整数である。
【００６３】
ｓ３２では、上述したｓ１１、およびｓ１２にかかる処理と同様の処理を行い、時系列平滑化処理を行った消失エネルギＶＥの値が、予め定めた発車閾値以上であれば、列車発車と判定する。
【００６４】
なお、画像処理部４は、上述したｓ３１で判定開始タイミングになるのを待っている間も、このｓ３２にかかる判定を行っている。
【００６５】
画像処理部４は、ｓ３２で列車は発車していないと判定すると、今回の処理対象フレーム画像に対して、車側灯検知前処理を行う（ｓ３３）。図６は、このｓ３３にかかる車側灯検知前処理を示すフローチャートである。
【００６６】
画像処理部４は、今回の処理対象フレーム画像をグレースケールの画像（以下、処理対象基準グレースケール画像と言う場合もある。）に変換する（ｓ５１）。上述したように、撮像装置１０は、カラービデオカメラであり、画像入力部３に入力されているフレーム画像は、カラー画像である。
【００６７】
ｓ５１では、処理対象基準グレースケール画像上の各画素の輝度値Ｙ（ｉ，ｊ）を、
Ｙ（ｉ，ｊ）＝ａ×Ｂ（ｉ，ｊ）＋ｂ×Ｇ（ｉ，ｊ）＋ｃ×Ｒ（ｉ，ｊ）＋ｄ
により算出する。
（ｉ，ｊ）は、フレーム画像上における画素の位置を示す。
Ｂ（ｉ，ｊ）は、処理対象フレーム画像上の青の画素値、Ｇ（ｉ，ｊ）は、処理対象フレーム画像上の緑の画素値、Ｒ（ｉ，ｊ）は、処理対象フレーム画像上の赤の画素値を示す。
【００６８】
係数a,b,c,dは、予め定めた値である。この例では、点灯状態を判定する扉閉表示灯の点灯色が赤色であることから、青の画素値や、緑の画素値よりも、赤の画素値が輝度値Ｙに与える影響が大きくなるように、係数a,b,c,dを定めている。具体的には、係数cの値を係数a,bよりも大きい値に設定している。例えば、a=0.098、b=0.257、c=0.504、d=16である。
【００６９】
なお、画像入力部３に入力されているフレーム画像が、カラー画像でなく、白黒画像である場合には、このｓ５１にかかる処理は不要である。
【００７０】
また、画像処理部４は、上述したｓ２２で記憶した基準フレーム画像についても、ｓ５１にかかる処理を行った、基準フレーム画像のグレースケール画像（以下、基準グレースケール画像と言う場合もある。）を記憶している。この処理は、ｓ３１で判定開始タイミングを待っている時間等を利用して行っている。
【００７１】
処理対象グレースケール画像や、基準グレースケール画像は、例えば２５６階調の画像である。
【００７２】
画像処理部４は、基準グレースケール画像と、処理対象グレースケール画像と、の輝度差分画像を生成し、輝度差が予め定めた閾値よりも大きい画素を抽出する（ｓ５２）。画像処理部４は、ｓ５２で抽出した画素から、ノイズ画素を除去するノイズ除去処理を行う（ｓ５３）。ｓ５３にかかるノイズ除去処理は、ｓ５２で抽出した画素の中で、処理対象フレーム画像上で孤立している画素を、ノイズ画素として除去する処理である。
【００７３】
画像処理部４は、ｓ５３でノイズ除去処理を行った輝度差分画像に対して、予め設定されている画像領域をマスクするマスク処理を行う（ｓ５４）。ｓ５４では、フレーム画像上において、扉閉表示灯が撮像されることがない領域を処理対象の範囲から外している。すなわち、ｓ５４にかかる処理は、ｓ５２で抽出され、ｓ５３でノイズとして除去されなかった画素であっても、フレーム画像上の位置から扉閉表示灯でないことが明らかな画素を取り除く処理である。例えば、ｓ５４では、図７（Ａ）に破線で囲む領域（図７（Ａ）に示す候補領域Ａ〜Ｃが位置する領域であって、扉閉表示灯が撮像される可能性がある領域）以外を処理対象の範囲から外すマスク処理を行う。これにより、図７（Ａ）に示す候補領域Ｄを、ノイズとして処理できる。
【００７４】
なお、候補領域Ａ〜Ｄは、ｓ５２で生成した輝度差分画像において、輝度差が予め定めた閾値よりも大きい画素が有る程度かたまっている領域である。すなわち、候補領域Ａ〜Ｄ内に位置する全ての画素が、ｓ５２で生成した輝度差分画像において、輝度差が予め定めた閾値よりも大きい画素であるというわけではない。
【００７５】
図７に示すように、候補領域Ａ、Ｂは、扉閉表示灯が撮像されている領域であるが、候補領域Ｃは扉閉表示灯が撮像されていないノイズ領域（外乱光が照射され、輝度が変化した領域）である。
【００７６】
画像処理部４は、マスク処理した二値化画像を生成する（ｓ５５）。ｓ５５で生成する二値化画像は、例えば図７（Ａ）に示した候補領域Ａ〜Ｃ内の輝度差があった画素を１、その他の画素を０とした画像である。
【００７７】
画像処理部４は、ｓ５５で生成した二値化画像において、ｓ５２で抽出した画素の塊を１つのオブジェクトとして検出するラベリング処理を行う（ｓ５６）。
【００７８】
すなわち、ｓ３３にかかる車側灯検知前処理では、点灯している扉閉表示灯が撮像されている可能性がある候補領域（ｓ５６でラベリングしたオブジェクトが撮像されている領域）を検出している。
【００７９】
なお、図６に示す処理は、１例であり、ｓ５２で生成する輝度差分画像を二値化画像としてもよい。この場合、ｓ５５にかかる処理を不要にできる。また、ｓ５３でノイズ除去処理を行う前にｓ５４にかかるマスク処理を行ってもよい。また、処理対象フレーム画像に対して、点灯している扉閉表示灯が撮像されている候補領域の検出が行えるのであれば、図６に示した処理でなく、他の処理で行ってもよい。
【００８０】
画像処理部４は、ｓ３３で検出した候補領域毎に、第１の状態判定処理を行う（ｓ３４）。この第１の状態判定処理は、ｓ３３で検出した候補領域が、点灯している扉閉表示灯が撮像されている領域であるかどうかを判定し、点灯している扉閉表示灯が撮像されている領域であれば、その領域を点灯領域として登録する処理である。図８は、この第１の状態判定処理を示す図である。図８は、ｓ３３で検出した１つの候補領域に対する処理を示している。ｓ３４では、ｓ３３で検出した候補領域毎に、図８に示す処理を実行する。
【００８１】
画像処理部４は、処理対象である候補領域が、前回までの処理対象フレーム画像に対する状態判定処理ですでに登録されている点灯領域であるかどうかを判定する（ｓ６１）。画像処理部４は、処理対象である候補領域と、すでに登録されている点灯領域との間で、重なっている領域があれば、すでに登録されている点灯領域であると判定する。すなわち、ｓ６１では、処理対象である候補領域の付近に、すでに登録されている点灯領域があるかどうかによって、すでに登録されている点灯領域であるかどうかを判定している。
【００８２】
画像処理部４は、ｓ６１で、処理対象である候補領域が登録されている点灯領域でないと判定すると、新規登録条件を満足するかどうかを判定する（ｓ６２）。
【００８３】
ｓ６２では、候補領域の大きさを撮像されている扉閉表示灯の大きさに合わせるリサイズ処理を行う。扉閉表示灯の周辺が比較的暗い夕方や夜間等の時間帯においては、ｓ５６にかかるラベリング処理で検出される候補領域が、扉閉表示灯が撮像されている領域よりも大きくなることがある（扉閉表示灯の周辺を含んだ領域になることがある。）。これは、扉閉表示灯の点灯時に光が拡散することが原因である。リサイズ処理は、候補領域において、ある程度輝度が低い領域をカットする処理であり、候補領域における光が拡散している部分をカットする処理である。
【００８４】
今回の処理対象フレーム画像において、ｓ３３で図９（Ａ）にハッチングで示す候補領域が検出されている場合を例にして、リサイズ処理を説明する。画像処理部４は、図９（Ａ）に示すように、候補領域が内接する矩形領域を変換領域として設定する。図９（Ｂ）は、変換領域を示す拡大図である。
【００８５】
設定した変換領域は、横方向にｎ画素、縦方向にｍ画素の大きさである（ｎ×ｍ画素の大きさである。）。画像処理部４は、変換領域において、画素が縦方向に並ぶ列毎に、縦方向輝度差を算出する。具体的には、画像処理部４は、変換領域において、画素が縦方向に並ぶ列毎に、その列に位置する各画素について、上述したｓ２２で記憶した基準フレーム画像における該当する画素との輝度差を算出する。縦方向輝度差は、変換領域において、画素が縦方向に並ぶ列毎に、その列に位置する各画素について算出した輝度差の総和である。
【００８６】
画像処理部４は、変換領域において、画素が縦方向に並ぶ列毎に、その列について算出した縦方向輝度差を、その列に位置する画素の数（図９（Ｂ）に示す例ではｍ個）で除した縦方向輝度差平均を得る。画像処理部４は、変換領域の縦方向に並ぶ各列の縦方向輝度差平均の最大値と、最小値との差の半分（１／２）を縦方向分割閾値として算出する。
【００８７】
さらに、画像処理部４は、変換領域の縦方向に並ぶ列毎に、その列の縦方向輝度差平均が、
縦方向輝度差平均＞（縦方向輝度差平均の最小値）+（縦方向分割閾値）
を満足する列を抽出する。画像処理部４は、変換領域において、上記条件を満足する最も右側に位置する列と、最も左側に位置する列との間を、リサイズ幅に決定する。
【００８８】
また、画像処理部４は、変換領域において、画素が横方向に並ぶ行毎に、横方向輝度差を算出する。具体的には、画像処理部４は、変換領域において、画素が横方向に並ぶ行毎に、その行に位置する各画素について、上述したｓ２２で記憶した基準フレーム画像における該当する画素との輝度差を算出する。横方向輝度差は、変換領域において、画素が横方向に並ぶ行毎に、その行に位置する各画素について算出した輝度差の総和である。
【００８９】
画像処理部４は、変換領域において、画素が横方向に並ぶ行毎に、その行について算出した横方向輝度差を、その行に位置する画素の数（図９（Ｂ）に示す例ではｎ個）で除した横方向輝度差平均を得る。画像処理部４は、変換領域の横方向に並ぶ各行の横方向輝度差平均の最大値と、最小値との差の半分（１／２）を横方向分割閾値として算出する。
【００９０】
さらに、画像処理部４は、変換領域の横方向に並ぶ列毎に、その列の横方向輝度差平均が、
横方向輝度差平均＞（横方向輝度差平均の最小値）+（横方向分割閾値）
を満足する行を抽出する。画像処理部４は、変換領域において、上記条件を満足する最も上側に位置する行と、最も下側に位置する行との間を、リサイズ高さに決定する。
【００９１】
そして、画像処理部４は、上記処理で決定した、リサイズ幅とリサイズ高さによって囲まれる矩形領域を、リサイズ領域にする。
【００９２】
画像処理部４は、決定したリサイズ領域が、以下に示す３つの新規登録条件（新規登録条件１〜新規登録条件３）を全て満足しているかどうかを判定する。
新規登録条件１：幅の最小値≦リサイズ領域の幅≦幅の最大値、であり、
且つ高さの最小値≦リサイズ領域の高さ≦高さの最大値、である。
新規登録条件２：リサイズ領域内の半数以上の画素がｓ５２で抽出された画素（輝度差が予め定めた閾値よりも大きい画素）である。
新規登録条件３：基準フレーム画像における、リサイズ領域に対応する領域内の画素の平均輝度値が、予め定めた平均輝度値以下である。
【００９３】
新規登録条件１は、点灯している扉閉表示灯が撮像されているかどうかを、リサイズ領域の大きさによって判定するものである。新規登録条件２は、扉閉表示灯の点灯による輝度値の変化であるか、外乱光の照射等の別の要因（扉閉表示灯の点灯以外）による輝度値の変化であるかを判定するものである。また、新規登録条件２では、リサイズ領域内の半数以上の画素がｓ５２で抽出された画素であるとしたが、この画素の割合は２／３以上や、１／３以上等としてもよい。また、新規登録条件３は、候補領域が外乱光の照射等によって、比較的明るい領域であるかどうかを判定するものである。
【００９４】
画像処理部４は、上記新規登録条件１〜新規登録条件３の全てを満足すると判定すると、今回の処理対象である候補領域にかかるリサイズ領域を点灯領域として登録し（ｓ６３）、本処理を終了する。画像処理部４は、ｓ６３で点灯領域として登録したリサイズ領域のフレーム画像上の位置を記憶する。一方、画像処理部４は、ｓ６２で、新規登録条件を満足しないと判定すると、今回の処理対象である候補領域を点灯領域として登録することなく、本処理を終了する。
【００９５】
なお、ここでは、上記新規登録条件１〜新規登録条件３が全て満足したときに、今回の処理対象である候補領域にかかるリサイズ領域を点灯領域として登録する構成としたが、少なくともいずれかの１つの新規登録条件が満足したときに点灯領域として登録する構成としてもよいし、２つ以上の新規登録条件が満足したときに点灯領域として登録する構成としてもよい。
【００９６】
また、画像処理部４は、ｓ６１で、処理対象である候補領域が、すでに登録されている点灯領域であると判定すると、継続条件を満足するかどうかを判定する（ｓ６４）。ｓ６４では、候補領域に対して上述したリサイズ処理を行ってもよいし、行わなくてもよい。ここでは、リサイズ処理を行うものとして説明する。
【００９７】
画像処理部４は、以下に示す２つの継続条件（継続条件１、継続条件２）を両方満足しているかどうかを判定する。
継続条件１：点灯領域の登録時に、この点灯領域内に位置する画素であって、ｓ５２で抽出された画素の数（Ｘ）に対する、今回のリサイズ領域内に位置する画素の数（Ｙ）の割合（Ｙ／Ｘ）が一定値（例えば、０．８）以上である。
継続条件２：基準フレーム画像上の登録領域付近に、輝度値が今回のリサイズ領域に類似する領域がない。
【００９８】
継続条件２では、類似する領域を探索する基準フレーム画像上の探索範囲を、図１０に示す大きさに設定する。この探索範囲は、その中心が、点灯領域中心と一致する矩形領域であり、幅が点灯領域の２倍であり、高さが点灯領域の３倍である。また、類似度の計算は、公知のゼロ平均正規化相互相関等を利用して行う。乗降客の乗り降りにともなう、列車の揺れを考慮し、探索範囲の高さ方向を大きくしている。この探索範囲は、上記の大きさに限るものではない。
【００９９】
なお、ここでは、リサイズ処理を行うものとして説明したが、リサイズ処理を行わない場合には、上記継続条件にかかるリサイズ領域を候補領域に置き換えればよい。
【０１００】
画像処理部４は、ｓ６４で２つの継続条件（継続条件１、継続条件２）の少なくとも一方を満足しないと、対応する点灯領域の登録を削除し（ｓ６６）、本処理を終了する。すなわち、画像処理部４は、点灯領域の登録時に、この点灯領域内に位置する画素であって、ｓ５２で抽出された画素の数（Ｘ）に対する、今回のリサイズ領域内に位置する画素の数（Ｙ）の割合（Ｙ／Ｘ）が一定値（例えば、０．８）以上でない場合（上述の継続条件１を満足しない場合）や、基準フレーム画像上の登録領域付近に、輝度値が今回のリサイズ領域に類似する領域がある場合（上述の継続条件２を満足しない場合）に、ｓ６６で対応する点灯領域の登録を削除する。
【０１０１】
画像処理部４は、ｓ６４で２つの継続条件（継続条件１、継続条件２）の両方を満足すると判定すると、対応する点灯領域に対する継続フレーム数を１カウントアップし（ｓ６５）、本処理を終了する。
【０１０２】
なお、ここでは、画像処理部４は、上記継続条件１、および継続条件２の両方が満足した場合に、継続すると判定する構成としたが、どちらか一方が満足した場合に、継続すると判定する構成としてもよい。
【０１０３】
画像処理部４は、ｓ３４にかかる第１の状態判定処理を完了すると、第２の状態判定処理を行う。この第２の状態判定処理は、前回の処理対象フレーム画像において点灯状態を検知していた扉閉表示灯が消灯したかどうかを判定する処理である。この処理は、この時点において、登録されている点灯領域毎に行う。図１１は、第２の状態判定処理を示すフローチャートである。図１１は、この時点において、登録されている１つの点灯領域に対する処理を示している。すなわち、ｓ３５では、この時点において、登録されている点灯領域毎に、図１１に示す処理を実行する。
【０１０４】
画像処理部４は、処理対象の点灯領域がｓ３４で継続すると判定されたかどうかを判定する（ｓ７１）。画像処理部４は、処理対象の点灯領域がｓ３４で継続すると判定されていれば、本処理を終了する。
【０１０５】
一方、画像処理部４は、処理対象の点灯領域がｓ３４で継続すると判定されていなければ、消灯条件を満足するかどうかを判定する消灯判定を行う（ｓ７２）。ｓ７２にかかる消灯判定では、上述したリサイズ処理を行ってもよいし、行わなくてもよい。ここでは、リサイズ処理を行うものとして説明する。
【０１０６】
画像処理部４は、以下に示す３つの消灯条件（消灯条件１〜消灯条件３）を全て満足しているかどうかを判定する。
消灯条件１：処理対象の点灯領域と、今回の処理対象フレーム画像上における点灯領域と、を比較し、今回の処理対象フレーム画像において輝度値が下がっている画素の個数が、予め定めた一定数に達している。
消灯条件２：今回の処理対象フレーム画像上の点灯領域付近に、輝度値が基準フレーム画像上の点灯領域に類似する領域がある。
消灯条件３：点灯領域が予め定めたフレーム数にわたって登録されている。
【０１０７】
消灯条件２にかかる判定は、上述した継続条件２と同じように、処理対象フレーム画像上に類似する領域を探索する探索範囲を設定し、公知のゼロ平均正規化相互相関等を利用して行えばよい。
【０１０８】
画像処理部４は、ｓ７２で、３つの消灯条件（消灯条件１〜消灯条件３）の全てを満足していると判定すると、処理対象の点灯領域にかかる扉閉表示灯が消灯したと判定する。一方、画像処理部４は、ｓ７２で、少なくとも３つの消灯条件（消灯条件１〜消灯条件３）のいずれか１つについて満足していないと判定すると、処理対象の点灯領域を誤検知により登録された扉閉表示灯の点灯領域であると判定する。
【０１０９】
画像処理部４は、ｓ７２にかかる消灯判定を完了すると、処理対象の点灯領域の登録を削除し（ｓ７３）、本処理を終了する。
【０１１０】
なお、ここでは、上記消灯条件１〜消灯条件３が全て満足したときに、今回の処理対象である点灯領域に対して扉閉表示灯が消灯したと判定するとしたが、少なくともいずれかの１つの消灯条件が満足したときや、２つ以上の消灯条件が満足したときに、今回の処理対象である点灯領域に対して扉閉表示灯が消灯したと判定するように構成してもよい。
【０１１１】
画像処理装置１は、画像処理部４がｓ３５にかかる第２の状態判定処理を終了すると、今回消灯したと判定した扉閉表示灯があるかどうかを判定する（ｓ３６）。画像処理装置１は、今回消灯したと判定した扉閉表示灯があれば、入出力部５から扉閉を示す信号を上位装置に出力し（ｓ３７）、ｓ３２に戻って、上述した処理を繰り返す。一方、画像処理装置１は、今回消灯したと判定した扉閉表示灯がなければ、ｓ３７で入出力部５から扉閉を示す信号を上位装置に出力することなくｓ３２に戻って、上述した処理を繰り返す。
【０１１２】
画像処理装置１は、画像処理部４がｓ３２で列車が発車したと判定すると、本処理を終了する。これにより、画像処理装置１は、ｓ１にかかる停車検知処理を開始する。
【０１１３】
このように、この画像処理装置１は、列車の車両の扉が閉しているフレーム画像、すなわち状態（点灯状態、または消灯状態）を判定する扉閉表示灯が消灯しているフレーム画像を、基準フレーム画像として取得し、この基準フレーム画像との輝度差分画像によって、扉閉表示灯が点灯状態であるか、消灯状態であるかを判定する。これにより、外乱光（太陽光や、駅ホームの照明光）が照射されている箇所を扉閉表示灯が点灯している箇所であると誤検知するのを防止できる。したがって、扉閉表示灯の状態が、精度よく判定できる。
【０１１４】
また、この例にかかる画像処理装置１は、上述したように、いずれかの扉閉表示灯が点灯状態から、消灯状態に移行したときに、入出力部５から扉閉を示す信号を上位装置に出力する。したがって、この例にかかる画像処理装置１が入出力部５から扉閉を示す信号を上位装置に出力したとき、撮像装置１０によって撮像されている全ての扉閉表示灯が消灯しているわけではない。通常、列車は、発車に備えて開している車両の扉を略同じタイミングで閉する。しかしながら、乗客のカバン等が扉に挟まり、一部の車両で扉が閉しないこともある。
【０１１５】
すなわち、この例にかかる画像処理装置１が入出力部５から上位装置に出力する扉閉を示す信号は、列車がまもなく発車することを通知するものであって、閉していない扉の有無を通知するものではない。したがって、上位装置は、画像処理装置１からの扉閉を示す信号の入力によって、列車の発車を許可するわけではない。上位装置は、画像処理装置１からの扉閉を示す信号の入力を、例えば、列車の発車に備えて、駅ホームに滞在している乗降客に対して注意喚起のメッセージ（例えば、「〇番線から、列車が発車します。白線まで、お下がりください。」等のメッセージ）を放送する開始タイミングや、ホーム扉を閉するタイミングの判断に利用する。
【０１１６】
また、画像処理装置１は、図５に示した状態判定処理を、図１２に示す状態判定処理に置き換えてもよい。以下、図１２に示す状態判定処理について説明する。
【０１１７】
この例にかかる画像処理装置１も、図５に示したｓ３１〜ｓ３５の処理を行う。画像処理装置１は、ｓ３５にかかる第２の状態判定処理を完了すると、点灯状態である扉閉表示灯の有無を判定する（ｓ１３６）。画像処理装置１は、点灯状態である扉閉表示灯が無いと判定すると、入出力部５から扉閉を示す信号を上位装置に出力し（ｓ１３７）、ｓ３２に戻って、上述した処理を繰り返す。一方、画像処理装置１は、点灯状態である扉閉表示灯があると判定すると、ｓ１３７で入出力部５から扉閉を示す信号を上位装置に出力することなくｓ３２に戻って、上述した処理を繰り返す。
【０１１８】
この例にかかる画像処理装置１は、撮像装置１０によって撮像されている全ての扉閉表示灯が消灯しているときに、入出力部５から上位装置に扉閉を示す信号を出力する。したがって、上位装置は、画像処理装置１から入力された扉閉を示す信号を用いて、列車の発車を許可するかどうか（列車の全ての車両の扉が閉しているかどうか）の判定が行える。
【０１１９】
なお、本願発明は、上記の例で示した、列車の車両の側面に取り付けられている扉閉表示灯の状態を判定する装置だけでなく、列車の車両の側面に取り付けられている非常灯の状態を判定する装置としても利用できる。
【０１２０】
また、外灯や、信号灯器等の点灯状態を判定する装置としても利用できる。
【符号の説明】
【０１２１】
１…画像処理装置
２…制御部
３…画像入力部
４…画像処理部
５…入出力部
１０…撮像装置
【図１】
0006492599.tif 000002
【図２】
0006492599.tif 000003
【図３】
0006492599.tif 000004
【図４】
0006492599.tif 000005
【図５】
0006492599.tif 000006
【図６】
0006492599.tif 000007
【図７】
0006492599.tif 000008
【図８】
0006492599.tif 000009
【図９】
0006492599.tif 000010
【図１０】
0006492599.tif 000011
【図１１】
0006492599.tif 000012
【図１２】
0006492599.tif 000013