(57)【要約】      （修正有）【課題】プラットホームを監視するカメラシステムの調整作業を不要にする。【解決手段】データ管理装置２００は、複数の撮影部が第１方向に沿って配置された撮影装置の第１撮影部で撮影した第１画像から、隣接する画素との輝度差が所定以上の画素により構成される複数の画素ブロックを抽出する抽出部２０３と、抽出した複数の画素ブロックから、少なくとも第２方向の座標が異なる２以上の画素ブロックを選択する選択部２０５と、選択した２以上の画素ブロックの夫々について視差を取得する取得部２０６と、取得した視差及び第２方向の座標に基づいて、視差と第２方向の座標との関係を示す視差情報を生成する生成部２０７と、を備える。【選択図】図４
2015184896.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮影部が第１方向に沿って配置されたステレオカメラの第１撮影部で撮影した第１画像から、隣接する画素との輝度差が所定以上の画素により構成される複数の画素ブロックを抽出する抽出部と、
前記抽出部が抽出した複数の前記画素ブロックから、少なくとも前記第１方向と直交する第２方向の座標が異なる２以上の画素ブロックを選択する選択部と、
前記選択部が選択した前記２以上の画素ブロックの夫々について、ステレオカメラの第２撮影部で撮影された第２画像との視差を取得する取得部と、
前記取得部が取得した視差及び前記２以上の画素ブロックの夫々の前記第２方向の座標に基づいて、前記視差と前記第２方向の座標との関係を示す視差情報を生成する生成部と、
を備える画像処理装置。
【請求項２】
前記ステレオカメラは、前記第１方向に沿って延びるプラットホームに設置され、前記プラットホームの周辺を俯瞰的に撮影するステレオカメラであり、
前記プラットホームの側面に前記第１方向に沿って延びる線路のレールの、撮影画像における位置を示す前記第２方向の座標を検出する検出部を更に備え、
前記選択部は、前記第２方向の座標が、前記レールが位置する座標よりも前記ステレオカメラから離れる方向に位置する少なくとも一の画素ブロックを選択する、
請求項１に記載の画像処理装置。
【請求項３】
前記検出部は、前記複数の画素ブロックにおける視差に基づいて、前記レールが位置する座標を検出する、
請求項２に記載の画像処理装置。
【請求項４】
前記検出部は、前記線路の枕木の位置を検出し、
前記選択部は、前記検出部が検出した前記枕木の位置以外に位置する複数の前記画素ブロックから前記２以上の画素ブロックを選択する、
請求項２又は３に記載の画像処理装置。
【請求項５】
前記選択部は、前記第１方向の座標が所定範囲内の第１領域、及び前記所定範囲外の第２領域の夫々において、前記２以上の画素ブロックを選択し、
前記生成部は、前記第１領域及び前記第２領域の夫々に関連付けて、前記視差情報を生成する、
請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
前記第１画像と前記第２画像との所定座標における視差が、前記視差情報が規定する当該座標の視差に対して所定量以上異なる異常画素ブロックを探索する探索部と、
前記探索部が前記異常画素ブロックを検出することを条件に、警告情報を出力する出力部と、
を更に備える請求項１から４のいずれかに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
多数の乗客が利用する鉄道車両では安全な運行が要求されるため、従来より、鉄道車両の関係者は、鉄道車両を安全に運行するための様々な試みを行っている。例えば、乗客がプラットホームから線路へ転落すると、重大な事故に繋がるおそれがあることから、乗客の転落をいち早く検知する試みが多数なされており、そのうちの幾つかは実際に鉄道車両の駅で採用されている。
【０００３】
具体的な一例として、プラットホームの天井下に複数のカメラを設置し、複数のカメラでプラットホームや線路上等の駅構内を監視するカメラシステムがよく知られている。
このようなカメラシステムとして、例えば、特許文献１には、複数のカメラをデイジーチェーン接続し、夫々のカメラで取得された監視情報を他のカメラを経由してサーバに伝送するカメラシステムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１１９８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このようなカメラシステムでは、通常、ステレオカメラの撮影画像の視差を用いて、線路に落下した乗客や異物を検知することとしている。そのため、従来のカメラシステムでは、線路に落下した乗客や異物を検知するために、線路のレール面上で視差がゼロになるように各カメラを調整し、プラットホームへの設置を行っている。レール面が視差ゼロになるようにカメラを設置することで、線路（レール）に異物が落下すると異物が写っている箇所に視差が生じることから、視差が生じている画素ブロックを検出することで異物を検出できた。
【０００６】
しかしながら、レール面が視差ゼロになるようにカメラを設置するには、各撮影部の撮影方向を高精度に調整する必要があり、多大な時間を要していた。プラットホーム全域に亘り監視を行うためには多数のカメラを設置する必要がある。多数のカメラの調整には膨大な時間が必要になる上に、乗客の利便性を損なうことのないよう調整作業は夜間に行う必要があるので、調整作業を不要とする技術が求められていた。
【０００７】
本発明は、このような問題に鑑みてなされたものであり、プラットホームを監視するカメラの調整作業を不要にする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の画像処理装置は、複数の撮影部が第１方向に沿って配置されたステレオカメラの第１撮影部で撮影した第１画像から、隣接する画素との輝度差が所定以上の画素により構成される複数の画素ブロックを抽出する抽出部と、前記抽出部が抽出した複数の前記画素ブロックから、少なくとも前記第１方向と直交する第２方向の座標が異なる２以上の画素ブロックを選択する選択部と、前記選択部が選択した前記２以上の画素ブロックの夫々について、ステレオカメラの第２撮影部で撮影された第２画像との視差を取得する取得部と、前記取得部が取得した視差及び前記２以上の画素ブロックの夫々の前記第２方向の座標に基づいて、前記視差と前記第２方向の座標との関係を示す視差情報を生成する生成部と、を備える。
【０００９】
上記の画像処理装置において、前記ステレオカメラは、前記第１方向に沿って延びるプラットホームに設置され、前記プラットホームの周辺を俯瞰的に撮影するステレオカメラであり、前記プラットホームの側面に前記第１方向に沿って延びる線路のレールの、撮影画像における位置を示す前記第２方向の座標を検出する検出部を更に備え、前記選択部は、前記第２方向の座標が、前記レールが位置する座標よりも前記ステレオカメラから離れる方向に位置する少なくとも一の画素ブロックを選択することとしてもよい。
【００１０】
上記の画像処理装置において、前記検出部は、前記複数の画素ブロックにおける視差に基づいて、前記レールが位置する座標を検出することとしてもよい。
【００１１】
上記の画像処理装置において、前記検出部は、前記線路の枕木の位置を検出し、前記選択部は、前記検出部が検出した前記枕木の位置以外に位置する複数の前記画素ブロックから前記２以上の画素ブロックを選択することとしてもよい。
【００１２】
上記の画像処理装置において、前記選択部は、前記第１方向の座標が所定範囲内の第１領域、及び前記所定範囲外の第２領域の夫々において、前記２以上の画素ブロックを選択し、前記生成部は、前記第１領域及び前記第２領域の夫々に関連付けて、前記視差情報を生成することとしてもよい。
【００１３】
上記の画像処理装置において、前記第１画像と前記第２画像との所定座標における視差が、前記視差情報が規定する当該座標の視差に対して所定量以上異なる異常画素ブロックを探索する探索部と、前記探索部が前記異常画素ブロックを検出することを条件に、警告情報を出力する出力部と、を更に備えることとしてもよい。
【発明の効果】
【００１４】
本発明によれば、調整作業を行うことなくプラットホームを監視するカメラを設置することができる。
【図面の簡単な説明】
【００１５】
【図１】一実施形態に係る撮影システムの構成例を示す図である。
【図２Ａ】駅プラットホームにおける撮影装置の設置例を示す図である。
【図２Ｂ】駅プラットホームにおける撮影装置の設置例を示す図である。
【図３】撮影装置が撮影した各種撮影画像の一例を示す図である。
【図４】データ管理装置の機能構成を示すブロック図である。
【図５】視差とＹ座標との関係を示す視差情報の一例を示す図である。
【図６】データ管理装置の視差情報生成機能の流れの一例を示す図である。
【図７】データ管理装置の視差情報生成機能の流れの一例を示す図である。
【図８】データ管理装置の視差情報生成機能の流れの一例を示す図である。
【図９】データ管理装置の異物検知機能の流れの一例を示す図である。
【図１０】撮影システムの処理の流れを示すフローチャートである。
【図１１】撮影システムの処理の流れを示すフローチャートである。
【図１２】データ管理装置の異物検知機能の別例を示す図である。
【発明を実施するための形態】
【００１６】
［撮影システム１０の全体構成］
図１は、本実施形態に係る撮影システム１０の全体構成を示す図であり、図２は、撮影装置１０１の駅のプラットホームにおける設置例を示す図である。なお、図２Ａは、鉄道車両の進行方向から駅のプラットホームを見た図であり、図２Ｂは、鉄道車両の進行方向に対して直交する方向から駅のプラットホームを見た図である。
【００１７】
図１に示すように撮影システム１０は、撮影装置群１００、及び撮影装置群１００と通信可能に接続されたデータ管理装置２００を含んで構成される。
なお、撮影システム１０は、データ管理装置２００と撮影装置群１００との間にハブ３００を備えてもよく、また、ハブ３００に接続される撮影装置群１００を複数備えてもよい。この場合、例えば、夫々の撮影装置群１００を、駅にある複数のプラットホームの夫々に設置することとしてもよい。また、撮影システム１０は、撮影装置群１００で撮影された画像を表示するモニタ４００を備えてもよい。
【００１８】
撮影装置群１００は、複数の撮影装置１０１（撮影装置１０１−１、撮影装置１０１−２・・・撮影装置１０１−ｎ、ただしｎは３以上の自然数）が所定方向に沿ってデイジーチェーン接続されて構成される。なお、図２Ｂに示すように、本実施形態では、複数の撮影装置１０１は、駅のプラットホームＰの長さ方向に沿ってデイジーチェーン接続される。
【００１９】
撮影装置１０１は、複数の撮影部が駅のプラットホームＰの長さ方向に沿って水平に配置されたステレオカメラである。図２Ａに示すように、撮影装置１０１は、駅のプラットホームＰの上部（天井）から線路Ｒに向けて所定の角度となるように設置されるとともに、図２Ｂに示すように、夫々の撮影装置１０１の撮影範囲Ｓが隣接する撮影装置１０１の撮影範囲Ｓと重なり合うように設置される。
【００２０】
撮影装置１０１は、プラットホームＰの周辺、即ちプラットホームＰ及び線路Ｒを俯瞰的に撮影する。ここで、撮影装置１０１によって撮影される第１画像５１及び第２画像５２、並びに第１画像５１と第２画像５２とから生成される距離画像５３の一例を図３に示す。
【００２１】
第１画像５１は、撮影装置１０１の第１撮影部により撮影される撮影画像であり、第２画像５２は、撮影装置１０１の第２撮影部により撮影される撮影画像である。
図３の第１画像５１に示すように、撮影装置１０１は、プラットホームＰ及び線路Ｒを撮影する。本実施形態では、線路Ｒは、レールＲａと複数の枕木Ｒｔと砂利Ｒｂとから構成されるバラスト軌道である。
【００２２】
距離画像５３は、第１画像５１と第２画像５２との視差に基づいて生成される画像である。
ここで、視差の算出方法は既に公知であり、基準画像（第１画像５１）の基準点と対応する対応点を比較画像（第２画像５２）の中から探索することで視差を算出する。具体的には、基準となる画素を中心に基準画像から画素ブロックを抽出し、比較画像の探索領域内の画素ブロックのうち基準画像から抽出した画素ブロックと輝度パターンが類似している画素ブロックをＳＡＤ（Sum  of  Absolute  Differences）法等の公知の手法により特定する。そして、基準画像の画素ブロックの座標と比較画像の画素ブロックの座標との相違から、視差を算出する。なお、本実施形態では、画素ブロックを構成する複数の画素のうち隣接する画素との輝度差が所定以上でない画素については、視差をゼロとして距離画像５３を生成する。
【００２３】
第１撮影部と第２撮影部とがプラットホームＰの長さ方向に沿って水平に配置された撮影装置１０１でバラスト軌道を撮影する場合、図３の距離画像５３に示すように、プラットホームＰ、レールＲａ及び枕木Ｒｔについては視差を算出できず、砂利Ｒｂについては輝度パターンに特徴があるため視差を算出することができる。
【００２４】
なお、夫々の画像において水平方向をＸ方向（第１方向）、垂直方向をＹ方向（第２方向）とする。撮影装置１０１の複数の撮影部が駅のプラットホームＰの長さ方向に沿って水平に配置されるため、Ｘ方向はプラットホームＰの長さ方向に相当する。また、Ｙ方向は、プラットホームＰや線路Ｒの幅方向（撮影装置１０１からの距離）に相当する。
以下では、説明の便宜上、画像上部をＹ座標「小」とし、画面下部をＹ座標「大」とする。即ち、撮影装置１０１から距離が遠いほどＹ座標を「小」とし、近いほどＹ座標を「大」とする。
【００２５】
撮影装置１０１が撮影した第１画像５１及び第２画像５２と、これら第１画像５１及び第２画像５２から生成された距離画像５３とは、所定の通信線を介してデータ管理装置２００に送信され、データ管理装置２００の記憶部２０２に記憶される。なお、距離画像５３は、撮影装置１０１が生成することなく、データ管理装置２００において生成することとしてもよい。
【００２６】
［データ管理装置２００の機能構成］
図４は、データ管理装置２００の機能構成を示すブロック図である。データ管理装置２００は、制御部２０１と、記憶部２０２と、を含んで構成される。
【００２７】
記憶部２０２は、例えば、ＲＯＭ及びＲＡＭ等により構成される。記憶部２０２は、データ管理装置２００を機能させるための各種プログラムを記憶する。また、記憶部２０２は、ステレオカメラの第１撮影部が撮影した第１画像５１及び第２撮影部が撮影した第２画像５２の画像データと、第１画像５１及び第２画像５２から生成される距離画像５３の画像データと、を記憶する。
【００２８】
制御部２０１は、例えば、ＣＰＵにより構成され、記憶部２０２に記憶されている各種プログラムを実行することにより、視差情報生成機能及び異物検知機能として機能する。
【００２９】
［視差情報生成機能］
図２Ａに示すように、撮影装置１０１は、所定の角度を持ってプラットホームＰの上部に設置されるため、撮影装置１０１からみると線路Ｒは傾斜してみえる。そのため、線路Ｒ内のプラットホームＰ側と反対側とでは、撮影装置１０１からの距離が異なる。なお、以下においてプラットホームＰ側を「手前側」、反対側を「奥側」と呼ぶことがある。
図５に示すように、視差は撮影装置１０１からの距離によって異なり、撮影装置１０１から近い物体を撮影したときの視差は大きく、遠い物体を撮影したときの視差は小さいため、線路Ｒ内であっても視差が異なる。
【００３０】
視差情報生成機能は、このような視差と距離との関係を示す視差情報（図５に示すＹ−ｄ関数）を生成する。
このような視差情報生成機能を実現するため、制御部２０１は、抽出部２０３と、選択部２０５と、取得部２０６と、生成部２０７と、を含んで構成される。
【００３１】
抽出部２０３は、第１撮影部が撮影した第１画像５１から、隣接する画素との輝度差が所定（例えば、「３」）以上の画素により構成される複数の画素ブロックを抽出する。例えば、４×４ピクセルの画素ブロックを用いる場合、抽出部２０３は、１６画素のうち隣接する画素との輝度差が所定以上の画素が所定数（例えば、１０画素）以上である画素ブロックを、複数抽出する。
【００３２】
図５に示す視差情報（Ｙ−ｄ関数）を生成するためには、Ｙ座標が異なる位置における複数の視差があればよい。ここで、視差の算出に際して、画素ブロック内の画素の輝度が単一の場合、基準となる画素ブロックの輝度パターンと類似する候補が比較画像の探索領域内に多数あるため、対応点を誤って特定してしまうことがあり、視差の算出に適していない。この点、隣接する画素との輝度差が所定以上の画素により構成される画素ブロックは、輝度パターンに特徴のある領域であり、視差の算出に適している。
そこで、選択部２０５は、抽出部２０３が抽出した複数の画素ブロックから、少なくともＹ方向の座標が異なる２以上の画素ブロックを選択する。
【００３３】
取得部２０６は、選択部２０５が選択した２以上の画素ブロックの夫々について、撮影装置１０１の第２撮影部で撮影された第２画像５２との視差を取得する。
【００３４】
生成部２０７は、取得部２０６が取得した視差及び２以上の画素ブロックの夫々のＹ方向の座標に基づいて、視差とＹ方向の座標との関係を示す視差情報を生成する。生成部２０７は、例えば、最小二乗法等を用いて、２以上の画素ブロックの視差及びＹ方向の座標に基づいて、視差情報（以下の式（１））を生成する。
ｄ（ｙ）＝αＹ＋β・・・式（１）
なお、ｄ（ｙ）は視差を示し、Ｙは画素ブロックのＹ座標を示し、α及びβは最小二乗法により算出されるパラメータを示す。
【００３５】
ここで、図３に模式的に示す距離画像５３では、プラットホームＰ、レールＲａ及び枕木Ｒｔについては視差を算出できていないが、ノイズの影響を完全に除去することはできず、プラットホームＰ、レールＲａ及び枕木Ｒｔについても一部視差が算出される。
このようなノイズとして算出された視差を用いて視差情報（Ｙ−ｄ関数）を算出することは好ましくないため、制御部２０１は、検出部２０４を更に含むこととしてもよい。
【００３６】
検出部２０４は、プラットホームＰ、レールＲａ及び枕木Ｒｔの位置を検出する。より詳細には、プラットホームＰ及びレールＲａが位置するＹ座標、並びに枕木Ｒｔが位置するＸ座標を検出する。
選択部２０５は、検出部２０４が検出したプラットホームＰ、レールＲａ及び枕木Ｒｔの位置以外の位置から２以上の画素ブロックを選択する。このとき、選択部２０５は、Ｙ座標が、レールＲａが位置する座標よりも撮影装置１０１から離れる方向（奥側）に位置する少なくとも一の画素ブロックを選択することで、算出する視差情報（Ｙ−ｄ関数）の精度を高めることができ好適である。
【００３７】
［視差情報生成機能の一例］
続いて、図６から図８を参照して、視差情報生成機能の具体的な処理の流れの一例について説明する。
図６（Ａ）に示すように、第１画像５１は、複数の画素ブロック５１０により構成される。画素ブロック５１０は、図６（Ｂ）に示すように、例えば４×４ピクセルの画素ブロックである。
【００３８】
抽出部２０３は、画素ブロック５１０に含まれる１６個の画素から隣接する画素との輝度差が所定以上（例えば、３以上）の画素を特定する。例えば、図６（Ｂ）に示す画素ブロック５１０内の左上の画素は、隣接する画素との輝度差が４（＝９−５）であり、隣接する画素との輝度差が所定以上の画素である。一方、画素ブロック５１０内の右上の画素は、隣接する画素との輝度差が０（＝８−８）であり、隣接する画素との輝度差が所定以上の画素ではない。
【００３９】
抽出部２０３は、隣接する画素との輝度差が所定以上である画素について視差ｄをセットする一方で、隣接する画素との輝度差が所定未満である画素について視差ゼロをセットする。なお、視差ｄは、画素ブロック５１０内の画素において同一であり、ＳＡＤ法等の公知の手法により所定のタイミングで算出される。このように、抽出部２０３は、隣接する画素間の輝度差情報と画素ブロック５１０の視差とを融合する。
また、抽出部２０３は、隣接する画素との輝度差が所定以上である画素の数を計数し、計数結果が所定数以上である画素ブロックを、複数抽出する。本実施形態では、抽出部２０３は、１６画素のうち１０画素以上の画素が所定以上の輝度差である画素ブロックを、抽出する。
【００４０】
図６（Ｃ）に示すように、選択部２０５は、抽出部２０３が抽出した画素ブロック５１０から、Ｙ座標の異なる少なくとも２以上の画素ブロック５１０を、視差情報（Ｙ−ｄ関数）を生成するためのポイントデータとして選択する。
このとき、図６（Ｄ）に示すように、プラットホームＰ、レールＲａ及び枕木Ｒｔ上にノイズとして視差が算出された画素ブロック５１０を選択することを防止するため、検出部２０４は、プラットホームＰ、レールＲａ及び枕木Ｒｔの位置を検出する。
【００４１】
具体的には、図７（Ｅ）に示すように、検出部２０４は、距離画像５３をＸ方向に走査し、視差ゼロである画素数を計数し、視差ゼロである画素数に基づいて、プラットホームＰ及びレールＲａの位置（Ｙ座標）を検出する。
図７（Ｆ）は、Ｙ座標と視差ゼロの画素数との関係を示すヒストグラムである。本実施形態のようにバラスト軌道を撮影する場合、撮影画像のＸ方向に沿って延びるプラットホームＰ及びレールＲａの位置（Ｙ座標）では、視差ゼロの画素数が多くなる。一方、砂利Ｒｂの位置（Ｙ座標）では、視差が算出されるため、視差ゼロの画素数が少なくなる。
【００４２】
検出部２０４は、視差ゼロの画素数が多いＹ座標のうち、Ｙ座標が最も大きいものをプラットホームＰと検出し、Ｙ座標が次に大きいものを２本のレールＲａの手前側のレールＲａ（以下、「下部レールＲａｄ」と呼ぶ）と検出し、Ｙ座用が次に大きいものを２本のレールＲａの奥側のレールＲａ（以下、「上部レールＲａｕ」と呼ぶ）と検出する。
また、検出部２０４は、上部レールＲａｕの位置（Ｙ座標）を座標Ｒ１とし、下部レールＲａｄの位置（Ｙ座標）を座標Ｒ２とする。
【００４３】
上部レールＲａｕ及び下部レールＲａｄの位置を検出すると、検出部２０４は、続いて、枕木Ｒｔの位置（Ｘ座標）を検出する。
具体的には、検出部２０４は、上部レールＲａｕ及び下部レールＲａｄ間を所定数に分割する。本実施形態では、図７（Ｇ）に示すように、上部レールＲａｕ及び下部レールＲａｄ間を３分割にする。そこで、検出部２０４は、上部レールＲａｕ及び下部レールＲａｄ間を３分割にする位置に、夫々、座標Ｍ１，座標Ｍ２をセットする。
【００４４】
また、枕木Ｒｔは、レールＲａよりも手前側及び奥側に延びて設置されるため、検出部２０４は、下部レールＲａｄよりも手前側の位置に座標Ｍ３をセットし、上部レールＲａｕよりも奥側の位置に座標Ｍ４をセットする。
なお、検出部２０４は、「下部レールＲａｄの座標Ｒ２＋α１」を座標Ｍ３としてセットし、「上部レールＲａｕの座標Ｒ１−α２」を、座標Ｍ４としてセットする。このとき、α１及びα２は、実験等により経験的に設定される値である。
【００４５】
続いて、検出部２０４は、座標Ｍ１から座標Ｍ４の夫々について、距離画像５３をＸ方向に走査し、画素ブロック５１０単位での視差ゼロの画素数を計数する。図８（Ｈ）は、画素ブロック５１０のＸ座標と、当該画素ブロック５１０内の視差ゼロの画素数との関係を示すヒストグラムである。
枕木Ｒｔでは視差が算出できないため、枕木Ｒｔの位置（Ｘ座標）の画素ブロック５１０内では、視差ゼロの画素数が多くなる。一方、砂利Ｒｂでは、視差が算出されるため、砂利Ｒｂの位置（Ｘ座標）の画素ブロック５１０内では、視差ゼロの画素数が少なくなる。検出部２０４は、画素ブロック５１０内の視差ゼロの画素数に基づいて、枕木Ｒｔの位置（Ｘ座標）を検出する。
【００４６】
検出部２０４がレールＲａ及び枕木Ｒｔの位置を検出すると、選択部２０５は、レールＲａ及び枕木Ｒｔの位置以外に位置する複数の画素ブロック５１０から２以上の画素ブロックを選択する。即ち、検出部２０４は、砂利Ｒｂの位置に位置する２以上の画素ブロック５１０を選択する。より具体的には、選択部２０５は、視差ゼロの画素数が閾値未満である画素ブロック５１０がｎ個以上連続している部分を、砂利Ｒｂの位置と特定し、当該部分から任意の画素ブロック５１０を選択する。
【００４７】
本実施形態では、選択部２０５は、図８（Ｉ）に示すように、座標Ｍ１から座標Ｍ４（Ｙ座標）の夫々について、枕木Ｒｔ以外の位置（Ｘ座標）に位置する画素ブロック５１０を選択する。
選択部２０５が座標Ｍ１から座標Ｍ４の夫々から画素ブロックを選択すると、生成部２０７は、これら画素ブロックに対して算出された視差、及びこれら画素ブロックのＹ座標に基づいて、視差情報（Ｙ−ｄ関数）を生成する。
【００４８】
なお、視差とＹ方向の座標との関係は、撮影画像の中央領域とそれ以外の領域とで異なることがある。そこで、本実施形態では、図８（Ｊ）に示すように、撮影画像をＸ方向に分割し、分割した複数の領域の夫々について視差情報を生成することとしてもよい。
図８（Ｊ）のように撮影画像を３分割する場合、選択部２０５は、Ｘ方向の座標が異なる左側領域６１、中央領域６２及び右側領域６３の夫々において、２以上の画素ブロックを選択し、生成部２０７は、左側領域６１、中央領域６２及び右側領域６３の夫々に関連付けて、視差情報（Ｙ−ｄ関数）を生成する。
【００４９】
［異物検知機能］
図４に戻り、異物検知機能は、視差情報生成機能により生成した視差情報を用いて、撮影装置１０１が撮影した画像から異物（例えば、線路Ｒに落下した異物）を検知する。
このような異物検知機能を実現するため、制御部２０１は、探索部２０８と、出力部２０９と、を含んで構成される。
【００５０】
探索部２０８は、第１画像５１と第２画像５２との所定座標における視差が、視差情報（Ｙ−ｄ関数）が規定する当該座標の視差に対して所定量以上異なる画素ブロックを異常画素ブロックとして抽出する。即ち、探索部２０８は、距離画像５３を探索し、距離画像５３を構成する複数の画素ブロックから異常画素ブロックを検出する。
出力部２０９は、探索部２０８が異常画素ブロックを検出することを条件に、警告情報を出力する。なお、出力部２０９は、任意の方法で警告情報を出力することができ、例えば、モニタ４００に所定の情報を表示することで警告情報を出力することとしてもよく、また、スピーカ（不図示）から所定の音声を発することで警告情報を出力することとしてもよい。
【００５１】
［異物検知機能の一例］
続いて、図９を参照して、異物検知機能の具体的な処理の流れの一例について説明する。
図９（Ａ）に示すように、探索部２０８は、線路Ｒの幅方向と略一致する矩形探索エリア５３０を探索し、異常画素ブロックを抽出する。矩形探索エリア５３０は、プラットホームＰの線路Ｒ側端から、上部レールＲａｕより奥側所定量（例えば、実世界における２０ｃｍ相当）までを覆う領域であり、図９（Ｂ）に示すように、Ｙ方向に沿って配置された複数の画素ブロック５１０により構成される。
【００５２】
ここで、図９では、矩形探索エリア５３０に含まれる画素ブロック５１０のうち、Ｙ座標が最も小さい画素ブロック５１０について視差情報に基づいて算出される視差を視差ｄ１とし、Ｙ座標が次に小さい画素ブロックについて視差情報に基づいて算出される視差を視差ｄ２、・・・、Ｙ座標が最も大きい画素ブロックについて視差情報に基づいて算出される視差を視差ｄｎとする。
図５に示す視差情報（Ｙ−ｄ関数）を参照すると、Ｙ座標が小さい（奥側）ほど視差は小さく、Ｙ座標が大きい（手前側）ほど視差は大きいため、視差ｄ１が最も小さい視差であり、視差ｄｎが最も大きい視差である。
【００５３】
図９（Ｃ−ａ）及び図９（Ｄ−ａ）に撮影装置１０１からみた線路Ｒを示す。撮影装置１０１は、所定の角度を持ってプラットホームＰの上部に設置されるため、同図に示すように、撮影装置１０１からみると線路Ｒは傾斜してみえる。
また、図９（Ｃ−ｂ）及び図９（Ｄ−ｂ）に、矩形探索エリア５３０内における視差と画素数との関係を示すヒストグラムを示す。なお、画素ブロック５１０の中には視差ゼロとしてセットされる画素が存在するため、視差ゼロの画素数は多くなる。
【００５４】
図９（Ｃ−ａ）に示すように、線路Ｒ上に異物が存在しない状況では、撮影装置１０１から撮影対象物（線路Ｒ）までの距離は、撮影装置１０１の設置角度に応じて一様に変化する。そのため、図９（Ｃ−ｂ）に示すように、矩形探索エリア５３０では、視差ｄ１から視差ｄｎまでの視差が略均等に算出される。
【００５５】
これに対して、図９（Ｄ−ａ）に示すように、線路Ｒ上に異物７０が存在する状況では、撮影対象物（線路Ｒ、異物７０）までの距離が、異物７０の存在により変化する。そのため、図９（Ｄ−ｂ）に示すように、異物が存在しない状況と比較すると、視差ｄ１から視差ｄｎまでの分布状況が異なることになる。即ち、異物７０に対応する画素ブロック５１０（異常画素ブロック）において異常な視差が算出される。
【００５６】
探索部２０８は、矩形探索エリア５３０において算出された視差のうち、視差ゼロ以外で閾値を超え、且つ、最も多い画素数が計数された視差を異物７０に基づく視差とし、異常視差ｄｙとして抽出する。探索部２０８は、この異常視差ｄｙに対応するＹ座標を、上記式（１）を変形した式（２）から算出する。
Ｙ＝（ｄｙ−β）／α・・・式（２）
【００５７】
なお、式（２）により算出されるＹ座標は、異物７０の始点を示すＹ座標である。そこで、出力部２０９は、図９（Ｅ）に示すように、算出したＹ座標（始点）から所定範囲（例えば、１ｍ）の領域を短冊矩形７１として示し、異物７０の存在をモニタ４００に対して表示する。
【００５８】
以上、データ管理装置２００の機能構成について説明した。なお、データ管理装置２００が備える抽出部２０３乃至出力部２０９のうちの１部の機能を複数の撮影装置１０１の夫々が備えることとしてもよい。即ち、本発明の画像処理装置は、データ管理装置２００により実現されることとしてもよく、また、複数の撮影装置１０１の夫々により実現されることとしてもよく、また、データ管理装置２００と複数の撮影装置１０１の夫々とにより実現されることとしてもよい。
【００５９】
［撮影システム１０の処理］
続いて、図１０及び図１１を参照して、本発明の撮影システム１０の処理の流れについて説明する。
【００６０】
図１０は、視差情報生成機能に基づく視差情報生成処理の流れを示すフローチャートである。
初めに、撮影装置１０１は、線路Ｒを撮影し、第１画像５１、第２画像５２及び距離画像５３を取得する（ステップＳ１）。続いて、データ管理装置２００の抽出部２０３は、輝度情報に基づいて視差有の画素ブロック５１０を抽出する（ステップＳ２）。即ち、抽出部２０３は、第１画像５１を参照して、隣接する画素との輝度差が所定以上の画素により構成される複数の画素ブロック５１０を抽出する。
【００６１】
続いて、検出部２０４は、レールＲａの位置を検出する（ステップＳ３）。この処理では、検出部２０４は、距離画像５３をＸ方向に走査し、視差ゼロである画素数を計数し、視差ゼロである画素数に基づいて、レールＲａの位置（Ｙ座標）を検出する。
また、検出部２０４は、枕木Ｒｔの位置を検出する（ステップＳ４）。この処理では、検出部２０４は、上部レールＲａｕ及び下部レールＲａｄの間のＹ座標、上部レールＲａｕよりも奥側のＹ座標、並びに下部レールＲａｄよりも手前側のＹ座標に位置する画素ブロックをＸ方向に走査し、画素ブロック５１０単位での視差ゼロの画素数に基づいて、枕木Ｒｔの位置（Ｘ座標）を検出する。
【００６２】
続いて、選択部２０５は、線路Ｒ内のレールＲａ及び枕木Ｒｔ以外の部分、即ち砂利Ｒｂに位置する画素ブロック５１０をポイントデータとして選択する（ステップＳ５）。続いて、生成部２０７は、ポイントデータとして選択した画素ブロック５１０において算出された視差、及び当該画素ブロック５１０のＹ座標に基づいて、上記式（１）に示す視差情報（Ｙ−ｄ関数）を生成し（ステップＳ６）、処理を終了する。
【００６３】
図１１は、異物検知機能に基づく異物検知処理の流れを示すフローチャートである。
初めに、撮影装置１０１は、線路Ｒを撮影し、第１画像５１、第２画像５２及び距離画像５３を取得する（ステップＳ１１）。続いて、データ管理装置２００の探索部２０８は、距離画像５３の線路Ｒ領域を探索する（ステップＳ１２）。即ち、探索部２０８は、線路Ｒの幅方向と略一致する矩形探索エリア５３０を探索する。
【００６４】
続いて、探索部２０８は、視差の分布状況を取得する（ステップＳ１３）。即ち、探索部２０８は、矩形探索エリア５３０における視差と当該視差が算出された画素数との関係を示すヒストグラムを生成する。続いて、探索部２０８は、所定画素数以上が計数された視差があるか否かを判定する（ステップＳ１４）。この判定がＹＥＳのとき、探索部２０８は、探索した矩形探索エリア５３０内に異物があると判定し（ステップＳ１５）、ステップＳ１６に処理を移す。他方、この判定がＮＯのとき、探索した矩形探索エリア５３０内に異物がないため、探索部２０８は、処理を終了し、次の矩形探索エリア５３０の探索に移る。
【００６５】
ステップＳ１６では、探索部２０８は、視差情報（Ｙ−ｄ関数）に基づいて異物の場所（Ｙ座標）を特定する。また、出力部２０９は、特定したＹ座標から所定範囲の領域を短冊矩形７１として示し、異物７０の存在をモニタ４００に対して表示する。この処理を終えると、探索部２０８は、次の矩形探索エリア５３０の探索に移る。
【００６６】
［撮影システム１０における効果］
以上、本発明の実施形態について説明した。続いて、撮影システム１０における効果について説明する。
【００６７】
プラットホームＰの上部に所定の角度を持って設置される撮影装置１０１では、撮影装置１０１から線路Ｒまでの距離が手前側と奥側とで異なる。そのため、撮影装置１０１で撮影した第１画像５１と第２画像５２との視差も手前側と奥側とで異なる。この点、撮影システム１０では、撮影装置１０１からの距離（Ｙ座標）と視差との関係を示す視差情報（Ｙ−ｄ関数）を生成する。
これにより、生成した視差情報を用いて容易に異物を検知できるため、レール面が視差ゼロになるように調整する必要がなく、撮影装置１０１の設置を容易に行うことができる。
【００６８】
このとき、撮影システム１０では、視差情報を生成するためのポイントデータを、隣接する画素との輝度差が所定以上の画素により構成される画素ブロック５１０の中から選択する。
これにより、類似する輝度の画素のみから構成される画素ブロック５１０をポイントデータとして選択することがなく、各画素の輝度パターンに特徴のある画素ブロック５１０をポイントデータとして選択することができる。輝度パターンに特徴のある画素ブロック５１０は、視差の算出に適しているため、適切な視差情報を生成することができ、好適である。
【００６９】
また、撮影システム１０では、線路Ｒ内の上部レールＲａｕ及び下部レールＲａｄの位置を検出するとともに、上部レールＲａｕよりも奥側に位置する画素ブロック５１０を少なくとも１つ選択する。これにより、算出する視差情報の精度を高めることができ好適である。
【００７０】
このとき、撮影システム１０では、複数の画素ブロック５１０における視差に基づいて、レールＲａが位置する座標を検出する。即ち、撮影システム１０では、視差ゼロの画素数の多いＹ座標を、レールＲａが位置する座標として検出する。また、撮影システム１０では、枕木Ｒｔの位置を検出し、レールＲａ及び枕木Ｒｔ以外の位置に位置する画素ブロック５１０をポイントデータとして選択する。
これにより、レールＲａ及び枕木Ｒｔ上にノイズとして算出された視差に基づいて視差情報を生成することを防止でき、算出する視差情報の精度を高めることができる。
【００７１】
また、撮影システム１０では、撮影画像の領域（左側領域６１、中央領域６２及び右側領域６３）に応じて視差情報を算出するため、算出する視差情報の精度を高めることができ、好適である。
【００７２】
また、撮影システム１０では、距離画像５３内に、視差情報に対して異常な視差が算出された異常画素ブロックが存在する場合に、警告情報を出力するため、線路Ｒに落下した異物７０を容易に検出することができ、鉄道車両の安全運行に寄与することができる。
【００７３】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００７４】
例えば、上記実施形態では、異物検知機能において、視差と当該視差が算出された画素数との関係から、異物７０を検知することとしている（図９（Ｄ−ｂ）参照）。この点、図１２に示すように、矩形探索エリア５３０に含まれる画素ブロック５１０の視差ｄ及びＹ座標と、視差情報（Ｙ−ｄ）関数に基づいて算出される当該Ｙ座標における視差ｄとから、異物７０を検知することとしてもよい。即ち、画素ブロック５１０に対して算出された視差ｄが、当該画素ブロック５１０のＹ座標に対して視差情報（Ｙ−ｄ関数）から算出される視差（ｄ（ｙ））を所定以上上回る画素ブロック５１０を異常画素ブロックとして抽出することで、異物７０を検知することとしてもよい。
【符号の説明】
【００７５】
１０・・・撮影システム、１００・・・撮影装置群、１０１・・・撮影装置、２００・・・データ管理装置（画像処理装置）、２０１・・・制御部、２０２・・・記憶部、２０３・・・抽出部、２０４・・・検出部、２０５・・・選択部、２０６・・・取得部、２０７・・・生成部、２０８・・・探索部、２０９・・・出力部、３００・・・ハブ、４００・・・モニタ
【図１】
2015184896.tif 000003
【図２Ａ】
2015184896.tif 000004
【図２Ｂ】
2015184896.tif 000005
【図４】
2015184896.tif 000006
【図５】
2015184896.tif 000007
【図６】
2015184896.tif 000008
【図７】
2015184896.tif 000009
【図９】
2015184896.tif 000010
【図１０】
2015184896.tif 000011
【図１１】
2015184896.tif 000012
【図１２】
2015184896.tif 000013
【図３】
2015184896.tif 000014
【図８】
2015184896.tif 000015