(57)【要約】【課題】意匠性を損なわずに設置された距離画像センサを備え、高精度に乗客までの距離値を計測できるエレベータ及びエスカレータを提供する。【解決手段】かご５１の上部に設置され、光軸がかご５１の天井又は壁面に対して斜めに傾いている第１のカメラ１と第２のカメラ２を備え、基線に対して光軸が斜めを向いているステレオカメラ５２と、第１、第２のカメラ１、２の撮影画像に対し、エピ極を原点とした極座標系での撮影画像に変換する極座標変換を用いて平行化を行う極座標補正部３と、極座標補正部３が平行化を行った第１、第２のカメラ１、２の撮影画像についてステレオ測距を行い、ステレオカメラ５２が撮影したかご５１内の乗客を表す３次元点群を求めるステレオ測距部４と、３次元点群を第１のカメラ１の撮影画像から抽出してかご５１内の乗客を認識する乗客認識部５と、乗客認識部５による乗客の認識結果に応じてかご５１を制御する制御部６を備える。【選択図】図１
2019006535.tif 000002
【特許請求の範囲】
【請求項１】
昇降路を昇降し、乗客を乗せるかごと、
前記かごの上部に固定されて設置され、光軸が前記かごの天井又は壁面に対して斜めに傾いている第１のカメラと第２のカメラとを備え、かつ前記第１のカメラのレンズの中心と前記第２のカメラのレンズの中心を結ぶ基線に対して前記光軸が斜めを向いているステレオカメラと、
前記第１のカメラと前記第２のカメラの撮影画像に対し、前記撮影画像についてのエピ極を原点とした極座標系での撮影画像に変換する極座標変換を用いて平行化を行う極座標補正部と、
前記極座標補正部が前記極座標変換を用いて平行化を行った前記第１のカメラと前記第２のカメラの前記撮影画像についてステレオ測距を行い、前記ステレオカメラが撮影した前記かご内の前記乗客を表す３次元点群を求めるステレオ測距部と、
前記ステレオ測距部が求めた前記３次元点群を前記第１のカメラの前記撮影画像から抽出して、前記かご内の前記乗客を認識する乗客認識部と、
前記乗客認識部による前記かご内の前記乗客の認識結果に応じて、前記かごを制御する制御部と、
を備えることを特徴とするエレベータ。
【請求項２】
前記ステレオ測距部は、前記極座標補正部が前記極座標変換を用いて平行化を行った前記第１のカメラと前記第２のカメラの前記撮影画像から、前記第１のカメラの前記撮影画像の各画素の視差を求め、この視差から前記３次元点群を求める、
請求項１に記載のエレベータ。
【請求項３】
前記ステレオカメラは、前記かごの天井又は壁面に設置されている、
請求項１に記載のエレベータ。
【請求項４】
前記ステレオカメラは、少なくとも一部が、前記かごの天井の隙間、前記かごの壁面の隙間、又は前記かごの天井と壁面との間の隙間に位置する、
請求項１に記載のエレベータ。
【請求項５】
前記ステレオカメラは、少なくとも一部が、前記かごの天井照明と壁面との間の隙間に位置する、
請求項１に記載のエレベータ。
【請求項６】
前記ステレオカメラは、前記第１のカメラと前記第２のカメラのうち一方のカメラに代えて鏡を備え、
前記第１のカメラと前記第２のカメラのうち他方のカメラの前記撮影画像に映っている前記鏡に映った像を、前記鏡に置き換えられた前記一方のカメラの前記撮影画像とする、
請求項１に記載のエレベータ。
【請求項７】
建築物に設けられ、
乗客を乗せて移動するステップと、
前記建築物の床、又は前記乗客の乗降口に設けられている固定された構造物に固定されて設置され、光軸が床面又は前記乗客の進行方向に対して斜めに傾いている第１のカメラと第２のカメラとを備え、かつ前記第１のカメラのレンズの中心と前記第２のカメラのレンズの中心を結ぶ基線に対して前記光軸が斜めを向いているステレオカメラと、
前記第１のカメラと前記第２のカメラの撮影画像に対し、前記撮影画像についてのエピ極を原点とした極座標系での撮影画像に変換する極座標変換を用いて平行化を行う極座標補正部と、
前記極座標補正部が前記極座標変換を用いて平行化を行った前記第１のカメラと前記第２のカメラの前記撮影画像についてステレオ測距を行い、前記ステレオカメラが撮影した前記乗客を表す３次元点群を求めるステレオ測距部と、
前記ステレオ測距部が求めた前記３次元点群を前記第１のカメラの前記撮影画像から抽出して、前記乗客を認識する乗客認識部と、
前記乗客認識部による前記乗客の認識結果に応じて、運行を制御する制御部と、
を備えることを特徴とするエスカレータ。
【請求項８】
前記ステレオ測距部は、前記極座標補正部が前記極座標変換を用いて平行化を行った前記第１のカメラと前記第２のカメラの前記撮影画像から、前記第１のカメラの前記撮影画像の各画素の視差を求め、この視差から前記３次元点群を求める、
請求項７に記載のエスカレータ。
【請求項９】
前記ステレオカメラは、インレット付近に設置されている、
請求項７に記載のエスカレータ。
【請求項１０】
前記ステレオカメラは、前記第１のカメラと前記第２のカメラのうち一方のカメラに代えて鏡を備え、
前記第１のカメラと前記第２のカメラのうち他方のカメラの前記撮影画像に映っている前記鏡に映った像を、前記鏡に置き換えられた前記一方のカメラの前記撮影画像とする、
請求項７に記載のエスカレータ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、エレベータ及びエスカレータに関し、特に、センサが取得した画像を用いて乗客を認識する機能を備えたエレベータ及びエスカレータに関する。
【背景技術】
【０００２】
エレベータでは、従来から、乗客の乗り過ぎなどによる過重積載への対策を実施している。例えば、乗客が乗り過ぎた状態での運転を防止するために、かご内の荷重を検出し、かご内の荷重が定格積載荷重を超過した場合には、かご内の警報器を鳴らし続けて戸閉動作を行わないようにしている。近年、従来の荷重センサよりも、より高度なセンサをエレベータのかご内に備え、センサによる乗客の認識結果を利用してエレベータを高度に制御する技術が検討されている。
【０００３】
例えば、特許文献１には、距離画像センサを用いてエレベータのかご内の乗客までの距離値を計測して３次元の測距データを取得し、かご内で乗客が占める占有面積を計算し、この占有面積から計算した混雑度をエレベータの運行制御に使う技術が開示されている。この技術では、車椅子に乗った乗客やショッピングカートを押す乗客のように通常の乗客と比較して荷重の差が小さくても占有面積が大きな乗客が乗った場合でも、かご内の混雑度を適切に計測できる。また、かご内の混雑度が高く、ドアを開けても新たな乗客が乗車できない場合には、目的階まで途中階でのドア開をスキップする運行制御が可能である。
【０００４】
なお、ここで述べる距離画像センサとは、画像中の画素毎に測定対象の物体までの距離値を高精度に計測できるセンサである。代表的な距離画像センサには、センサが近赤外光を発光してからその近赤外光が視野角内の物体に反射して戻ってくるまでの時間を計測するＴｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ法を計測方法として用いるものや、２台のカメラ間の両眼視差を利用するステレオカメラなどがある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−１２０５７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
エレベータのかご内の乗客を高精度に認識するためには、かご内の広い範囲で乗客までの距離値を計測する必要がある。特許文献１に記載の技術では、かご内の広い範囲で乗客までの距離値を計測するためには、距離画像センサを斜め下に向けて天井又はその付近の壁面に設置する必要がある。従来の汎用的な距離画像センサは、光軸が距離画像センサの筐体の正面を向いている。このため、斜め下を向くように距離画像センサを天井に設置するには、筐体に固定部材を取りつけ、筐体を天井に対して斜めに傾けて固定部材で天井に固定する必要がある。
【０００７】
このような設置では、天井に対して斜めに傾いた距離画像センサの筐体と筐体に取りつけられた固定部材が天井又はその付近の壁面から飛び出て目立ってしまい、かご内の天井とその付近の壁面における意匠性を損なうという課題がある。過半のエレベータではかご内の天井が平らなために、天井又はその付近の壁面に設置する距離画像センサに対しての意匠性の要求は高い。意匠性を改善するために、天井に対して斜めに傾いた距離画像センサと固定部材をカバーで覆う方法も考えられるが、斜めに傾いた距離画像センサと固定部材を覆うためにはカバーの寸法が大きくなってしまい、やはり意匠性を失ってしまう。
【０００８】
エスカレータに距離画像センサを設置する場合にも、広い範囲で乗客までの距離値を計測することとセンサを設置できる場所とを考慮すると、距離画像センサを床面に対して斜めに傾けて設置する必要がある。このため、エスカレータに距離画像センサを設置する場合にも、エレベータの場合と同様に、意匠性を損なうという課題がある。
【０００９】
このように、エレベータとエスカレータでは、意匠性を損なわずに距離画像センサを設置するとともに、距離画像センサで広範囲の乗客を認識して高精度に乗客までの距離値を計測することが要求されている。
【００１０】
本発明の目的は、意匠性を損なわずに設置された距離画像センサを備え、高精度に乗客までの距離値を計測できるエレベータ及びエスカレータを提供することである。
【課題を解決するための手段】
【００１１】
本発明によるエレベータは、昇降路を昇降し、乗客を乗せるかごと、前記かごの上部に固定されて設置され、光軸が前記かごの天井又は壁面に対して斜めに傾いている第１のカメラと第２のカメラとを備え、かつ前記第１のカメラのレンズの中心と前記第２のカメラのレンズの中心を結ぶ基線に対して前記光軸が斜めを向いているステレオカメラと、前記第１のカメラと前記第２のカメラの撮影画像に対し、前記撮影画像についてのエピ極を原点とした極座標系での撮影画像に変換する極座標変換を用いて平行化を行う極座標補正部と、前記極座標補正部が前記極座標変換を用いて平行化を行った前記第１のカメラと前記第２のカメラの前記撮影画像についてステレオ測距を行い、前記ステレオカメラが撮影した前記かご内の前記乗客を表す３次元点群を求めるステレオ測距部と、前記ステレオ測距部が求めた前記３次元点群を前記第１のカメラの前記撮影画像から抽出して、前記かご内の前記乗客を認識する乗客認識部と、前記乗客認識部による前記かご内の前記乗客の認識結果に応じて、前記かごを制御する制御部とを備える。
【００１２】
本発明によるエスカレータは、建築物に設けられ、乗客を乗せて移動するステップと、前記建築物の床、又は前記乗客の乗降口に設けられている固定された構造物に固定されて設置され、光軸が床面又は前記乗客の進行方向に対して斜めに傾いている第１のカメラと第２のカメラとを備え、かつ前記第１のカメラのレンズの中心と前記第２のカメラのレンズの中心を結ぶ基線に対して前記光軸が斜めを向いているステレオカメラと、前記第１のカメラと前記第２のカメラの撮影画像に対し、前記撮影画像についてのエピ極を原点とした極座標系での撮影画像に変換する極座標変換を用いて平行化を行う極座標補正部と、前記極座標補正部が前記極座標変換を用いて平行化を行った前記第１のカメラと前記第２のカメラの前記撮影画像についてステレオ測距を行い、前記ステレオカメラが撮影した前記乗客を表す３次元点群を求めるステレオ測距部と、前記ステレオ測距部が求めた前記３次元点群を前記第１のカメラの前記撮影画像から抽出して、前記乗客を認識する乗客認識部と、前記乗客認識部による前記乗客の認識結果に応じて、運行を制御する制御部とを備える。
【発明の効果】
【００１３】
本発明によると、意匠性を損なわずに設置された距離画像センサを備え、高精度に乗客までの距離値を計測できるエレベータ及びエスカレータを提供できる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施例１によるエレベータが備える画像認識装置の機能構成を示す図。
【図２】本発明の実施例１によるエレベータのかごを示す図。
【図３Ａ】本発明の実施例１におけるステレオカメラの構成を示す図。
【図３Ｂ】従来の一般的なステレオカメラの構成を示す図。
【図４】ステレオ測距におけるエピポーラ幾何を説明する模式図。
【図５Ａ】本発明の実施例１でのステレオカメラにおける、射影変換による平行化を説明する模式図。
【図５Ｂ】従来の一般的なステレオカメラにおける、射影変換による平行化を説明する模式図。
【図６Ａ】本発明の実施例１でのステレオカメラで撮影した画像を射影変換により平行化する前と平行化した後の例を示す図。
【図６Ｂ】従来の一般的なステレオカメラで撮影した画像を射影変換により平行化する前と平行化した後の例を示す図。
【図７Ａ】極座標補正部によってレンズ歪みを補正した撮影画像の例を示す図。
【図７Ｂ】極座標補正部によって極座標変換した撮影画像の例を示す図。
【図８】ステレオ測距部が実行する処理のフローを示す図。
【図９Ａ】ステレオ測距部が実行する視差の変換方法の一例を示す図であり、斜め向きカメラの撮影画像を極座標変換した撮影画像を示す図。
【図９Ｂ】ステレオ測距部が実行する視差の変換方法の一例を示す図であり、極座標変換した撮影画像に極座標変換の逆変換を施した画像を示す図。
【図９Ｃ】ステレオ測距部が実行する視差の変換方法の一例を示す図であり、極座標変換の逆変換を施した画像を射影変換した画像を示す図。
【図１０】本発明の実施例３において、極座標補正部が、極座標変換をした撮影画像に、θ軸の非線形変換を行って画像補正をした撮影画像の例を示す図。
【図１１】本発明の実施例４において、斜め向きカメラと鏡を備えるステレオカメラを示す図。
【図１２】本発明の実施例２によるエスカレータを示す図。
【発明を実施するための形態】
【００１５】
本発明によるエレベータ及びエスカレータは、広範囲の乗客を認識して高精度に乗客までの距離値を計測できる距離画像センサ（ステレオカメラ）を、意匠性を損なわずに備える。
【００１６】
ステレオカメラは、固定されており、固定された一定の範囲を撮影する２台のカメラを備える。ステレオカメラは、エレベータに設置された場合は、エレベータのかごに固定されて設けられ、かご内の固定された一定の範囲を撮影し、エスカレータに設置された場合は、エスカレータが設置されている床に対して固定されて設けられ、エスカレータの乗降口とその付近の固定された一定の範囲を撮影する。
【００１７】
ステレオカメラが備える２台のカメラは、光軸の向きが、これらのカメラのレンズの中心を結ぶ線である基線に対して、斜めを向いている。従って、これらの２台のカメラは、光軸が、エレベータに設置された場合はかごの天井又はステレオカメラが設置された壁面に対して、エスカレータに設置された場合はエスカレータが設置されている床に対して、垂直ではなく斜めに傾いている。
【００１８】
なお、本発明によるエレベータ及びエスカレータが備えるステレオカメラは、エレベータ及びエスカレータ以外にも、センシング情報を用いて乗り物内の装置や乗り物の運行を制御する一般的な用途に適用できる。
【００１９】
以下、本発明の実施例によるエレベータ及びエスカレータを、図面を参照しながら説明する。
【実施例１】
【００２０】
本発明の実施例１によるエレベータを説明する。
【００２１】
図２は、本実施例によるエレベータのかご５１を示す図である。かご５１は、天井５６、４つの壁面（側面）５７、床面５５、壁面５７の１つに設けられたドア５３、及び画像認識装置を備え、昇降路を昇降し、乗客や荷物を乗せる。画像認識装置は、ステレオカメラ５２、及び制御装置５４を備える。
【００２２】
ステレオカメラ５２は、距離画像センサであり、かご５１の上部に固定されて設置される。図２では、ステレオカメラ５２は、天井５６に設けられている。なお、ステレオカメラ５２は、壁面５７に設けてもよい。この場合には、天井５６の付近の壁面５７、すなわち壁面５７のできるだけ天井５６に近い位置に、ステレオカメラ５２を設けるのが好ましい。ステレオカメラ５２は、かご５１に固定され、かご５１内の固定された一定の範囲を撮影する。この一定の範囲は、ステレオカメラ５２の設置位置や設置角度によって定まるが、かご５１内の広範囲の乗客を撮影できるような範囲である。
【００２３】
かご５１には、かご５１を基準とした座標系５９が定められており、ステレオカメラ５２には、ステレオカメラ５２を基準とした座標系５８が定められている。
【００２４】
制御装置５４は、かご５１の意匠性を損なわないようにして、かご５１に設けられる。
【００２５】
図１は、本実施例によるエレベータが備える画像認識装置の機能構成を示す図である。画像認識装置は、上述したように、ステレオカメラ５２、及び制御装置５４を備える。
【００２６】
ステレオカメラ５２は、２つの斜め向きカメラ１、２と、斜め向きカメラ１、２を収納した筐体を備える。斜め向きカメラ１、２は、かご５１内の乗客が撮影できる向きで筐体に収納され、かご５１内の画像を撮影することで、かご５１内の撮影画像（動画と静止画を含む）を取得する。
【００２７】
制御装置５４は、極座標補正部３、ステレオ測距部４、乗客認識部５、及び制御部６を備える。極座標補正部３は、斜め向きカメラ１と斜め向きカメラ２の撮影画像を極座標変換を用いた画像変換を使って補正する。ステレオ測距部４は、極座標補正部３が補正した２つの撮影画像についてステレオ測距（ステレオカメラの２つの撮影画像を用いて、撮影した物体との距離値を計測すること）を行い、測距データを求める。乗客認識部５は、ステレオ測距部４が求めた測距データを用いて、かご５１内の物体（例えば、乗客と荷物）を認識する。制御部６は、乗客認識部５の認識結果を用いて、かご５１の運行又はエレベータが備える装置の１つ以上を制御する。
【００２８】
極座標補正部３、ステレオ測距部４、乗客認識部５、及び制御部６の各機能は、制御装置５４内の信号処理で実現できる。制御装置５４には、任意の計算機を適用できる。例えば、ステレオカメラ５２等に内蔵された制御装置や、かご５１とネットワークで接続された遠方の計算機を、制御装置５４として用いてもよい。制御装置５４は、２つ以上の計算機から構成してもよい。
【００２９】
以下、斜め向きカメラ１、２、極座標補正部３、ステレオ測距部４、乗客認識部５、及び制御部６の詳細を説明する。
【００３０】
図３Ａは、本実施例におけるステレオカメラ５２の構成を示す図である。斜め向きカメラ１及び斜め向きカメラ２は、ステレオカメラ５２の筐体６０内に備えられている。
【００３１】
斜め向きカメラ１及び斜め向きカメラ２は、ステレオカメラ５２からかご５１内の乗客が撮影できるような向きで筐体６０に固定されている。斜め向きカメラ１及び斜め向きカメラ２の向きとは、それぞれ斜め向きカメラ１及び斜め向きカメラ２の光軸の向きのことである。ステレオカメラ５２において、斜め向きカメラ１及び斜め向きカメラ２の光軸の向きは、斜め向きカメラ１のレンズ６１の中心（光学中心）と斜め向きカメラ２のレンズ６２の中心とを結ぶ線（基線６３）に対して、斜めを向いている。
【００３２】
斜め向きカメラ１及び斜め向きカメラ２は、基線６３がステレオカメラ５２の筐体６０の側面（斜め向きカメラ１のレンズ６１と斜め向きカメラ２のレンズ６２が向き合う側面）と平行になるように、筐体６０の内部に固定される。ステレオカメラ５２は、かご５１の天井５６（又は壁面５７）に設けられるが、意匠性を損なわないように、レンズ６１、６２が向き合う筐体６０の側面が天井５６（又は壁面５７）と平行になるように設けられる。すなわち、ステレオカメラ５２は、基線６３が、かご５１の天井５６（又はステレオカメラ５２が設置された壁面５７）と平行になるように、かご５１に設置される。
【００３３】
従って、斜め向きカメラ１及び斜め向きカメラ２は、光軸が基線６３に対して斜めを向いているので、光軸がかご５１の天井５６（又はステレオカメラ５２が設置された壁面５７）に対して、垂直ではなく斜めに傾いている。
【００３４】
斜め向きカメラ１と斜め向きカメラ２の相対的な位置は、後述するステレオ測距を精度よく行うことができれば、任意である。斜め向きカメラ１の光軸と斜め向きカメラ２の光軸は、互いに平行又は平行に近いのが好ましいが、互いに平行でなくてもよい。
【００３５】
図３Ｂは、従来の一般的なステレオカメラ５２ｇの構成を示す図である。比較のために、従来のステレオカメラ５２ｇについて簡単に説明する。従来のステレオカメラ５２ｇは、筐体６０ｇの内部にカメラ１ｇ及びカメラ２ｇを備え、カメラ１ｇ及びカメラ２ｇの光軸の向きは、カメラ１ｇのレンズ６１ｇの中心（光学中心）とカメラ２ｇのレンズ６２ｇの中心とを結ぶ基線６３ｇに対してほぼ垂直である。すなわち、カメラ１ｇ、２ｇの光軸は、レンズ６１ｇ、６２ｇが向き合う筐体６０ｇの側面に対して、ほぼ垂直である。従って、ステレオカメラ５２ｇでは、意匠性を損なわないようにレンズ６１ｇ、６２ｇが向き合う筐体６０ｇの側面が天井５６（又は壁面５７）と平行になるように設けられると、カメラ１ｇ及びカメラ２ｇの向きは、天井５６（又はステレオカメラ５２ｇが設置された壁面５７）に対して、ほぼ垂直になる。
【００３６】
極座標補正部３は、斜め向きカメラ１及び斜め向きカメラ２の撮影画像を、極座標変換を使った画像変換で補正することで平行化する。極座標変換は、斜め向きカメラ１、２の撮影画像（直交座標系での撮影画像）を、極座標系での撮影画像に変換することである。
【００３７】
以下では、射影変換による撮影画像の平行化について説明し、平行化において極座標変換が必要な理由について説明する。
【００３８】
図４は、ステレオ測距におけるエピポーラ幾何を説明する模式図である。図４には、２台のカメラのレンズ中心１１、１２と、エピ極１３、１４と、撮像面１７、１８と、空間中の点１０と、点１０の撮像面１７、１８への射影点１９、２０と、レンズ中心１１とレンズ中心１２とを結ぶ線分である基線６３と、エピポーラ線１５ａ、１５ｂ、１５ｃ、１６ａ、１６ｂ、１６ｃが示されている。エピ極１３は、レンズ中心１２の撮像面１７への射影点（仮想的に無限遠まで伸長させた撮像面１７と基線６３との交点）であり、エピ極１４は、レンズ中心１１の撮像面１８への射影点である。エピポーラ線１５ａ、１５ｂ、１５ｃとエピポーラ線１６ａ、１６ｂ、１６ｃは、この順に互いに対応する。例えば、射影点１９がエピポーラ線１５ｂ上に位置するとき、射影点２０はエピポーラ線１６ｂ上に位置する。
【００３９】
ステレオ測距では、画像的な類似度を基にエピポーラ線上の対応点探索をする。例えば、エピポーラ線１５ｂの射影点１９に対し、エピポーラ線１６ｂ上に位置する射影点２０を、画像的な類似度を基に対応点探索を行って求める。そして、射影点１９と射影点２０の座標から、三角測量によって点１０までの距離を測る。ステレオ測距では、この測距を撮像面１７上の各点で繰り返すことで、撮影した物体との距離値を求める。
【００４０】
一般的には、射影点１９に対する射影点２０の対応点探索の計算を効率化するために、撮像面１７、１８を基線６３に対して垂直になるように射影変換をする。この射影変換は、一般に、平行化と呼ばれる。平行化を施すと、エピポーラ線１５ａ、１５ｂ、１５ｃとエピポーラ線１６ａ、１６ｂ、１６ｃ等、全てのエピポーラ線は、撮像面１７、１８の横軸に一致する。このため、射影点１９に対する射影点２０を求める対応点探索の範囲は、撮像面１８上のうち、平行化した撮像面１８の横軸の方向に限定できる。幾何的な性質として、この平行化（射影変換による平行化）は、エピ極１３、１４を無限遠に移動する変換と等価である。
【００４１】
図５Ａは、本実施例でのステレオカメラ５２における、射影変換による平行化を説明する模式図である。図５Ａの左図は、平行化前の撮像面１７、１８を示し、図５Ａの右図は、射影変換による平行化後の撮像面２７、２８を示す。図５Ａの左図のエピポーラ線１５ａ、１５ｂ、１５ｃ、１６ａ、１６ｂ、１６ｃと、図５Ａの右図のエピポーラ線２５ａ、２５ｂ、２５ｃ、２６ａ、２６ｂ、２６ｃは、それぞれ互いに対応する。なお、図５Ａの右図において、説明のために、撮像面２７を左側部２１と右側部２３に分け、撮像面２８を左側部２２と右側部２４に分けている。
【００４２】
図５Ａの左図には、斜め向きカメラ１のレンズ中心１１と、斜め向きカメラ２のレンズ中心１２と、エピ極１３、１４と、撮像面１７、１８が示されている。ステレオカメラ５２では、斜め向きカメラ１、２の向きが基線６３に対して斜めを向いているために、エピ極１３、１４がそれぞれ撮像面１７、１８の近くに現れる。図５Ａの例では、エピ極１３、１４は、それぞれ撮像面１７、１８の右側の近くに現れている。
【００４３】
図５Ａの右図には、射影変換による平行化後の撮像面２７、２８が示されている。平行化前（図５Ａの左図）ではエピ極１３、１４がそれぞれ撮像面１７、１８の右側の近くにあるため、平行化後の撮像面２７、２８上において、右側部２３、２４では、エピ極１３、１４を無限遠に移動する射影変換に伴い、左側部２１、２２に比べて撮影画像が大きく伸長する。この伸長は、右側部２３、２４の中でも特に撮像面２７、２８の右側に向かうほど、エピ極１３、１４に近いために大きくなる。
【００４４】
図５Ｂは、比較のために、従来の一般的なステレオカメラ５２ｇにおける、射影変換による平行化を説明する模式図である。図５Ｂの左図は、平行化前の撮像面１７ｇ、１８ｇを示し、図５Ｂの右図は、射影変換による平行化後の撮像面２７ｇ、２８ｇを示す。図５Ｂの左図のエピポーラ線１５ａｇ、１５ｂｇ、１５ｃｇ、１６ａｇ、１６ｂｇ、１６ｃｇと、図５Ｂの右図のエピポーラ線２５ａｇ、２５ｂｇ、２５ｃｇ、２６ａｇ、２６ｂｇ、２６ｃｇは、それぞれ互いに対応する。図５Ｂの左図には、カメラ１ｇのレンズ中心１１ｇと、カメラ２ｇのレンズ中心１２ｇも示している。
【００４５】
従来のステレオカメラ５２ｇでは、カメラ１ｇ及びカメラ２ｇの向きが基線６３ｇに対してほぼ垂直であるため、エピ極は無限遠に近い位置にある。このため、図５Ｂの右図に示す平行化後の撮像面２７ｇ、２８ｇでの撮影画像は、それ程大きく伸長することはない。
【００４６】
図６Ａは、本実施例でのステレオカメラ５２で撮影した画像を射影変換により平行化する前と平行化した後の例を示す図である。図６Ａには、一例として、ステレオカメラ５２でかご５１内を撮影したときの、斜め向きカメラ１の撮影画像１１７、２１７を示す。図６Ａの左図は、平行化する前の撮影画像１１７であり、図６Ａの右図は、射影変換により平行化した後の撮影画像２１７である。撮影画像１１７には、車椅子用の操作盤１５３、乗客１５６、及び乗客の頭部１５７が映っており、撮影画像２１７には、乗客２５６、及び乗客の頭部２５７が映っている。
【００４７】
射影変換により平行化した後の撮影画像２１７では、右側の部分（図５Ａの右図に示した、撮像面２７の右側部２３に相当）にて、先述のように平行化に伴って撮影画像が伸長するために、乗客２５６の像が大きく変形し、乗客の頭部２５７の像が特に大きく変形する。また、平行化する前の撮影画像１１７に映っていた車椅子用の操作盤１５３は、平行化した後の撮影画像２１７の右側部分で撮影画像が伸長した結果、撮影画像２１７の画角外に移動してしまい、撮影画像２１７に映っていない。図示しないが、斜め向きカメラ２の撮影画像を射影変換により平行化すると、撮影画像２１７と同様に、右側の部分で撮影画像が大きく伸長し、撮影画像中の像が大きく変形する。
【００４８】
このように、斜め向きカメラ１、２を備えるステレオカメラ５２では、撮影画像を射影変換により平行化すると、撮像面２７、２８の右側部２３、２４で撮影画像が伸長し、この部分での画像が変形してしまうことや画角外に移動してしまうことにより、高精度なステレオ測距が困難である。
【００４９】
図６Ｂは、比較のために、従来の一般的なステレオカメラ５２ｇで撮影した画像を射影変換により平行化する前と平行化した後の例を示す図である。図６Ｂの左図は、平行化する前の撮影画像１１７ｇであり、図６Ｂの右図は、射影変換により平行化した後の撮影画像２１７ｇである。撮影画像１１７ｇには、車椅子用の操作盤１５３ｇ、乗客１５６ｇ、及び乗客の頭部１５７ｇが映っており、撮影画像２１７ｇには、車椅子用の操作盤２５３ｇ、乗客２５６ｇ、及び乗客の頭部２５７ｇが映っている。
【００５０】
従来のステレオカメラ５２ｇでは、カメラ１ｇ及びカメラ２ｇの向きが基線６３ｇに対してほぼ垂直であり、撮影画像１１７ｇを射影変換により平行化しても、平行化後の撮影画像２１７ｇに大きな伸長は無い。このため、平行化前の撮影画像１１７ｇに映っている車椅子用の操作盤１５３ｇ、乗客１５６ｇ、及び乗客の頭部１５７ｇと、平行化後の撮影画像２１７ｇに映っている車椅子用の操作盤２５３ｇ、乗客２５６ｇ、及び乗客の頭部２５７ｇとの間で、像の大きな変形は無い。
【００５１】
このように、本実施例でのステレオカメラ５２で撮影した画像を射影変換により平行化すると、撮影画像における画像の歪み（変形）や画角外へのはみ出しが起こり得る。
【００５２】
極座標補正部３は、ステレオカメラ５２の撮影画像を平行化するときには、画像の歪みや画角外へのはみ出しを低減するために、斜め向きカメラ１、２の撮影画像に対して極座標変換を使った補正を行って平行化する。
【００５３】
図７Ａは、極座標補正部３による撮影画像の補正について説明する図であり、レンズ歪みを補正した撮影画像の例を示す図である。撮影画像３１７は、極座標補正部３が撮影画像１１７からレンズ歪みを補正した撮影画像である。撮影画像３１７には、車椅子用の操作盤３５３、乗客３５６、及び乗客の頭部３５７が映っている。図７Ａには、撮影画像３１７についてのエピ極３１３（撮像面１７についてのエピ極１３に対応する点）と、撮影画像３１７についてのエピ極３１３を原点とした極座標系３１５も示している。極座標系３１５は、距離ρと角度θの２つの座標軸を持ち、図７Ａでは一点鎖線で示している。極座標系３１５における距離ρの座標軸は、エピポーラ線１５ａ、１５ｂ、１５ｃ等のエピポーラ線と一致する。
【００５４】
図７Ｂは、極座標補正部３による撮影画像の補正について説明する図であり、極座標変換した撮影画像の例を示す図である。撮影画像４１７は、極座標補正部３が撮影画像３１７を極座標系３１５を使って極座標変換した撮影画像であり、距離ρと角度θを座標軸に持つ極座標系４１５で表される。極座標系４１５では、距離ρの座標軸と角度θの座標軸は、互いに直交する。極座標系４１５は、図７Ｂでは一点鎖線で示している。撮影画像４１７には、車椅子用の操作盤４５３、乗客４５６、及び乗客の頭部４５７が映っている。また、撮影画像４１７には、撮影画像３１７には対応画素が無い部分であるブランク部４２５、４２６がある。
【００５５】
極座標補正部３は、斜め向きカメラ１の撮影画像１１７に対し、レンズ歪みを補正し（図７Ａの撮影画像３１７）、極座標変換によって極座標系４１５での撮影画像４１７に変換する。この極座標変換は、射影変換による平行化と同様に、エピ極３１３を無限遠に移動する変換と等価であり、平行化の作用を持つ。
【００５６】
極座標補正部３が極座標変換した撮影画像４１７では、乗客４５６及び乗客の頭部４５７は幾分か歪む。しかし、歪みの程度は、従来の一般的なステレオカメラ５２ｇの撮影画像１１７ｇを射影変換により平行化した撮影画像２１７ｇ（図６Ｂの右図）より大きいが、本実施例でのステレオカメラ５２の撮影画像１１７を射影変換により平行化した撮影画像２１７（図６Ａの右図）よりは遥かに小さい。また、射影変換により平行化した撮影画像２１７（図６Ａの右図）では、車椅子用の操作盤１５３が画角外にはみ出ていたのに対して、極座標変換を用いて平行化した撮影画像４１７（図７Ｂ）では、車椅子用の操作盤４５３が画角内に収まっている。
【００５７】
極座標補正部３は、斜め向きカメラ２の撮影画像に対しても、斜め向きカメラ１の撮影画像と同様に、レンズ歪みを補正し、極座標系での撮影画像に変換する極座標変換を用いて平行化する。
【００５８】
次に、ステレオ測距部４について説明する。ステレオ測距部４は、極座標補正部３が極座標変換を用いて平行化した２つの撮影画像についてステレオ測距を行い、視差とステレオカメラ５２が撮影した物体を表す３次元点群などの測距データを求める。
【００５９】
図８は、ステレオ測距部４が実行する処理のフローを示す図である。ステレオ測距部４は、極座標補正部３が平行化した、斜め向きカメラ１の撮影画像と斜め向きカメラ２の撮影画像についてステレオ測距を行って、測距データを出力する。なお、以下では、斜め向きカメラ１の撮影画像を基準として測距データ（視差と３次元点群）を求める例を説明するが、斜め向きカメラ２の撮影画像を基準としてもよい。
【００６０】
Ｓ１で、ステレオ測距部４は、極座標変換で平行化した撮影画像４１７上の各画素の視差を計算して求める。この視差は、斜め向きカメラ１の撮影画像を極座標変換した撮影画像４１７と、斜め向きカメラ２の撮影画像を極座標変換した撮影画像とから、従来用いられている平行ステレオ法を用いて、両撮影画像間の対応点探索をして視差を計算することで、求められる。対応点探索のアルゴリズムとして、例えば、画像中の各画素の近傍のブロック間の類似度を用いたブロックマッチング法を用いることができる。但し、この方法に限らず、平行ステレオ法における視差計算に適用可能な任意のアルゴリズムを使用できる。
【００６１】
Ｓ２で、ステレオ測距部４は、斜め向きカメラ１の撮影画像を極座標変換で平行化した撮影画像４１７（図７Ｂ）上の各画素の視差を、斜め向きカメラ１の撮影画像を射影変換で平行化したときの撮影画像上での各画素の視差に変換する。すなわち、極座標系４１５で求めた視差を、直交座標系での視差に変換する。視差のこの変換方法の一例を、図９Ａ、図９Ｂ、及び図９Ｃを用いて説明する。
【００６２】
図９Ａ、図９Ｂ、及び図９Ｃは、ステレオ測距部４が実行する視差の変換方法の一例を示す図である。図９Ａは、斜め向きカメラの撮影画像を極座標変換した撮影画像を示す。図９Ｂは、極座標変換した撮影画像に極座標変換の逆変換を施した画像を示す。図９Ｃは、極座標変換の逆変換を施した画像を射影変換した画像を示す。
【００６３】
図９Ａには、斜め向きカメラ１の撮影画像１１７を極座標変換した撮影画像４１７、斜め向きカメラ２の撮影画像を極座標変換した撮影画像４１８、撮影画像４１７上の点４３５、及び撮影画像４１８上の点４３６を示している。点４３６は、Ｓ１での対応点探索で求めた、点４３５に対応する点である。撮影画像４１７と撮影画像４１８には、それぞれ極座標系４１５ａと極座標系４１６ａが定義されており、撮影画像４１７、４１８は、それぞれ極座標系４１５ａ、４１６ａで表される。点４３５のρ座標ρ１と点４３６のρ座標ρ２の差｜ρ２−ρ１｜が、撮影画像４１７上での視差にあたる。
【００６４】
図９Ｂには、撮影画像５１７、撮影画像５１８、撮影画像５１７上の点５３５、撮影画像５１８上の点５３６、エピ極５１３、エピ極５１４、エピポーラ線５１５ａ、及びエピポーラ線５１６ａを示している。撮影画像５１７と撮影画像５１８は、それぞれ撮影画像４１７と撮影画像４１８に極座標変換の逆変換を施した画像である。極座標変換の逆変換とは、極座標系での撮影画像（例えば、図７Ｂの撮影画像４１７）を直交座標系での撮影画像（例えば、図７Ａの撮影画像３１７）に変換することである。撮影画像５１７は、極座標系での撮影画像４１７を、直交座標系での撮影画像（斜め向きカメラ１の撮影画像）に変換した撮影画像である。撮影画像５１８は、極座標系での撮影画像４１８を、直交座標系での撮影画像（斜め向きカメラ２の撮影画像）に変換した撮影画像である。点５３５と点５３６は、それぞれ、点４３５、４３６に対応し、極座標変換の逆変換により点４３５、４３６から求められる。エピポーラ線５１５ａとエピポーラ線５１６ａは、撮影画像５１７と撮影画像５１８の間で互いに対応する。点５３５、５３６は、それぞれエピポーラ線５１５ａ、５１６ａ上に位置する。
【００６５】
図９Ｃには、撮影画像５２７、撮影画像５２８、撮影画像５２７上の点５４５、撮影画像５２８上の点５４６、撮影画像５２７の横軸５２５ａ、及び撮影画像５２８の横軸５２６ａを示している。撮影画像５２７と撮影画像５２８は、それぞれ撮影画像５１７と撮影画像５１８を射影変換した画像である。点５４５と点５４６は、それぞれ、撮影画像５１７を撮影画像５２７に射影変換した手順と撮影画像５１８を撮影画像５２８に射影変換した手順で求めた点であり、点５３５と点５３６に対応し、横軸５２５ａと横軸５２６ａ上に位置する。
【００６６】
撮影画像５２７、５２８の横軸５２５ａ、５２６ａをｕ軸とし、点５４５と点５４６のｕ軸上の座標をそれぞれｕ１とｕ２とすると、ｕ１とｕ２の差｜ｕ２−ｕ１｜が撮影画像５２７上での視差である。この視差｜ｕ２−ｕ１｜は、従来一般的に行われる射影変換によって撮影画像に平行化を行った場合の視差と等しい。
【００６７】
Ｓ２では、ステレオ測距部４は、以上のようにして、極座標変換で平行化した撮影画像４１７上の各画素の視差を、撮影画像５２７（射影変換で平行化した撮影画像に対応する画像）上での各画素の視差に変換する。極座標系で求めた視差を直交座標系での視差に変換することで、従来の一般的なステレオカメラで視差を求めた場合と同様にして、視差を３次元点群（各画素に対応し、ステレオカメラ５２が撮影した物体を表す点群）に変換できるという効果がある。
【００６８】
Ｓ３で、ステレオ測距部４は、撮影画像５２７上での各画素の視差を、ステレオカメラ５２を基準とした座標系５８（ＸＳ，ＹＳ，ＺＳ）（図２を参照）における３次元点群に変換する。ＸＳは基線６３の方向の座標であり、ＹＳは高さ方向の座標であり、ＺＳはステレオカメラ５２から撮影対象の物体に向かう方向の座標である。従って、座標ＺＳの値が、かご５１内の物体（例えば、乗客と荷物）までの距離値である。
【００６９】
最初に、式（１）を用いて、視差からＺＳを求める。式（１）で、ｄは撮影画像５２７上での視差、Ｂは基線６３（図３Ａを参照）の長さ、λはステレオカメラ５２の焦点距離である。
【００７０】
【数１】
2019006535.tif 000003
【００７１】
次に、式（２）と式（３）を用いて、ＸＳとＹＳを求める。式（２）のｕと式（３）のｖは、撮影画像５２７上の画素の座標である。なお、式（２）、（３）は、それぞれ、ｕ＝λＸＳ／ＺＳ、ｖ＝λＹＳ／ＺＳという一般的な射影変換の式を変形したものである。
【００７２】
【数２】
2019006535.tif 000004
【００７３】
【数３】
2019006535.tif 000005
【００７４】
Ｓ４で、ステレオ測距部４は、ステレオカメラ５２を基準とした座標系５８（ＸＳ，ＹＳ，ＺＳ）における３次元点群を、かご５１を基準とした座標系５９（Ｘ，Ｙ，Ｚ）（図２を参照）における３次元点群に、回転と平行移動の行列変換によって座標変換する。この座標変換には、事前に求めておいた、座標系５９におけるステレオカメラ５２の設置位置（ＸＣ，ＹＣ，ＺＣ）と設置角度（α，β，γ）と、式（４）を用いる。
【００７５】
【数４】
2019006535.tif 000006
【００７６】
ステレオ測距部４は、以上のようにして、極座標変換で平行化した撮影画像４１７上の各画素の視差を求め、この視差を基に、かご５１内のどこに物体（物体を表す３次元点群）があるかを求める。
【００７７】
次に、乗客認識部５について説明する。乗客認識部５は、ステレオ測距部４が求めた測距データ（特に、ステレオカメラ５２が撮影した物体を表す３次元点群）を用いて、かご５１内の物体（例えば、乗客と荷物）を認識する。かご５１内の物体の認識には、例えば、特許文献１に開示された技術を用いることができる。乗客認識部５は、座標系５９で座標が定義された３次元点群を、ステレオカメラ５２の撮影画像（斜め向きカメラ１の撮影画像又は斜め向きカメラ２の撮影画像）の各画素から密に抽出し、かご５１内の物体を検出し、かご５１内の乗客の人数や荷物の占有面積を認識して、かご５１内の混雑度を求める。また、乗客認識部５は、乗客の認識結果から、かご５１が満員や無人であるというようなかご５１の状況を認識できる。
【００７８】
制御部６は、乗客認識部５によるかご５１内の物体の認識結果に応じて、かご５１の運行又はかご５１内の１つ以上の装置を制御する。例えば、かご５１が満員であると乗客認識部５が判定した場合には、制御部６は、かご５１の昇降途中でのホール呼びでは停止しないように（すなわち、ホール呼びがあった階を通過するように）かご５１の運行を制御する。また、かご５１が無人であると乗客認識部５が判定した場合には、制御部６は、ドア５３の開閉速度を速くするような制御を行う。
【００７９】
本実施例によるエレベータは、以上述べたように、斜め向きカメラ１及び斜め向きカメラ２を備えるステレオカメラ５２を備え、かご５１内の高精度なステレオ測距と乗客認識ができ、これらの結果に基づいてかご５１の制御が可能である。ステレオカメラ５２は、斜め向きカメラ１及び斜め向きカメラ２を備えるので、筐体６０をかご５１の天井５６又はステレオカメラ５２が設置された壁面５７に対して斜めに傾けて設置しなくても、かご５１の天井５６又はステレオカメラ５２が設置された壁面５７から斜め下方向の画像を撮影することが可能であり、かご５１内の広い範囲で乗客までの距離値を高精度に計測することができる。ステレオカメラ５２は、斜め向きカメラ１、２のレンズ６１、６２が向き合う筐体６０の側面が、かご５１の天井５６又はステレオカメラ５２が設置された壁面５７と平行になるように設けることができるので、意匠性を損なわずに省スペースな設置が可能である。
【００８０】
なお、ステレオ測距部４は、乗客認識部５における乗客の認識の方法に応じて、図８のＳ４、Ｓ３、及びＳ２のうち１つ以上のステップを省くことができる。例えば、乗客認識部５が、Ｓ１でステレオ測距部４が計算した視差に時間的な変化があると（すなわち、ステレオカメラ５２が撮影した物体の数が増減したと判断できると）、乗客がかご５１に乗車又はかご５１から退出したと認識する処理を行う場合には、ステレオ測距部４は、Ｓ４、Ｓ３、及びＳ２のステップを省いてＳ１だけを実行するようにすることができる。
【００８１】
ステレオカメラ５２は、筐体６０の上側をかご５１の天井５６に埋め込むことで、かご５１の上部に設置してもよい。図３Ａに示すように、斜め向きカメラ１、２のレンズ６１、６２は、ステレオカメラ５２の筐体６０の中で下側にある。このため、斜め向きカメラ１、２の視界は、筐体６０の上側がかご５１の天井５６に埋め込まれても、遮られることはない。
【００８２】
また、ステレオカメラ５２は、少なくともその一部が、かご５１の天井５６の隙間、壁面５７の隙間、又は天井５６と壁面５７との間の隙間に位置していてもよい。また、ステレオカメラ５２は、少なくともその一部が、かご５１の天井照明と壁面５７との間の隙間に位置していてもよい。かご５１にこれらの隙間があれば、これらの隙間にステレオカメラ５２の少なくとも一部を挿入して、ステレオカメラ５２を固定することができる。例えば、かご５１の天井照明と壁面５７との間の隙間に、ステレオカメラ５２の筐体６０の上部を挿入することで、ステレオカメラ５２をかご５１に設置することができる。ステレオカメラ５２は、このようにしてかご５１の上部に設置することで、意匠性を損なわずにさらに省スペースな設置が可能である。
【実施例２】
【００８３】
本発明の実施例２によるエスカレータを説明する。
【００８４】
図１２は、本実施例によるエスカレータ１１１を示す図である。エスカレータ１１１は、乗客１１３がエスカレータ１１１に乗降する乗降口の床であるデッキ１１０と、乗客１１３を乗せて移動するステップ１１２と、画像認識装置を備え、建築物に設けられ、建築物の異なる階を接続する。エスカレータ１１１が接続する階の床を、エスカレータ１１１が設置されている床と呼ぶ。デッキ１１０は、エスカレータ１１１が設置されている床に設けられ、エスカレータ１１１に乗降する乗客１１３が通過する。
【００８５】
画像認識装置は、ステレオカメラ５２ｂ、及び制御装置（図１２には示さず）を備える。ステレオカメラ５２ｂと制御装置は、それぞれ実施例１で説明したステレオカメラ５２と制御装置５４と同様の構成を備えるが、相違点もある。以下では、ステレオカメラ５２ｂと制御装置について、それぞれステレオカメラ５２と制御装置５４との相違点を説明する。
【００８６】
ステレオカメラ５２ｂは、エスカレータ１１１が設置されている床に固定されて設置され、又は乗客１１３の乗降口に設けられているエスカレータ１１１の構造物に固定されて設置され、デッキ１１０とデッキ１１０を進行方向１１４向きに通過する乗客１１３とを撮影する。このエスカレータ１１１の構造物は、ステップ１１２や手すりのように移動するものではなく、床に対して固定されているものである。例えば、ステレオカメラ５２ｂは、エスカレータ１１１のインレット（エスカレータ１１１の手すりの出入り口）付近に設置することができる。このようにして、ステレオカメラ５２ｂは、エスカレータ１１１が設置されている床に対して固定され、エスカレータ１１１の乗降口とその付近の固定された一定の範囲を撮影する。この一定の範囲は、ステレオカメラ５２ｂの設置位置や設置角度によって定まるが、デッキ１１０とデッキ１１０を通過する乗客１１３とを広範囲に撮影できるような範囲である。
【００８７】
ステレオカメラ５２ｂは、ステレオカメラ５２と同様に、斜め向きカメラ１、２を備える。但し、斜め向きカメラ１、２は、デッキ１１０とデッキ１１０を通過する乗客１１３とが画角内に入るように、デッキ１１０（例えば、デッキ１１０の中央部）に向いている。実施例１のステレオカメラ５２と同様に、斜め向きカメラ１、２の光軸の向きは、基線６３に対して斜めを向いている。
【００８８】
ステレオカメラ５２ｂの筐体は、床又はエスカレータ１１１の固定された構造物に設置されるが、意匠性を損なわないように、乗客１１３の進行方向１１４に対して平行になるように設けられる。ステレオカメラ５２ｂは、エスカレータ１１１の意匠性を考慮して床に近い位置に設けられるので、斜め向きカメラ１、２は、床面に対して斜め上を向いている。従って、斜め向きカメラ１、２は、光軸が床面に対して、垂直でなく斜めに傾いている。斜め向きカメラ１、２は、光軸が乗客１１３の進行方向１１４に対して斜めに傾くように設けることもできる。
【００８９】
制御装置は、制御装置５４（図１を参照）と同様に、極座標補正部３、ステレオ測距部４、乗客認識部５、及び制御部６を備える。制御部６は、乗客認識部５の認識結果に応じて、エスカレータ１１１の運行を制御する。制御装置は、エスカレータ１１１の意匠性を損なわないようにして、エスカレータ１１１に設けられる。
【００９０】
本実施例によるエスカレータ１１１では、実施例１によるエレベータと同様に、画像認識装置が、図１に示したような機能構成を備え、ステレオカメラ５２ｂを用いてステレオ測距と乗客１１３の認識を行い、エスカレータ１１１の運行を制御する。例えば、乗客認識部５は、乗客１１３が同一の場所に一定時間以上存在すること、又は乗客１１３が画角内から突然消失したことを検出したら、乗客１１３が転んだと判断し、制御部６は、ステップ１１２を緊急停止する。また、乗客認識部５が、乗客１１３の数がエスカレータ１１１の定員を超えたと判断した場合には、制御部６は、事故防止のために、ステップ１１２を停止する制御やステップ１１２の移動速度を下げるような制御を行う。
【００９１】
本実施例によるエスカレータ１１１では、実施例１によるエレベータと同様に、高精度なステレオ測距と乗客認識ができ、これらの結果に基づいてエスカレータ１１１の運行の制御が可能である。ステレオカメラ５２ｂは、斜め向きカメラ１及び斜め向きカメラ２を備え、デッキ１１０を通過する乗客１１３までの距離値を広い範囲で高精度に計測することができる。ステレオカメラ５２ｂの筐体は、乗客１１３の進行方向１１４に対して平行になるように設けられ、エスカレータ１１１の狭いスペースに設置できるので、意匠性を損なわずに省スペースな設置が可能である。
【実施例３】
【００９２】
実施例１で述べたように、極座標補正部３は、斜め向きカメラ１、２の撮影画像を極座標変換によって極座標系での撮影画像に変換する。図７Ｂには、一例として、極座標補正部３が、斜め向きカメラ１の撮影画像１１７（図６Ａを参照）を極座標変換によって極座標系４１５での撮影画像４１７に変換した例を示している。
【００９３】
極座標補正部３は、極座標変換をした撮影画像に、任意の画像補正を加えることができる。例えば、極座標補正部３は、撮影画像４１７（図７Ｂ）の縦軸のθ軸を非線形変換してもよい。この非線形変換は、撮影画像４１７のθ軸方向の中央部でθ軸の間隔を広げる画像補正を行う変換である。
【００９４】
図１０は、極座標補正部３が、極座標変換をした撮影画像４１７（図７Ｂ）に、θ軸の非線形変換を行って画像補正をした撮影画像４１７ｃの例を示す図である。撮影画像４１７ｃは、距離の座標軸ρと角度の座標軸θｃを持つ極座標系４１５ｃで表される。極座標系４１５ｃは、図１０では一点鎖線で示している。撮影画像４１７ｃには、車椅子用の操作盤４５３ｃ、乗客４５６ｃ、及び乗客の頭部４５７ｃが映っている。また、撮影画像４１７ｃには、ブランク部４２５ｃ、４２６ｃ（極座標変換をする前の画像である撮影画像３１７（図７Ａ）には対応画素が無い部分）がある。
【００９５】
極座標系４１５ｃの座標軸θｃ（図１０）は、極座標系４１５の座標軸θ（図７Ｂ）と比べると、撮影画像の中央部での間隔が広く、撮影画像の端部での間隔が狭い。このような極座標系４１５ｃで撮影画像４１７ｃを表すことにより、撮影画像４１７ｃの中央部でのθｃ軸方向の解像度を、θ軸の非線形変換を行う前の撮影画像４１７より高くできる。
【００９６】
ステレオ測距部４は、撮影画像４１７ｃを入力することで、撮影画像４１７よりも画像の中央部でのθｃ軸方向の解像度を高くして、撮影画像４１７ｃ上の各画素の視差を求めることができる。従って、ステレオ測距部４は、撮影画像４１７ｃの中央部で測距データをより高精度に求めることができ、特に撮影画像４１７ｃの中央部に映った乗客までの距離値をより高精度に計測することができる。
【実施例４】
【００９７】
以上の実施例では、ステレオカメラ５２（以下では、ステレオカメラ５２ｂも含むものとする）は、２つの斜め向きカメラ１、２を備える（図３Ａを参照）。２つの斜め向きカメラ１、２のうち、一方を鏡に置き換えてもよい。すなわち、ステレオカメラ５２は、斜め向きカメラ１、２のうち一方のカメラに代えて鏡を備え、１つの斜め向きカメラと１つの鏡を備えることもできる。以下では、斜め向きカメラ２を鏡に置き換えて、ステレオカメラ５２が斜め向きカメラ１と鏡を備える例を説明する。
【００９８】
図１１は、斜め向きカメラ１と鏡２ｍを備えるステレオカメラ５２ｍを示す図である。ステレオカメラ５２ｍは、ステレオカメラ５２（図３Ａ）において、斜め向きカメラ２の代わりに鏡２ｍを備え、斜め向きカメラ１と鏡２ｍを筐体６０に収納している。ステレオカメラ５２ｍの内部で、鏡２ｍは、鏡面の中心がステレオカメラ５２の斜め向きカメラ２のレンズ６２の中心（光学中心）と同じ位置であり、鏡面が筐体６０に対してレンズ６２と同じ角度を向くように（鏡面の垂線が斜め向きカメラ２の光軸と同じ角度を向くように）固定されている。ステレオカメラ５２ｍの斜め向きカメラ１は、ステレオカメラ５２の斜め向きカメラ１と同じ位置と角度で、ステレオカメラ５２ｍ内に固定されている。すなわち、ステレオカメラ５２ｍの斜め向きカメラ１とステレオカメラ５２の斜め向きカメラ１とで、レンズ６１の位置は同じである。なお、基線６３は、斜め向きカメラ１のレンズ６１の中心と鏡２ｍの鏡面の中心とを結ぶ線である。
【００９９】
斜め向きカメラ１の視野角は、十分に広く、鏡２ｍが映るものとする。このため、斜め向きカメラ１の撮影画像には、鏡２ｍと、鏡２ｍに映った像が映る。鏡２ｍに映った像は、ステレオカメラ５２の斜め向きカメラ２の撮影画像と同等な画像である。従って、斜め向きカメラ１の撮影画像に映っている鏡２ｍに映った像を、ステレオカメラ５２の斜め向きカメラ２の撮影画像として扱うことができる。
【０１００】
以上のようにして、ステレオカメラ５２ｍが斜め向きカメラを１つだけ備えても、斜め向きカメラ１の撮影画像に映っている鏡２ｍに映った像を利用することで、実施例１〜３で述べたのと同様の効果を得ることができる。さらに、本実施例では、ステレオカメラ５２ｍは、斜め向きカメラを１つだけ備えるので、ステレオカメラ５２と比べて簡素な構造を備え軽量であるという効果もある。なお、ステレオカメラ５２ｍは、斜め向きカメラ１を鏡に置き換えて、この鏡と斜め向きカメラ２を備える構成にすることもできる。
【０１０１】
以上に述べた実施例において、ステレオカメラ５２は、以下のような形態をとることも可能である。
【０１０２】
ステレオカメラ５２は、エレベータのかご５１とエスカレータ１１１に限らず、ステレオカメラ５２が斜め向きに設置される体系（斜め向きカメラ１、２の光軸が基線６３に対して斜めを向く体系）に使うことができる。例えば、ステレオカメラ５２を鉄道列車の客車の天井に設置し、天井から斜めに向けて客車の自動ドア及び乗客を撮影するようにし、自動ドアの軌道上に乗客がいる場合は、自動ドアが閉じないように制御したり、乗客に軌道を塞がないように注意するアナウンスを出力したりする制御を行うことができる。
【０１０３】
ステレオカメラ５２は、斜め向きカメラを３台以上備えることもできる。ステレオカメラ５２が斜め向きカメラを３台以上備える場合には、３台以上の斜め向きカメラのうち２台のカメラの組の各々を、斜め向きカメラ１と斜め向きカメラ２の組とみなせば、実施例１〜４と同様にステレオ測距ができる。例えば、ステレオカメラ５２が３台の斜め向きカメラＡ、Ｂ、Ｃを備える場合、カメラＡとカメラＢ、カメラＢとカメラＣ、及びカメラＣとカメラＡという２台のカメラの組の各々を、斜め向きカメラ１と斜め向きカメラ２の組とみなせばよい。
【０１０４】
なお、本発明は、上記の実施例に限定されるものではなく、様々な変形が可能である。例えば、上記の実施例は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明は、必ずしも説明した全ての構成を備える態様に限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能である。また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、削除したり、他の構成を追加・置換したりすることが可能である。
【符号の説明】
【０１０５】
１…斜め向きカメラ、１ｇ…カメラ、２…斜め向きカメラ、２ｇ…カメラ、２ｍ…鏡、３…極座標補正部、４…ステレオ測距部、５…乗客認識部、６…制御部、１０…空間中の点、１１，１１ｇ，１２，１２ｇ…カメラのレンズ中心、１３，１４…エピ極、１５ａ，１５ｂ，１５ｃ，１５ａｇ，１５ｂｇ，１５ｃｇ，１６ａ，１６ｂ，１６ｃ，１６ａｇ，１６ｂｇ，１６ｃｇ…エピポーラ線、１７，１７ｇ，１８，１８ｇ…撮像面、１９，２０…射影点、２１，２２…撮像面の左側部、２３，２４…撮像面の右側部、２５ａ，２５ｂ，２５ｃ，２５ａｇ，２５ｂｇ，２５ｃｇ，２６ａ，２６ｂ，２６ｃ，２６ａｇ，２６ｂｇ，２６ｃｇ…エピポーラ線、２７，２７ｇ，２８，２８ｇ…平行化後の撮像面、５１…かご、５２，５２ｂ…ステレオカメラ、５２ｇ…従来の一般的なステレオカメラ、５２ｍ…ステレオカメラ、５３…ドア、５４…制御装置、５５…床面、５６…天井、５７…壁面、５８…ステレオカメラを基準とした座標系、５９…かご内の座標系、６０，６０ｇ…筐体、６１，６１ｇ，６２，６２ｇ…レンズ、６３，６３ｇ…基線、１１０…デッキ、１１１…エスカレータ、１１２…ステップ、１１３…乗客、１１４…乗客の進行方向、１１７，１１７ｇ…撮影画像、１５３，１５３ｇ…車椅子用の操作盤、１５６，１５６ｇ…乗客、１５７，１５７ｇ…乗客の頭部、２１７，２１７ｇ…撮影画像、２５３ｇ…車椅子用の操作盤、２５６，２５６ｇ…乗客、２５７，２５７ｇ…乗客の頭部、３１３…エピ極、３１５…極座標系、３１７…レンズ歪みを補正した撮影画像、３５３…車椅子用の操作盤、３５６…乗客、３５７…乗客の頭部、４１５，４１５ａ，４１５ｃ，４１６ａ…極座標系、４１７，４１８…極座標変換した撮影画像、４１７ｃ…極座標変換をした撮影画像に画像補正をした撮影画像、４２５，４２５ｃ，４２６，４２６ｃ…ブランク部、４３５，４３６…撮影画像上の点、４５３，４５３ｃ…車椅子用の操作盤、４５６，４５６ｃ…乗客、４５７，４５７ｃ…乗客の頭部、５１３，５１４…エピ極、５１５ａ，５１６ａ…エピポーラ線、５１７，５１８…撮影画像、５２５ａ，５２６ａ…横軸、５２７，５２８…撮影画像、５３５，５３６，５４５，５４６…撮影画像上の点。
【図１】
2019006535.tif 000007
【図２】
2019006535.tif 000008
【図３Ａ】
2019006535.tif 000009
【図３Ｂ】
2019006535.tif 000010
【図４】
2019006535.tif 000011
【図５Ａ】
2019006535.tif 000012
【図５Ｂ】
2019006535.tif 000013
【図６Ａ】
2019006535.tif 000014
【図６Ｂ】
2019006535.tif 000015
【図７Ａ】
2019006535.tif 000016
【図７Ｂ】
2019006535.tif 000017
【図８】
2019006535.tif 000018
【図９Ａ】
2019006535.tif 000019
【図９Ｂ】
2019006535.tif 000020
【図９Ｃ】
2019006535.tif 000021
【図１０】
2019006535.tif 000022
【図１１】
2019006535.tif 000023
【図１２】
2019006535.tif 000024