(57)【要約】【課題】複数のカメラで撮像したフレーム画像を目視で確認する係員等の作業負担を十分に低減し、不特定多数の人の行動や状態等の監視が適正、且つ効率的に行える技術を提供する。【解決手段】画像処理装置１は、撮像エリアが異なる複数のビデオカメラ１０で撮像したフレーム画像が撮像画像入力部２に入力される。画像処理プロセッサ３は、画像入力部に入力されたフレーム画像を、予め設定した像が撮像されている重要領域と、その他の非重要領域とに分割する。また、画像処理プロセッサ３は、撮像画像入力部２に入力された撮像エリアが異なる複数のビデオカメラ１０で撮像したフレーム画像を分割結果に基づいて統合した統合画像を生成する。画像出力部４は、生成された統合画像を出力する。【選択図】図１
2014225825.tif 000002
【特許請求の範囲】
【請求項１】
撮像エリアが異なる複数のカメラで撮像したフレーム画像を入力する画像入力部と、
前記画像入力部に入力されたフレーム画像を、予め設定した像が撮像されている重要領域と、その他の非重要領域とに分割する分割部と、
前記画像入力部に入力された撮像エリアが異なる複数のカメラで撮像したフレーム画像を、前記分割部による分割結果に基づいて統合した統合画像を生成する画像生成部と、
前記画像生成部が生成した統合画像を出力する画像出力部と、を備えた画像処理装置。
【請求項２】
各カメラが前記画像入力部に入力するフレーム画像は、他のカメラの撮像エリアと重複しており、
前記画像生成部は、前記画像入力部に入力された複数のカメラで撮像したフレーム画像を重複している領域でつないだ全景画像を生成し、この全景画像における前記分割部が分割した重要領域を拡大した統合画像を生成する、請求項１に記載の画像処理装置。
【請求項３】
前記画像生成部は、前記画像入力部に入力された複数のカメラで撮像したフレーム画像を重複している領域でつないで生成した前記全景画像における、前記分割部が分割した非重要領域を縮小した統合画像を生成する、請求項２に記載の画像処理装置。
【請求項４】
各カメラが前記画像入力部に入力するフレーム画像は、他のカメラの撮像エリアと重複しており、
前記画像生成部は、前記画像入力部に入力された複数のカメラで撮像したフレーム画像を重複している領域でつないだ全景画像を生成し、この全景画像における前記分割部が分割した非重要領域を縮小した統合画像を生成する、請求項１に記載の画像処理装置。
【請求項５】
前記画像生成部は、前記全景画像を生成するとき、前記画像入力部に入力された複数のカメラで撮像したフレーム画像を重複している領域であって、且つ、前記分割部が分割した非重要領域でつないだ全景画像を生成する、請求項２〜４のいずれかに記載の画像処理装置。
【請求項６】
前記画像生成部は、前記画像入力部に入力された撮像エリアが異なる複数のカメラで撮像したフレーム画像毎に、そのフレーム画像について前記分割部が分割した重要領域の画像を切り出し、ここで切り出した重要領域の画像を並べた画像を前記統合画像として生成する請求項１に記載の画像処理装置。
【請求項７】
コンピュータが、
画像入力部に入力された、撮像エリアが異なる複数のカメラで撮像したフレーム画像について、予め設定した像が撮像されている重要領域と、その他の非重要領域とに分割する分割ステップと、
前記画像入力部に入力された撮像エリアが異なる複数のカメラで撮像したフレーム画像を、前記分割部による分割結果に基づいて統合した統合画像を生成する画像生成ステップと、
前記画像生成ステップが生成した統合画像を出力する画像出力ステップと、を実行する画像処理方法。
【請求項８】
画像入力部に入力された、撮像エリアが異なる複数のカメラで撮像したフレーム画像について、予め設定した像が撮像されている重要領域と、その他の非重要領域とに分割する分割ステップと、
前記画像入力部に入力された撮像エリアが異なる複数のカメラで撮像したフレーム画像を、前記分割部による分割結果に基づいて統合した統合画像を生成する画像生成ステップと、
前記画像生成ステップが生成した統合画像を出力する画像出力ステップと、をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像エリアが異なる複数のカメラで撮像した撮像画像を１つに統合した統合画像を生成し、出力する技術に関する。
【背景技術】
【０００２】
従来、監視対象エリアにおける不特定多数の人の行動や状態等の監視を監視カメラ（以下、単にカメラと言う。）を用いたシステムで行っている。カメラは、監視対象エリアを撮像したフレーム画像を出力する。このフレーム画像は、警備室等に設置された表示装置に入力され、表示される。係員（警備員等）は、表示装置の画面上に表示された監視カメラのフレーム画像を目視で確認し、監視対象エリアにおける不特定多数の人の行動や状態等の監視を行っている。カメラのフレームレートは、数フレーム〜数十フレーム／ｓｅｃ（例えば、１０フレーム／ｓｅｃ）である。
【０００３】
また、監視対象エリアが比較的広範囲にわたる場合、監視対象エリアを複数に分割した分割エリア毎にカメラを設置し、各カメラが撮像したフレーム画像を目視で確認することによって、不特定多数の人の行動や状態等の監視を行っている。この場合、カメラ毎に、そのカメラが撮像したフレーム画像を表示する表示装置を設けると、これらの表示装置の設置に必要なスペースが大きくなる。また、係員は、各表示装置において表示されているカメラのフレーム画像を確認するために、視線を動かす範囲が広く作業負担が大きい。
【０００４】
このようなことから、表示装置の画面を複数の表示領域に分割し、各カメラに分割した表示領域を割り当ててフレーム画像を表示する、マルチ画面表示（１画面に複数のカメラで撮像したフレーム画像を表示する。）が行われている（特許文献１等参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】２０１２−２０９７３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述のマルチ画面表示では、各カメラで撮像したフレーム画像の表示面積が小さくなる。このため、係員が表示されたフレーム画像を凝視する頻度が増加し、係員の作業負担が十分に低減されていなかった。また、各カメラで撮像したフレーム画像の表示面積を小さくすることで、係員の見逃し等によって、不特定多数の人の行動や状態等の監視が適正、且つ効率的に行われないことが懸念されている。
【０００７】
この発明の目的は、複数のカメラで撮像したフレーム画像を目視で確認する係員等の作業負担を十分に低減し、不特定多数の人の行動や状態等の監視が適正、且つ効率的に行える技術を提供する。
【課題を解決するための手段】
【０００８】
この発明の画像処理装置は、上記目的を達するために、以下のように構成している。
【０００９】
画像入力部には、撮像エリアが異なる複数のカメラで撮像したフレーム画像が入力される。各カメラは、撮像エリアが他のカメラの撮像エリアと重複していてもよいし、重複していなくてもよい。
【００１０】
分割部は、画像入力部に入力されたフレーム画像を、予め設定した像が撮像されている重要領域と、その他の非重要領域とに分割する。ここで重要領域は、カメラで撮像したフレーム画像に対して、目視確認が重要である領域である。言い換えれば、非重要領域は、カメラで撮像したフレーム画像に対して、目視確認がそれほど重要でないとおもわれる領域である。例えば、列車の乗降客の行動や状態を監視する場合、列車のドア周辺が重要領域であり、隣接するドア間（列車の側面）が非重要領域である。また、店舗等では、高額商品を陳列している商品棚が重要領域である。
【００１１】
画像生成部は、画像入力部に入力された撮像エリアが異なる複数のカメラで撮像したフレーム画像を、分割部による分割結果に基づいて統合した統合画像を生成する。例えば、重要領域の表示面積を大きくし、非重要領域の表示面積を小さくした統合画像を生成する。また、重要領域を切り出し、この重要領域を並べた統合画像を生成する。
【００１２】
画像出力部は、画像生成部が生成した統合画像を出力する。
【００１３】
したがって、統合画像は、目視確認が重要である領域が大きく表示されるので、係員がフレーム画像を凝視する頻度が抑えられ、作業負担を低減することができるとともに、係員の見逃し等によって、不特定多数の人の行動や状態等の監視が適正、且つ効率的に行われない事態になるのを抑制できる。
【００１４】
また、各カメラから入力されるフレーム画像の撮像エリアが、他のカメラの撮像エリアと重複している場合には、画像生成部は、画像入力部に入力された複数のカメラで撮像したフレーム画像を重複している領域でつないだ全景画像（所謂、パノラマ画像）を生成し、この全景画像における重要領域を拡大した統合画像を生成する構成としてもよい。また、逆に、画像生成部は、全景画像における非重要領域を縮小した統合画像を生成する構成としてもよい。さらには、画像生成部は、全景画像における重要領域を拡大し、非重要領域を縮小した統合画像を生成する構成としてもよい。
【００１５】
一般的に、全景画像は、２枚のフレーム画像のつなぎ目において、若干ではあるが画像のずれが生じる。したがって、全景画像を生成するときには、重要領域内で画像のずれを生じさせないために、分割部が分割した非重要領域内でフレーム画像をつなぐのが好ましい。
【発明の効果】
【００１６】
この発明によれば、係員がフレーム画像を凝視する頻度が抑えられ、作業負担を低減することができるとともに、係員の見逃し等によって、不特定多数の人の行動や状態等の監視が適正、且つ効率的に行われない事態になるのを抑制できる。
【図面の簡単な説明】
【００１７】
【図１】画像処理装置の主要部の構成を示すブロック図である。
【図２】ビデオカメラで撮像したフレーム画像を示す図である。
【図３】画像処理プロセッサにおいて生成されたマルチ画面画像の表示画面例を示す図である。
【図４】画像処理プロセッサにおいて生成された統合画像の表示画面例を示す図である。
【図５】画像処理装置の動作を示すフローチャートである。
【図６】別の例にかかる画像処理装置に入力されるビデオカメラで撮像したフレーム画像を示す図である。
【図７】別の例にかかる画像処理プロセッサにおいて生成された全景画像の表示画面例を示す図である。
【図８】別の例にかかる画像処理プロセッサにおいて生成された統合画像の表示画面例を示す図である。
【図９】別の例にかかる画像処理装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、この発明の実施形態である画像処理装置について説明する。
【００１９】
ここでは、この発明にかかる画像処理装置を、駅ホームにおける乗降客の行動や状態等を監視するシステムに用いた例で説明する。図１は、この例にかかる画像処理装置の主要部の構成を示すブロック図である。ここでは、駅ホームにおける乗降客の行動や状態等の監視を、複数台のビデオカメラ１０で撮像した動画像により目視で確認する、システムを例にして説明する。
【００２０】
なお、図１において示しているビデオカメラ１０の台数は３台であるが、２台以上であれば何台であってもよい。
【００２１】
この画像処理装置１は、撮像画像入力部２と、画像処理プロセッサ３と、画像出力部４と、を備えている。
【００２２】
撮像画像入力部２には、複数のビデオカメラ１０が接続されている。各ビデオカメラ１０は、撮像エリアが異なっている。ビデオカメラ１０は、図２に示すように、駅ホームの端を、斜め上方から列車が走行する線路の延びる方向に撮像する向きに設置している。ビデオカメラ１０は、駅ホームに停車した列車に乗降する乗降客や、駅ホームから線路に転落した乗降客等を撮像できるように設置している。図２（Ａ）は、先頭車両の停車位置付近を撮像するビデオカメラ１０のフレーム画像を示している。図２（Ｂ）は、中間車両の停車位置付近を撮像するビデオカメラ１０のフレーム画像を示している。図２（Ｃ）は、最後尾車両の停車位置付近を撮像するビデオカメラ１０のフレーム画像を示している。
【００２３】
なお、いうまでもなく、各ビデオカメラ１０は、駅ホームに列車が停車しているかどうかにかかわらず、ホーム端部を撮像している。
【００２４】
各ビデオカメラ１０は、撮像している動画像にかかるフレーム画像を撮像画像入力部２に入力する。ビデオカメラ１０のフレームレートは、数フレーム〜数十フレーム／ｓｅｃ（例えば、１０フレーム／ｓｅｃ）である。
【００２５】
画像処理プロセッサ３は、ビデオカメラ１０毎に、撮像画像入力部２に入力された動画像にかかるフレーム画像を処理し、このフレーム画像を重要領域と、非重要領域とに分割する。この重要領域と、非重要領域との分割にかかる処理は、フレーム画像に対して予め設定した像（対象物）が撮像されている領域を重要領域として抽出し、重要領域として抽出しなかった領域を非重要領域にする処理である。この例では、重要領域は、乗降客の安全監視のために係員による目視確認が重要である、列車に乗降する乗降客の通路になる列車のドアを含むその周辺領域とした。この重要領域と、非重要領域との分割にかかる処理を行う画像処理プロセッサ３の機能が、この発明で言う分割部に相当する。
【００２６】
また、画像処理プロセッサ３は、各ビデオカメラ１０から入力されたフレーム画像を並べたマルチ画面画像、および各ビデオカメラ１０から入力されたフレーム画像から切り出した重要領域の画像を並べた統合画像を生成する画像生成処理を行う。フレーム画像からの重要領域の切り出しは、このフレーム画像を重要領域と、非重要領域とに分割する分割処理の分割結果に基づいて行う。画像処理プロセッサ３は、上述した処理の実行時に使用する画像メモリ（不図示）等を有している。この統合画像の生成にかかる画像生成処理を行う画像処理プロセッサ３の機能が、この発明で言う画像生成部に相当する。
【００２７】
この画像処理プロセッサ３が、この発明にかかる画像処理方法を実行するコンピュータに相当する。また、画像処理プロセッサ３は、この発明にかかる画像処理プログラムを実行するコンピュータに相当する。
【００２８】
画像出力部４には、図示していない表示装置が接続されている。この表示装置は、駅務室等に設置されている。画像出力部４は、画像処理プロセッサ３が生成したマルチ画面画像や、統合画像を表示装置に入力する。画像処理プロセッサ３が生成したマルチ画面画像や、統合画像は、この表示装置の画面に表示される。係員等は、この表示装置の画面に表示されたマルチ画面画像や、統合画像を目視で確認し、駅ホームにおける乗降客の安全監視を行う。
【００２９】
図３は、表示装置における画像処理プロセッサにおいて生成されたマルチ画面画像の表示画面例を示す図である。図３に示すように、マルチ画面画像を表示した表示装置の画面は、公知のマルチ画面表示と同等の表示画面である。図３に示すマルチ画面画像は、駅ホームに列車が停車している状態である。また、マルチ画面画像で表示されるフレーム画像は、撮像画像入力部２に接続されているビデオカメラ１０の台数と同じである。
【００３０】
また、図４は、表示装置における画像処理プロセッサにおいて生成された統合画像の表示画面例を示す図である。図４に示すように、画像処理プロセッサ３が生成する統合画像は、撮像画像入力部２に入力された各ビデオカメラ１０のフレーム画像から重要領域である列車のドア周辺の画像を切り出して並べた画像である。言い換えれば、撮像画像入力部２に入力された各ビデオカメラ１０のフレーム画像から非重要領域をカットした画像を並べたものである。したがって、重要領域である列車のドア周辺の画像を図３に示したマルチ画面画像に比べて大きく表示することができる。
【００３１】
なお、画像処理プロセッサ３は、この統合画像を生成するとき、撮像画像入力部２に入力された複数のフレーム画像から、同一のドア周辺の画像を重要領域として切り出した場合、いずれか１つを統合画像に用いる。また、図４に示す統合画像の表示画面例では、各ドアの大きさが異なっているが、これは、各ドア周辺の画像（重要領域の画像）を入力されたフレーム画像から切り出した大きさで並べているからである。画像処理プロセッサ３は、各ドアの大きさがほぼ同じになるように、各フレーム画像から切り出した各ドア周辺の画像を拡大／縮小した後に、これらを並べた画像を統合画像として生成する構成であってもよい。また、図４に示す破線は、切り出した重要領域を示すために便宜的に図示しているだけであり、表示装置の画面に表示されていなくてもよいし、表示されていてもよい。
【００３２】
また、図示していない表示装置（画像出力部４に接続している表示装置）は、この例にかかる画像処理装置１を内蔵した構成であってもよい。
【００３３】
以下、この画像処理装置１の動作について説明する。この画像処理装置１は、駅ホームに列車が停車しているときと、停車していないときとで、画像処理プロセッサ３で生成する画像の種類を変更する。駅ホームでは、列車が停車していないときは、線路への乗降客の転落を監視し、列車が停車しているときは、列車に乗降する乗降客の転倒や、列車のドアによる乗降客の手荷物（カバン等）の挟み込みを監視する。したがって、列車が停車していないときは、駅ホーム全体が目視確認できる画像を表示装置に表示し、列車が停車しているときは、停車している列車のドア周辺が目視確認できる画像を表示装置に表示するのが好ましい。このことから、この画像処理装置１は、駅ホームに列車が停車していないときは、図３に示したマルチ画面画像を画像処理プロセッサ３で生成し、駅ホームに列車が停車しているときは、図４に示した統合画像を画像処理プロセッサ３で生成する構成とした。
【００３４】
図５は、画像処理装置の動作を示すフローチャートである。画像処理装置１は、この図５に示す処理を繰り返し行う。
【００３５】
画像処理装置１は、接続されている各ビデオカメラ１０で撮像したフレーム画像が撮像画像入力部２に入力されている。
【００３６】
画像処理プロセッサ３は、駅ホームに列車が停車しているかどうかを判定する（ｓ１）。ｓ１にかかる判定は、撮像画像入力部２に入力されたビデオカメラ１０が撮像したフレーム画像に列車が撮像されているかどうかを検出することで行える。また、画像処理装置１は、列車の運行管理を行っている上位装置（不図示）から駅ホームに列車が停車しているかどうかを示す信号が入力される構成としてもよい。この場合、画像処理装置１は、上位装置から入力される信号によってｓ１にかかる判定を行えばよい。
【００３７】
画像処理プロセッサ３は、ｓ１で駅ホームに列車が停車していないと判定すると、図３に示したマルチ画面画像を生成する（ｓ２）。ｓ２で生成するマルチ画面画像は、上述したように、各ビデオカメラ１０から入力されたフレーム画像を並べた画像である。
【００３８】
なお、図３では、駅ホームに列車が停車している状態のマルチ画面画像を図示したが、ｓ２で生成されるマルチ画面画像にかかる各フレーム画像には、駅ホームに停車している列車が撮像されていない。
【００３９】
画像出力部４は、画像処理プロセッサ３がｓ２で生成したマルチ画面画像を出力する（表示装置に入力する。）（ｓ３）。これにより、表示装置では、各ビデオカメラ１０が撮像したフレーム画像を並べた画面（公知のマルチ画面表示と同等の画面）が表示される。マルチ画面画像は、上述したように、駅ホーム全体が目視確認できる画像である。係員は、この表示装置の画面（画像処理プロセッサ３がｓ２で生成したマルチ画面画像）を目視で確認し、線路への乗降客の転落等を監視する。
【００４０】
一方、画像処理プロセッサ３は、ｓ１で駅ホームに列車が停止していると判定すると、各ビデオカメラ１０から入力されたフレーム画像を、重要領域と、非重要領域とに分割する分割処理を行う（ｓ４）。このｓ４にかかる分割処理は、各ビデオカメラ１０から入力されたフレーム画像毎に、列車のドア（この発明で言う、予め設定した像）を検出し、ここで検出した列車のドア毎に、そのドアを含む周辺の領域を重要領域にする。ここで、重要領域にしなかった領域が、非重要領域になる。画像処理プロセッサ３が、このｓ４にかかる分割処理を行う機能が、この発明で言う分割部に相当する。
【００４１】
列車のドアの検出は、例えば、フレーム画像に対するエッジ検出処理で行う。具体的には、フレーム画像に対するエッジ検出処理で検出したエッジの中から、ほぼ矩形形状のエッジを抽出する。ここで抽出される矩形形状は、列車のドアや窓等である。抽出した矩形形状に対して、パターンマッチング等の公知の手法により、列車のドアであるか、それ以外（例えば、窓）であるかを判定する。パターンマッチング等で用いる列車のドアの形状にかかる特徴量は、予め行った学習で取得しておけばよい。
【００４２】
また、列車には、ドアの上方に、そのドアの開閉状態を示すランプが取り付けられているものがある。このことから、画像処理プロセッサ３は、このランプを検出することにより、列車のドアを検出する構成としてもよい。
【００４３】
また、画像処理プロセッサ３は、列車のパンタグラフや、車両の連結部等の位置を基準にして、列車のドアを検出する構成としてもよい。
【００４４】
なお、駅ホームにおける列車の停止位置が、殆ど変化せず、且つ、列車の各車両におけるドアの位置が同じであれば、各ビデオカメラ１０から入力されるフレーム画像に対して重量領域と、非重要領域と、を割り当てておいてもよい。
【００４５】
パターンマッチングによる対象物（ここでは、列車のドア）の検出処理や、パターンマッチングで用いる対象物の形状の特徴量を取得するための学習処理については、すでに種々の方法が公知であるので、ここでは詳細な説明を省略する。また、この例にかかる画像処理装置１は、パターンマッチングによる対象物の検出処理や、パターンマッチングで用いる対象物の形状の特徴量を取得するための学習処理については、どのような方法であってもよい。また、この学習は、ビデオカメラ１０を設置した後の運用環境で行うのが好ましい。
【００４６】
また、画像処理プロセッサ３は、人（乗降客）が多い場所を、列車のドアが撮像されている領域（重要領域）として検出する構成としてもよい。
【００４７】
画像処理プロセッサ３は、各ビデオカメラ１０から入力されたフレーム画像毎に、そのフレーム画像からｓ４の分割処理の分割結果に基づいて重要領域の画像を切り出し、図４に示した統合画像を生成する（ｓ５）。ｓ５で生成する統合画像は、上述したように、撮像画像入力部２に入力された各ビデオカメラ１０のフレーム画像から重要領域である列車のドア周辺の画像を切り出して並べた画像である。言い換えれば、撮像画像入力部２に入力された各ビデオカメラ１０のフレーム画像から非重要領域をカットした画像である。画像処理プロセッサ３が、このｓ５にかかる処理を行う機能が、この発明で言う画像生成部に相当する。
【００４８】
画像出力部４は、画像処理プロセッサ３がｓ５で生成した統合画像を出力する（表示装置に入力する。）（ｓ６）。これにより、表示装置では、重要領域である列車のドア周辺の画像が比較的大きく表示できる。したがって、係員が表示装置の画面を凝視する頻度が抑えられ、作業負担を低減することができるとともに、係員の見逃し等によって、乗降客の行動や状態等の監視が適正、且つ効率的に行われない事態になるのを抑制できる。
【００４９】
なお、上記の例では、駅ホームに列車が停車していないとき、画像処理プロセッサ３は、図３に示したマルチ画面画像を生成するとしたが、各ビデオカメラ１０のフレーム画像に乗降客（駅ホームにいる乗降客）が撮像されている領域周辺を重要領域として検出し、図４に示した統合画像を生成する構成としてもよい。
【００５０】
次に、この発明にかかる画像処理装置１の別の例について説明する。この例にかかる画像処理装置１も、図１に示した構成である。ただし、画像処理プロセッサ３は、図３に示したマルチ画面画像を生成するかわりに、後述する全景画像（所謂、パノラマ画像）を生成する。また、画像処理プロセッサ３は、全景画像を基に統合画像を生成する。
【００５１】
この例にかかる画像処理装置１に接続されているビデオカメラ１０は、図６に示すように、駅ホーム側から線路側を撮像する向きに設置している。また、隣接するビデオカメラ１０の撮像エリアは、全景画像を生成するため、その一部を重複させている。図６（Ａ）は、先頭車両の停車位置付近を撮像するビデオカメラ１０のフレーム画像を示している。図６（Ｂ）は、中間車両の停車位置付近を撮像するビデオカメラ１０のフレーム画像を示している。図６（Ｃ）は、最後尾車両の停車位置付近を撮像するビデオカメラ１０のフレーム画像を示している。
【００５２】
図７は、この例にかかる画像処理プロセッサで生成される全景画像を示す図である。この全景画像は、複数のビデオカメラ１０で撮像したフレーム画像をつなぎ合わせた画像であり、所謂パノラマ画像である。パノラマ画像は、撮像エリアが重複している２枚のフレーム画像毎に、この重複している領域で画像の特徴（画素値や画素値の変化量等）が近似している点を複数点検出し、ここで検出した複数点に基づいて、これら２枚のフレーム画像をつないだ画像である。
【００５３】
全景画像を生成する手法については公知であるので、ここでは詳細な説明を省略する。
【００５４】
図８は、この例にかかる画像処理プロセッサで生成される統合画像を示す図である。図７に示す全景画像と異なる点は、重要領域である列車のドア周辺を横方向に拡大し、その他の非重要領域を横方向に縮小している点である。このため、統合画像は、全景画像に比べて、重要領域である列車のドア周辺が大きく表示される。また、隣接する列車のドア間が、全景画像に比べて短くなっている。
【００５５】
以下、この画像処理装置１の動作について説明する。この画像処理装置１も、上記の例と同様に、駅ホームに列車が停車しているときと、停車していないときとで、画像処理プロセッサ３で生成する画像の種類を変更する。この画像処理装置１は、駅ホームに列車が停車していないときは、図７に示した全景画像を画像処理プロセッサ３で生成し、駅ホームに列車が停車しているときは、図８に示した統合画像を画像処理プロセッサ３で生成する。
【００５６】
図９は、画像処理装置の動作を示すフローチャートである。画像処理装置１は、この図９に示す処理を繰り返し行う。
【００５７】
画像処理装置１は、接続されている各ビデオカメラ１０で撮像したフレーム画像が撮像画像入力部２に入力されている。
【００５８】
画像処理プロセッサ３は、駅ホームに列車が停車しているかどうかを判定する（ｓ１１）。ｓ１１にかかる判定は、上述したｓ１と同様の処理である。
【００５９】
画像処理プロセッサ３は、ｓ１１で駅ホームに列車が停車していないと判定すると、図７に示した全景画像を生成する（ｓ１２）。ｓ１２で生成する全景画像は、上述したように、各ビデオカメラ１０から入力されたフレーム画像を基に生成したパノラマ画像である。
【００６０】
なお、図７では、駅ホームに列車が停車している全景画像を図示しているが、ｓ１２では駅ホームに停車している列車が撮像されていない全景画像が生成される。
【００６１】
画像出力部４は、画像処理プロセッサ３がｓ１２で生成した全景画像を出力する（表示装置に入力する。）（ｓ１３）。これにより、表示装置では、各ビデオカメラ１０が撮像したフレーム画像を基に生成された全景画像（パノラマ画像）が表示される。全景画像は、駅ホーム全体が目視確認できる画像である。係員は、この表示装置の画面（画像処理プロセッサ３がｓ１２で生成した全景画像）を目視で確認し、線路への乗降客の転落を監視する。
【００６２】
一方、画像処理プロセッサ３は、ｓ１１で駅ホームに列車が停止していると判定すると、各ビデオカメラ１０から入力されたフレーム画像を、重要領域と、非重要領域とに分割する分割処理を行う（ｓ１４）。このｓ１４にかかる分割処理は、上述したｓ４と同様の処理であり、各ビデオカメラ１０から入力されたフレーム画像毎に、撮像されている列車のドアを検出し、ここで検出した列車のドアを含む周辺の領域を重要領域にする。上述したように、画像処理プロセッサ３が、このｓ１４にかかる分割処理を行う機能が、この発明で言う分割部に相当する。
【００６３】
画像処理プロセッサ３は、図７に示した全景画像を生成する（ｓ１５）。ｓ１５は、ｓ１２と同様に、各ビデオカメラ１０から入力されたフレーム画像を基に全景画像（パノラマ画像）を生成する処理であるが、撮像エリアが重複している２枚のフレーム画像を非重要領域でつなぐ。言い換えれば、撮像エリアが重複している２枚のフレーム画像を重要領域でつながない。一般的に、全景画像は、２枚のフレーム画像のつなぎ目において、若干ではあるが画像のずれが生じる。この例では、この画像のずれが、重要領域内で生じるのを防止するために、撮像エリアが重複している２枚のフレーム画像を非重要領域でつなぐ処理としている。
【００６４】
画像処理プロセッサ３は、ｓ１５で生成した全景画像から、図８に示した統合画像を生成する（ｓ１６）。ｓ１６では、ｓ１４にかかる分割処理の分割結果に基づき、ｓ１５で生成した全景画像に対して重要領域を検出する。そして、ここで検出した重要領域毎に、横方向に予め定めた拡大率で拡大し、重要領域でない非重要領域毎に、横方向に予め定めた縮小率で縮小した統合画像を生成する。ｓ１６で生成する統合画像は、上述したように、ｓ１２（またはｓ１５）で生成される全景画像に比べて、重要領域である列車のドア周辺が大きく表示される。また、隣接する列車のドア間が、ｓ１２（またはｓ１５）で生成される全景画像に比べて短くなっている。画像処理プロセッサ３が、このｓ１５およびｓ１６にかかる処理を行う機能が、この発明で言う画像生成部に相当する。
【００６５】
画像出力部４は、画像処理プロセッサ３がｓ１６で生成した統合画像を出力する（表示装置に入力する。）（ｓ１７）。これにより、表示装置では、重要領域である列車のドア周辺の画像が比較的大きく表示される。したがって、各ビデオカメラ１０の撮像画像を目視で確認し、列車に乗降する乗降客の安全を監視する係員等の作業負担を増加させることなく、乗降客の行動や状態等の監視が適正、且つ効率的に行える。
【００６６】
なお、上記の例では、駅ホームに列車が停車していないとき、画像処理プロセッサ３は、全景画像を生成するとしたが、各ビデオカメラ１０のフレーム画像に乗降客（駅ホームにいる乗降客）が撮像されている領域を重要領域として検出し、統合画像を生成する構成としてもよい。
【００６７】
また、上記の説明では、ｓ１６で生成する統合画像を、ｓ１５で生成した全景画像における重要領域を横方向に拡大し、非重要領域を横方向に縮小した画像であるとしたが、
（１）ｓ１５で生成した全景画像における重要領域を横方向に拡大し、非重要領域については横方向に縮小していない画像にしてもよいし、
（２）ｓ１５で生成した全景画像における重要領域を横方向に拡大せず、非重要領域については横方向に縮小した画像にしてもよい。
【００６８】
この（１）、（２）で生成した統合画像も、表示装置の画面上では、重要領域である列車のドア周辺の画像が比較的大きく表示される。
【００６９】
また、上記の説明では、本願発明を、駅ホームにおける乗降客の安全監視を行うシステムを例にして説明したが、ビルやマンション等の建造物に出入りする人の監視や、店舗の商品陳列棚における来店客の行動監視等の用途にも利用できる。
【符号の説明】
【００７０】
１…画像処理装置
２…撮像画像入力部
３…画像処理プロセッサ
４…画像出力部
１０…ビデオカメラ
【図１】
2014225825.tif 000003
【図２】
2014225825.tif 000004
【図３】
2014225825.tif 000005
【図４】
2014225825.tif 000006
【図５】
2014225825.tif 000007
【図６】
2014225825.tif 000008
【図７】
2014225825.tif 000009
【図８】
2014225825.tif 000010
【図９】
2014225825.tif 000011