(57)【特許請求の範囲】
【請求項１】
１台あるいは複数台のカメラによって撮像された１つのエリアの映像から所定の分割エリアを選択し、該選択された分割エリア毎にモニタに表示するカメラシステムの表示方法において、
前記撮像された１つのエリアの映像を、ＱＸＧＡサイズ以上の画素数を有する映像として入力するステップと、  
前記入力された映像からエッジを抽出し、エッジ検出画像を出力するエッジ検出ステップと、
前記入力された映像と予め取得した背景画像との差を画素毎に算出し、輝度差検出画像を出力する輝度差検出ステップと、
前記エッジ検出部と前記輝度差検出画像とから相関性の高い部分領域を確定し、該確定した領域を含む画像を形状検出画像として出力する被写体形状検出ステップと、
該確定した領域の左上、左下、右上、右下の座標を被写体が有する枠形状に対応させて、該被写体を擬似的に正面から見た補正画像を生成する奥行き補正ステップと、
を備えるカメラシステムの表示方法。
【請求項２】
前記撮像された１つのエリアは駅のホームであり、前記被写体は鉄道車両であり、前記エッジ検出ステップと前記輝度差検出ステップと前記被写体形状検出ステップは前記カメラの設置時に被写体を撮影した状態で行われ、以降は入力された映像を前記奥行き補正ステップで補正した補正画像をデータ化し、ＩＰネットワークで伝送して前記モニタに前記分割エリアの画像として表示させることを特徴とする請求項１記載のカメラシステムの表示方法。
【請求項３】
前記入力された映像から、鉄道車両の両側に設けられている乗降扉の開閉を知らせるランプの位置を認識する画像処理ステップを更に備え、該ランプの位置に基づいて鉄道車両の外壁部分を表示させないことを特徴とする請求項２記載のカメラシステムの表示方法。
【請求項４】
請求項１記載のカメラシステムの表示方法において、センサと上記分割エリアをあらかじめ関連付けしておき、上記センサがアラームを発生した場合には、該アラームを発生したセンサに関連付けられた上記分割エリアの映像を上記モニタに表示することを特徴とするカメラシステムの表示方法。
【請求項５】
１つのエリアを撮像する１台または複数台のカメラと、該撮像された１つのエリアの映像から所定の分割エリアを選択し、該選択された分割エリア毎にモニタに表示するために出力する制御装置と、を有するカメラシステムにおいて、
前記制御装置は、入力された映像からエッジを抽出し、エッジ検出画像を出力するエッジ検出部と、
予め取得した背景画像との差を画素毎に算出し、輝度差検出画像を出力する輝度差検出部と、
前記エッジ検出部と前記輝度差検出画像とから相関性の高い部分領域を確定し、該確定した領域を含む  画像を形状検出画像として出力する被写体形状検出部と、
該確定した領域の左上、左下、右上、右下の座標を被写体が有する枠形状に対応させて、該被写体を擬似的に正面から見た拡大画像を生成する拡大処理部と、を備え、
前記撮像された１つのエリアの映像は、ＱＸＧＡサイズ以上の画素数を有し、前記モニタの画面表示解像度より大きい解像度を有することを特徴とするカメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像し、撮像した画像中から観たいエリアを自由に選択して表示するカメラシステムに関し、特に奥行きのある被写体を撮像して監視する監視カメラシステムにおいて、その中から監視したいエリアを手動選択或いは自動選択し、モニタ表示するカメラシステムに関するものである。
【背景技術】
【０００２】
鉄道のホーム監視カメラシステムなど、従来、奥行きのある被写体を監視する場合、カメラを複数台設置し、各カメラがそれぞれ撮像した複数の画像を、各々映像ケーブルでモニタ表示部まで伝送し、モニタ表示部に表示された画像を観ることによって監視を行っていた。そのため車両編成が変わり被写体の位置が変更になると、その都度カメラの移設工事を行なう必要があった。
レンズや雲台を備え、パン機構、チルト機構またはズーム倍率変更機構等の少なくとも１つを制御してカメラの視野範囲を変更するような可動式カメラでは、視野範囲を変更して監視したいエリアに可動させることで複数のエリアを１台のカメラでカバーすることができるが、一度に全体の状況を把握し、観たいエリアに即座に映像表示させることはできなかった（例えば、特許文献１参照。）。
【０００３】
図２３によって、従来の奥行きのある監視領域を監視するカメラシステムを更に説明する。図２３は、鉄道のプラットホームの状況の監視や列車への乗降等の状況の監視など、奥行きのある監視領域を監視するシステムの略構成とモニタ画面の表示例を示す図である。図２３(a) はホームを上方から見たシステムの略構成を示し、51-1 と 51-2 は TV カメラ、52-1 〜 52-4 は列車の車両を示す。TV カメラ、ホーム、及び車両は一部を示しているだけで、全ては表示していない。また、乗降客等、ホームや列車上にあるべき他の物体等の図示は、煩雑さを避けるために省略している。ここで、モニタや記録装置は図２２に示していないが、例えば、運転席、車掌席、駅事務所または監視センタに設置され、TV カメラ 51-1 と 51-2 と無線または有線のいずれかあるいはそれらの組合せの周知の伝送手段（図示しない、例えば、無線 LAN（ Local Area Network ）、光通信等によって結合されている。
【０００４】
また図２３(b) は、図２３(a) に示す TV カメラ 51-1 と 51-2 が取得した画像のモニタ画面への表示の一例を示す図で、510 と 520 はモニタ画面の表示例、510-1 はモニタ画面の表示例 510 中に表示された画像、520-1 と 520-2 は表示例 520 中に表示された画像である。また、TV カメラやモニタは、ホームの長さ、形状、障害物、乗降客数、予算等の必要性に応じて、台数が変わるものである。
【０００５】
鉄道のホームは、幅が狭く、ホーム内には、乗客、柱、案内板、時計、広告、信号灯等が障害となって列車の車両の乗降口を撮像するために最適な位置に TV カメラを設置するためには多くの制限が存在するうえ、ホームがまっすぐに延びているとは限らないし、斜面上にあったり段差があったりする場合もある。このため、TV カメラの視野方向は、天井付近から下方を俯瞰するように設置することはもとより、列車車両の進行方向とほぼ平行な向きに設置せざるを得ない上、設置する TV カメラの数も制限される。
従って、図２３(a) の TV カメラ 51-1 と 51-2 と伝送手段で結合され、TV カメラ 51-1 と 51-2 の取得した画像を表示しているモニタには、図２３(b) の表示例 510 、520 に示すように、TV カメラ 51-1 と 51-2 の手前の車両は大きく映り、奥の車両は小さく映る。
【０００６】
図２３(b) の上段に示すように、TV カメラ 51-1 と 51-2 で撮像した画像を合成した画像 510-1 を表示する単画面の場合（ TV カメラが１台の場合には合成しない）の表示例 510 では、乗降口付近だけでなく、ホームの内側まで監視できるが、画面奥（主に、列車乗降口や車側灯）が小さくなり画面奥が見難い。また、図２３(b) の下段に示す表示例 520 の画像（分割画像）のように、TV カメラ 51-1 と 51-2 で撮像した画像 520-1 と 520-2 を別々に表示した場合や、合成した後、例えば、車両ごとに分割して表示した場合は、画面奥にも TV カメラが設けられていることで車両奥まで視認できるがホームの内側がカットされるし、画面が全体的に見難くい。
【０００７】
また、通常の TV カメラで撮影した画像について、特に監視が必要な部分（例えば、特に混雑した乗降口付近）を電子ズームで拡大処理した場合には、画質が劣化してしまい、特に監視が必要な部分は拡大されるものの、解像度が悪いため視認性は向上しない。このため、高解像の（有効画素数が多い） TV カメラ（例えば、メガピクセルカメラ）を用いて撮像して画像を拡大表示しても画質が劣化しないようにしても、記録装置に録画される画像及び再生される画像の画質が固定なので、記録装置から録画された画像を再生し、画像処理によって画像の見たい部分領域（画像領域）を拡大する場合には、画質が劣化する。
【０００８】
【特許文献１】特開平１１−１２４０３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
奥行きのある場所としては、例えば、港湾、河川、発電所、高速道路、交通量監視、駅ホーム、駅構内、空港等がある。これら、奥行きのある広範囲な複数のエリアを多数のカメラで監視する場合、カメラ台数が多くなり選択操作が複雑になる。
例えば、監視エリアを変更する必要があったり、被写体のレイアウトが変更されたり（監視場所のレイアウトが変更されたり）すると、その都度カメラを移設する必要がある。設置されているカメラが多いほど、変更作業には時間や労力がかかるようになる。
また、監視カメラシステムでは、複数の監視者が同じ画像を共有しているが、そのなかで監視したいポイントの画像を監視者毎にそれぞれ選択して、それぞれのモニタに表示させることはできない。
【００１０】
本発明の目的は、複数のカメラで撮像していたエリアを１台のメガピクセルカメラ等の有効画素数が多い TV カメラで撮像し、１フレーム毎の映像内を監視ポイント毎に自由にエリア分割し、モニタ表示することができる監視カメラシステムを提供することにある。
また、エリア分割することでメガピクセルカメラ等の有効画素数が多い TV カメラの画像フレームの大きなデータ量を縮小し効率的に LAN などへ配信することができる。
本発明の他の目的は、従来多数のカメラで行なっていた広域監視システムを１台あるいは少数のメガピクセルカメラ等の有効画素数が多い TV カメラで撮像し、全体を把握しながら監視したいエリアを効率的に監視することを目的とする。また、アラーム情報と画像エリアをデータマップ化することでエリア情報を画像、文字つきで即座に表示することにある。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本発明のカメラシステムの表示方法は、１台あるいは複数台のカメラによって１つのエリアを撮像し、撮像された１つのエリアの映像から、所定の分割エリアを選択して選択された分割エリア毎にモニタに表示するカメラシステムの表示方法において、１台あるいは複数台のカメラが撮像する１つのエリアの映像のサイズが、モニタの画面表示解像度より大きいことを特徴とする。
また、好ましくは、所定の分割エリアの映像の奥行きを補正してモニタ表示する。
また、好ましくは、カメラが３６０度カメラである。
また、好ましくは、センサと分割エリアをあらかじめ関連付けしておき、センサがアラームを発生した場合には、アラームを発生したセンサに関連付けられた分割エリアの映像をモニタに表示する。
【００１２】
また、本発明のカメラシステムは、１つのエリアを撮像する１台または複数台のカメラと、撮像された１つのエリアの映像から、所定の分割エリアを選択して選択された分割エリア毎にモニタに表示するために出力する制御装置とを備え、１台あるいは複数台のカメラが撮像する１つのエリアの映像のサイズが、モニタの画面表示解像度より大きいことを特徴とする。
【００１３】
上記の目的を達成するために、本発明のカメラシステムは、有効画素数が多い TV カメラで撮像した映像を監視したい複数のエリアに分割し伝送するものである。
また、本発明のカメラシステムは、有効画素数が多い TV カメラで撮像した映像を複数のエリアに分割し、分割した各々の映像について奥行き補正（画面奥方向の画像を奥行きに従って大きく表示）するものである。
また、本発明のカメラシステムは、TV カメラで撮像した映像を IP ネットワークを介して伝送する際に、映像をエリア分割し、必要なエリアの映像だけ、例えば、VGA サイズで伝送することで、従来の画像データの伝送方式に比べて伝送帯域を小さく抑えるものである。
【００１４】
また本発明のカメラシステムは、望ましくは、有効画素数が多い TV カメラで撮像した映像について、GUI（ Graphical User Interface ）操作により、例えば、VGA サイズ等の TV カメラの撮像画素サイズより小さな画素サイズの映像に変換するものである（例えば、マウス等のポインティングデバイスでクリックしたポイントを中心として、VGA サイズの画像に変換する。）。
【００１５】
また本発明のカメラシステムは、望ましくは、有効画素数が多い TV カメラで撮像した映像について、画像処理装置を用いて、侵入物体を検出し、検出された侵入物体を中心としたエリアを、例えば、VGA サイズ等の TV カメラの撮像画素サイズより小さな画素サイズで自動抽出するものである。
【００１６】
また本発明のカメラシステムは、望ましくは、野球、サッカーなどのスポーツ中継のインターネット配信で、視聴者が見たいエリアを視聴者が選択し、ＷＥＢサーバはそのエリアを拡大表示して配信するものである。
【００１７】
また本発明のカメラシステムは、望ましくは、３６０度カメラで撮像したパノラマ画面について監視場所毎に予めエリア分割し、画面内の見たいエリアを GUI 操作によって手動選択するか、或いは、アラーム情報から自動選択し伝送するものである。
また本発明のカメラシステムは、更に、アラーム発生エリアをデータマップ化し、アラーム情報表示及びアラーム予測を行なうものである。
【発明の効果】
【００１８】
本発明によれば、奥行きのある被写体をカメラで撮像して監視するカメラシステムにおいて、有効画素数が多い TV カメラで被写体全体を撮像し、撮像した映像を監視したい複数のエリアに分割することで、モニタ画像の解像度や画像サイズを自由に変更することが可能であり、従来のように、画角を変更する都度カメラ位置を変える必要が無い。
また、有効画素数が多い TV カメラで撮像した映像をデータ化して、IP ネットワークなどを介して伝送する場合、撮像した映像全体をデータ化せず、監視に必要な分割されたエリアのみをデータ化して伝送するため、データ量を低減することが可能である。
また、本発明を画像処理装置と組み合わせることで検出された侵入物体などの被写体周辺のエリアを自動選択することが可能である。
【００１９】
本発明のシステムを野球、サッカーなどのスポーツ中継のインターネット配信等、高精細で配信または放送される、映像に応用することができ、球場全体をメガピクセルカメラ等の有効画素数が多い TV カメラで撮像した画像の中から、視聴者が観たいエリアを選択することが可能である。
また、本発明を市街地の交差点などを監視する交通流監視システムに応用ですことで交差点全体３６０度をメガピクセルカメラで撮像した画像について、監視ポイント毎にエリア分割し、エリア画像と場所情報、警報情報をデータマップ化することで、監視者は交差点全体の状況を把握すると同時に交差点の詳細画像及び警報発生ポイントの画像をモニタすることが可能である。
【発明を実施するための最良の形態】
【００２０】
本発明の一実施例を図１によって説明する。図１は、奥行きのある被写体を複数の TV カメラで監視するカメラシステムのカメラ配置と撮像画像のイメージ図である。図１は、TV カメラ、ホーム、及び車両は一部を示しているだけで、全ては表示していない。また、乗降客等、ホームや列車上にあるべき他の物体等の図示は、煩雑さを避けるためにできるだけ省略している。
【００２１】
図１(a) の被写体は、駅のホームに停車している電車 4 を先頭車両の方から観た概略図である。電車 4 は、例えば、６両編成である。
1-1 〜 1-3 は、TV カメラで、例えば、TV カメラ1-1 で１〜２車両目を監視し、TV カメラ 1-2 で３〜４車両目を監視し、TV カメラ 1-3 で５〜６車両目を監視する。
TV カメラ 1-1 〜 1-3 は、図示していないホームの屋根から支柱 1-11 、1-12 、1-13 でそれぞれ吊り下げられて固定されている。
【００２２】
図１(b) は、ホームと電車 4 を上方から見たシステムの一部の略構成を示し、4-1 は電車 4 の先頭車両、4-2 は電車 4 の２車両目、4-3 は電車 4 の３車両目を示す（以下の車両は省略）。
TV カメラ 1-1 及び 1-2 から延びている実線は、TV カメラの視野範囲を示す。
【００２３】
図１(c) は、TV カメラ 1-1 が撮像した画像、図１(d) は、TV カメラ 1-2 が撮像した画像、図１(e) は、TV カメラ 1-3 が撮像した画像を表示している。
ここで、モニタや記録装置は図１に示していないが、例えば、運転席、車掌席、駅事務所または監視センタに設置され、TV カメラ各々と無線または有線のいずれかあるいはそれらの組合せの周知の伝送手段（図示しない、例えば、無線 LAN（ Local Area Network ）、光通信等によって結合されている。
【００２４】
図２は、TV カメラ 1-1（図１）の位置に有効画素数がモニタ等の表示装置の解像度より大きいカメラを１台設置し、６両編成の電車全体をカバーできる視野範囲を監視エリアとして撮像したときの画面である。TV カメラは、例えば、有効画素数が 900 万画素の CCD を搭載したメガピクセルカメラである。
このとき、例えば、TV カメラの撮影画素数を 3200 × 2400 ドット（ QUXGA サイズ）と設定する。そして、モニタの画面表示解像度を、例えば640 × 480 ドット（ VGA サイズ）とする。
また、例えば、TV カメラは、その撮影画素数が 2048 × 1536 ドット（ QXGA サイズ）以上のカメラである。
【００２５】
図２(a) は、１台の TV カメラで撮像した電車の画面である。破線 20-1 で囲まれたエリアは、図１における TV カメラ 1-1 が撮像したときの視野範囲と同等のエリアであることを示し、破線 20-2 で囲まれたエリアは、図１における TV カメラ 1-2 が撮像したときの視野範囲と同等のエリアであることを示し、破線 20-3 で囲まれたエリアは、図１におけるTV カメラ 1-3 が撮像したときの視野範囲と同等のエリアであることを示している。なお、図２において、図２(b) は無い。
破線 20-1 で囲まれたエリアの画像は、図２(c) のように抽出され、破線 20-2 で囲まれたエリアの画像は、図２(d) のように抽出され、破線 20-3 で囲まれたエリアの画像は、図２(e) のように抽出さる。
【００２６】
図１の TV カメラ 1-1 〜 1-3 に相当する監視エリアを画像処理によって抽出し、部分拡大して奥行き補正を行なった画像も併せて示す。
即ち、図２(c) の画像は図２(c′) に示すように補正され、図２(d) の画像は図２(d′) に示すように補正され、図２(e) の画像は図２(e′) に示すように補正される。
このような補正技術については、後述する。
【００２７】
図３は、本発明のシステムの一実施例の構成を示すブロック図である。31 は TV カメラ、32 は TV カメラ 31 の映像を監視したい複数のエリアに分割するための映像制御器、33 は分割するためのそれぞれのエリアを選択するための操作 PC（ Personal Computer ）、34 は分割したエリアを表示するためのモニタ、35 は TV カメラ 31 の映像を表示するためのモニタである。TV カメラ 31 は、例えば、メガピクセルカメラ等の有効画素数が多い TV カメラである。
【００２８】
図３において、TV カメラ 31 は、視野範囲を撮像し、撮像した映像を映像信号として映像制御器 32 に出力する。映像制御器 32 は、入力された映像信号を操作 PC 33 に出力する。
操作 PC 33 は、自身で備えているかまたは別途接続した表示ユニットに映像制御器 32 から与えられた映像信号をその表示ユニットの表示形式に変換して出力する。表示ユニットは、TV カメラ 31 が撮像した視野範囲全体の映像を表示する。
【００２９】
操作者は、操作 PC 33 に備えられた、例えば、マウス等のポインティングデバイスやキーボード等の入力機器を使って、操作 PC 33 を操作し、監視したいエリアを選択する。
監視したいエリアは、図１のような鉄道のホーム監視カメラシステムの場合には、例えば、電車の上降口付近であり、１つまたは複数のエリアを選択することができる。
そして、表示するモニタをモニタ 34 の中から選択あるいは指定して、その情報と共に、映像制御器 32 に出力する。
なお、このとき、操作者が、表示するエリアの映像と共にそのエリアの情報を文字や図形で表示（更に、音声出力）したい場合には、その設定をすることもできる。エリアの情報とは、例えば、そのエリアの地名や地番（電車の乗降の場合には、車両番号等の順番や乗降口番号、等）他、時刻情報、等である。
【００３０】
映像制御器 32 は、操作 PC 33 から与えられた指示に従って、TV カメラ 31 が撮像した視野範囲全体の映像から指定のエリアの映像を分割して、操作 PC 33 から指示された情報と共に、該当するモニタ 34 に映像データと指定されたエリア情報を出力する。
モニタ 34 は、それぞれ与えられたデータを映像または音声として出力する。
【００３１】
また、映像制御器 32 は、TV カメラ 31 が撮像した視野範囲全体の映像をモニタ 35 に出力し、モニタ 35 は、視野範囲全体の映像を表示する。
【００３２】
次に、図３の映像制御器 32 の詳しい機能について図４を用いて説明する。
図４は、本発明の一実施例の映像制御器の機能を説明するためのブロック図である。41 は映像分配器、42 は A/D 変換部、43 は画像メモリ部、44 はエリア抽出部、45 は画像補正部、46 は D/A 変換部、47 はコントロール部、48 は画質変換部である。
【００３３】
TV カメラ 31 が取得した映像は、フレーム毎に映像制御器 32 の映像分配部 41 に入力する。映像分配部 41 は、入力された映像をフレーム毎に分配して、A/D 変換部 42 と外部機器（例えば、図３の操作 PC 33 及びモニタ 35 ）に出力する。
A/D 変換部 42 は、映像信号をデジタルデータに変換し、フレーム毎に画像メモリ 43 に出力する。画像メモリ部 43 は、入力された映像データを記録する。
【００３４】
図３の操作 PC 33 において選択されたエリアの情報が、コントロール部 47 に入力すると、コントロール部47 は、操作パソコンで選択されたエリアを検出し、検出されたエリア情報をエリア抽出部 44 に出力し、かつ画像メモリ部 43 に１フレーム分の映像データをエリア抽出部 44 に出力するように指令する。
画像メモリ部 43 は、１フレーム分の映像データをエリア抽出部 44 に出力する。
【００３５】
エリア抽出部 44 は、与えられたエリア情報に基づいて、画像メモリ部 43 から入力される映像データをフレーム毎にそれぞれのエリアに分割して画像補正部 45 に出力する。
この際、画質変換部 48 では、各エリアの映像サイズを同じ画素サイズ（画面表示解像度のサイズ）に合せる。分割されたエリアは、各々画像補正部 45 に入力され、部分拡大による奥行き補正を行ない、エリア毎に、それぞれ該当する D/A 変換部 46 に出力する。
最後に D/A 変換部 46 で各エリア毎の画像をアナログの映像信号に戻してそれぞれのモニタ 34 に出力する。
【００３６】
以上の処理過程により、従来複数台（この場合３台）の監視カメラで行っていたカメラシステムを、１台のメガピクセルカメラ等の有効画素サイズの大きなカメラで実現することができる。
【００３７】
図５は、本発明を IP（ Internet Protocol ）ネットワーク経由でクライアント PC へ伝送するためのシステムの一実施例の構成を示すブロック図である。図５(a) は従来の IP ネットワークへの伝送方式で、図５(b) は本発明の IP ネットワークへの伝送方式の実施例である。51 は TV カメラ、52 と 52′は TV カメラ 51 が撮像した映像をフレーム毎に配信するための画像配信装置、53 は IP ネットワーク、54 は映像をモニタするためのクライアント PC 、55 は映像を複数のエリアに分割するための映像制御器、56 は映像信号、57 は制御信号、58 はエリアを選択するための操作PC である。
【００３８】
図５(b) において、TV カメラ 51 は、視野範囲を撮像し、撮像した映像を映像信号として映像制御器 55 に出力する。映像制御器 55 は、入力された映像信号を操作 PC 58 に出力する。
操作 PC 58 は、自身で備えているかまたは別途接続した表示ユニットに映像制御器 55 から与えられた映像信号をその表示ユニットの表示形式に変換して出力する。表示ユニットは、TV カメラ 51 が撮像した視野範囲全体の映像を表示する。
【００３９】
操作者は、操作 PC 58 に備えられた入力機器を使って、操作 PC 58 を操作（例えば、GUI 操作）し、監視したいエリアを選択する。そして、その情報を映像制御器 55 に出力する。
なお、このとき、操作者が、表示するエリアの映像と共にそのエリアの情報を文字や図形で表示（更に、音声出力）したい場合には、その設定をすることもできる。エリアの情報とは、例えば、そのエリアの地名や地番（電車の乗降の場合には、車両番号等の順番や乗降口番号、等）他、時刻情報、等である。
【００４０】
映像制御器 55 は、操作 PC 58 から与えられた指示に従って、TV カメラ 51 が撮像した視野範囲全体の映像から指定のエリアの映像を分割して、操作 PC 58 から与えられた情報と共に、映像信号 56 として、画像配信装置 52′に出力する。また、映像制御器 55 と画像配信装置 52′とは、制御信号 57（例えば、クライアント PC 54 からの配信要求、操作 PC 58 からの配信制御信号、等）を送受しあう。
【００４１】
画像配信装置 52′は、映像をフレーム毎に IP パケット化して、IP ネットワーク 53 に配信する。
クライアント PC 54 は、IP ネットワーク 53 を介して、TV カメラ 51 が撮像した視野範囲全体の映像から操作 PC 58 で分割した映像を受信してその表示部に表示する。
なお、図５では、クライアント PC を１台だけとして説明したが、複数のクライアント PC があり、それぞれが別のエリア画像（全体画像を含む）の配信要求をしても良い。
【００４２】
図６は、本発明の映像制御器 52′の機能ブロックの一実施例を説明するための図である。
図６は、図４の映像制御器から、映像分配器 41 を除去し、画質変換部 48 を映像分配器 41 と結合する代わりに画質メモリ部43 とを設け、画質変換部 48 と画像メモリ部 43 と結合したものである。
図６のように、画質変換部では QXGA サイズ（ 2048 × 1536 ドット）以上の画像フレーム（メガピクセル監視カメラの全体画像）を VGA サイズ（ 640 × 480 ドット）に変換することで、データ量を減らしてネットワークへの負荷を軽減することができる。
なお、図６では、映像制御器 55 から、画像配信装置 52′への結線は、複数の入力があるように描いているが、図５の場合には、映像制御器 55 から画像配信装置 52′等の結線が１本のデータバスとして描いてあることによる違いで、実質的に同一である。
【００４３】
図７は、本発明の画像配信装置 52′の機能の一実施例を説明するためのブロック図である。
WEB エンコーダ 71 〜 73 は、エリア画像をネットワークへ配信する（この場合は３台）。また、WEB エンコーダ 74 は、映像制御器 55 の画質変換部 48 で変換された VGA サイズの映像をフレーム毎にネットワーク 53 に配信する。
なお、図７では、映像制御器 55 から、画像配信装置 52′内部の機能を明確にするために、複数の入力があるように描いているが、図５の場合には、映像制御器 55 から画像配信装置 52′等の結線が１本のデータバスとして描いてあることによる違いで、実質的に同一である。
各 WEB エンコーダ 71 〜 74 は、クライアント PC 54 側からの要求に応じてエリア画像または全体画像を配信する。
コントロール部 75 は、映像制御器 55 からの情報によって、各 WEB エンコーダ 71 〜 74 とスイッチングハブ 76 を制御し、スイッチングハブ 76 は、IP ネットワーク 53 と各 WEB エンコーダ 71 〜 74 との結合を切り換える。
【００４４】
従来の技術では、TV カメラの映像全体を、フレーム毎に、直接、データ化するため、１フレーム（ QXGA サイズ以上）あたりのデータ量が非常に大きくネットワークに与える負荷が大きいものであった。
しかし、本発明では、TV カメラの映像をフレーム毎にサイズの小さなエリアに分割した後にネットワークに配信する。このため、従来に比べてデータ量を小さく抑えることが可能である。
QXGA サイズの TV カメラの映像をフレーム単位でVGA サイズのエリアに分割した場合には、従来の方式に比べて約 10 ％のデータ量にすることが可能である。
【００４５】
また、図１（(c)〜(e)）や図２（(c)〜(e)、(c′)〜(e′)）、から分かるように、各エリア画像は似通っており、映像の相関性が高い。WEB エンコーダで MPEG 形式でエンコードする際、I ピクチャを共有化することでデータ量の低減を図ることが可能である。
【００４６】
クライアント PC 54 側が複数のエリア画像を表示する場合、コントロール部 47 で、あるエリアの I ピクチャとその他のエリアの I ピクチャとの差分を検出し、WEB エンコーダが、１つのエリアの I ピクチャとその他のエリアの差分データ（例えば、P ピクチャ）のみを配信する。
クライアント PC が１つのエリア画像を表示する場合には、あまり効果が無いが、複数のエリア画像を表示する場合は、１つのエリアの I ピクチャとその他のエリアの差分データを配信するだけでよいのでデータ量を低減することが可能である。
【００４７】
なお、エンコードの形式は、MPEG 形式に限らない。
【００４８】
図５(b) と図８によって、手動選択によるエリア画像選択方法の一実施例を説明する。図８は、本発明の一実施例のエリア画像選択方法を説明するための図である。図８(a) は、TV カメラ 51 が撮像した視野範囲全体の画像が表示された表示ユニットの表示エリアを示す。また、図８(b) は、操作者が選択した所望のエリア画像の拡大画像を示す。この拡大画像は、例えば、クライアント PC 54 の表示ユニットに表示される。
【００４９】
図５(b) のシステムにおいて、操作 PC 58 に結合された表示ユニット（外付けでも内蔵でも可）に TV カメラ 51 で撮像された全体画像 81 が表示される。操作者は、GUI 操作等によって表示画面上の全体画像 81 から所望の監視ポイントを選択する（例えば、マウス（図８(b) 中の矢印で示す図形の先端は、監視ポイントの位置を示す。）でクリック等の操作をする）と、その部分を中心としたエリア画像 82 が、VGA サイズで選択される（図８(a) の点線枠）。選択の方法は、また、GUI 操作等によって表示画面上の所望の範囲のエリアを選択する（例えば、マウスにより任意の範囲のエリアを選択する）ことでも良い。このとき、VGA サイズ等の画面表示解像度の縦横比には横長なので、侵入者として検出されたエリアの高さ（縦）方向を主として、検出された侵入者の縦方向がすべて表示されるようにエリアの大きさが決定される。
そして、選択された任意の大きさのエリア画像は、映像制御器 55 の画質変換部で VGA サイズに変換され、画像 83 のように表示される。
【００５０】
なお、映像制御器 55 がサイズ変換する場合、選択されたエリアの画素数が、表示されるモニタの表示解像度のドットサイズより多い場合は間引いて変換され、少ない場合は補完して表示される。
また、拡大されて表示されるか縮小されて表示されるかも、同様なことがいえる。
【００５１】
図９は、本発明の画像処理装置で侵入者などを自動検知することでエリアを自動選択する方法を示す。図９は、本発明の一実施例のエリア画像選択方法を説明するための図である。図９(a) は、図５(b) の本発明のシステムの一実施例に画像処理部 99 を追加した、本発明の別のシステムの実施例を示す図である。
監視用 TV カメラ 51 が撮像した映像は、フレーム毎に画像処理部 99 に出力される。画像処理部 99 は、周知のアルゴリズム（例えば、フレーム間差分や背景差分）を用いて侵入者を検知する。そして、侵入者を検出すると、検出したエリアを中心とした、侵入者のエリアを含み、侵入者のエリアと同じか少し大きめのエリアを自動選択する。この選択するエリアの広さはあらかじめ定めるか、また適時変更できる。
【００５２】
図９(b) は、図９(a) のシステムの画像処理部 99 が自動的に検出した侵入者を追跡していることを示す図である。91 は操作 PC 58 に結合された表示ユニット（外付けでも内蔵でも可）表示されたTV カメラ 51 で撮像された全体画像、92 は時刻 t0 で検出したエリア、93 は時刻 t2 で検出したエリア、94 は時刻 t3 で検出したエリアを示す枠である。また、図９(c) の 95 は、エリアの枠 94 が選択した所望のエリア画像の拡大画像を示す。この拡大画像は、例えば、クライアント PC 54 の表示ユニットに表示される。
即ち、図９(c) は、エリア枠 94 の画像が映像制御器 55 の画質変換部で VGA サイズに変換され、画像 95 のように表示されることを示す。
【００５３】
なお、図９(b)においては、説明のために全体画像 91 中に枠 92 〜 94 が同時に描かれているが、時間の推移と共に枠の位置が矢印のように侵入者の移動に対応して移動して行くことを説明するためであって、実際には、各時刻毎にいずれか１つが表示されるものである。
また、侵入者が同時に２つ以上検出される場合には、同意に複数の枠が表示されるが、その場合には、更にマウス等が表示され、操作者が選択したいずれかの侵入者が VGA サイズで表示されるか、あるいは、複数のクライアント PC に自動的に割り当てられて別々に拡大されて表示することができる。
【００５４】
上記実施例では、侵入者を検出しているが、侵入者である必要は無く、動物や車両等の移動体または物体がカメラの視野範囲内に、またはセンサの警戒範囲内を通過または侵入することを検出する場合にも適用できることは言うまでもない。
【００５５】
図１０は、本発明の別の実施例を説明するための図で、野球などのスポーツ中継のインターネット配信画像を示す図である。図１０(a) は、球場での野球中継の画像配信を説明するための図である。101 は球場全体を TV カメラで撮影した映像を表示した全体画像である。全体画像 101 は図１０(a) では、上空から見た図に見えるが、ドーム球場では、このように上にカメラを取り付けて魚眼レンズと組み合わせた３６０度カメラの映像を画像処理して表示することができるが、通常は、球状のホームベース側の所定の高さから斜め下を俯瞰するように撮影するのが一般的である。また、球場観客席の一塁ベース側やあるいは三塁ベース側から撮影することも考えられる。
【００５６】
102 はレフト（左翼）選手の守備範囲を中心としたエリア、103 はセンタ（中堅）選手の守備範囲を中心としたエリア、104 はライト（右翼）選手の守備範囲を中心としたエリア、105 は内野選手の守備範囲を中心としたエリア、106 は投手と捕手の守備範囲を中心としたエリアである。
上記の発明の実施例では、操作 PC 58 で行なっていたエリア画像選択を、画像配信用 WEB サーバの WEB ページ（ブラウザ）上でクライアント PC 54 を操作することで行ない、クライアント PC 54 でモニタする視聴者側でエリアを選択する。選択されたエリアが、例えば画像 107 のようにモニタに表示される。
図１１に示すように、WEB サーバ 111 は、選択された情報をもとに、WEB サーバ 111 に備えられた映像制御器 55′を制御し、配信するエリアを指定することで視聴者が観たい映像を届けることができる。
なお、WEB サーバ 111 はネットワーク経由でカメラ側の映像を受信しても良いが、ネットワークを経由しないで、直接映像を得、それらの映像を蓄積しておいて、WEB サーバ 111 からネットワークを介して映像を配信しても良い。
【００５７】
例えば、図１０をもとに説明すると、ライトの選手の動きを中心にモニタしたい場合、TV カメラ 51′で撮影した球場全体の画像から観たいエリアを視聴者が WEB ページ上で選択し、WEB サーバ 111 は映像制御器 55′で抽出したエリア画像を映像制御器 55′に備えられた WEB エンコーダ経由で視聴者側に配信する。
【００５８】
なお、上記実施例では、３６０度カメラによって撮像したが、必ずしも３６０度である必要は無く、撮影するために必要な角度であれば良い。
また、複数台のカメラで撮像した画像の合成についても同様なことがいえる。
【００５９】
図１２は、TV カメラを３台使用し、各々が水平１２０度ずつ撮像して取得した映像を合成して３６０度のパノラマ画面例を示す図である。また、図１３は、図１２の３６０度のパノラマ画面を用いて、市街地などの交通流監視カメラシステムに応用した場合で、本発明のシステムの構成の一実施例を示すブロック系統図である。
図１２において、カメラ部 121には、３台のTV カメラ 122 を水平１２０度ずつ撮像するように配置し、それぞれのTV カメラ 122 が撮像した映像 123-1 、123-2 、及び 123-3 を画像処理によって合成して３６０度のパノラマ画面 124 を表示のために出力する。TV カメラ 122 は、例えば、900 万画素のメガピクセルカメラである。
【００６０】
図１３において、例えば、３６０度撮像可能なカメラ部 121 で、交差点の中心部に設置し全方向を監視する。なお、３台のカメラ画像を合成する方式の他に、３６０度監視するカメラ 121 は、ＮＳＫ株式会社製３６０度撮影カメラでも代用可能である。カメラ部 121 は、複数台備え、それぞれのカメラ部 121 が、割り当てられた交差点を撮像する。
【００６１】
カメラ部 121 が撮像した交差点の映像は、それぞれ、屋外用機器収容ボックス 132 に出力される。屋外用機器収容ボックス 132 は、それぞれ、入力された映像を合成して３６０度のパノラマ画面に変換し、更に、IP ネットワーク 133 で伝送できるデータ形式（例えば、IP パケット）に変換して、IP ネットワーク 133 を介して、管理サーバ（ WEB サーバ）134 に送信する。
管理サーバ 134 は、映像の配信制御、及び配信するクライアント数などネットワーク接続端末を管理する。
【００６２】
クライアント PC 135 は、IP ネットワーク 133 と結合し、監視映像をモニタする。また、WEB デコーダ 136 は、IP パケットで配信された画像データを例えば NTSC アナログ信号に変換し、大型モニタ137 に出力する。
WEB デコーダ 136 が変換する形式は、大型モニタ137 が表示可能な形式であれば何でも良い。
大型モニタ 137 は、入力された監視画像を単画面表示または多分割表示する。
なお、単画面表示とは、モニタの表示画面に入力可能なカメラの１台分の映像だけを表示し、多分割表示とは、表示画面を分割して複数台のカメラの映像を表示するものである。
【００６３】
図１３において、図示しないセンサは、音、光、振動、等の変化を検知し、アラーム信号 138 を屋外用機器収容ボックス 132 に出力し、屋外用機器収容ボックス 132 は、アラーム信号 138 に応じて、異常な変化を検知したセンサに対応するカメラの映像を単画面表示するかあるいは、色つきの枠で囲ったり、枠を点滅させたりするように画面表示を切り換える情報を IP ネットワーク 133 を介してクライアント PC 135 や WEB デコーダ 136 に出力する。WEB デコーダ 136 は、更にその情報に応じて、大型モニタ 137 の表示を切り換える。
【００６４】
例えば、市街地の各交差点に混雑状況を監視するための３６０度監視可能なカメラを設置し、クライアント PC 135 側で予め選択されたエリアとアラームポイントを対応させ、WEB サーバ 134 でデータマップを作成する。アラームが発生すると、クライアント PC 135 の操作画面は自動的にアラームが発生したエリアの画面に切り換わる。設置されたセンサと、そのセンサのアラームが発生した場合に表示するエリアとは、あらかじめ関連付けられている。また、対応するエリアが、１つのセンサに複数あっても良いし、同じエリアが複数のセンサと対応していても良い。
【００６５】
図１４は、本発明のクライアント PC 135 の操作画面の一実施例のイメージ図である。図１４(a) はクライアント PC 135 の表示部 141 に表示された操作画面の略イメージを示し、画面 142 には、選択されているエリア（即ち、操作対象のカメラ部が撮影している映像）が表示されている。また、下側の画面 143 に交差点の３６０度全体の画像を表示される。図１４(b) は、画面 143 を拡大して表示した図である。更に、右側の画面 144 には、選択されているエリアに関する情報（交差点名称、通り名称、住所、警報発生件数、警報発生時間など）が図形や文字等で表示される。図１４(c) は、画面 144 を拡大して表示した図である。
【００６６】
各エリア、アラーム情報は、交差点名称などと共に、WEB サーバ 134 でデータマップ化され、アラームが多発する時刻、場所などからアラーム発生予測を行なうことが可能である。
【００６７】
本発明の他の実施形態について説明する。
図１５は、本発明の一実施例の監視システムを示すブロック図である。図２は、被写体の画像の部分拡大処理を行うための画像処理装置と記録装置を使用したシステム系統図である。521 は TV カメラ、522 は画像処理装置、522-1 は画像処理装置 522 内の画像フレームメモリ、523 は記録装置、524 はモニタである。また、525 ，526 ，527 は映像信号である。記録装置は、例えば、デジタルレコーダである。TV カメラ 521 は、例えば、有効画素数が 120 万画素以上のメガピクセルカメラである。
【００６８】
図１５において、TV カメラ521 は、監視領域、例えば、ホームに停車した列車の車両を撮影し、映像信号525 を画像処理装置 522 に出力する。画像処理装置 522 は、入力された映像信号 525 を１フレーム毎に、SXGA サイズ（ 1280 × 1024 画素）で画像処理装置 522 内の画像フレームメモリ 522-1 に記憶する。
【００６９】
画像処理装置 522 は、画像フレームメモリ522-1 に記憶された画像を、被写体の画像の奥行きや形状に基づいて部分的に拡大し、部分的な拡大画像を映像信号526 として記録装置 523 に出力する。記録装置 523 は、入力された映像信号526 の画像を予め選択された画質モードで録画する。
【００７０】
この予め選択された画質で録画された画像は、記録装置 523 から映像信号 527 として読み出され、再生画像としてモニタ524 に出力される。モニタ 524 は、入力された映像信号 527 の再生画像を画面に表示する。
【００７１】
上記実施例では、画像を拡大処理しても画質が劣化しないことを特徴としている。しかし、画像処理装置 522 で拡大した画像が、拡大しないで録画された通常の録画画像より画質の劣化がないようにするためには、画素の拡大率と、記録装置523 の録画画質に注意しなければならない。
【００７２】
例えば、記録装置 523 が VGA（ 640 × 480 画素）で録画するなら、画素の拡大率は、縦、横ともに最大で２倍まで画質を落とさずに拡大することが可能である。
また例えば、QVGA（ 320 × 240 ）で録画するなら、画素の拡大率は、縦、横ともに最大で４倍までなら画質を落とさずに拡大することが可能である。
【００７３】
図１６は、本発明の画像処理装置 522 の機能ブロックの一実施例を示す図である。531 は画像フレームメモリ、532 はエッジ検出部、533 は輝度差検出部、534 は被写体形状検出部、535 は拡大処理部である。また図１７は、図１６の画像処理装置522 内の各構成部（ 531 〜 535 ）での画像の様子を模式的に示す図である。541 は画像フレームメモリ 531 に記憶された画像、542 はエッジ検出部532 で検出されたエッジ検出画像、543 は輝度差検出部 533 で検出された輝度差検出画像、544 は、被写体形状検出部 534 で検出された形状検出画像、545 は拡大処理部 535 が出力する拡大画像である。
【００７４】
図１６において、画像処理装置 522 に入力された映像信号 525 は、画像フレームメモリ531 に高画質（例えば、SXGA サイズ）の画像データ（画像 541 ）として記憶される。画像フレームメモリ 531 は、記憶された画像 541 を、エッジ検出部532 と輝度差検出部 533 に出力する。
【００７５】
エッジ検出部 532 は、入力された画像データの画像のエッジ抽出を行い、抽出されたエッジ検出画像542 を被写体形状検出部 534 に出力する。例えば、ホームの列車の画像の場合、列車がホームに入線した状態の列車外枠をエッジとして検出する。
【００７６】
また、輝度差検出部 533 は、入力された画像541 と背景画像との輝度値の差を算出し、算出された輝度値の差を輝度値とした画像（輝度差検出画像543 ）を生成し、生成された輝度差検出画像 543 を被写体形状検出部 534 に出力する。例えば、ホームの列車の画像の場合、列車表面が背景より明るいことを利用して列車と背景とを分離し、列車の画像領域のみを抽出する。なお、背景画像は、例えば、予め列車が入線していない時に監視視野領域を撮像して取得し、例えば画像処理装置522 内の所定のメモリに記憶しておく。また輝度値の差の算出は、例えば画素毎に実行する。
【００７７】
被写体形状検出部 534 は、入力されたエッジ検出画像542 と輝度差検出画像 543 とから、相関性の高い部分領域を列車の画像として確定し、確定した領域の画像（形状検出画像 544 ）を拡大処理部 535 に出力する。
【００７８】
拡大処理部 535 は、被写体形状検出部534 で確定された形状検出画像 544 の画素領域について、各々の画素についての画素サイズの拡大率を決定する。そして、決定された拡大率を各々の画素のサイズに乗じて、被写体を擬似的に正面から見た拡大画像545 を生成し、映像信号 526 としてモニタ 524 に出力する。なお、拡大率の算出は、ホームの入線列車や建物構内など、背景の変化や動体の無い条件で（例えば、上記背景画像によって）行う。
【００７９】
また、乗降口付近の乗客の乗り降りを監視するためには、乗降口だけではなくその周囲も監視しなければならないため、列車の画像として確定された画像領域に、更にホーム側数十 cm 以上内側までの画像を拡大処理するようにしても良い。
【００８０】
以上のように、動画をリアルタイムで監視するために、図１６における処理は、全てハードウェアで構成している。
しかし、画像処理装置を FPGA で構成して図１８に示すフローチャートのように処理することもできる。図１８は、本発明の一実施例の画像処理方法の処理動作例を説明するためのフローチャートである。
【００８１】
図１８において、ステップ 1501 では、予め基準とする背景画像を決定し、記憶する。
ステップ 1502 では、背景画像によって画素毎の拡大率の算出を行う。
ステップ 551 では、映像信号525 を画像フレームメモリ 531 に記憶する。
【００８２】
ステップ 552 では、記憶された映像信号525 のエッジ抽出を行い、エッジ検出画像 542 を抽出する。
ステップ 553 では、記憶された映像信号525 と予め格納していた背景画像とを、例えば画素毎に輝度値の差分を算出し、輝度差検出画像543 を検出する。
【００８３】
ステップ 554 では、エッジ検出画像542 と輝度差検出画像 543 とから、相関性の高い部分領域を形状検出画像 544 として確定する。
ステップ 555-1 では、被写体形状検出部534 で確定された形状検出画像 544 の画素領域について、各々の画素の画素サイズの拡大率を決定する。
【００８４】
ステップ 555-2 では、決定された各画素毎の拡大率を各々の画素のサイズに乗じて、被写体を擬似的に正面から見た拡大画像545 を生成する。
【００８５】
次に、図１９によって本発明の拡大率の算出の手順を一例を説明する。図１９は、本発明の一実施例の拡大率の算出の手順を説明するための図である。横軸を X 軸、縦軸を Y 軸とした XY 座標で表示している。また、一番左下の座標を原点（ 0 ，0 ）としている。(a) は、図２３の表示例510 の画像 510-1 、(b) は拡大前の画素のサイズ、(c) は拡大後の画素のサイズである。ただし、図６(a) の画像に比して、図１９(b) と図１９(c) は、図示している画素の大きさは大きく表している。
【００８６】
図１９において、画像 510-1 を X 、Y 座標で表し、画像 510-1 全体を（ LH × LV ）＝（ 1280 × 1024 ）とする。
算出方法を一般化するために、以降のように変数を定める。
【００８７】
被写体形状検出により得られた形状検出画像 544 から、図１９(a) のように lH 、lV1 、lV2 を定める。ここで、lH は形状検出画像 544 の左端の X 座標、lV1 は形状検出画像 544 の左下端の Y 座標、lV2 は形状検出画像 544 の左上端の Y 座標である。また、列車下部の直線を関数 F 1(X) 、列車上部の直線を関数 F 2(X) とする。
【００８８】
このとき、関数 F 1(X) は、式(1) 、関数 F 2(X) は、式(2) のように求めることができる。
【００８９】
【数１】
0004685561.tif 000002
【００９０】
【数２】
0004685561.tif 000003
【００９１】
また、元の画素の大きさを（ gX × gY ）、拡大画素の大きさを（ GX × GY ）、画素の Y 軸方向の拡大率をα(X) 、X 軸方向の拡大率をβ(X) とする。
このとき、GY は式(3) のように求めることができる。
【００９２】
【数３】
0004685561.tif 000004
【００９３】
次に、GX は、画素の X 軸方向の拡大率もα(X) として、拡大後の画像フレームの水平画素の和を S とすると、式(4) のように求めることができる。
【００９４】
【数４】
0004685561.tif 000005
【００９５】
以上より元の画素に X による変数である拡大率α(X) 、β(X) を乗じて各画素毎に拡大することで拡大画像が得られる。
以上の算出処理は、カメラ設置時に被写体を撮影した状態で行い、以降の通常監視時は、拡大率の算出は行わず、拡大率α(X) 、β(X) を定数として使用する。
【００９６】
本発明の他の実施例を、図２０によって説明する。図２０は、鉄道におけるホーム画像監視システムの本発明の一実施例を説明するための図である。図２０(a) はホームを上方から見たシステムの略構成を示し、51-1 〜 51-4 は TV カメラ、52-1 〜 52-8 は列車の車両を示す。乗降客等、他のホームや列車上にあるべき他の物体等の図示は、煩雑さを避けるために省略している。ここで、モニタや記録装置は図７に示していないが、例えば、運転席、車掌席、駅事務所または監視センタに設置され、TV カメラ 1-1 〜 1-4 と無線または有線のいずれかあるいはそれらの組合せの周知の伝送手段（図示しない、例えば、無線 LAN（ Local Area Network ）、光通信等の通信回線によって結合されている。
【００９７】
また図２０(b) は、図２０(a) のカメラ 51-1 〜 51-4 が取得した映像を複数のモニタにそのまま表示した従来技術の表示例である。510′はモニタ画面の表示例、510′-1 は TV カメラ 51-1 が取得した映像をモニタの１つに表示した表示例、510′-2 は TV カメラ 51-2 が取得した映像をモニタの１つに表示した表示例、510′-3 は TV カメラ 1-3 が取得した映像をモニタの１つに表示した表示例、510′-4 は TV カメラ 51-4 が取得した映像をモニタの１つに表示した表示例である。
【００９８】
また図２０(c) は、本発明の一実施例で、図２０(a) の TV カメラ 51-1 〜 51-4 が取得した映像を複数のモニタに表示した例を示す図である。570 はモニタ画面の表示例、570-1 は TV カメラ 51-1 が取得した映像をモニタの１つに表示した表示例、570-2 は TV カメラ 51-2 が取得した映像をモニタの１つに表示した表示例、570-3 は TV カメラ 51-3 が取得した映像をモニタの１つに表示した表示例、70-4 はカメラ 1-4 が取得した映像をモニタの１つに表示した表示例である。
【００９９】
図２０の実施例では、１つの監視領域を複数の TV カメラで撮像し、複数のモニタに表示する。このため、例えば、図２０(b) に示す従来例のように、手前と奥の画像が交互に表示されるため、非常に視認が困難になる。
このような監視において、本発明では、複数のカメラで撮像した監視領域を、１つのカメラで正面から撮像したように擬似的に表示させる。これによって、視認性が向上する。
【０１００】
図２１によって、本発明の別の実施例を説明する。図２１は、本発明の一実施例のモニタ表示画面の一例を示す図である。図２１は、本発明の一実施例の図７(c) が複数のモニタを有し、カメラ１台毎に１台のモニタを割当てて１台のカメラの取得した映像を割当てた１台のモニタに表示していることに対して、１台のモニタを複数の画面に分割して（図７では、４分割表示）表示し、モニタの数を減らしたものである。580 はモニタ画面の表示例、570-1 は TV カメラ 51-1 が取得した映像をモニタの１つに表示した表示例、570-2 は TV カメラ 51-2 が取得した映像をモニタの１つに表示した表示例、570-3 は TV カメラ 51-3 が取得した映像をモニタの１つに表示した表示例、570-4 は TV カメラ 51-4 が取得した映像をモニタの１つに表示した表示例である。
【０１０１】
図２２によって、本発明の別の実施例を説明する。図２２は、本発明の一実施例のモニタ表示画面の一例を示す図である。図２２は、本発明の一実施例の図２１(c) の表示例 570-1 において、車両の外壁部分の撮像画像を表示せず、例えば白抜きとして、車両の乗降口から見える車内とホーム上の乗降者の撮像画像を表示するようにした表示例である。
【０１０２】
上記図２２の実施例では、例えば、車両の両側に１つずつ設けられている乗降扉の開閉を知らせるランプ（例えば、車側灯）を認識し、画像処理によって、撮像画像中のランプが点灯したことを検知して、ランプの位置を元に乗降扉の位置を算出することによって実行することができる。
また、例えば、図１７によって説明した形状検出画像 544 によって選択しても良い。
また更に、図１８によって説明したステップ 554 での処理によって、形状検出画像 544 を求めても良い。
【０１０３】
尚、撮像された画像のどの部分を表示するかまたは表示しないかは、用途や目的に応じて設定することは自明である。
また、記録装置に記憶する画像は、表示画像と同じであっても元の画像であってもどちらでも良いし、それら両方であっても良い。
【０１０４】
以上のように、本発明によれば、奥行きのある被写体を複数のカメラで監視する監視カメラシステムにおいて、メガピクセルカメラ等の有効画素数が、モニタ等の表示装置の画面表示解像度より大きいカメラを使って被写体全体を撮像し、撮像した映像を監視したい複数のエリアに分割することで、モニタ画像を自由に変更することが可能であり、従来のように画角を変更する都度カメラ位置を変える必要が無い。
またカメラが取得した画像をデータ化して IP ネットワークなどへ伝送する場合に、映像全体をデータ化しないので、必要な部分画像、即ち、分割されたエリアのみを伝送するためデータ量を低減することができる。
また、本発明を画像処理装置と組み合わせることで検知された侵入者などの被写体周辺のエリアを自動選択することが可能できる。
【０１０５】
また更に、本発明を野球、サッカーなどのスポーツ中継のインターネット配信に応用することで、球場全体をカメラで撮像した画像の中から、視聴者が観たいエリアを選択することが可能である。
また、本発明を市街地の交差点などを監視する交通流監視システムに応用ですことで交差点全体３６０度を有効画素数が多いカメラで撮像した画像について、監視ポイント毎にエリア分割し、エリア画像と場所情報、警報情報をデータマップ化することで、監視者は交差点全体の状況を把握すると同時に交差点の詳細画像及び警報発生ポイントの画像をモニタすることが可能である。
【図面の簡単な説明】
【０１０６】
【図１】奥行きのある被写体を複数のカメラで監視するカメラシステムのカメラ配置と撮像画像のイメージ図。
【図２】本発明によるエリア分割画像の一実施例を示す図。
【図３】本発明のシステムの一実施例の構成を示すブロック図。
【図４】本発明の一実施例の映像制御器の機能を説明するためのブロック図。
【図５】本発明のシステムの一実施例の構成を示すブロック図。
【図６】本発明の映像制御器の一実施例を説明するための図。
【図７】本発明の画像配信装置の一実施例を説明するためのブロック図。
【図８】本発明の一実施例のエリア画像選択方法を説明するための図。
【図９】本発明の一実施例のエリア画像選択方法を説明するための図。
【図１０】本発明の一実施例を説明するための図。
【図１１】本発明のシステムの一実施例の構成を示すブロック図。
【図１２】TV カメラを３台使用した３６０度のパノラマ画面例を示す図。
【図１３】３６０度のパノラマ画面を用いて交通流監視カメラシステムに応用した本発明のシステムの構成の一実施例を示すブロック系統図。
【図１４】本発明のクライアント PC の操作画面の一実施例イメージ図。
【図１５】本発明の一実施例の監視システムを示すブロック図。
【図１６】本発明の画像処理装置の機能ブロックの一実施例を示す図。
【図１７】本発明の一実施例の画像処理装置内の各構成部での画像の様子を模式的に示す図。
【図１８】本発明の一実施例の画像処理方法の処理動作例を説明するためのフローチャート。
【図１９】本発明の一実施例の拡大率の算出の手順を説明するための図。
【図２０】鉄道におけるホーム画像監視システムの本発明の一実施例を説明するための図。
【図２１】本発明の一実施例のモニタ表示画面の一例を示す図。
【図２２】本発明の一実施例のモニタ表示画面の一例を示す図。
【図２３】従来のカメラシステムの略構成とモニタ画面の表示例を示す図。
【符号の説明】
【０１０７】
1-1〜1-3：TVカメラ、  1-11，1-12，1-13：支柱、  4：電車、  4-1：先頭車両、  4-2：２車両目、  4-3：３車両目、  20-1，20-2，20-3：破線、  31：TVカメラ、  32：映像制御器、  33：操作PC、  34：モニタ、  35：モニタ、  41：映像分配器、  42：A/D変換部、  43：画像メモリ部、  44：エリア抽出部、  45：画像補正部、  46：D/A変換部、  47：コントロール部、  48：画質変換部、  51：TVカメラ、  52，52′：画像配信装置、  53：IPネットワーク、  54：クライアントPC、  55：映像制御器、  56：映像信号、  57：制御信号、  58：操作PC、  71〜74：WEBエンコーダ、  75：コントロール部、  76：スイッチングハブ、  81：全体画像、  82：エリア画像、  83：画像、  91：全体画像、  92，93，94：エリアを示す枠、  95：拡大画像、  101：全体画像、  102〜106：エリア、  107：画像、  521：TVカメラ、  522：画像処理装置、  522-1：画像フレームメモリ、  523：記録装置、  524：モニタ、  525，526，527：映像信号、  531：画像フレームメモリ、  532：エッジ検出部、  533：輝度差検出部、  534：被写体形状検出部、  535：拡大処理部、  541：画像、  542：エッジ検出画像、543：輝度差検出画像、  544：形状検出画像、  545：拡大画像。
【図１】
0004685561.tif 000006
【図２】
0004685561.tif 000007
【図３】
0004685561.tif 000008
【図４】
0004685561.tif 000009
【図５】
0004685561.tif 000010
【図６】
0004685561.tif 000011
【図７】
0004685561.tif 000012
【図８】
0004685561.tif 000013
【図９】
0004685561.tif 000014
【図１０】
0004685561.tif 000015
【図１１】
0004685561.tif 000016
【図１２】
0004685561.tif 000017
【図１３】
0004685561.tif 000018
【図１４】
0004685561.tif 000019
【図１５】
0004685561.tif 000020
【図１６】
0004685561.tif 000021
【図１７】
0004685561.tif 000022
【図１８】
0004685561.tif 000023
【図１９】
0004685561.tif 000024
【図２０】
0004685561.tif 000025
【図２１】
0004685561.tif 000026
【図２２】
0004685561.tif 000027
【図２３】
0004685561.tif 000028