(57)【要約】【課題】  屋内外を問わずに歩きたばこというマナー違反を有効に監視できるようにする。【解決手段】  赤外線カメラ３０を用い高温度部分（たばこの炎）を検出し、喫煙中のたばこの存在を動的に捉え、ＰＴＺカメラ２０を用い歩行者の存在を動的に捉える。両カメラは同じ監視領域を撮り、高温度部分に近接する歩行者を関係付けることで歩きたばこをしている喫煙者を特定し、特定した喫煙者の位置を画像面上の座標で表す。喫煙者の位置座標をもとに歩きたばこを追尾するためにＰＴＺカメラ２０を制御し、ＰＴＺカメラによって歩きたばこをしている喫煙者を画面の中心にズーミングして撮り、取った画像等を現場の広告塔５０に設けたディスプレイ５１に表示し、注意を喚起する。【選択図】        図１
2010237971.tif 000002
【特許請求の範囲】
【請求項１】
所定の監視領域の動画を撮る赤外線カメラと、
前記監視領域の動画を撮るＰＴＺカメラと、
ＰＴＺカメラによって撮られた画像が表示可能なディスプレイと、
赤外線カメラが撮った画像における高温度部分を撮像面上に定めた座標で検出するとともに、高温度部分のトラッキングを行う第１画像処理手段と、
ＰＴＺカメラが撮った画像における移動体を撮像面上に定めた座標で検出するとともに、移動体のトラッキングを行う第２画像処理手段と、
第１画像処理手段によって高温度部分が検出され、かつ第２画像処理手段によって移動体を検出したことを歩きたばこ判定の実施条件として判断する実施判断手段と、
実施判断手段によって実施が判断されたとき、第２画像処理手段の移動体のトラッキングによって得られる所定時間における移動量が予め定めた値を超えた移動体を特定し、特定した移動体と第１画像処理手段によって得られる高温度部分との距離が予め定めた値以下であることを条件に歩きたばこが存在することを、特定の移動体と関係付けて、判定する第１歩きたばこ判定手段と、
第１歩きたばこ判定手段によって歩きたばこの存在が特定の移動体と関係付けて判定されたとき、該当する特定の移動体を撮像面の中心で捉えるようにＰＴＺカメラを制御する追尾制御手段と、
ディスプレイの画像面に追尾制御されるＰＴＺカメラによって撮られた画像を表示するとともに、歩きたばこに対する警告表示を行う表示手段と
を有したことを特徴とする歩きたばこ監視装置。
【請求項２】
請求項１に記載された歩きたばこ監視装置において、
歩きたばこと関係付けられた特定の移動体が存在する方向を前記追尾制御手段によって作動されるＰＴＺカメラのホームポジションに対する移動量をもとに検出する方向検出手段を有し、
前記表示手段は、ディスプレイの画像面に歩きたばこに対する警告表示とともに前記方向判定によって検出された特定の移動体が存在する方向を示す表示を行うことを特徴とする歩きたばこ監視装置。
【請求項３】
請求項１又は２に記載された歩きたばこ監視装置において、
第２画像処理手段によって検出された移動体の撮像面上における占有度が予め定めたしきい値を超えるか否かで混雑度が高いか否かを判定する混雑度判定手段と、
歩きたばこを判定する際、前記混雑度判定手段によって混雑度が高いと判定されたときに、第１歩きたばこ判定手段に代えて歩きたばこを判定する手段として、第１画像処理手段の高温度部分のトラッキングによって得られる所定時間における移動量が予め定めた値を超えることを条件に歩きたばこが存在することを、判定の対象となった高温度部分が撮像面の中心に対してどの方向に存在するかを関係付けて、判定する第２歩きたばこ判定手段と、
第２歩きたばこ判定手段によって歩きたばこの存在が判定されたとき、前記ディスプレイの画像面に歩きたばこに対する警告表示とともに判定の対象となった高温度部分の存在する方向を示す表示を行う表示手段と
を有したことを特徴とする歩きたばこ監視装置。
【請求項４】
請求項１乃至３のいずれかに記載された歩きたばこ監視装置において、
前記赤外線カメラの監視領域と前記ディスプレイの視野角により定まる有効可視範囲を合わせるように赤外線カメラとディスプレイを配置することを特徴とする歩きたばこ監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歩きたばこを監視する装置に関し、より詳しくは、動画像を撮る赤外線カメラとＰＴＺ（Pan Tilt Zoom）カメラからの画像を処理することで、監視対象である歩きたばこの移動体(歩きたばこをする人)を特定し、特定した移動体をＰＴＺカメラで追尾するようにした歩きたばこ監視装置に関する。
【背景技術】
【０００２】
従来から、ビデオカメラで監視が必要な場所の映像を撮ることは周知であり、使用するビデオカメラも監視対象に応じて可視カメラや赤外線カメラが利用されている。例えば、下記特許文献１には、煙の発生点を可視カメラにより、また発火点を赤外線カメラで検出することで火災を自動検出する方法が示されている。
ところで、喫煙マナーを守ることに対する社会的な要請の高まりもあって、喫煙マナーの違反を監視するためのシステムの提案が従来からなされている。監視カメラは、このようなシステムにおいても採用されており、例えば、下記特許文献２を挙げることができる。この例では、禁煙エリアにたばこのけむりを検出するセンサを設け、センサによる喫煙の検出時に監視カメラでマナー違反者を特定し、このとき得られるカメラの映像をマナー違反の管理に用いている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−１２６２８７号公報
【特許文献２】特開２００７−２７４１５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ただ、上記特許文献２の方法は、禁煙エリアという特定の空間でたばこのけむりを検出するという方法でマナー違反を検出するので、喫煙マナーとして守ることが求められている歩きたばこの禁止への対策として適用できない。なお、歩きたばこは、文字通り歩きながら喫煙をすることであり、歩きたばこをしないことが、公共の場ではどこでも、守ることが求められるマナーである。また、歩きたばこを防止するための対策という点では、上記特許文献１に提案された方法も同様に適用できない。
本発明は、上記従来技術の問題に鑑みてなされたもので、その目的は、屋内外を問わずに歩きたばこというマナー違反を有効に監視できるようにすることにある。
【課題を解決するための手段】
【０００５】
本発明は、歩きたばこ監視装置であり、所定の監視領域の動画を撮る赤外線カメラと、前記監視領域の動画を撮るＰＴＺカメラと、ＰＴＺカメラによって撮られた画像が表示可能なディスプレイと、赤外線カメラが撮った画像における高温度部分を撮像面上に定めた座標で検出するとともに、高温度部分のトラッキングを行う第１画像処理手段と、ＰＴＺカメラが撮った画像における移動体を撮像面上に定めた座標で検出するとともに、移動体のトラッキングを行う第２画像処理手段と、第１画像処理手段によって高温度部分が検出され、かつ第２画像処理手段によって移動体を検出したことを歩きたばこ判定の実施条件として判断する実施判断手段と、実施判断手段によって実施が判断されたとき、第２画像処理手段の移動体のトラッキングによって得られる所定時間における移動量が予め定めた値を超えた移動体を特定し、特定した移動体と第１画像処理手段によって得られる高温度部分との距離が予め定めた値以下であることを条件に歩きたばこが存在することを、特定の移動体と関係付けて、判定する第１歩きたばこ判定手段と、第１歩きたばこ判定手段によって歩きたばこの存在が特定の移動体と関係付けて判定されたとき、該当する特定の移動体を撮像面の中心で捉えるようにＰＴＺカメラを制御する追尾制御手段と、ディスプレイの画像面に追尾制御されるＰＴＺカメラによって撮られた画像を表示するとともに、歩きたばこに対する警告表示を行う表示手段とを有したことを特徴とする。
【発明の効果】
【０００６】
本発明によると、赤外線カメラ、ＰＴＺカメラ及びディスプレイの動作環境が確保できれば、どこでもマナーに反する歩きたばこを有効に監視できる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態に係る歩きたばこ監視装置における赤外線カメラ、ＰＴＺカメラ、ディスプレイの各コンポーネントの１実装例を示す概念図である。
【図２】監視領域を重ならせた複数の歩きたばこ監視装置の配置例を示す概念図である。
【図３】歩きたばこの警告表示を広告塔のディスプレイの画面に割り込んで行う実施形態を説明する図である。
【図４】混雑時に警告表示画面を作成する過程を説明する図である。
【図５】非混雑時に警告表示画面を作成する過程を説明する図である。
【図６】歩きたばこ監視装置のデータ処理システムの概略構成を示すブロック図である。
【図７】サーバ端末（図６参照）の内部構成の概要を示すブロック図である。
【図８】本発明の歩きたばこ監視装置における監視動作の制御フローの１例を示す図である。
【図９】歩きたばこ監視動作の制御フロー（図８）における移動体検出（ステップＳ１０４）のサブシーケンスを示す図である。
【図１０】歩きたばこ監視動作の制御フロー（図８）における高温度検出（ステップＳ１０６）のサブシーケンスを示す図である。
【図１１】歩きたばこ監視動作の制御フロー（図８）における歩きたばこ判定（１）（ステップＳ１１１）のサブシーケンスを示す図である。
【図１２】歩きたばこ監視動作の制御フロー（図８）における歩きたばこ判定（２）（ステップＳ１１５）のサブシーケンスを示す図である。
【図１３】歩きたばこ監視動作の制御フロー（図８）における警告画面表示（１）（ステップＳ１１３）のサブシーケンスを示す図である。
【図１４】歩きたばこ監視動作の制御フロー（図８）における警告画面表示（２）（ステップＳ１１７）のサブシーケンスを示す図である。
【発明を実施するための形態】
【０００８】
以下に、本発明の歩きたばこ監視装置に係る実施形態を説明する。
歩きたばこは、屋内、屋外を問わず、公共の場で起きるマナー違反であり、歩きたばこの監視には、例えば、上記[背景技術]で述べたたばこのけむりを検出する方法のように、屋内で人が止まって喫煙する状態で適用した検出方法は、不向きである。
そこで、この実施形態の歩きたばこ監視装置では、屋外にも適用でき、歩きたばこを行っている現場で喫煙者を特定することが可能な方法によって歩きたばこを検出する。
この検出方法には、喫煙中のたばこの存在を動的に捉えるための手段として赤外線カメラを用い、喫煙者の存在を動的に捉えるための手段としてＰＴＺカメラを用いる。赤外線カメラは所定の監視領域を撮り、ＰＴＺカメラも同じ監視領域を撮る。
また、監視結果として、歩きたばこを行っている喫煙者を特定する、即ち歩きたばこと喫煙者を関係付けるための各カメラからの画像等を処理する手段と、監視結果を知らせることで該当する喫煙者に注意を喚起するための手段としてディスプレイを用いる。なお、後記で詳述するが、ＰＴＺカメラは、歩きたばこを追尾するために操作され、また、ＰＴＺカメラによって追尾された歩きたばこの画像等を監視結果として、現場に設けたディスプレイの画面に表示する。
【０００９】
ここで、先ず、赤外線カメラ及びＰＴＺカメラを用いて行う歩きたばこの検出方法の原理について、図１を参照しながら説明する。
図１は、歩きたばこ監視装置における赤外線カメラ、ＰＴＺカメラ、ディスプレイの各コンポーネントの１実装例を示す概念図である。同図に示す構成は、人が行き来する通路のような場所に設置された円筒状の広告塔５０に設けたディスプレイ５１と組み合わせて赤外線カメラ３０及びＰＴＺカメラ２０を実装する例を示している。
ここでは、実装状態で赤外線カメラ３０とＰＴＺカメラ２０の撮影範囲（監視領域）が一致するように、これらの設置条件等を定める。なお、ＰＴＺカメラ２０は、初期設定でホームポジションにセットされる。つまり、ホームポジションでは、ＰＴＺカメラ２０のパン（Pan：水平回転）、チルト（Tilt：垂直回転）、ズーム（Zoom：連続変倍）それぞれは、監視領域を赤外線カメラ３０の監視領域に合わすように設定される。
【００１０】
ＰＴＺカメラ２０の撮像画像に対し、初期設定の撮像面上に座標を定めて、撮像画像面に現れる移動体をトラッキングして、移動により変化する位置を座標値で表す。また、赤外線カメラ３０の撮像画像に対しても、撮像（サーモグラフィ）面上に座標を定めて、撮像される画像面に現れる高温度部分をトラッキングして、移動により変化する位置を座標値で表す。なお、初期設定でホームポジションにセットされたＰＴＺカメラ２０の撮像面上に定めた座標と赤外線カメラ３０のサーモグラフィ上に定めた座標を対応付けておき、同じエリアにおいて起きる変化として両者の関係を把握する。
さらに、赤外線カメラ３０、ＰＴＺカメラ２０のセットとディスプレイ５１との関係は、両方のカメラ３０，２０の監視領域とディスプレイ５１の視野角により定まる有効可視範囲を合わせるように両方のカメラ３０，２０とディスプレイ５１を配置する。これは、後記で詳述するが、監視結果として、歩きたばこの存在場所を指す矢印をディスプレイ５１の画面に表示する際、方向の基準をディスプレイ５１に置くからである。
【００１１】
監視動作の際、赤外線カメラ３０からの入力画像をもとに検出される高温度部分（喫煙中のたばこの炎部）の存在と、ＰＴＺカメラ２０からの入力画像をもとに検出される移動体の存在を条件に、歩きたばこを判定する処理を実施する。なお、高温度部分の検出、移動体の検出は、それぞれ後記の処理フロー（図９，１０）で詳述する。
歩きたばこの判定は、既に検出されている移動体が歩行者であることを確認し、確認された歩行者と高温度部分（喫煙中のたばこの炎部）の距離が近いことを条件に歩きたばこを判定する（以下「歩きたばこ判定（１）」という）。つまり、歩行者に近接する高温度部分は当該歩行者が喫煙するたばこの炎であると推定し、当該歩行者と高温度部分を１対１で関係付ける。
【００１２】
よって、歩きたばこ判定（１）を行うときには、先ず、歩行者であることを確認する。この確認方法は、ＰＴＺカメラ２０からの入力画像をもとに、既に検出されている移動体をトラッキングしながら移動距離を求め、求めた移動距離が所定の距離を超えていることによって確認する。
この後、歩行者と確認された移動体と高温度部分の距離をそれぞれのカメラの入力画像の画像面上の両者の座標値を比較することにより求め、求めた距離が判定基準として予め定めた値の範囲内にある場合に、歩きたばこが存在すると判定する。歩きたばこ判定（１）の判定結果は、歩きたばこが存在することと、歩きたばこに関係する移動体（喫煙者）を存在する位置（座標値）によって特定する。
【００１３】
上記歩きたばこ判定（１）を行うことで、歩きたばこが検出できる。ただ、歩きたばこの判定は、歩行者と高温度部分（たばこの炎部）を１対１で関係付け、歩きたばこに関係する移動体（喫煙者）を特定することを必要条件とすると、歩きたばこ判定（１）の移動体（歩行者）と高温度部分が近接していることを条件に歩きたばこを判定する方法では、判定基準の定め方や歩行者の状況によっては複数の歩行者が近接した距離に存在することが起こり得る。この場合、複数の歩行者を喫煙者とすると、判定を誤ることになる。
この判定の誤りが起きる状況は、歩行者が混雑した状況で起きる可能性が高いと考えられる。そこで、混雑度によって上記歩きたばこ判定（１）を適用し、この判定方法が適用できない混雑時には、次に示す歩きたばこ判定（２）によって、より誤りの少ない判定を行えるようにする。
【００１４】
混雑時に適用する歩きたばこ判定（２）においても、高温度部分（たばこの炎部）が存在し、かつ移動体が存在することを判定実施の条件にすることに変わりはないが、混雑時には、高温度部分に近接する移動体が複数存在し、その中の１つを的確な喫煙者とする絞込みが困難であるから、歩きたばこの存在を、赤外線カメラ３０からの入力画像をもとに、既に検出されている高温度部分をトラッキングしながらその移動距離を求め、求めた移動距離が所定の距離を超えていることを確認することによって、歩きたばこの存在を判定する。この判定方法による場合、歩きたばこ判定（１）における移動体（喫煙者）の特定は行わないが、高温度部分（歩きたばこ）が生じた位置がサーモグラフィの画像面の中心に対してどの方向にあるかを、サーモグラフィに定めた座標上の高温度部分の座標値をもとにして表す。従って、歩きたばこ判定（２）の判定結果は、歩きたばこが存在することと、歩きたばこが存在する方向によって特定する。
【００１５】
ところで、上記歩きたばこ判定（１）を適用すると判定を誤る可能性がある混雑状況は、混雑度と判定の誤りの発生との関係を実験的に確認することができる。この実験結果に基づいて、誤りの生じない混雑度の範囲の限界値を得ることができる。ここでは、この混雑度の限界値をＰＴＺカメラ２０によって撮られた監視領域の画像面を移動体が占める占有度によって表す。つまり、画像面における移動体の占有度が歩きたばこ判定（１）の適用限界値として予め定めた値を超えて大きくなった場合に、歩きたばこ判定（２）を適用することで、判定方法を使い分け、誤りの少ない判定を行う。
なお、混雑度を判定する移動体の占有度は、先に説明したように、移動体の存在をＰＴＺカメラ２０からの入力画像をもとに検出するが、その検出結果を受けて行う。
【００１６】
上記で混雑時に適用する歩きたばこの判定方法を示したが、混雑がより増すと、カメラ（ＰＴＺカメラ２０、赤外線カメラ３０の両方のカメラを指す。以下、同様に記載）によって撮られた画像面において検出対象像が重なり合い、歩きタバコをする喫煙者が手前の人物に隠れてカメラで撮れない死角が生じる。
このような場合でもアングルを変えれば、死角を無くすことができる。具体的には、死角を作らないように複数台のカメラを配置する方法によって、解決することができる。
図２は、監視領域を重ならせた複数の歩きたばこ監視装置の配置例を示す概念図である。同図において、人が行き来する通路６０に円筒状の広告塔５０１，５０２，５０３を配置した例を示している。各広告塔５０１，５０２，５０３には、それぞれディスプレイと組み合わせて赤外線カメラ及びＰＴＺカメラを実装し、図１に示したと同様に歩きたばこ監視装置を構成する。
図２に示すように、各広告塔５０１，５０２，５０３にそれぞれ設けた歩きたばこ監視装置は、撮影範囲（監視領域）を重なり合うようにして、互いに死角を無くすように、様々なアングルからカメラで撮影できる配置をとり、歩きタバコを検出できるようにしている。なお、それぞれのカメラの撮影範囲を重なり合うように配置し制御を行うと、より広い範囲でのトラッキングを行うことも可能になる。
【００１７】
ここで、上記判定方法を適用し、得られる結果に従って、マナー違反者に対して行う警告表示について説明する。
警告表示を行う趣旨は、基本的に歩きたばこをしている喫煙者に歩きたばこを止めてもらうために、その旨を知らせることにある。この実施形態では、当該喫煙者に注意を喚起するための手段として誰もが目に付きやすい広告塔のディスプレイを用いているので、通常、ディスプレイに表示している広告画面に割り込んで、歩きたばこの警告表示を行う。
図３は、歩きたばこの警告表示を広告塔のディスプレイの画面に割り込んで行う実施形態を説明する図である。なお、この実施形態では、移動体（歩行者）の混雑度によって歩きたばこ判定（１）と歩きたばこ判定（２）を使い分ける例を示したので、この例に沿って、警告の表示方法を説明する。
【００１８】
図３に示すように、広告塔のディスプレイ５１には、初期画面として広告画面が表示されている。この後、歩きたばこ監視装置の監視動作によって、カメラからの画像をもとに歩きたばこの存在が判定されると広告画面に割り込んで警告表示が行われる。
この警告表示は、非混雑時（ＰＴＺカメラ２０の画面における移動体の占有度が限界値以下）には、同図中に矢印（Ａ）で示すように警告画面１となる。警告画面１には、「Ｎｏ Ｓｍｏｋｉｎｇ！！」の文言５１５、歩きたばこをしている喫煙者のカメラ画像５１７及び歩きたばこが存在する方向を示す矢印５１１が割り込み表示される。一定時間経過後又は歩きたばこが赤外線カメラ３０の撮影範囲より外れた場合、図３中に矢印（Ｂ）で示すようにディスプレイ５１には初期画面である広告画面を表示する。
他方、混雑時（ＰＴＺカメラ２０の画面における移動体の占有度が限界値を超える）には、同図中に矢印（ａ）で示すように警告画面２となる。警告画面２には、「Ｎｏ Ｓｍｏｋｉｎｇ！！」の文言５１５、歩きたばこが存在する方向を示す矢印５１２及び矢印５１２の意味を示す「こちらで歩きたばこ」のコメントが表示される。一定時間経過後、または、歩きタバコが赤外線カメラの撮影範囲より外れた場合、図３中に矢印（ｂ）で示すようにディスプレイ５１には初期画面である広告画面を表示する。
なお、警告表示画面を作成する過程の詳細は、後記する歩きたばこ監視装置の制御フロー（図８〜１４）の説明にて、図４及び５を参照して述べる。
【００１９】
次に、本実施形態の歩きたばこ監視装置の制御部について説明する。
以下に示す制御部は、上記した歩きたばこの検出方法を採用して行う歩きたばこの監視動作を制御するコンポーネントである。この制御部は、歩きたばこの監視に必要なデータをカメラから取得し、取得したデータをもとに歩きたばこを検出するためのデータ処理やカメラを制御し、またディスプレイを制御して歩きたばこに対する警告表示を行わせる。
本実施形態では、広告塔のディスプレイ５１のサーバ端末を歩きたばこ監視装置の制御部として機能させることによって実施する例を示す。
図６は、本実施形態の歩きたばこ監視装置のデータ処理システムの概略構成を示すブロック図である。同図に示すように、このシステムは、歩きたばこ監視装置の制御部として機能するサーバ端末１０にＰＴＺカメラ２０、赤外線カメラ３０及び広告塔５０のディスプレイ５１を接続し、データの交換を行うように構成する。
【００２０】
図７は、サーバ端末１０（図６参照）の内部構成の概要を示すブロック図である。
図７に示すように、サーバ端末１０は、ＰＴＺカメラ画像処理部１２０、赤外線カメラ画像処理部１３０、歩きタバコ判定処理部１１０、警告画面表示部１５０、外部インターフェース部（１）１０３及び外部インターフェース部（２）１０５を有する。なお、図７に示すサーバ端末１０の内部の構成要素は、歩きたばこ監視装置のデータ処理に必要な要素のみを示している。
外部インターフェース部（１）１０３及び外部インターフェース部（２）１０５は、サーバ端末１０に接続されるＰＴＺカメラ２０、赤外線カメラ３０及びディスプレイ５１とのインターフェースである。外部インターフェース部（１）１０３は、ＰＴＺカメラ２０と赤外線カメラ３０とデータを交換して、各カメラの動作を制御し、カメラで撮った画像を内部で利用可能なデータとして入力する。また、外部インターフェース部（２）１０５は、ディスプレイ５１とデータを交換して、ディスプレイ５１の動作を制御し、後述する警告表示を行わせるためのデータを出力する。
【００２１】
ＰＴＺカメラ画像処理部１２０は、移動体検出部１２１、トラッキング部１２３を有する。移動体検出部１２１は、ＰＴＺカメラ２０からの入力画像をもとに、フレーム間差分により移動体を個別に検出し、各移動体の画像面上での位置（この実施形態では重心位置）を画像面上に定めた座標系の座標値で表す。また、検出した移動体の画像面上に占める面積により混雑度を算出し、算出した混雑度に従って、後で行う歩きたばこ判定方法（上記歩きたばこ判定（１）／（２））を使い分ける、つまり、適用する歩きたばこ判定方法を決めるために混雑度の判定を行う。
トラッキング部１２３は、移動体のトラッキング処理を行い、移動体が歩行者であるか否かを判定する。この処理は、混雑度が一定以下の場合に上記の歩きたばこ判定（１）の処理過程の一部として行い、トラッキング処理で求めた移動体の移動距離が所定値以上の場合、歩行者であると判定する。
【００２２】
赤外線カメラ画像処理部１３０は、高温度検出部１３１、トラッキング部１３３を有する。高温度検出部１３１は、赤外線カメラ３０からの入力画像をもとに生成されるサーモグラフィから、たばこの炎が含まれる温度範囲の高温度部分を個別に検出し、各高温度部分のサーモグラフィ面上での位置、重心をサーモグラフィ面上に定めた座標系の座標値で表す。
トラッキング部１３３は、高温度部分のトラッキング処理を行い、高温度部分が歩きたばこの炎であるか否かを判定する。この処理は、上記の歩きたばこ判定（２）の処理過程の一部として行い、トラッキング処理で求めた高温度部分の移動距離は、歩きたばこの炎を判定するために用いる。
【００２３】
歩きタバコ判定処理部１１０は、移動体検出部１２１による移動体の検出と、高温度検出部１３１による高温度部の検出がともになされた場合を、歩きたばこの判定を実施する条件として確認し、動体（歩行者）の混雑度によって、歩きたばこ判定（１）と歩きたばこ判定（２）を使い分けて、歩きタバコの存在を判定する。
具体的には、混雑度が所定値以下で歩きたばこ判定（１）を適用する場合、移動体のトラッキング処理を行うトラッキング部１２３で移動体が歩行者であるか否かを判定し、判定された歩行者と高温度検出部１３１で検出した高温度部分の距離を求め、求めた距離が判定基準として予め定めた値の範囲内にある場合に、歩きたばこが存在すると判定する。なお、判定された歩行者が複数ある場合は、高温度部との距離が一番近い歩行者を１対１で対応する歩きたばこの喫煙者とする。
【００２４】
また、歩きたばこ判定（１）を適用した場合、歩きたばこの喫煙者として特定した移動体（歩行者）をＰＴＺカメラ２０によって追尾する制御に用いるためにズーム値、パン値及びチルト値を算出する。
ズーム値は、特定した移動体（歩行者）と高温度部の距離（両者の重心の座標値から求められる）が小さいほど大きくズームされるようにする。また、ズーム値は、倍率により制御値を指定するか、又は画角により制御値を指定するようにする。
パン値及びチルト値は、特定した移動体（歩行者）の重心をＰＴＺカメラ２０が撮る画像の中心になるようにそれぞれの値を求める。制御値として求めるパン値及びチルト値は、ＰＴＺカメラ２０がホームポジションにある時の画面の中心と移動体の重心の位置関係によって表す。なお、特定した歩行者の顔の位置を検出して、顔が画像の中心になるようにパン値及びチルト値を求めてもよい。
【００２５】
他方、混雑度が所定値を超えた場合、高温度部分に近接する移動体の中の１つを歩きたばこの喫煙者とする正確な絞込みが困難であるから、上記の歩きたばこ判定（２）を適用し、歩きたばこの存在を、赤外線カメラ３０からのサーモグラフィにおける高温度部分の動きのみで判定する。即ち、高温度部分を数秒間といった時間トラッキングしながらその移動距離を求め、求めた移動距離が所定の距離を超えていることを確認することによって、歩きたばこの存在を判定する。また、高温度部分（歩きたばこ）が生じた位置がサーモグラフィの画像面の中心に対してどの方向にあるかを、サーモグラフィに定めた座標上の高温度部分の座標値をもとにして、例えば４方向で表す。なお、歩きたばこの検出結果によりディスプレイ５１で後述するような警告表示を行うので、高温度部分（歩きたばこ）が生じた位置もその座標値で表す。
【００２６】
警告画面表示部１５０は、歩きタバコ判定処理部１１０によって歩きたばこの存在が判定された場合に、この判定結果を受けて、歩きたばこの喫煙者に対して広告塔５０のディスプレイ５１を通して警告表示を行うための画像を生成して、外部インターフェース１０５を介してディスプレイ５１を制御して画面表示を行わせる。
この実施形態では、混雑度により表示方法が異なる。非混雑時には、歩きたばこ判定処理部１１０よりＰＴＺ値を受け取り、ＰＴＺカメラ２０を制御して歩きたばこ（喫煙者）を追尾するので、この操作によってＰＴＺカメラ２０で撮った画像をもとに歩きたばこ警告画面を生成し、ディスプレイ５１に歩きたばこ警告画面（図３の警告画面１、参照）を表示する。
【００２７】
他方、混雑時には、歩きたばこをする喫煙者を正確に特定することが困難なので、歩きたばこの炎の位置をもとに歩きたばこ判定処理部１１０で処理された歩きタバコが存在する方向のデータを受け取り、歩きたばこ警告画面を生成し、ディスプレイ５１に歩きたばこ警告画面（図３の警告画面２、参照）を表示する。その他の警告表示としては、歩きたばこの炎の位置をもとに大まかに歩きたばこが存在する場所をＰＴＺカメラ２０で追尾して撮った画像をもとに歩きたばこ警告画面を生成することや、或いは歩きたばこが存在する方向を表す矢印と一緒に、ＰＴＺカメラ２０のホームポジションからの画像（広範囲を撮った画像）に歩きたばこが存在する大まかな位置を矩形で示した警告画面を生成し、ディスプレイ５１にこの警告画面を表示する方法を採用してもよい。
また、混雑時と非混雑時混で警告画面の表示を変えても、歩きたばこ警告画面の表示を開始してから所定時間が経過した後、或いは歩きたばこが赤外線カメラの撮影範囲より外れた場合、ディスプレイ５１には初期画面である広告画面の表示に切り替える。
【００２８】
ところで、歩きたばこ監視装置の制御部として働くサーバ端末１０は、図示しないが、ＣＰＵ（Central Processing Unit）、プログラムを格納するＲＯＭ（Read Only Memory）、プログラムを動作させるときのワークメモリとして使用するＲＡＭ（Random Access Memory）等を要素とするコンピュータを内蔵し、ＣＰＵによってプログラムを駆動することによって当該制御部を構成する。当該制御部を構成するＲＯＭには、歩きたばこ監視装置の制御に係るプログラムの一部に後述する図８〜１４の制御フロー図に示す歩きたばこ監視機能等を実行するためのプログラムを記録しておくことで、内蔵するコンピュータが、歩きたばこ監視機能等を実現する手段、つまり図７に示したサーバ端末１０のデータ処理部を構成する。なお、上記プログラムを記録する媒体としては、ＲＯＭに限らず、ＨＤＤ（Hard Disk Drive）、ＣＤ（Compact Disk）−ＲＯＭ、ＭＯ（Magnet Optical Disk）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体を用いることができる。また、プログラムを、インターネット等のネットワーク（図示せず）に接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしても良い。
【００２９】
次に、上記サーバ端末１０（歩きたばこ監視装置）が行う歩きたばこ監視動作について、監視動作を行う際の処理手順を示すフロー図に基づいて説明する。
図８は、歩きたばこ監視機能によって実行される監視動作の制御フローの１例を示す図である。また、歩きたばこ監視動作に係る各カメラからの入力画像の処理過程は監視動作を行う際の要点であり、画像処理の手順を説明する図４及び図５を参照する。図４は、非混雑時に警告表示画面を作成する画像処理過程を説明する図であり、図５は、混雑時に警告表示画面を作成する画像処理過程を説明する図である。なお、図４、図５のいずれも、処理の流れを→にて示す。
【００３０】
図８の制御フローは、サーバ端末１０の起動と同時に立ち上げられ、歩きたばこ監視機能による動作を開始する。
歩きたばこ監視機能による動作を開始すると、先ず、ディスプレイ５１に初期画面（図３、参照）を表示する（ステップＳ１０１）。
この後、ＰＴＺカメラ２０に対し、パン値、チルト値、ズーム値それぞれがホームポジションとして予め決められた所定値になるように、初期設定を行い、初期化動作を行う（ステップＳ１０２）。なお、初期化動作でホームポジションにＰＴＺカメラ２０をセットすると、ＰＴＺカメラ２０の撮像面上に定めた座標と赤外線カメラ３０のサーモグラフィ上に定めた座標とが対応付けられ（図４、図５におけるＰＴＺカメラ２０の画像２１のたばこ２１ｔと赤外線カメラ３０のサーモグラフィ３１の高温度部分（たばこの炎）３１ｈの画像面上の位置が対応する）、同じ監視エリアにおいて起きる変化として各カメラによって撮られた画像の関係を把握することができる。
次に、ホームポジションでＰＴＺカメラ２０の撮影が開始されているので、外部インターフェース部（１）１０３を介してＰＴＺカメラ２０が撮った動画像を入力し（ステップＳ１０３）、入力した動画像（図４、図５における画像２１）から画像に現れる移動体を検出する（ステップＳ１０４）。ステップＳ１０４の移動体を検出する処理は、移動体検出部１２１（図７）が行う。
【００３１】
ステップＳ１０４のサブシーケンスを示す図９を参照して、移動体検出に係る処理を説明すると、動画像として時系列で入力される画像フレーム（図４、図５における画像２１）に対し、フレーム間差分をとり（ステップＳ２０１）、差分が０にならない画像部分を移動体と判断する（図４、図５の画像面２３に判断された移動体２３ｍを模式的に示す）ことで、画像に現れる移動体を抽出する（ステップＳ２０２-YES）。この処理で、移動体が抽出できなければ、移動体が検出できなかったので（ステップＳ２０２-NO）、このサブシーケンスを抜けて、図８のメインフローに戻る。
他方、移動体が検出された場合（ステップＳ２０２-YES）、個別に移動体の重心を算出し（図４、図５の移動体２３ｍ中の×を重心として示す）、画像面上に定めた座標系の座標値で表す（ステップＳ２０３）。
また、検出した移動体の画像面上に占める占有度として、全画面に対する移動体の面積比を算出し、この値により混雑度を表す（ステップＳ２０４）。
移動体に関するこれらの値を算出した後、このサブシーケンスを抜けて、図８のメインフローに戻る。
【００３２】
本実施形態では、赤外線カメラ３０とＰＴＺカメラ２０は、同時に動作するので、赤外線カメラ３０もＰＴＺカメラ２０と並行して、外部インターフェース部（１）１０３を介して赤外線カメラ３０が撮った動画像を入力し（ステップＳ１０５）、入力した画像もとにサーモグラフィを生成し、サーモグラフィの画像に現れるたばこの炎が含まれる温度範囲の高温度部分を検出する（ステップＳ１０６）。ステップＳ１０６の高温度部分を検出する処理は、高温度検出部１３１（図７）が行う。
ステップＳ１０６のサブシーケンスを示す図１０を参照して、高温度部分の検出に係る処理を説明すると、サーモグラフィの画像に対し、たばこの炎が含まれる高温度範囲の画像部分を抽出するために予め定められたしきい値以上であるか否かを判断し、しきい値以上の画像部分を高温度部分（図４、図５におけるサーモグラフィ３１の画像部分３１ｈ）として抽出する（ステップＳ３０１-YES）。この処理で、サーモグラフィの画像がしきい値未満であれば、高温度部分が検出できなかったので（ステップＳ３０１-NO）、このサブシーケンスを抜けて、図８のメインフローに戻る。
他方、高温度部分が検出できた場合（ステップＳ３０１-YES）、個別に高温度部分の重心を算出し、サーモグラフィの画像面上に定めた座標系の座標値で表す（ステップＳ３０２）。
高温度部分を検出した後、このサブシーケンスを抜けて、図８のメインフローに戻る。
【００３３】
次に、歩きたばこの判定を実施する条件を満たすか否かを確認する。即ち、ステップＳ１０４で移動体が検出され、かつステップＳ１０６で高温度部が検出されたことを条件に、歩きたばこの判定を実施するので、この条件を満たすか否かを確認する（ステップＳ１０７）。
ここで、この実施条件が満たさなければ（ステップＳ１０７-NO）、初期化動作から始まるこの制御フローの始めに戻す。
他方、移動体が検出され、かつステップ高温度部が検出されたことを条件に（ステップＳ１０７-YES）、判定処理の次のステップに進む。
判定処理の次のステップは、歩きたばこ判定（１）と歩きたばこ判定（２）のどちらを適用するかを決める（上記した歩きタバコ判定処理部１１０に関する記載、参照）ために、混雑度が所定値以下であるか否かを確認する（ステップＳ１０８）。
ここで、混雑度が所定値以下である場合（図４における移動体２３ｍの面積比は所定値以下）、歩きたばこ判定（１）を適用し、混雑度が所定値を超えた場合（図５における移動体２３ｍの面積比は所定値を超える）、歩きたばこ判定（２）を適用する。
【００３４】
混雑度が所定値以下であり、歩きたばこ判定（１）を適用する場合（ステップＳ１０８-YES）、先ず、ステップＳ１０４で検出した移動体が歩行者であることを確認する。歩行者であることを確認する意味は、喫煙場所での喫煙を区別することにある。
このため、検出した各移動体を数秒間といった予め定めた時間トラッキングしながら（図４に画像面２３’における移動体の動きを「２３ｍ’→２３ｍ」にて示す）その移動距離を求め（ステップＳ１０９）、求めた移動距離が歩行者であることを判断するために予め定めた所定距離以上であるか否かを判定する（ステップＳ１１０）。
ここで、移動体の移動距離が所定距離に満たない場合（ステップＳ１１０-NO）、歩行者の動きではないと判断して、初期化動作から始まるこの制御フローの始めに戻す。
他方、移動体の移動距離が所定距離以上である場合（ステップＳ１１０-YES）、歩行者であると判定して（図４の画像面２３’における移動体の動き「２３ｍ’→２３ｍ」を歩行者と判定）、さらに歩きたばこ判定（１）の次のステップＳ１１１に進める。
【００３５】
ステップＳ１１１のサブシーケンスを示す図１１を参照して、歩きたばこ判定（１）に係る処理を説明する。ここで行う判定は、非混雑時における歩行者が喫煙しているか否かを判定する処理であり、ステップＳ１１０で歩行者と判定された画像部分とステップＳ１０６で検出された高温度部分との距離（図４の画像面２３”の歩行者２３ｍとサーモグラフィの画像面３１’の高温度部分３１ｈの距離Ｄｆ）を求め、求めた距離が判定基準として予め定めた値の範囲内にある場合に、歩きたばこが存在すると判定する。
この判定処理の手順としては、先ず、歩行者と判定された画像部分とサーモグラフィをもとに検出した高温度部分の距離を求める（ステップＳ４０１）。
次いで、求めた距離が判定基準として予め定めた値の範囲内にあるか否かを確認し（ステップＳ４０２）、範囲内になければ（ステップＳ４０２-NO）、このサブシーケンスを抜け、図８の制御フローに戻る。
他方、求めた移動距離が所定の範囲内にあれば（ステップＳ４０２-YES）、歩きたばこの存在が確認できるので、後段で警告画面表示の対象となる歩行者として特定する。
次に、警告画面表示を行う際に特定した歩行者をＰＴＺカメラ２０によって追尾して撮るので、ＰＴＺカメラ２０の画像面上における当該歩行者の位置（座標値）を取得し、取得した位置（座標値）をもとにズーム値（倍率又は画角で表す）を算出し（ステップＳ４０３）、さらに、パン値、チルト値（いずれも角度で表す）をそれぞれ算出する（ステップＳ４０４）。
これらのＰＴＺカメラ２０の操作に必要な数値を算出した後、このサブシーケンスを抜け、図８の制御フローに戻る。
【００３６】
図８の制御フローに戻ると、ステップＳ１１１の判定結果に従って処理を進行させるので、歩きたばこが存在したか否かを確認して、処理を分ける（ステップＳ１１２）。
歩きたばこが存在しなければ（ステップＳ１１２-NO）、初期化動作から始まるこの制御フローの始めに戻す。
他方、歩きたばこが存在すれば（ステップＳ１１２-YES）、次の警告画面表示（１）を行うステップＳ１１３に進める。
ステップＳ１１３のサブシーケンスを示す図１３を参照して、警告画面表示（１）に係る処理を説明する。この処理は、ステップＳ１１１（図１１）で歩きたばこが存在すると判定したときに取得したズーム値、パン値、チルト値それぞれの値をもとにＰＴＺカメラ２０を操作し、歩きたばこを画面の中心にして撮影し、得られる画像等を用いてディスプレイ５１に警告画面（図４の警告画面表示１には、ディスプレイ５１の画像中に、歩きたばこをする喫煙者５１７、マナー違反を警告する文言５１５及び歩きたばこが存在する方向を示す矢印５１１を表示する画面を示す）を表示する処理で、ここでは、歩きたばこをする喫煙者を追尾して撮影した画像を所定の時間にわたって表示する。
【００３７】
図１３に示すサブシーケンスの手順によると、先ず、ステップＳ１１１で算出したズーム値、パン値、チルト値それぞれの値をもとにＰＴＺカメラ２０を操作し、視野の中心に歩きたばこをする喫煙者を捉える（ステップＳ６０１）。
次いで、ステップＳ６０１の操作によって喫煙者を捉えたＰＴＺカメラ２０からの画像とディスプレイ５１の画面に対し当該歩きたばこが存在する方向を示す矢印５１１（図４のディスプレイ画面５１、参照）等を表す警告画面を作成し（ステップＳ６０２）、作成した警告画面をディスプレイ５１に表示する（ステップＳ６０３）。
この後、この警告画面表示は、予め定めた所定時間行うので、表示を開始してからの所定時間が経過したか否かを確認し（ステップＳ６０４）、経過すれば（ステップＳ６０４-YES）、このサブシーケンスを抜け、図８の制御フローに戻る。
他方、所定時間が経過しない場合には（ステップＳ６０４-NO）、歩きたばこをする喫煙者をトラッキングし続けて、トラッキングの結果より得られるパン値、チルト値を更新して（ステップＳ６０５）、このサブシーケンスの開始時のステップＳ６０１に戻し、更新した値でＰＴＺカメラ２０を操作し、自動追尾を行う。
このように、監視領域の混雑度が所定値以下であれば、図４に示す監視動作を継続して行う。
【００３８】
また、混雑度が所定値を超える場合（ステップＳ１０８-NO）、歩きたばこ判定（２）を行うステップＳ１１５に進める。
ステップＳ１１５のサブシーケンスを示す図１２を参照して、歩きたばこ判定（２）に係る処理を説明する。ここで行う判定は、混雑時において歩きたばこが存在するか否かを判定する処理であり、移動体の存在が判定の実施条件となるが、歩きたばこの存在は、ステップＳ１０６でサーモグラフィの画像をもとに検出された高温度部分に着目し、高温度部分のトラッキングのみによって、即ち、検出した各高温度部分を数秒間といった予め定めた時間トラッキングしながら（図５にサーモグラフィの画像面３１’における高温度部分の動きを「３１ｈ’→３１ｈ」にて示す）その移動距離を求め、求めた距離が判定基準として予め定めた値の範囲内にある場合に、歩きたばこを判定する。なお、この移動距離を確認する意味は、喫煙場所での喫煙を区別することにある。
【００３９】
図１２に示すサブシーケンスの手順では、高温度部分をトラッキングすることにより、移動距離を求め（ステップＳ５０１）、求めた移動距離が歩きたばこの存在を判断するために予め定めた所定距離以上であるか否かを判定する（ステップＳ５０２）。
ここで、高温度部分の移動距離が所定距離未満であれば（ステップＳ５０２-NO）、このサブシーケンスを抜け、図８の制御フローに戻る。
他方、求めた高温度部分の移動距離が所定距離以上であれば（ステップＳ５０２-YES）、歩きたばこの存在が確認できるが、そのとき、当該高温度部分のサーモグラフィの画像面上の位置をもとに、高温度部分が生じた位置が画像面の中心に対してどの方向にあるかを算出し、算出結果を警告画面表示に用いる例えば４方向のデータで表す（ステップＳ５０３）。このようにして警告画面表示に必要な方向を求めた後、このサブシーケンスを抜け、図８の制御フローに戻る。
【００４０】
図８の制御フローに戻ると、ステップＳ１１５の判定結果に従って処理を進行させるので、歩きたばこが存在したか否かを確認して、処理を分ける（ステップＳ１１６）。
歩きたばこが存在しなければ（ステップＳ１１６-NO）、初期化動作から始まるこの制御フローの始めに戻す。
他方、歩きたばこが存在すれば（ステップＳ１１６-YES）、次の警告画面表示（２）を行うステップＳ１１７に進める。
ステップＳ１１７のサブシーケンスを示す図１４を参照して、警告画面表示（２）に係る処理を説明する。この処理は、ステップＳ１１５（図１２）で歩きたばこが存在すると判定したときに算出した歩きたばこが存在する方向を示すデータ等を用いてディスプレイ５１に警告画面（図５の警告画面表示２には、ディスプレイ５１の画像中に、マナー違反を警告する文言５１５及び歩きたばこが存在する方向を示す矢印５１２を表示する画面を示す）を表示する処理で、ここでは、この警告画面表示を所定の時間にわたって表示する。なお、先に述べたように、大まかに歩きたばこが存在する場所をＰＴＺカメラ２０で追尾して撮った画像を警告画面表示１と同様に画面に表示してもよい。
【００４１】
図１４に示すサブシーケンスの手順によると、先ず、ステップＳ１１５で算出した歩きたばこが存在する方向を示すデータをもとにディスプレイ５１の画面に対し当該歩きたばこが存在する方向を示す矢印５１２（図５のディスプレイ画面５１、参照）等を表す警告画面を作成し（ステップＳ７０１）、作成した警告画面をディスプレイ５１に表示する（ステップＳ７０２）。
この後、この警告画面表示は、予め定めた所定時間行うので、表示を開始してからの所定時間が経過したか否かを確認し（ステップＳ７０３）、経過すれば（ステップＳ７０３-YES）、このサブシーケンスを抜け、図８の制御フローに戻る。
他方、所定時間が経過しない場合には（ステップＳ７０３-NO）、高温度部分（歩きたばこ）をトラッキングし続けて、トラッキングの結果より得られる方向を示すデータの変化に警告画面表示を追随させるように、このサブシーケンスの開始時のステップＳ７０１に戻し、処理を繰返す。
このように、監視領域の混雑度が所定値を超える場合にも、図５に示す監視動作を継続して行うことができる。
【符号の説明】
【００４２】
１０・・サーバ端末、２０・・ＰＴＺカメラ、３０・・赤外線カメラ、５０・・広告塔、５１・・ディスプレイ。
【図１】
2010237971.tif 000003
【図２】
2010237971.tif 000004
【図３】
2010237971.tif 000005
【図４】
2010237971.tif 000006
【図５】
2010237971.tif 000007
【図６】
2010237971.tif 000008
【図７】
2010237971.tif 000009
【図８】
2010237971.tif 000010
【図９】
2010237971.tif 000011
【図１０】
2010237971.tif 000012
【図１１】
2010237971.tif 000013
【図１２】
2010237971.tif 000014
【図１３】
2010237971.tif 000015
【図１４】
2010237971.tif 000016