(57)【要約】      （修正有）【課題】特定のエリアにおける同一人による所定行為の反復を把握しやすくする表示制御プログラム、表示制御方法及び表示制御装置を提供する。【解決手段】特定のエリアへ入場する入場者を特定する特定処理と、特定した入場者が以前にエリアに入場した際の行動履歴を取得する取得処理と、エリア内を撮影した映像に含まれる人物領域の画像に基づいて、エリアにおける入場者の行動を判定する判定処理と、取得した行動履歴と判定した入場者の行動に応じて、映像における人物領域の画像を加工した表示画像を表示する表示処理とを含む。【選択図】図１０
2017122999.tif 000002
【特許請求の範囲】
【請求項１】
特定のエリアへ入場する入場者を特定する特定処理と、
特定した前記入場者が以前に前記エリアに入場した際の行動履歴を取得する取得処理と、
前記エリア内を撮影した映像に含まれる人物領域の画像に基づいて、前記エリアにおける前記入場者の行動を判定する判定処理と、
取得した前記行動履歴と判定した前記入場者の行動に応じて、前記映像における前記人物領域の画像を加工した表示画像を表示する表示処理と
をコンピュータに実行させる表示制御プログラム。
【請求項２】
前記特定のエリアは、行動規制対象のエリアであって、
更に、
前記行動履歴に応じて、前記入場者に対する基礎点数を設定する第１設定処理と、
前記入場者が規制行動をしたと判定した場合に、前記入場者に対する違反点数を設定する第２設定処理と、
前記基礎点数と前記違反点数との合計に応じた表示態様に従って、前記映像における前記人物領域の画像を目立たせる加工を施した表示画像を生成する生成処理と
を含む請求項１記載の表示制御プログラム。
【請求項３】
前記生成処理において、更に、後続の映像に対して人物領域の画像を目立たせる加工を施した後続の表示画像を生成し、
前記表示処理において、更に、前記後続の表示画像を表示する
請求項２記載の表示制御プログラム。
【請求項４】
前記第１設定処理において、直近の所定期間において前記入場者が前記規制行動をしている場合には、当該所定期間において前記入場者が前記規制行動をしていない場合に比べて前記基礎点数を大きくする
請求項２又は３記載の表示制御プログラム。
【請求項５】
前記生成処理において、前記合計の段階に応じた色によるマークを、前記人物領域の画像の付近に付加する
請求項２乃至４のうち１つ記載の表示制御プログラム。
【請求項６】
更に、
前記入場者がした前記規制行動の種別と前記合計とに応じたメッセージを出力する処理
を含む、請求項２乃至５のうち１つ記載の表示制御プログラム。
【請求項７】
前記特定処理において、前記エリアへ入場しようとする者を認証する装置から、認証が成功した前記入場者を特定する通知を受信する
請求項２乃至６のうち１つ記載の表示制御プログラム。
【請求項８】
更に、
顔及び／又は身体の特徴に基づいて、前記入場者が予め登録されている者であるかを同定する処理と、
前記入場者が前記予め登録されている者ではない場合には、前記基礎点数に加点する処理と
を含む、請求項２乃至７のうち１つ記載の表示制御プログラム。
【請求項９】
更に、
前記入場者が退場した場合に、今回した規制行動を前記行動履歴に加える処理
を含む、請求項２乃至８のうち１つ記載の表示制御プログラム。
【請求項１０】
特定のエリアへ入場する入場者を特定する特定処理と、
特定した前記入場者が以前に前記エリアに入場した際の行動履歴を取得する取得処理と、
前記エリア内を撮影した映像に含まれる人物領域の画像に基づいて、前記エリアにおける前記入場者の行動を判定する判定処理と、
取得した前記行動履歴と判定した前記入場者の行動に応じて、前記映像における前記人物領域の画像を加工した表示画像を表示する表示処理と
を含み、コンピュータにより実行される表示制御方法。
【請求項１１】
特定のエリアへ入場する入場者を特定する特定部と、
特定した前記入場者が以前に前記エリアに入場した際の行動履歴を取得する取得部と、
前記エリア内を撮影した映像に含まれる人物領域の画像に基づいて、前記エリアにおける前記入場者の行動を判定する判定部と、
取得した前記行動履歴と判定した前記入場者の行動に応じて、前記映像における前記人物領域の画像を加工した表示画像を表示する表示部と
を有する表示制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影映像による行動監視を支援する技術に関する。
【背景技術】
【０００２】
例えば組織における秘密の文書や装置などを保管する場所では、特定の者に限って入場を認める。更に、入場者による撮影や通話などの行動を規制することも多い。
【０００３】
このような場所で同一人によって違反行為が繰り返されると、情報漏えいの被害が大きくなる恐れがあるので、特に警戒を要する。
【０００４】
例えば、行動規制対象のエリアを監視カメラで撮影し、監視員が映像を見ながら警戒するシステムを利用すれば、違反行為を発見しやすい。但し、映像中の人物が正規の職務を果たしていることもあるので、監視員が、映像中の人物の行動に対する注意を常に高く維持することは難しいという側面もある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２５２６９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、一側面では、特定のエリアにおける同一人による所定行為の反復を把握しやすくすることである。
【課題を解決するための手段】
【０００７】
一態様に係る表示制御方法は、（Ａ）特定のエリアへ入場する入場者を特定する特定処理と、（Ｂ）特定した入場者が以前にエリアに入場した際の行動履歴を取得する取得処理と、（Ｃ）エリア内を撮影した映像に含まれる人物領域の画像に基づいて、エリアにおける入場者の行動を判定する判定処理と、（Ｄ）取得した行動履歴と判定した入場者の行動に応じて、映像における人物領域の画像を加工した表示画像を表示する表示処理とを含む。
【発明の効果】
【０００８】
一側面としては、特定のエリアにおける同一人による所定行為の反復を把握しやすくなる。
【図面の簡単な説明】
【０００９】
【図１】図１は、監視システムの構成例を示す図である。
【図２】図２は、入退室管理システム、カメラ及び告知装置の配置例を示す図である。
【図３】図３は、映像及び表示画像の例を示す図である。
【図４】図４は、映像及び表示画像の例を示す図である。
【図５】図５は、映像及び表示画像の例を示す図である。
【図６】図６は、行動履歴テーブルの例を示す図である。
【図７】図７は、点数テーブルの例を示す図である。
【図８】図８は、表示制御装置のモジュール構成例を示す図である。
【図９】図９は、入室処理フローを示す図である。
【図１０】図１０は、メイン処理フローを示す図である。
【図１１】図１１は、初期処理フローを示す図である。
【図１２】図１２は、入室者テーブルの例を示す図である。
【図１３】図１３は、基礎点数設定処理フローを示す図である。
【図１４】図１４は、サブルーチン処理フローを示す図である。
【図１５】図１５は、第１出力処理フローを示す図である。
【図１６】図１６は、第２出力処理フローを示す図である。
【図１７】図１７は、第３出力処理フローを示す図である。
【図１８】図１８は、加工処理フローを示す図である。
【図１９】図１９は、コンピュータの機能ブロック図である。
【発明を実施するための形態】
【００１０】
図１に、監視システムの構成例を示す。図示した表示制御装置１０１、モニター１０３、スピーカー１０５及び報知ランプ１０７は、監視員が行動規制対象のエリアを監視するための監視室内に設置されている。この例で、行動規制対象のエリアは、所定の部屋であるものとする。以下では、この行動規制対象のエリアを、単に部屋と呼ぶ。尚、行動規制対象のエリアは、保全区画と称されることもある。行動規制対象のエリアは、廊下、ホール又は建屋全体などであってもよい。また、行動規制対象のエリアは、スタジアム、野外又は船上などであってもよい。
【００１１】
表示制御装置１０１は、モニター１０３、スピーカー１０５及び報知ランプ１０７と接続している。表示制御装置１０１は、部屋内を撮影した映像の表示を制御する。モニター１０３は、部屋内を撮影した映像を表示する。スピーカー１０５は、音を出力するために用いられる。スピーカー１０５は、メッセージを監視員に伝えるために用いられる。報知ランプ１０７は、青色、黄色又は赤色で点灯する。報知ランプ１０７は、監視員に注意や警戒を喚起するために用いられる。
【００１２】
更に、表示制御装置１０１は、ネットワークを介して入退室管理システム１１１、カメラ１１３及び告知装置１１５と接続している。入退室管理システム１１１、カメラ１１３及び告知装置１１５は、部屋に設置されている。入退室管理システム１１１は、ユーザ認証に基づいて入室を制限する。ユーザ認証方式としては、例えばＩＣ（Integrated Circuit）カードの読み取りによるユーザ認証、暗証番号の入力によるユーザ認証、指紋或いは虹彩の読み取りによるユーザ認証などが考えられるが、特定の方式に限らない。カメラ１１３は、部屋内の光景を撮影し、表示制御装置１０１に映像を提供する。告知装置１１５は、表示制御装置１０１からの指示に従って、入室者に対するメッセージを出力する。尚、入室は、行動規制対象のエリアへの入場の一態様であり、退室は、行動規制対象のエリアからの退場の一態様である。また、入室者は、行動規制対象のエリアへの入場者の一態様である。
【００１３】
図２に、入退室管理システム１１１、カメラ１１３及び告知装置１１５の配置例を示す。入退室管理システム１１１は、出入り口のドアと連動している。入退室管理システム１１１は、ユーザ認証が成功するとドアの施錠を解除し、所定時間経過後に再び施錠する。カメラ１１３は、部屋内における入室者の様子を撮影する位置及び向きに設置されている。告知装置１１５は、内部スピーカーを有し、内部スピーカーから出力されるメッセージを入室者が聞き取りやすい位置に設けられている。
【００１４】
図３に、映像及び表示画像の例を示す。図３は、左側にカメラ１１３によって撮影された映像（以下、単に映像ということもある。）の例を示し、右側にモニター１０３に表示される画像（以下、表示画像という。）の例を示している。
【００１５】
この例では、スマートフォンなどの撮影装置による撮影と、スマートフォンなどの携帯電話による通話とが規制行動に該当するものと想定する。図３に示した映像に含まれる人物領域の画像（以下、人物画像という。）はいずれの規制行動のポーズにも該当しない。従って、違反行為をしていないと判定される。
【００１６】
入室者が過去にした規制行動（つまり、過去の違反行為）に基づく基礎点数と、今回の入室においてした規制行動（つまり、今回の違反行為）に対する違反点数の合計点数が、基準を超える場合には、表示画像における人物画像を目立たせるマーク画像を付加する。この例では、人物（つまり、入室者）の足元に、背後部分が欠けた楕円形状のマークを貼り付ける。人物画像を目立たせる表示形態は、この例に限らない。他の表示形態によって、人物画像の周囲を加工してもよい。また、人物画像の範囲内の画素における輝度や色彩を変化させるようにしてもよい。
【００１７】
図３の右上に示した表示画像は、合計点数が基準を超えない場合の例を示している。同じく右下に示した表示画像は、合計点数が基準を超えた場合の例を示している。この例では、基準を複数設けて、段階毎にマークの色を変えるようにする。例えば青色、黄色、赤色の順に、警戒のレベルが高いことを意味する。
【００１８】
図４に、映像及び表示画像の別の例を示す。この例では、入室者がスマートフォンによる撮影を行っている。つまり、図４に示した映像における人物画像は撮影ポーズに該当する。撮影は規制行動に該当するので、今回の入室における違反点数が設定される。そして、合計点数が基準を超えると、図４の右側に示した表示画像のように、入室者の足元にマーク画像が付加される。
【００１９】
図５に、映像及び表示画像の別の例を示す。この例では、入室者がスマートフォンによる通話を行っている。つまり、図５に示した映像における人物画像は通話ポーズに該当する。通話は規制行動に該当するので、今回の入室における違反点数が設定される。そして、合計点数が基準を超えると、図５の右側に示した表示画像のように、入室者の足元にマーク画像が付加される。
【００２０】
尚、規制行動は、撮影及び通話に限られない。機密漏えいに係る他の行動を規制してもよい。また、保安、衛生や防犯のために規制される行動について、本実施の形態を適用してもよい。例えば、規制行動は、駆け足、喫煙、飲食、覗き見或いは万引きなどであってもよい。
【００２１】
次に、基礎点数を設定するために管理されている行動履歴について説明する。図６に、行動履歴テーブルの例を示す。行動履歴テーブルは、ユーザ毎に設けられる。この例は、ユーザＩＤ「００１」のユーザの行動履歴テーブルであるものとする。この例におけるユーザは、例えば部屋へ入る権限を有している会社員又は職員などである。
【００２２】
この例における行動履歴テーブルは、入室回に対応するレコード（以下、行動履歴レコードという。）を有している。行動履歴レコードは、入室日時を設定するためのフィールドと、退室日時を設定するためのフィールドと、行動種別を設定するためのフィールドと、違反点数を設定するためのフィールドとを有している。一回の入室において複数の規制行動をした場合には、行動種別を設定するためのフィールドと違反点数を設定するためのフィールドとの組が、その規制行動の数だけ設けられる。
【００２３】
入室日時は、ユーザが部屋に入った日時である。退室日時は、ユーザが部屋を退出した日時である。行動種別は、部屋内でした規制行動の種別である。違反点数は、部屋内でした規制行動に対して設定された点数である。尚、入室日時は、行動規制対象のエリアへの入場日時の一態様である。退室日時は、行動規制対象のエリアからの退場日時の一態様である。
【００２４】
図示した１番目の行動履歴レコードは、ユーザＩＤ「００１」のユーザが、日時「２０１５／４／１  １２：０１」に入室し、部屋内で規制行動である「撮影」を行ったため、違反点数「１」が付けられ、日時「２０１５／４／１  １２：１１」に退室したことを示している。
【００２５】
図示した２番目の行動履歴レコードは、ユーザＩＤ「００１」のユーザが、日時「２０１５／４／２  １１：１０」に入室し、規制行動をすることなく、日時「２０１５／４／１  １２：１１」に退室したことを示している。
【００２６】
次に、入室中において合計点数を算出するために設けられる点数テーブルについて説明する。図７に、点数テーブルの例を示す。点数テーブルは、入室時に設けられる。ヘッダは、入室者ＩＤを設定するためのフィールドと、基礎点数を設定するためのフィールドとを有している。
【００２７】
また、点数テーブルは、今回の入室によって部屋内でした規制行動（つまり、違反行為）に対応するレコード（以下、違反レコードという。）を有している。違反レコードは、当該規制行動の回数の分だけ設けられる。
【００２８】
違反レコードは、行動日時を設定するためのフィールドと、行動種別を設定するためのフィールドと、違反点数を設定するためのフィールドとを有している。行動日時は、部屋内で規制行動をした日時である。行動種別は、部屋内でした規制行動の種別である。違反点数は、部屋内でした規制行動に対して設定された点数である。
【００２９】
この例は、ユーザＩＤ「００１」の入室者の基礎点数が「２」であり、日時「２０１５／４／３  １１：４８」における規制行動「撮影」によって、違反点数「１」が加えられ、日時「２０１５／４／３  １１：５０」における規制行動「通話」によって、違反点数「１」が加えられたことを示している。つまり、この時点における合計点数は、「４」である。以上で本実施の形態における概要の説明を終える。
【００３０】
以下、表示制御装置１０１及び入退室管理システム１１１の動作について説明する。図８に、表示制御装置１０１のモジュール構成例を示す。表示制御装置１０１は、受信部８０１、初期化部８０３、第１設定部８０５、判定部８０７、第２設定部８０９、出力部８１１、取得部８１３、映像バッファ８１５、生成部８１７、コピー部８１９、加工部８２１、表示画像バッファ８２３、表示処理部８２５、後処理部８２７、行動履歴記憶部８３１、点数記憶部８３３、入室者記憶部８３５、ポーズ記憶部８３７及びユーザデータベース８３９を有する。
【００３１】
受信部８０１は、入退室管理システム１１１から入室通知及び退室通知を受信する。入室通知は、行動規制対象のエリアに係る入場通知の一態様である。退室通知は、行動規制対象のエリアに係る退場通知の一態様である。初期化部８０３は、入室者の監視を始める際の初期化処理を行う。第１設定部８０５は、過去の規制行動に基づく基礎点数を設定する。判定部８０７は、ポーズ及び／又はモーションに基づいて規制行動に該当するか否かの判定を行う。また、判定部８０７は、顔及び身体の特徴に基づく人物の同定を行う。第２設定部８０９は、違反レコードにパラメータを設定する。出力部８１１は、例えばスピーカー１０５からメッセージを出力し、報知ランプ１０７を点灯する処理を行う。取得部８１３は、カメラ１１３で撮影した映像を取得する。映像バッファ８１５は、映像を記憶する。生成部８１７は、映像に基づいて表示画像を生成する。生成部８１７は、コピー部８１９及び加工部８２１を有している。コピー部８１９は、映像を表示画像バッファ８２３にコピーする。加工部８２１は、表示画像にマーク画像を付加する加工を施す。表示画像バッファ８２３は、表示画像を記憶する。表示処理部８２５は、表示画像をモニター１０３に表示する。後処理部８２７は、入室者の監視を終える際の後処理を行う。行動履歴記憶部８３１は、行動履歴テーブルを記憶する。点数記憶部８３３は、点数テーブルを記憶する。入室者記憶部８３５は、入室者テーブルを記憶する。入室者テーブルについては、図１２を用いて後述する。ポーズ記憶部８３７は、規制行動を判別するための所定ポーズのデータを記憶している。ポーズ記憶部８３７は、規制行動を判別するための所定モーションのデータを記憶するようにしてもよい。ユーザデータベース８３９は、ユーザ毎の顔画像データ及び身体データを記憶している。
【００３２】
上述した受信部８０１、初期化部８０３、第１設定部８０５、判定部８０７、第２設定部８０９、出力部８１１、取得部８１３、生成部８１７、コピー部８１９、加工部８２１、表示処理部８２５及び後処理部８２７は、ハードウエア資源（例えば、図１９）と、以下で述べる処理をプロセッサに実行させるプログラムとを用いて実現される。
【００３３】
上述した映像バッファ８１５、表示画像バッファ８２３、行動履歴記憶部８３１、点数記憶部８３３、入室者記憶部８３５、ポーズ記憶部８３７及びユーザデータベース８３９は、ハードウエア資源（例えば、図１９）を用いて実現される。
【００３４】
表示制御装置１０１の処理について説明する前に、入退室管理システム１１１における処理について説明する。図９に、入室処理フローを示す。入退室管理システム１１１は、ユーザによる認証要求を受け付ける（Ｓ９０１）。このとき、入退室管理システム１１１は、ＩＣカードの読み込み、暗証番号の受け付け、指紋や虹彩の読み取りなどによって認証データを受け付ける。
【００３５】
入退室管理システム１１１は、認証データを用いて認証処理を実行する（Ｓ９０３）。認証データが正しければ、認証は成功する。認証データが正しくなければ、認証は失敗する。認証が成功する場合において、入退室管理システム１１１は入室者ＩＤを特定する。入室者ＩＤは、認証が成功したユーザのＩＤである。
【００３６】
入退室管理システム１１１は、認証結果が成功であるか否かによって処理を分岐させる（Ｓ９０５）。認証結果が成功ではない場合、つまり認証結果が失敗である場合には、入退室管理システム１１１は、エラー音を出力する（Ｓ９０７）。そして、Ｓ９０１に示した処理に戻って、上述した処理を繰り返す。このとき、入退室管理システム１１１は、解錠しない。
【００３７】
一方、認証結果が成功である場合には、入退室管理システム１１１は、入室通知（入室者ＩＤを含む）を、表示制御装置１０１へ送信する（Ｓ９０９）。また、入退室管理システム１１１は、ドアの施錠を解除する（Ｓ９１１）。
【００３８】
入退室管理システム１１１は、所定時間の経過を待つ（Ｓ９１３）。所定時間は、ユーザがドアを開けてから中に入るまでの時間に相当する。所定時間が経過すると、入退室管理システム１１１は、ドアを施錠する（Ｓ９１５）。そして、Ｓ９０１に示した処理に戻って、上述した処理を繰り返す。
【００３９】
尚、入場者が退室する際には、入退室管理システム１１１は、表示制御装置１０１へ退室通知を送信する処理を行う。
【００４０】
続いて、表示制御装置１０１の処理について説明する。図１０に、メイン処理フローを示す。受信部８０１は、待機して、入退室管理システム１１１から入室通知を受信する（Ｓ１００１）。上述したように、入室通知には入室者ＩＤが含まれている。初期化部８０３は、初期処理を実行する（Ｓ１００３）。
【００４１】
図１１に、初期処理フローを示す。初期化部８０３は、入室者テーブルに新たな入室者レコードを設ける（Ｓ１１０１）。
【００４２】
図１２に、入室者テーブルの例を示す。この例における入室者テーブルは、現状の入室者に対応するレコード（以下、入室者レコードという。）を有している。入室者レコードは、入室者ＩＤを設定するためのフィールドと、入室日時を設定するためのフィールドと、顔画像データを設定するためのフィールドと、身体データを設定するためのフィールドとを有している。
【００４３】
顔画像データは、ユーザの顔を写した画像データであって、ユーザデータベース８３９に予め登録されているものを用いる。身体データは、入室者の身体的特徴に関するデータ（身長、体重、利き腕など）であって、ユーザデータベース８３９に予め登録されているものを用いる。
【００４４】
図１１の説明に戻る。初期化部８０３は、Ｓ１１０１において設けた入室者レコードに、入室通知に含まれる入室者ＩＤを設定する（Ｓ１１０３）。初期化部８０３は、同じく入室者レコードに、当日日付及び現在時刻を入室日時として設定する（Ｓ１１０５）。初期化部８０３は、ユーザデータベース８３９から、入室者ＩＤに対応する顔画像データを取得する（Ｓ１１０７）。初期化部８０３は、取得した顔画像データを入室者レコードに設定する（Ｓ１１０９）。初期化部８０３は、ユーザデータベース８３９から、入室者ＩＤに対応する身体データを取得する（Ｓ１１１１）。そして、初期化部８０３は、取得した身体データを入室者レコードに設定する（Ｓ１１１３）。
【００４５】
初期化部８０３は、入室通知に含まれる入室者ＩＤに対応付けて点数テーブルを設ける（Ｓ１１１５）。第１設定部８０５は、基礎点数設定処理を実行する（Ｓ１１１７）。基礎点数設定処理では、入室者に対する基礎点数を設定する。
【００４６】
図１３に、基礎点数設定処理フローを示す。第１設定部８０５は、行動履歴テーブルに基づいて、入室者に相当するユーザが、直近の３ヶ月以内に入室したことがあるか否かを判定する（Ｓ１３０１）。
【００４７】
入室者に相当するユーザが、直近の３ヶ月以内に入室したことがないと判定した場合には、第１設定部８０５は、基礎点数を１とする（Ｓ１３０３）。入室したことがない者は、行動規制のルールを知らないかもしれないので、一応の注意を促すためである。
【００４８】
一方、入室者に相当するユーザが、直近の３ヶ月以内に入室したことがあると判定した場合には、第１設定部８０５は、行動履歴テーブルに基づいて、当該ユーザが過去に規制行動をしたことがあるか否かを判定する（Ｓ１３０５）。この例では、第１設定部８０５は、直近の３ヶ月以内に規制行動したことがあるか否かを判定する。但し、期間を限定せずに判定するようにしてもよい。
【００４９】
入室者に相当するユーザが、過去に規制行動をしたことがないと判定した場合には、第１設定部８０５は、基礎点数を０とする（Ｓ１３０７）。
【００５０】
一方、入室者に相当するユーザが、過去に規制行動したことがあると判定した場合には、第１設定部８０５は、当該ユーザによる違反回数が第１閾値（例えば１）を超えているか否かを判定する（Ｓ１３０９）。
【００５１】
入室者に相当するユーザによる違反回数が第１閾値（例えば１）を超えていないと判定した場合には、第１設定部８０５は、基礎点数を２とする（Ｓ１３１１）。一方、当該ユーザによる違反回数が第１閾値（例えば１）を超えていると判定した場合には、第１設定部８０５は、基礎点数を３とする（Ｓ１３１３）。そして、第１設定部８０５は、Ｓ１１０１において設けた入室者レコードに基礎点数を設定する（Ｓ１３１５）。
【００５２】
基礎点数設定処理を終えると、呼び出し元の初期処理に復帰する。そして、図１１に示すように、そのまま初期処理を終え、呼び出し元のメイン処理に復帰する。
【００５３】
図１０の説明に戻る。取得部８１３は、カメラ１１３から映像を取得し、取得した映像を映像バッファ８１５に記憶する（Ｓ１００５）。このとき取得する映像は、例えば動画における１フレームに相当する。但し、複数フレームに相当する映像を取得するようにしてもよい。コピー部８１９は、映像を表示画像バッファ８２３にコピーする（Ｓ１００７）。
【００５４】
判定部８０７は、所定のタイミングに至ったか否かを判定する（Ｓ１００９）。この例では、周期的に以下に示すサブルーチン処理を行う。所定のタイミングに至っていないと判定した場合には、Ｓ１０１２の処理に移る。一方、所定のタイミングに至ったと判定した場合には、表示制御装置１０１は、サブルーチン処理を実行する（Ｓ１０１１）。サブルーチン処理では、取得した映像に含まれる人物画像に関する処理を行う。
【００５５】
図１４に、サブルーチン処理フローを示す。判定部８０７は、映像から人物画像を抽出する（Ｓ１４０１）。判定部８０７は、人物画像における特徴が、顔画像データ及び身体データの特徴と一致するか否かを判定する（Ｓ１４０３）。判定部８０７は、顔画像データの特徴に関してのみ、一致するか否かを判定するようにしてもよい。或いは、判定部８０７は、身体データの特徴に関してのみ、一致するか否かを判定するようにしてもよい。
【００５６】
人物画像における特徴が、顔画像データの特徴及び身体データの特徴と一致すると判定した場合には、Ｓ１４０７に示した処理に移る。一方、人物画像における特徴が、顔画像データの特徴又は身体データの特徴と一致しないと判定した場合には、出力部８１１は、第１出力処理を実行する（Ｓ１４０５）。第１出力処理では、人物の同定に関して疑いがある場合の出力を行う。
【００５７】
図１５に、第１出力処理フローを示す。出力部８１１は、スピーカー１０５から、人物の同定に関する警戒メッセージ（例えば、「入室者は別人かも知れません。警戒してください。」というメッセージ）を出力する（Ｓ１５０１）。出力部８１１は、報知ランプ１０７を赤色に点灯する（Ｓ１５０３）。第１設定部８０５は、入室者の基礎点数に１を加える（Ｓ１５０５）。第１出力処理を終えると、呼び出し元のサブルーチン処理に復帰する。
【００５８】
図１４の説明に戻る。判定部８０７は、人物画像が撮影ポーズに該当するか否かを判定する（Ｓ１４０７）。例えば、人物領域の形状が所定の撮影ポーズの形状に近似する場合に、人物画像が撮影ポーズに該当すると判定する。判定部８０７は、複数フレームにおける人物画像の変化が撮影モーションに該当するか否かを判定するようにしてもよい。更に、判定部８０７は、撮影ポーズに基づく判定と撮影モーションに基づく判定を組み合わせるようにしてもよい。
【００５９】
人物画像が撮影ポーズに該当すると判定した場合には、第２設定部８０９は、点数テーブルに新たな違反レコードを設ける。第２設定部８０９は、当該違反レコードにおける行動日時のフィールドに、当日日付及び現在時刻を設定する。第２設定部８０９は、当該違反レコードにおける行動種別のフィールドに「撮影」を設定し、同じく違反点数のフィールドに１を設定する（Ｓ１４０９）。
【００６０】
続いて、出力部８１１は、第２出力処理を実行する（Ｓ１４１１）。第２出力処理では、入室者が撮影を行った場合の出力を行う。
【００６１】
図１６に、第２出力処理フローを示す。出力部８１１は、基礎点数と各違反レコードにおける違反点数の合計点数が第２閾値（例えば１）を超えたか否かを判定する（Ｓ１６０１）。
【００６２】
合計点数が第２閾値を超えたと判定した場合には、出力部８１１は、告知装置１１５に、撮影に関する警告メッセージ（例えば、「撮影するな」というメッセージ）の出力を指示する（Ｓ１６０３）。出力部８１１は、スピーカー１０５から、撮影に関する警戒メッセージ（例えば、「入室者の撮影に警戒してください。」というメッセージ）を出力する（Ｓ１６０５）。更に、出力部８１１は、報知ランプ１０７を赤色に点灯する（Ｓ１６０７）。そして、第２出力処理を終える。
【００６３】
Ｓ１６０１の説明に戻る。合計点数が第２閾値を超えていないと判定した場合には、出力部８１１は、合計点数が第３閾値（例えば０）を超えたか否かを判定する（Ｓ１６０９）。
【００６４】
合計点数が第３閾値を超えたと判定した場合には、出力部８１１は、告知装置１１５に、撮影に関する注意メッセージ（例えば、「撮影は禁止されています。」というメッセージ）の出力を指示する（Ｓ１６１１）。出力部８１１は、スピーカー１０５から、撮影に関する通知メッセージ（例えば、「入室者が撮影しています。」というメッセージ）を出力する（Ｓ１６１３）。更に、出力部８１１は、報知ランプ１０７を黄色に点灯する（Ｓ１６１５）。そして、第２出力処理を終える。
【００６５】
Ｓ１６０９において、合計点数が第３閾値を超えていないと判定した場合には、そのまま第２出力処理を終える。第２出力処理を終えると、呼び出し元のサブルーチン処理に復帰する。
【００６６】
図１４に示したＳ１４０７の説明に戻る。人物画像が撮影ポーズに該当しないと判定した場合には、判定部８０７は、人物画像が通話ポーズに該当するか否かを判定する（Ｓ１４１３）。例えば、人物領域の形状が所定の通話ポーズの形状に近似する場合に、人物画像が通話ポーズに該当すると判定する。判定部８０７は、複数フレームにおける人物画像の変化が通話モーションに該当するか否かを判定するようにしてもよい。更に、判定部８０７は、通話ポーズに基づく判定と通話モーションに基づく判定を組み合わせるようにしてもよい。
【００６７】
人物画像が通話ポーズに該当すると判定した場合には、第２設定部８０９は、点数テーブルに新たな違反レコードを設ける。第２設定部８０９は、当該違反レコードにおける行動日時のフィールドに、当日日付及び現在時刻を設定する。第２設定部８０９は、当該違反レコードにおける行動種別のフィールドに「通話」を設定し、同じく違反点数のフィールドに１を設定する（Ｓ１４１５）。
【００６８】
続いて、出力部８１１は、第３出力処理を実行する（Ｓ１４１７）。第３出力処理では、入室者が通話を行った場合の出力を行う。
【００６９】
図１７に、第３出力処理フローを示す。出力部８１１は、合計点数が第２閾値（例えば１）を超えたか否かを判定する（Ｓ１７０１）。
【００７０】
合計点数が第２閾値を超えたと判定した場合には、出力部８１１は、告知装置１１５に、通話に関する警告メッセージ（例えば、「通話するな」というメッセージ）の出力を指示する（Ｓ１７０３）。出力部８１１は、スピーカー１０５から、通話に関する警戒メッセージ（例えば、「入室者の通話に警戒してください。」というメッセージ）を出力する（Ｓ１７０５）。更に、出力部８１１は、報知ランプ１０７を赤色に点灯する（Ｓ１７０７）。そして、第３出力処理を終える。
【００７１】
Ｓ１７０１の説明に戻る。合計点数が第２閾値を超えていないと判定した場合には、出力部８１１は、合計点数が第３閾値（例えば０）を超えたか否かを判定する（Ｓ１７０９）。
【００７２】
合計点数が第３閾値を超えたと判定した場合には、出力部８１１は、告知装置１１５に、通話に関する注意メッセージ（例えば、「通話は禁止されています。」というメッセージ）の出力を指示する（Ｓ１７１１）。出力部８１１は、スピーカー１０５から、通話に関する通知メッセージ（例えば、「入室者が通話しています。」というメッセージ）を出力する（Ｓ１７１３）。更に、出力部８１１は、報知ランプ１０７を黄色に点灯する（Ｓ１７１５）。そして、第３出力処理を終える。
【００７３】
Ｓ１７０９において、合計点数が第３閾値を超えていないと判定した場合には、そのまま第３出力処理を終える。第３出力処理を終えると、呼び出し元のサブルーチン処理に復帰する。
【００７４】
図１４に示したＳ１４１３の説明に戻る。人物画像が通話ポーズに該当しないと判定した場合には、そのままサブルーチン処理を終える。Ｓ１４１１における第２出力処理から復帰した場合及びＳ１４１７における第３出力処理から復帰した場合も、サブルーチン処理を終える。サブルーチン処理を終えると、呼び出し元のメイン処理に復帰する。
【００７５】
図１０の説明に戻る。加工部８２１は、加工処理を実行する（Ｓ１０１２）。加工処理について、図１８を用いて説明する。加工部８２１は、合計点数が第４閾値（例えば２）を超えているか否かを判定する（Ｓ１８０１）。合計点数が第４閾値を超えていると判定した場合には、加工部８２１は、表示画像における人物の足元の位置に赤色のマーク画像を付加する（Ｓ１８０３）。そして、加工処理を終える。
【００７６】
一方、合計点数が第４閾値を超えていないと判定した場合には、加工部８２１は、合計点数が第５閾値（例えば１）を超えているか否かを判定する（Ｓ１８０５）。合計点数が第５閾値を超えていると判定した場合には、加工部８２１は、表示画像における人物の足元の位置に黄色のマーク画像を付加する（Ｓ１８０７）。そして、加工処理を終える。
【００７７】
一方、合計点数が第５閾値を超えていないと判定した場合には、加工部８２１は、合計点数が第６閾値（例えば０）を超えているか否かを判定する（Ｓ１８０９）。合計点数が第６閾値を超えていると判定した場合には、加工部８２１は、表示画像における人物の足元の位置に青色のマーク画像を付加する（Ｓ１８１１）。そして、加工処理を終える。
【００７８】
Ｓ１８０９において、合計点数が第６閾値を超えていないと判定した場合には、そのまま加工処理を終える。加工処理を終えると、呼び出し元のメイン処理に復帰する。
【００７９】
図１０の説明に戻る。表示処理部８２５は、表示画像をモニター１０３に表示する（Ｓ１０１３）。受信部８０１は、入退室管理システム１１１から退室通知を受信したか否かを判定する（Ｓ１０１５）。
【００８０】
入退室管理システム１１１から退室通知を受信していないと判定した場合には、Ｓ１００５に示した処理に戻って、上述した処理を繰り返す。
【００８１】
一方、入退室管理システム１１１から退室通知を受信したと判定した場合には、後処理部８２７は、入室者レコード及び点数テーブルに基づいて、行動履歴テーブルに新たな行動履歴レコードを生成する（Ｓ１０１７）。具体的には、後処理部８２７は、入室者レコードの入室日時を、新たな行動履歴レコードに設定する。後処理部８２７は、更に、退室日時として、当日日付及び現在時刻を、新たな行動履歴レコードに設定する。そして、後処理部８２７は、点数テーブルの違反レコードに設定されている行動種別及び違反点数を、新たな行動履歴レコードに設定する。
【００８２】
最後に、後処理部８２７は、入室者レコード及び点数テーブルを削除する（Ｓ１０１９）。そして、Ｓ１００１で受信した入室通知に関するメイン処理を終了する。この後、表示制御装置１０１は、次の入室者に備えて再びメイン処理を起動するようにしてもよい。また、複数のメイン処理を並行に実行させるようにしてもよい。
【００８３】
本実施の形態によれば、特定のエリアにおける同一人による所定行為の反復を把握しやすくなる。特に、行動規制対象のエリアにおける同一人による違反行為の反復を警戒しやすくなる。
【００８４】
また、後続の映像に対しても人物領域の画像を目立たせる加工を施し、表示するので人物を継続的に監視しやすくなる。
【００８５】
また、直近の所定期間において入室者が規制行動をしている場合には、当該所定期間において入室者が規制行動をしていない場合に比べて基礎点数を大きくするので、違反行為を繰り返す恐れがある者に対する警戒を強めることに役立つ。
【００８６】
また、合計点数の段階に応じた色によるマークを、人物領域の画像の付近に付加するので、入室者に対する警戒レベルを把握しやすくなる。
【００８７】
また、規制行動の種別と合計点数とに応じたメッセージを出力するので、状況に応じて注意や警戒を喚起することに役立つ。
【００８８】
また、入室しようとする者を認証する入退室管理システム１１１から、認証が成功した入室者を特定する通知を受信するので、入室者をより確実に特定できる。
【００８９】
また、顔及び／又は身体の特徴に基づいて、入室者が予め登録されている者であるかを同定し、入室者が予め登録されている者ではない場合には、基礎点数に加点するので、成りすました入場者に対する警戒を高めることができる。
【００９０】
また、入室者が退室した場合に、今回した規制行動を行動履歴に加えるので、今回の入室における違反行為を次回における基礎点の設定に反映することができる。
【００９１】
以上本発明の一実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、上述の機能ブロック構成はプログラムモジュール構成に一致しない場合もある。
【００９２】
また、上で説明した各記憶領域の構成は一例であって、上記のような構成でなければならないわけではない。さらに、処理フローにおいても、処理結果が変わらなければ、処理の順番を入れ替えることや複数の処理を並列に実行させるようにしても良い。
【００９３】
なお、上で述べた表示制御装置１０１は、コンピュータ装置であって、図１９に示すように、メモリ２５０１とＣＰＵ（Central Processing Unit）２５０３とハードディスク・ドライブ（ＨＤＤ：Hard Disk Drive）２５０５と表示装置２５０９に接続される表示制御部２５０７とリムーバブル・ディスク２５１１用のドライブ装置２５１３と入力装置２５１５とネットワークに接続するための通信制御部２５１７とがバス２５１９で接続されている。オペレーティング・システム（ＯＳ：Operating System）及び本実施例における処理を実施するためのアプリケーション・プログラムは、ＨＤＤ２５０５に格納されており、ＣＰＵ２５０３により実行される際にはＨＤＤ２５０５からメモリ２５０１に読み出される。ＣＰＵ２５０３は、アプリケーション・プログラムの処理内容に応じて表示制御部２５０７、通信制御部２５１７、ドライブ装置２５１３を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ２５０１に格納されるが、ＨＤＤ２５０５に格納されるようにしてもよい。本発明の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク２５１１に格納されて頒布され、ドライブ装置２５１３からＨＤＤ２５０５にインストールされる。インターネットなどのネットワーク及び通信制御部２５１７を経由して、ＨＤＤ２５０５にインストールされる場合もある。このようなコンピュータ装置は、上で述べたＣＰＵ２５０３、メモリ２５０１などのハードウエアとＯＳ及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。
【００９４】
以上述べた本発明の実施の形態をまとめると、以下のようになる。
【００９５】
本実施の形態に係る表示制御方法は、（Ａ）特定のエリアへ入場する入場者を特定する特定処理と、（Ｂ）特定した入場者が以前にエリアに入場した際の行動履歴を取得する取得処理と、（Ｃ）エリア内を撮影した映像に含まれる人物領域の画像に基づいて、エリアにおける入場者の行動を判定する判定処理と、（Ｄ）取得した行動履歴と判定した入場者の行動に応じて、映像における人物領域の画像を加工した表示画像を表示する表示処理とを含む。
【００９６】
このようにすれば、特定のエリアにおける同一人による所定行為の反復を把握しやすくなる。
【００９７】
更に、特定のエリアは、行動規制対象のエリアであってもよい。そして、行動履歴に応じて、入場者に対する基礎点数を設定する第１設定処理と、入場者が規制行動をしたと判定した場合に、前記入場者に対する違反点数を設定する第２設定処理と、基礎点数と違反点数との合計に応じた表示態様に従って、映像における人物領域の画像を目立たせる加工を施した表示画像を生成する生成処理とを含んでもよい。
【００９８】
このようにすれば、行動規制対象のエリアにおける同一人による違反行為の反復を警戒しやすくなる。
【００９９】
上記生成処理において、更に、後続の映像に対して人物領域の画像を目立たせる加工を施した後続の表示画像を生成し、上記表示処理において、更に、後続の表示画像を表示するようにしてもよい。
【０１００】
このようにすれば、人物を継続的に監視しやすくなる。
【０１０１】
上記第１設定処理において、直近の所定期間において入場者が規制行動をしている場合には、当該所定期間において入場者が規制行動をしていない場合に比べて基礎点数を大きくするようにしてもよい。
【０１０２】
このようにすれば、違反行為を繰り返す恐れがある者に対する警戒を強めることに役立つ。
【０１０３】
上記生成処理において、上記合計の段階に応じた色によるマークを、人物領域の画像の付近に付加するようにしてもよい。
【０１０４】
このようにすれば、入場者に対する警戒レベルを把握しやすくなる。
【０１０５】
更に、入場者がした規制行動の種別と上記合計とに応じたメッセージを出力する処理を含んでもよい。
【０１０６】
このようにすれば、状況に応じて注意や警戒を喚起することに役立つ。
【０１０７】
上記特定処理において、上記エリアへ入場しようとする者を認証する装置から、認証が成功した入場者を特定する通知を受信するようにしてもよい。
【０１０８】
このようにすれば、入場者をより確実に特定できる。
【０１０９】
更に、顔及び／又は身体の特徴に基づいて、入場者が予め登録されている者であるかを同定する処理と、入場者が予め登録されている者ではない場合には、基礎点数に加点する処理とを含んでもよい。
【０１１０】
このようにすれば、成りすました入場者に対する警戒を高めることができる。
【０１１１】
更に、入場者が退場した場合に、今回した規制行動を行動履歴に加える処理を含んでもよい。
【０１１２】
このようにすれば、今回の入場における違反行為を次回における基礎点の設定に反映することができる。
【０１１３】
なお、上記方法による処理をコンピュータに行わせるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納されるようにしてもよい。尚、中間的な処理結果は、一般的にメインメモリ等の記憶装置に一時保管される。
【０１１４】
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
【０１１５】
（付記１）
特定のエリアへ入場する入場者を特定する特定処理と、
特定した前記入場者が以前に前記エリアに入場した際の行動履歴を取得する取得処理と、
前記エリア内を撮影した映像に含まれる人物領域の画像に基づいて、前記エリアにおける前記入場者の行動を判定する判定処理と、
取得した前記行動履歴と判定した前記入場者の行動に応じて、前記映像における前記人物領域の画像を加工した表示画像を表示する表示処理と
をコンピュータに実行させる表示制御プログラム。
【０１１６】
（付記２）
前記特定のエリアは、行動規制対象のエリアであって、
更に、
前記行動履歴に応じて、前記入場者に対する基礎点数を設定する第１設定処理と、
前記入場者が規制行動をしたと判定した場合に、前記入場者に対する違反点数を設定する第２設定処理と、
前記基礎点数と前記違反点数との合計に応じた表示態様に従って、前記映像における前記人物領域の画像を目立たせる加工を施した表示画像を生成する生成処理と
を含む付記１記載の表示制御プログラム。
【０１１７】
（付記３）
前記生成処理において、更に、後続の映像に対して人物領域の画像を目立たせる加工を施した後続の表示画像を生成し、
前記表示処理において、更に、前記後続の表示画像を表示する
付記２記載の表示制御プログラム。
【０１１８】
（付記４）
前記第１設定処理において、直近の所定期間において前記入場者が前記規制行動をしている場合には、当該所定期間において前記入場者が前記規制行動をしていない場合に比べて前記基礎点数を大きくする
付記２又は３記載の表示制御プログラム。
【０１１９】
（付記５）
前記生成処理において、前記合計の段階に応じた色によるマークを、前記人物領域の画像の付近に付加する
付記２乃至４のうち１つ記載の表示制御プログラム。
【０１２０】
（付記６）
更に、
前記入場者がした前記規制行動の種別と前記合計とに応じたメッセージを出力する処理
を含む、付記２乃至５のうち１つ記載の表示制御プログラム。
【０１２１】
（付記７）
前記特定処理において、前記エリアへ入場しようとする者を認証する装置から、認証が成功した前記入場者を特定する通知を受信する
付記２乃至６のうち１つ記載の表示制御プログラム。
【０１２２】
（付記８）
更に、
顔及び／又は身体の特徴に基づいて、前記入場者が予め登録されている者であるかを同定する処理と、
前記入場者が前記予め登録されている者ではない場合には、前記基礎点数に加点する処理と
を含む、付記２乃至７のうち１つ記載の表示制御プログラム。
【０１２３】
（付記９）
更に、
前記入場者が退場した場合に、今回した規制行動を前記行動履歴に加える処理
を含む、付記２乃至８のうち１つ記載の表示制御プログラム。
【０１２４】
（付記１０）
特定のエリアへ入場する入場者を特定する特定処理と、
特定した前記入場者が以前に前記エリアに入場した際の行動履歴を取得する取得処理と、
前記エリア内を撮影した映像に含まれる人物領域の画像に基づいて、前記エリアにおける前記入場者の行動を判定する判定処理と、
取得した前記行動履歴と判定した前記入場者の行動に応じて、前記映像における前記人物領域の画像を加工した表示画像を表示する表示処理と
を含み、コンピュータにより実行される表示制御方法。
【０１２５】
（付記１１）
特定のエリアへ入場する入場者を特定する特定部と、
特定した前記入場者が以前に前記エリアに入場した際の行動履歴を取得する取得部と、
前記エリア内を撮影した映像に含まれる人物領域の画像に基づいて、前記エリアにおける前記入場者の行動を判定する判定部と、
取得した前記行動履歴と判定した前記入場者の行動に応じて、前記映像における前記人物領域の画像を加工した表示画像を表示する表示部と
を有する表示制御装置。
【符号の説明】
【０１２６】
１０１  表示制御装置    １０３  モニター
１０５  スピーカー    １０７  報知ランプ
１１１  入退室管理システム    １１３  カメラ
１１５  告知装置    ８０１  受信部
８０３  初期化部    ８０５  第１設定部
８０７  判定部    ８０９  第２設定部
８１１  出力部    ８１３  取得部
８１５  映像バッファ    ８１７  生成部
８１９  コピー部    ８２１  加工部
８２３  表示画像バッファ    ８２５  表示処理部
８２７  後処理部    ８３１  行動履歴記憶部
８３３  点数記憶部    ８３５  入室者記憶部
８３７  ポーズ記憶部    ８３９  ユーザデータベース
【図１】
2017122999.tif 000003
【図２】
2017122999.tif 000004
【図３】
2017122999.tif 000005
【図４】
2017122999.tif 000006
【図５】
2017122999.tif 000007
【図６】
2017122999.tif 000008
【図７】
2017122999.tif 000009
【図８】
2017122999.tif 000010
【図９】
2017122999.tif 000011
【図１０】
2017122999.tif 000012
【図１１】
2017122999.tif 000013
【図１２】
2017122999.tif 000014
【図１３】
2017122999.tif 000015
【図１４】
2017122999.tif 000016
【図１５】
2017122999.tif 000017
【図１６】
2017122999.tif 000018
【図１７】
2017122999.tif 000019
【図１８】
2017122999.tif 000020
【図１９】
2017122999.tif 000021