(57)【要約】      （修正有）【課題】人が集まる施設に不審物が持ち込まれることを回避し、テロ発生を事前に防ぎユーザの安全および利便性を向上する残留物検出システムを提供する【解決手段】残留物検出システムは、画像に含まれる人と物とを識別するための画像解析情報が少なくとも記録された第１データベースＤＢ１を有し、その画像解析情報を用いて、複数ヶ所に設置されたカメラにて撮影された映像の画像解析を行い、識別された人と人の所持する物との関連付けを行い、複数のタイミングにおいてカメラにて撮影された映像を比較して、残留物の有無を判断する画像解析装置１０１と、複数のユーザそれぞれの利用情報とユーザの識別情報とが関連付けられて記録された第２データベースＤＢ２を有し、画像解析装置にて残留物が有ると判断されたときに、残留物に関連連づけられたユーザ又は所定の通知先にアラートを送信する通知装置１０２と、を備える。【選択図】図１
2020004252.tif 000002
【特許請求の範囲】
【請求項１】
画像に含まれる人と物とを識別するための画像解析情報が少なくとも記録された第１データベースを含み、前記画像解析情報を用いて、複数ヶ所に設置されたカメラにて撮影された映像の画像解析を行い、識別された人と前記人の所持する物との関連付けを行い、複数のタイミングにおいて前記カメラにて撮影された映像を比較して、残留物の有無を判断する画像解析装置と、
複数のユーザそれぞれの利用情報と前記ユーザの識別情報とが関連付けられて記録された第２データベースを含み、前記画像解析装置にて前記残留物が有ると判断されたときに、前記残留物に関連づけられた前記ユーザ又は所定の通知先にアラートを送信する通知装置と、を備えた残留物検出システム。
【請求項２】
前記画像解析装置は、
複数の前記カメラにて撮影された映像を集約する映像情報集約部と、
前記画像解析情報を用いて、前記映像情報集約部にて集約された映像に基づく画像内の前記人と前記物とを識別する画像処理を行う学習部と、
前記学習部にて識別された前記人と前記物とに基づいて、前記人と前記人の所持する物とを関連付けて前記第１データベースに記録する関連付け部と、
前記利用情報と前記識別情報とを受信し、前記第１データベースに記録された関連付けられた前記人と前記人の所持する物との情報と前記利用情報とに基づいて、前記ユーザと前記ユーザの所持する物とを一体に認識し、複数の画像を比較して前記ユーザの所持する物を前記残留物として検知するか否か判断する残留物検知部と、
前記残留物が検知されたときに、検知結果を前記通知装置へ送信する検知結果送信部と、を更に備える、請求項１記載の残留物検出システム。
【請求項３】
前記通知装置は、
複数の前記ユーザの前記利用情報と前記識別情報とを前記画像解析装置へ送信するユーザ情報管理部と、
前記残留物の検知結果を受信し、前記残留物に関連付けられた前記ユーザ又は所定の通知先にアラートを送信する残留物通知部と、を更に備える、請求項１又は請求項２記載の残留物検出システム。
【請求項４】
前記残留物通知部は、前記残留物に関連付けられた前記ユーザの非接触ＩＣカード、メール、ショートメールの少なくとも一つにより前記ユーザへアラートを送信する、請求項３記載の残留物検出システム。
【請求項５】
複数の前記カメラは交通機関の複数ヶ所に設置され、
前記所定の通知先は、前記交通機関の地上システムを含む、請求項３記載の残留物検出システム。
【請求項６】
複数の前記カメラは交通機関の複数ヶ所に設置され、
前記残留物検知部は、前記通知装置から前記利用情報を受信し、前記第１データベースに記録された関連付けられた前記人と前記物とに基づいて、前記ユーザと前記ユーザの所持する物とを一体に認識し、前記利用情報に基づいて前記ユーザが乗り物から降りる前の画像と、降りた後の画像とを比較することにより、前記乗り物内の前記残留物の有無を検知する、請求項２記載の残留物検出システム。
【請求項７】
前記残留物検知部は、前記ユーザが前記乗り物から降りる前の画像と、降りた後の画像とを比較して、前記ユーザの所持する物の特性が変化したときに、前記残留物があると判断する、請求項６記載の残留物検出システム。
【請求項８】
前記残留物検知部は、前記ユーザのみが乗り物の外に出たことを検出したときに、前記残留物があると判断する、請求項６記載の残留物検出システム。
【請求項９】
前記残留物検知部は、前記ユーザと前記ユーザの所持する物との距離が所定以上離れたときに、前記残留物があると判断する、請求項２記載の残留物検出システム。
【請求項１０】
前記残留物検知部は、前記物と関連付けされていない前記人に対して、前記残留物の検知を行わない、請求項２記載の残留物検出システム。
【請求項１１】
前記残留物検知部は、前記第１データベースに記録された関連付けられた前記人と前記物とに基づいて、前記ユーザと前記ユーザの所持する物とを一体に認識し、前記ユーザと前記ユーザの所持する物とを含む所定の範囲の画像の部分を用いて、前記残留物の検知を行う、請求項２記載の残留物検出システム。
【請求項１２】
前記映像情報集約部は、前記通知装置から受信した前記利用情報に基づいて、複数の前記カメラにて撮影された映像の一部を集約することができる、請求項２記載の残留物検出システム。
【請求項１３】
前記ユーザ情報管理部は、前記アラートに対するフィードバックを受信したときに、前記画像解析装置へ前記フィードバックの内容を通知し、
前記第１データベースは、前記フィードバックの内容に基づいて更新される前記検知結果の成功回数が記録されている、請求項３記載の残留物検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、残留物検出システムに関する。
【背景技術】
【０００２】
例えば、鉄道車両、航空機、船舶、路線バスなどの不特定の多くの人が利用する乗り物や、駅、空港、ライブハウス、映画館、劇場、スタジアム、遊園地、商業施設など不特定の多くの人が集まる施設では、ユーザが置き忘れた物や落し物などの残留物が回収されたときには、既にユーザがその場を離れていることが多く、直ちに持ち主を特定することが困難であった。
【０００３】
ユーザは、自身が忘れ物や落し物をしたことに気付いたときには、心当たりのある様々な場所を探しまわったり、遠方の保管場所まで出向いたりしなければならず、忘れ物や落し物を受け取るまでに様々な手続が必要になることが多かった。
【０００４】
また、例えば乗り物やライブハウスなど多くの人が集まる施設に不審物が持ち込まれることを回避することにより、テロの発生を事前に防ぎ、乗客の安全性を担保することが期待されている。
【０００５】
従来、例えば乗客の手荷物に無線タグを取り付けて、入出場ゲートに設置されたＩＣカードリーダ・ライタにより、手荷物の持ち込みと持ち出しとを管理することが提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１２−４８４１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記のように手荷物に無線タグを取り付けて管理すると、無線タグを取り付ける作業や、管理のために必要な機器の設置が必要となり、手荷物管理に要するコストを抑えることが困難であった。
【０００８】
また、例えば不特定多数の人が利用する乗り物や施設では、様々な箇所に設置されたカメラにより撮影された映像を用いて、警備員や乗務員による監視が行われているが、主に不審者の有無を確認する為に監視が行われ、ユーザの手荷物や携帯品が置き去られたかどうかを視認により確認することは困難であった。
【０００９】
本発明の実施形態は上記事情を鑑みて成されたものであって、ユーザの安全および利便性を向上する残留物検出システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
実施形態による残留物検出システムは、画像に含まれる人と物とを識別するための画像解析情報が少なくとも記録された第１データベースを含み、前記画像解析情報を用いて、複数ヶ所に設置されたカメラにて撮影された映像の画像解析を行い、識別された人と前記人の所持する物との関連付けを行い、複数のタイミングにおいて前記カメラにて撮影された映像を比較して、残留物の有無を判断する画像解析装置と、複数のユーザそれぞれの利用情報と前記ユーザの識別情報とが関連付けられて記録された第２データベースを含み、前記画像解析装置にて前記残留物が有ると判断されたときに、前記残留物に関連連づけられた前記ユーザ又は所定の通知先にアラートを送信する通知装置と、を備える。
【図面の簡単な説明】
【００１１】
【図１】図１は、一実施形態の残留物検出システムの一構成例を概略的に示す図である。
【図２】図２は、一実施形態の残留物検出システムの動作の一例を説明するためのタイミングチャートである。
【図３】図３は、一実施形態の残留物検出システムの動作の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【００１２】
以下、一実施形態の残留物検出システムについて、図面を参照して詳細に説明する。
図１は、一実施形態の残留物検出システムの一構成例を概略的に示す図である。
本実施形態の残留物検出システムは、例えば、航空機、船、鉄道車両、バス、タクシーなど、不特定の人が利用する乗り物の残留物を検出するシステムであって、画像解析装置１０１と、通知装置１０２と、を備えている。
【００１３】
画像解析装置１０１は、例えば、ＣＰＵ（central processing unit）やＭＰＵ（micro processing unit）などのプロセッサを少なくとも１つと、プロセッサにより実行されるプログラムが記録されたメモリと、を備えた演算装置であって、後述の処理を実現可能となるようにソフトウエア（プログラム）をインストールしたものである。
【００１４】
画像解析装置１０１は、映像から得られる画像に含まれる人と物とを識別するための画像解析情報が少なくとも記録された第１データベースＤＢ１を含み、画像解析情報を用いて、複数ヶ所に設置されたカメラにて撮影された映像の画像解析を行い、識別された人とその人の所持する物との関連付けを行い、複数のタイミングにおいて上記カメラにて撮影された映像を比較して、残留物の有無を判断する。
【００１５】
画像解析装置１０１は、例えば乗り物、駅、空港、などの交通機関に設置された複数のカメラにより撮影された映像（動画又は静止画）を集約し、得られた画像を解析して物と人との関連付けを行い、物と人との距離などに基づいて残留物を検知することができる。
【００１６】
なお、画像解析装置１０１は、鉄道車両、航空機、船舶、バス、タクシーなどの乗り物に搭載されてもよく、駅、空港、港、バスターミナルなどの地上の施設に設置されてもよい。画像解析装置１０１が乗り物に搭載される場合には、画像解析装置１０１は搭載された乗り物の複数ヶ所に設置されている複数のカメラから映像を集約する際に、映像の伝送が容易になる。画像解析装置１０１が駅や空港などの施設に設置されてもよい。いずれの場合にも、画像解析装置１０１は、管理対象である複数の乗り物や駅、空港、港などの施設について、それぞれの複数ヶ所に設置されている複数のカメラから映像を集約することが可能である。
【００１７】
画像解析装置１０１は、映像情報集約部１０１１と、残留物検知部１０１２と、検知結果送信部１０１３と、関連付け部１０１４と、学習部１０１５と、検知結果表示部１０１６と、通信部１０１８と、データベース（第１データベース）ＤＢ１と、を備えている。
【００１８】
映像情報集約部１０１１は、複数ヶ所に設置されたカメラにて撮影された映像を集約することができる。映像情報集約部１０１１は、例えば、交通機関で撮影された映像を受信して、撮影場所や撮影日時などの情報と関連付けてデータベースＤＢ１に記録することができる。なお、映像情報集約部１０１１は、少なくとも現在から遡って所定期間分の映像がデータベースＤＢ１に蓄積されるように管理を行えばよく、所定期間以前の映像はデータベースＤＢ１から削除してもよい。
また、映像情報集約部１０１１は、複数のカメラで常時撮影された映像の全てを集約する必要はなく、複数ヶ所に設置されたカメラそれぞれについて、所定の期間に撮影された映像のみを集約することが可能である。更に、映像情報集約部１０１１は、複数のカメラで撮影された映像に含まれる一部のエリアの画像のみを集約することも可能である。
【００１９】
学習部１０１５は、データベースＤＢ１に蓄積された画像解析情報を用いて、映像情報集約部１０１１にて集約された映像に基づく画像内の人と物とを識別する画像処理を行う。また、学習部１０１５は、例えば、過去の検知結果に対するフィードバックに基づいて、過去に画像解析を行い、データベースＤＢ１に蓄積された物の形状や人の行動パターンの情報を更新し、物と人とをより精度よく検知するよう学習することができる。学習部１０１５は、画像解析結果を関連付け部１０１４へ供給するとともに、映像と画像解析結果とを関連付けてデータベースＤＢ１に記録することができる。
【００２０】
なお、データベースＤＢ１には、映像に含まれる物と人とを識別するための、物の形状や人の行動パターン等を含む画像解析情報と、画像解析を行った結果に対するフィードバックに基づく成功回数（若しくは成功確率）と、が少なくとも記録されている。データベースＤＢ１には、画像解析を行った結果に対するフィードバックに基づく失敗回数が更に記録されてもよい。データベースＤＢ１は、画像解析情報を用いて学習部１０１５に所定期間学習させた結果を初期状態とすることができる。
【００２１】
関連付け部１０１４は、学習部１０１５にて識別された人と物とに基づいて、人と人の所持する物とを関連付けてデータベースＤＢ１に記録する。関連付け部１０１４は、学習部１０１５で認識された人の画像と、その人の手荷物や携帯品などの物の画像とを関連付けて、データベースＤＢ１に記録することができる。
【００２２】
残留物検知部１０１２は、通知装置１０２からユーザの利用情報と識別情報とを受信し、データベースＤＢ１に記録された関連付けられた人と人の所持する物との情報と、ユーザの利用情報とに基づいて、ユーザとユーザの所持する物とを一体に認識し、映像集約部１０１１にて集約された複数の画像を比較してユーザの所持する物を残留物として検知するか否か判断する。
【００２３】
残留物検知部１０１２は、例えば、後述する通知装置１０２の乗客情報管理部（ユーザ情報管理部）１０２２から、予め、乗り物を利用する乗客（ユーザ）の利用情報（利用する便、指定席情報、乗車駅情報、降車駅情報、乗継の有無、搭乗空港、乗船地、目的地など）と識別情報とを少なくとも取得し、利用情報とデータベースＤＢに蓄積された情報とを用いて、ユーザとユーザの所持する物とを一体に認識し、映像集約部１０１１にて集約された複数の画像の画像解析により、それぞれの乗客の残留物の検知を行うことができる。
【００２４】
残留物検知部１０１２は、例えば人とその人の手荷物や衣類などを一体であるものとし、乗客が乗り物に乗ったときと降りたときとでの差分を判断して、残留物の有無を判断することができる。
また、残留物検知部１０１２は、例えば、乗客が目的地に到着した時間を過ぎても、その乗客の座席に物があるときに、残留物があると判断することができる。
【００２５】
残留物検知部１０１２での検知結果は、例えば乗客の識別情報と残留物が有ることとを少なくとも含み、検知結果をデータベースＤＢ１に記録されるとともに、検知結果送信部１０１３を介して検知結果表示部１０１６へ供給される。なお、残留物検知部１０１２は、残留物があったときのみ検知結果をデータベースＤＢ１に記録してもよく、残留物が無かったときにも検知結果をデータベースＤＢ１に記録してもよい。
【００２６】
検知結果表示部１０１６は、例えば、液晶表示装置や有機ＥＬ表示装置などの表示部（図示せず）を含み、検知結果送信部１０１３から受信した検知結果を表示部に表示させることができる。表示部は、例えば運転台にて乗務員が視認可能な位置に設けられていてもよく、駅や空港や港にて監視員が視認可能な位置に設けられていてもよい。
また、表示部は、例えば、座席の背もたれ部分において後部座席の乗客が視認可能な位置に設けられた画面であってもよく、視覚的に乗客に検知結果を知らせるものであれば、座席の真上の天井や座席のアームレストや背もたれに設けられ、点灯することにより乗客に残留物が有ることを知らせるライトなどであっても構わない。
【００２７】
通信部１０１８は、無線又は有線にて、外部と通信可能な通信回路を備えている。通信部１０１８は、残留物検知部１０１２における検知結果を外部へ送信可能であるとともに、外部から画像解析装置１０１へ送信される乗客の情報やフィードバック情報を受信可能である。
【００２８】
通知装置１０２は、例えば、ＣＰＵ（central processing unit）やＭＰＵ（micro processing unit）などのプロセッサを少なくとも１つと、プロセッサにより実行されるプログラムが記録されたメモリと、を備えた演算装置であって、後述の処理を実現可能となるようにソフトウエア（プログラム）をインストールしたものである。
【００２９】
通知装置１０２は、複数のユーザそれぞれの利用情報とユーザの識別情報とが少なくとも関連付けられて記録された第２データベースＤＢ２を含み、画像解析装置１０１にて残留物が有ると判断されたときに、残留物に関連連づけられた人（ユーザ）又は所定の通知先にアラートを送信する。
【００３０】
通知装置１０２は、鉄道車両、航空機、船舶、バス、タクシーなどの乗り物に搭載されてもよく、駅、空港、港、バスターミナルなどの地上の施設に設置されてもよい。また、図１に示すように通知装置１０２と画像解析装置１０１とは独立していてもよく、一体に形成されていてもよい。
【００３１】
通知装置１０２は、通信部１０２１と、乗客情報管理部（ユーザ情報管理部）１０２２と、残留物通知部１０２３と、データベース（第２データベース）ＤＢ２とを備えている。
【００３２】
データベースＤＢ２には、例えば、複数の乗客（ユーザ）のそれぞれに関して、利用情報、姓名、性別、連絡先、交通系ＩＣカード情報などと、乗客を識別するための識別情報とが関連付けて記録されている。データベースＤＢ２には、複数の乗客のグループについて、複数の乗客をグループ単位で記録してもよい。
【００３３】
通信部１０２１は、無線又は有線にて、外部と通信可能な通信回路を備えている。通信部１０２１は、データベースＤＢ２に記録された乗客の情報を外部へ送信可能であるとともに、外部から通知装置１０２へ送信された検知結果を受信可能である。
【００３４】
乗客情報管理部１０２２は、データベースＤＢ２に記録された複数のユーザの利用情報と識別情報と（乗客情報）を画像解析装置１０１へ送信する。乗客情報管理部１０２２は、例えば、データベースＤＢ２から、便ごとの複数の乗客の利用情報と識別情報とを読み出し、通信部１０２１を介して、それぞれの便の画像を解析する画像解析装置１０１へ読み出した情報を送信する。
【００３５】
また、乗客情報管理部１０２２は、通信部１０２１を介して検知結果を受信したときに、データベースＤＢ２に乗客の識別情報と関連付けて検知結果を記録することができる。
また、乗客情報管理部１０２２は、通信部１０２１を介して乗客からのフィードバックを受信したときに、データベースＤＢ２に乗客の識別情報と関連付けてフィードバックの内容を記録するとともに、乗客の識別情報とフィードバックの内容とを通信部１０２１を介して画像解析装置１０１へ送信する。
【００３６】
乗客情報管理部１０２２は、例えば、乗客が乗り物に乗るタイミングに合わせて画像解析装置１０１へ情報を送信することができる。対象の便が航空機や船舶であるときには、例えば、乗客情報管理部１０２２は、乗客の搭乗手続きを締め切るタイミングにて、便を利用する乗客の利用情報を画像解析装置１０１へ送信してもよい。対象の便が鉄道車両であるときには、例えば、乗客情報管理部１０２２は、対象の鉄道車両の始発駅や途中停車駅を出発するタイミングにて、便を利用する乗客の利用情報を画像解析装置１０１へ送信してもよい。
【００３７】
残留物通知部１０２３は、画像解析装置１０１から残留物の検知結果を受信し、残留物に関連付けられたユーザ又は所定の通知先にアラートを送信する。
残留物通知部１０２３は、通信部１０２１を介して画像解析装置１０１の検知結果を受信し、例えば、検知結果に含まれる乗客の識別情報に関連付けられた連絡先をデータベースＤＢ２から取得して、残留物があることを乗客（又は駅、空港、港、バスターミナル、乗り物等の所定の通知先）へ通知する（アラートを送信する）ことができる。
【００３８】
残留物通知部１０２３は、例えば乗客の連絡先に指定されているメールアドレスや電話番号へメールやショートメールにて通知を行ってもよく、乗務員に通知を行ってもよく、例えば乗客が交通系ＩＣカードを改札機にかざしたときに、改札機のゲートを閉じて駅員へ連絡するよう促すように改札機と連系してもよく、地上システムに通知して例えば駅や空港や港にてアナウンスを流してもよい。
また、残留物通知部１０２３は、残留物に関連付けられた乗客が乗換えを行う場合には、次の乗り物の乗務員に通知をしてもよく、次に乗る乗り物が出発する前にメール等によりアラートを送信してもよい。
【００３９】
以下、上記残留物検出システムの動作の一例について説明する。
図２は、一実施形態の残留物検出システムの動作の一例を説明するためのタイミングチャートである。
図３は、一実施形態の残留物検出システムの動作の一例を説明するためのフローチャートである。
ここでは、一例として、乗客の利用する座席が予め指定されている鉄道車両の残留物を検知する動作について説明する。
【００４０】
（Ｓ１０２）
画像解析装置１０１は、乗客の搭乗を検知すると（ステップＳ２０１）、残留物の検知に先立って、映像情報集約部１０１１にて駅や車両などの複数ヶ所に設置されたカメラにて撮影された映像の集約を開始する。映像情報集約部１０１１は、例えば、対象の鉄道車両の全車両の映像を集約可能である。
映像情報集約部１０１１は、例えば、始発駅にて乗客が鉄道車両に乗車を開始してから、終着駅にて鉄道車両から乗客が降車完了するまでの期間の映像を収集するが、この期間において常に映像を収集する必要はなく、少なくとも乗客の乗降がある期間、例えば鉄道車両が駅に到着して出発する前後の所定期間の映像を収集すればよい。
【００４１】
（Ｓ１０３）
学習部１０１５は、映像情報集約部１０１１にて集約された映像を用いて人と物とを認識する画像解析を行う（ステップＳ２０２）。学習部１０１５の解析結果はデータベースＤＢ１に記録される。
【００４２】
（Ｓ１０４）
関連付け部１０１４は、データベースＤＢ１にアクセスし（ステップＳ２０３）、学習部１０１５にて認識された人と物とのデータを関連付けて、データベースＤＢ１に記録する（ステップＳ２０４）。関連付け部１０１４は、例えば、複数の乗客のグループについては、グループ単位で人と物とを関連付けてデータベースＤＢ１に記録してもよい。
【００４３】
通知装置１０２の乗客情報管理部１０２２は、対象の便を利用する乗客の利用情報と識別情報とをデータベースＤＢ２から読み出し、通信部１０２１を介して画像解析装置１０１へ送信する。
なお、鉄道車両を利用する乗客の利用情報は、切符の販売を開始してから鉄道車両が終点の１つ前の駅を出発するまで随時更新され得る。例えば、乗客情報管理部１０２２は、各駅から鉄道車両が出発する時刻に、更新された乗客の情報を画像解析装置１０１へ送信してもよい。
画像解析装置１０１の残留物検知部１０１２は、通信部１０１８を介して乗客の利用情報と識別情報とを受信し、データベースＤＢ１に記録する（ステップＳ２０５）。
【００４４】
（Ｓ１０５）
残留物検知部１０１２は、データベースＤＢ１に記録された乗客の利用情報と、関連付けられた人と物との画像情報とを用いて、残留物の検知を行う。
残留物検知部１０１２は、例えば、関連付けられた人（若しくは複数の人のグループ）と物とを一体とし、データベースＤＢ１に記録された情報から乗客が降りる駅の情報を取得し、乗客が降りる駅（目的地）に到着する時刻が経過したか否かを判断する（ステップＳ２０６）。
残留物検知部１０１２は、乗客が降りる駅に到着する時刻が経過したと判断したときに、現在カメラにて撮影されている画像の画像解析を行い、人と物とを認識する（ステップＳ２０７）。
【００４５】
残留物検知部１０１２は、データベースＤＢ１にアクセスして人の物の形状や行動パターンや、検知成功回数や成功確率などの蓄積情報を用いて（ステップＳ２０７）、例えば、乗客が鉄道車両に乗車したときの画像と、現在撮影されている画像とを比較し、残留物の有無を判断することができる（ステップＳ２０８）。
残留物検知部１０１２は、例えば、関連付けられた乗客と荷物との距離が離れて所定時間が経過したときや、乗客が降りるときに関連付けられた荷物と所定以上の距離が離れたとき、残留物があるものとして検知することができる。
また、残留物検知部１０１２は、乗客が車両に乗ったときの映像と、車両から降りたときの映像とを比較して、乗客に関連付けられた物に変化があったとき、残留物があるもの（若しくは荷物の取り違えがある）として検知することができる。
【００４６】
また、残留物検知部１０１２は、例えば、通知装置１０２から供給された乗客の情報と、映像情報集約部１０１１にて集約された映像とを用いて、乗客が車両から降りたことを検知し、その乗客の座席などの車両内に乗客と関連付けられた物があると判断したときに、残留物があると検知することができる。
【００４７】
なお、残留物検知部１０１２は、鉄道車両が各駅に到着する時刻を含む時刻表情報を用いて、乗客の目的地である駅に到着する時刻にて乗客が車両から降りたものと判断してもよい。すなわち、残留物検知部１０１２は、乗客の目的地である駅に到着する時刻を所定の期間経過しても、乗客の座席など車両内に乗客と関連付けられた物があると判断したときに、残留物があると検知することができる。
【００４８】
また、残留物検知部１０１２は、乗客の手荷物に含まれるスマートフォンなどから位置情報を取得し、乗客が目的地である駅に到着する時刻を所定時間経過しても、手荷物の位置情報が車両内であるとき（若しくは移動していないとき）、残留物があるものと検知することができる。
【００４９】
また、残留物検知部１０１２は、データベースＤＢ１に記録された不審者の行動パターンと、映像情報集約部１０１１にて集約された映像とを用いて、不審な行動をしている乗客に関連付けられたものを不審物であると検知することができる。
【００５０】
（Ｓ１０６）
残留物検知部１０１２は、検知結果をデータベースＤＢ１に記録するとともに、検知結果表示部１０１６および通信部１０１８へ送信する。なお、残留物検知部１０１２の検知結果には、残留物の有無と、残留物がある位置（車両、座席番号など）が少なくとも含まれていればよく、残留物の画像や残留物と関連付けられた乗客の情報などを含んでいてもよい。
【００５１】
（Ｓ１０７）
検知結果表示部１０１６は、残留物検知部１０１２から受信した検知結果を表示して、例えば鉄道車両の乗務員に残留物の有無や、残留物がある位置などを知らせることができる。
通信部１０１８は、残留物検知部１０１２から受信した検知結果を、通知装置１０２の通信部１０２１へ送信する。通信部１０２１は、受信した検知結果を残留物通知部１０２３へ送信する。
【００５２】
（Ｓ１０８）
残留物通知部１０２３は、受信した検知結果にて残留物が有ることが示されたとき、データベースＤＢ２に記録された乗客の識別情報に関連付けられた通知先の情報を用いて、残留物があることを乗客へ通知（アラートを通知）することができる（ステップＳ２１０）。
【００５３】
例えば、乗客の座席が指定されている場合には、残留物通知部１０２は、乗車券の購入時に登録した乗客の情報や予め交通系ＩＣカードと関連付けられている乗客の情報と、座席の位置とを対応付けることが可能であり、乗客が目的地に着いて乗り物から降りようとしているタイミングにて、スマートフォンなどに通知して手荷物の確認を促すことも可能である。
【００５４】
また、残留物通知部１０２３は、例えば乗客の連絡先に指定されているメールアドレスや電話番号へメールやショートメールにて通知を行ってもよく、例えば乗客が交通系ＩＣカードを改札機にかざしたときに、改札機のゲートを閉じて駅員へ連絡するよう促すように改札機と連系してもよく、例えば地上システムにより駅のホームにてアナウンスを流してもよい。
【００５５】
（Ｓ１０９）
乗客情報管理部１０２２は、残留物が有ることを通知したのちの所定期間、乗客から（若しくは残留物を拾得した人から）のフィードバックの待機状態となる（ステップＳ２１１）。乗客情報管理部１０２２は、フィードバックを受信すると、乗客の識別情報と関連付けてフィードバックの内容をデータベースＤＢ２へ記録する。
また、残留物が有ることを通知してから所定期間待機したのち、乗客からのフィードバックが受信されなかったとき、乗客情報管理部１０２２は、フィードバックが無かったことを乗客の識別情報と関連付けてデータベースＤＢ２に記録してもよい。
【００５６】
また、残留物が無いことを示す検知結果を受けたために乗客へ通知を行わなかったが、例えば、地上システムや鉄道車両から通信部１０２１を介して乗客の残留物があったことが通知（フィードバック）された場合にも、乗客情報管理部１０２２は、フィードバックの内容と乗客の識別情報とを関連付けてデータベースＤＢ２に記録することができる。
【００５７】
乗客情報管理部１０２２は、乗客からのフィードバックを受信したとき、通信部１０２１を介して、画像解析装置１０１へ、フィードバックの内容と、フィードバック元の乗客の識別情報とを合わせたフィードバック情報を送信する。
画像解析装置１０１の通信部１０１８は、通知装置１０２からフィードバック情報を受信すると、フィードバック情報を学習部１０１５へ送信する。
【００５８】
（Ｓ１１０）
学習部１０１５は、通信部１０１８を介してフィードバック情報を受信し、画像解析結果が正解であったときには、データベースＤＢ１に記録された成功回数に１を加算し（若しくは成功確率を更新し）て情報を更新する（ステップＳ２１２）。
学習部１０１５は、フィードバックの内容に基づいてデータベースＤＢ１に記録されている情報を修正することができる（ステップＳ２１３）。学習部１０１５は、データベースＤＢ１にフィードバック情報および成功回数を蓄積し、フィードバック情報や成功回数を用いて物を認識するときや人の行動パターンを判断することにより、残留物検知の精度を向上させることができる。
【００５９】
上記のように、本実施形態の残留物検出システムによれば、例えば鉄道車両に乗車した乗客が、乗り物内において忘れ物をした場合でも、直ぐに持ち主や乗務員などに通知をすることが可能であり、持ち主が荷物を探し回ったり、忘れ物預かりセンターへわざわざ出向いたりする必要がなくなる。
また、鉄道会社などの事業者にとって、持ち主不明の物を管理する事が少なくなり、忘れ物を管理する手間や人件費を削減することができる。
【００６０】
また、不審な人物や不審物を検知することで、乗り物を利用する多くの乗客の安全を担保することが可能となる。
すなわち、本実施形態によれば、ユーザの安全および利便性を向上する残留物検出システムを提供することができる。
【００６１】
なお、上述の実施形態において、学習部１０１５、関連付け部１０１４、および、残留物検知部１０１２は、全ての映像について画像解析を行う必要はない。例えば、関連付け部１０１４は、荷物を持っていない人がいると判断した場合には、人と物とを関連付けを行わない。この場合、残留物検知部１０１２は、物と関連付けされていない人の画像については、残留物が有るか否か判断することを省略しても構わない。
【００６２】
また、残留物検知部１０１２は、乗客の情報に基づいて、目的地到着時刻を過ぎた（若しくは目的地到着時刻前後の）乗客について画像を解析し、残留物の有無を判断してもよい。
また、残留物検知部１０１２は、データベースＤＢ１に記録された関連付けられた人と物とに基づいて、ユーザとユーザの所持する物とを一体に認識し、ユーザとユーザの所持する物とを含む所定の範囲の画像の部分を用いて、残留物の検知を行うことができる。
【００６３】
また、乗り物の混雑度に応じて残留物の検知を行わなくても構わない。例えば、複数の車両のうち乗客がいない車両がある場合には、映像情報集約部１０１１は、その車両内の映像を集約することを省略しても構わない。また、複数の車両のうち、混みあっていて乗客の画像を解析することにより残留物の有無を判断することができないときには、残留物の検知を省略しても構わない。
【００６４】
上記のように、残留物の検知を省略することにより、例えば、残留物を検知する対象である映像のみを交通機関から画像解析装置へ伝送すればよくなり、映像伝送のための消費電力を抑制することが可能となる。また、画像解析の処理を削減することにより、プロセッサの負荷を低減することが可能となる。
【００６５】
また、画像解析技術により、人と物とを一体型として検知することが困難な場合、残留物検知部１０１２は、残留物を検知する精度に応じて、残留物を通知する対象範囲（乗客の指定座席の前後何列目迄、等）を任意に調節してもよい。
【００６６】
また、映像情報を利用するだけでなく、マイクロフォンなどの音声センサにより取得された音声情報など、複数種類のセンサにより得られる情報を用いて、残留物検知の精度を向上させてもよい。例えば、乗客がフロアに物を落とした音などを検出することにより、より精度よく残留物を検知することが可能となる。
【００６７】
また、学習部１０１５は、天候に応じて、認識する物の形状の重み付けを調節しても構わない。例えば、雨が降っているときや、その日の降水確率が所定値以上であるときに、物の形状を認識する際には、傘の形状に対する類似度の重み付けを大きくしてもよい。
【００６８】
なお、上記実施形態において、画像解析装置１０１と通知装置１０２とは別々に設けられる必要はなく、一体に形成されていても構わない。その場合であっても上述の実施形態と同様の効果を得ることができる。
【００６９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００７０】
例えば、上記実施形態では、一例として鉄道車両などの乗り物における残留物を検出するシステムについて説明したが、本実施形態の残留物検出システムはこれに限定されるものではない。例えば、鉄道車両以外の乗り物に適用されてもよく、乗り物以外の施設におけるユーザの残留物の検出に適用されても構わない。その場合であっても上述の実施形態と同様の効果を得ることができる。
【符号の説明】
【００７１】
１０１…画像解析装置、１０１１…映像情報集約部、１０１２…残留物検知部、１０１３…検知結果送信部、１０１４…関連付け部、１０１５…学習部、１０１６…検知結果表示部、１０１８…通信部、１０２…通知装置、１０２１…通信部、１０２２…乗客情報管理部（ユーザ情報管理部）、１０２３…残留物通知部、ＤＢ１…データベース（第１データベース）、ＤＢ２…データベース（第２データベース）
【図１】
2020004252.tif 000003
【図２】
2020004252.tif 000004
【図３】
2020004252.tif 000005