(57)【要約】【課題】  車両などの施設に設けられた座席の使用状況を検出するシステムの構築費用を低減する。【解決手段】  カメラから入力された施設内の画像から、施設の座席の一部と重なっている人物とを検出する人物検出手段と、人物が検出された座席の識別情報を、画像に映されている座席の、人物と重なっていない部分から検出して出力する着座位置検出手段と、を備える画像処理装置。【選択図】      図１
2019091145.tif 000002
【特許請求の範囲】
【請求項１】
カメラから入力された施設内の画像から、前記施設の座席の一部と重なっている人物とを検出する人物検出手段と、
前記人物が検出された前記座席の識別情報を、前記画像に映されている前記座席の、前記人物と重なっていない部分から検出して出力する着座位置検出手段と、を備える画像処理装置。
【請求項２】
前記識別情報は、前記座席の背もたれ部分上部の、前記座席ごとに異なる色彩、または、模様のパターンであり、
前記着座位置検出手段は、前記画像から前記色彩、または、前記模様のパターンを検出する、請求項１の画像処理装置。
【請求項３】
前記識別情報は、前記座席の背もたれ部分上部に記された、前記座席ごとに異なる、文字列または数字であり、
前記着座位置検出手段は、前記画像から前記文字列または前記数字を検出する、請求項１の画像処理装置。
【請求項４】
前記識別情報に関連付けて前記座席の位置情報を格納する座席位置情報格納手段を、さらに備え、
前記着座位置検出手段は、前記人物が検出された前記座席の前記識別情報に関連付けられている前記位置情報を、前記座席位置情報格納手段から取得して出力する請求項１乃至請求項３の何れか一項の画像処理装置。
【請求項５】
請求項４の画像処理装置、並びに、
前記位置情報に関連付けて前記座席の予約の有無情報を格納する指定席予約情報格納手段と、前記画像処理装置から入力された前記位置情報に関連付けられた前記予約の前記有無情報を前記指定席予約情報格納手段から取得して、前記予約の無い前記座席の前記位置情報を出力する指定席使用検出手段と、を備える指定席状況管理装置、とを包含する座席使用状況検出システム。
【請求項６】
さらに、列車の車両の、前記座席の前面上部または前記座席の前方天井に固定して設置された前記カメラと、
前記指定席使用検出手段が出力した前記座席の前記位置情報を受信して表示する、携帯端末装置と、を包含する請求項５の座席使用状況検出システム。
【請求項７】
前記カメラは、レンズの方向を変更することで、撮影対象の前記座席を変更する、請求項６の座席使用状況検出システム。
【請求項８】
カメラから入力された施設内の画像から、前記施設の座席の一部と重なっている人物とを検出し、
前記人物が検出された前記座席の識別情報を、前記画像に映されている前記座席の、前記人物と重なっていない部分から検出して出力する画像処理方法。
【請求項９】
前記識別情報は、前記座席の背もたれ部分上部の、前記座席ごとに異なる色彩、または、模様のパターンであり、
前記画像から前記色彩、または、前記模様のパターンを検出する、請求項８の画像処理方法。
【請求項１０】
カメラから入力された施設内の画像から、前記施設の座席の一部と重なっている人物とを検出する人物検出処理と、
前記人物が検出された前記座席の識別情報を、前記画像に映されている前記座席の、前記人物と重なっていない部分から検出して出力する着座位置検出処理と、をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理、特に、車両などの座席の使用状況を検出する為の画像処理に関する。
【背景技術】
【０００２】
特許文献１は、車両などの施設内の各利用場所に、その利用が許可されている正規な利用者が居るか否かを、撮影画像を利用して確認するシステムを開示する。このシステムにおいて、カメラが各座席に対応して設置されている。このカメラは、対応する座席に向かって撮影を行い、着席している利用者をその正面方向からカラー撮影する。
【０００３】
このシステムにおいて、着席管理データベースは、車両内の座席毎に、その利用者に関する情報を記憶管理するものであり、「座席番号」、「着席画像データ」の各項目を有している。「座席番号」は当該座席固有の番号であり、「着席画像データ」は、その座席に向かって撮影した撮影画像であり、利用者が着席している場合にはその利用者の撮影画像である。
【０００４】
このシステムは、この着席管理データベースを用いて、各座席に、正規な利用者が居るか否かを確認する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２８０４７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
車両などの指定席の使用状況を検出する方法として、各座席対応にセンサ類、例えば、カメラ（上記の特許文献１）、遠赤外線センサ、または、荷重センサを設け、着座したことを検出する方法がある。この方法は、多数のセンサ類が必要であり、設備が複雑で高価になるという課題が有る。さらに、車両などの完成後に、改めて座席にセンサ類を追加する必要が有るため、工事にかかる期間、及び、費用が発生するという課題も発生する。
【０００７】
各座席にセンサ類を付けない方法として、複数列の座席の使用状況を検出するために奥行き位置を検出するＴＯＦ（Time Of Flight）センサ、または、ステレオカメラを用いる方法がある。しかし、この方法も設備が高価になるという課題がある。
【０００８】
本発明は、上記課題を解決する、画像処理装置、座席使用状況検出システム、画像処理方法、及び、画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一つの実施の形態の画像処理装置は、カメラから入力された施設内の画像から、前記施設の座席の一部と重なっている人物とを検出する人物検出手段と、前記人物が検出された前記座席の識別情報を、前記画像に映されている前記座席の、前記人物と重なっていない部分から検出して出力する着座位置検出手段と、を備える。
【００１０】
本発明の一つの実施の形態の画像処理方法は、カメラから入力された施設内の画像から、前記施設の座席の一部と重なっている人物とを検出し、前記人物が検出された前記座席の識別情報を、前記画像に映されている前記座席の、前記人物と重なっていない部分から検出して出力する。
【００１１】
本発明の一つの実施の形態の画像処理プログラムは、カメラから入力された施設内の画像から、前記施設の座席の一部と重なっている人物とを検出する人物検出処理と、前記人物が検出された前記座席の識別情報を、前記画像に映されている前記座席の、前記人物と重なっていない部分から検出して出力する着座位置検出処理と、をコンピュータに実行させる。
【発明の効果】
【００１２】
本発明にかかる画像処理装置は、車両などの施設に設けられた座席の使用状況を検出するシステムの構築費用を低減できる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本実施形態にかかる座席使用状況検出システム３０の構成を示すブロック図である。
【図２】図２は、列車の車両４０内の構成を側面から見た図である。
【図３】図３は、車両４０にカメラ３１が持つ視野（撮影範囲）の例を示す。
【図４】図４は、コンピュータ装置６０の構成図である。
【図５】図５は、第２の実施の形態の画像処理装置１０の構成を示すブロック図である。
【発明を実施するための形態】
【００１４】
＜第一の実施の形態＞
＜概要＞
本実施形態の座席使用状況検出システム３０においては、施設、例えば列車の車両４０に設けられた各座席４１に識別情報４２を付す。施設利用の時間帯になると、施設内のカメラ３１が、当該識別情報４２と座席に着席している乗客４３等の人物とを一緒に撮影する。そして、画像処理装置１０と指定席状況管理装置２０が、カメラ３１が撮影した画像から座席４１の使用状況を検出する。これにより、座席使用状況検出システム３０の構築費用を低減する。
【００１５】
＜構成＞
図１は、本実施形態にかかる座席使用状況検出システム３０の構成を示すブロック図である。座席使用状況検出システム３０は、画像処理装置１０、指定席状況管理装置２０、カメラ３１、及び、携帯端末装置３２を包含する。画像処理装置１０と、指定席状況管理装置２０は接続されている。カメラ３１は、施設、例えば、映画館、コンサートホール、列車の車両４０に設けられて、画像処理装置１０と無線または有線の通信網を介して接続されている。携帯端末装置３２は、指定席状況管理装置２０と無線の通信網を介して接続されている。携帯端末装置３２は、検札係、例えば、映画館の案内係、車両４０の車掌が携帯している。
【００１６】
以降の説明において、施設は列車の車両４０、施設を利用する人物は乗客４３、検札係は車掌であるとする。
【００１７】
画像処理装置１０は、人物検出部１１、着座位置検出部１２、及び、座席位置情報格納部１３を備えている。人物検出部１１は、カメラ３１から入力された画像から、座席４１の一部と重なっている乗客４３を検出する。ここで、「座席４１の一部と重なっている」は、人物（この場合乗客４３）によって視野が遮られて、カメラ３１から座席４１の一部は撮影できなないが、他の部分は撮影できることを意味する。
【００１８】
着座位置検出部１２は、乗客４３が検出された座席４１の識別情報４２を画像から検出して出力する。座席位置情報格納部１３は、識別情報４２に関連付けて座席４１の位置情報を格納する。座席位置情報格納部１３は、例えば、各座席４１に対応する行、識別情報４２に対応する列、及び、位置情報に対応する列からなる２次元の表を格納する。ここで、座席位置は、各座席４１固有の位置情報であり、例えば、座席４１の列と列内横並びのシート位置を示す、例えば１６−Ｄというような２次元データである。識別情報４２については、後述する。
【００１９】
指定席状況管理装置２０は、指定席使用検出部２１、及び、指定席予約情報格納部２２を備える。指定席使用検出部２１は、画像処理装置１０から入力された座席４１の位置情報に関連付けられた予約の有無情報を、指定席予約情報格納部２２から取得して、予約の無い座席４１の位置情報を出力する。指定席予約情報格納部２２は、座席４１の位置情報に関連付けて座席４１の予約の有無情報を格納する。指定席予約情報格納部２２は、例えば、座席位置をインデックス値とする、予約の有無を示すフラグ変数の配列である。座席位置が２次元データであれば、この配列は２次元配列とすれば良い。
【００２０】
携帯端末装置３２は、文字などの表示部を備えた端末装置であり、例えばスマートフォンである。
【００２１】
図２は、列車の車両４０内の構成を側面から見た図である。車両４０内には、複数の座席４１が設けられている。車両４０内の座席４１は、例えば、横並びの複数のシートからなる列が、前後に複数並べられて配置されている。図２の車両４０内の座席４１は、横並びの２つのシートからなる列（図３を参照）が、前後に５列並んでいる。
【００２２】
各座席４１の背もたれ部分上部には、識別情報４２が付されている。識別情報４２は、各座席４１固有の情報であり、カメラ３１が撮影した画像から判別可能な情報である。識別情報４２は、例えば、図２が示す様な背もたれ部分の模様のパターン、または、色彩である。識別情報４２は、背もたれ部分に記された記号を含む文字列、または、数字であっても良い。識別情報４２は、着席等した乗客４３がカメラ３１の視界を遮らない位置、例えば背もたれ部分上部の左右の両端には付されている。
【００２３】
カメラ３１は、車両４０内の全ての座席４１の識別情報４２と、座席４１に着席等している乗客４３の少なくとも一部を撮影可能な位置に設置される。カメラ３１は、例えば、車両４０の、座席４１の前面上部または座席４１の前方天井に固定して設置される。なお、ここで、「座席４１の前面」は、着席した乗客４３が向く方向の壁面であり、車両４０の進行方向とは一致しない場合が有る。なお、カメラ３１は、鏡などを用いることで、他の場所に設置することも可能である。
【００２４】
図３は、車両４０にカメラ３１が持つ視野（撮影範囲）の例を示す。図３が示すように、カメラ３１は、車両４０内の全ての座席について、識別情報４２と座席４１に着席している乗客４３の頭部を撮影可能になっている。なお、カメラ３１は、固定された状態で図３のような視野の全体を持っていても良い。または、カメラ３１は、固定された状態では、図３の一部、例えば、１列目から３列目を視野に入れるだけであり、モータなどでカメラ３１を回転させてレンズの方向を変えることで、残りの、例えば４列目と５列目の視野を得ても良い。
【００２５】
カメラ３１は、例えば定期的に、車両４０の全座席４１の静止画を撮影して画像処理装置１０に送信する。または、カメラ３１と携帯端末装置３２を無線通信網で接続し、カメラ３１は、携帯端末装置３２から指示を受信した時に、車両４０の全座席４１の静止画を撮影して画像処理装置１０に送信しても良い。
【００２６】
ここで、画像処理装置１０の人物検出部１１、及び、着座位置検出部１２は、論理回路、または、専用プロセッサとファームウェアで構成される。座席位置情報格納部１３は、半導体記憶装置、ＨＤＤ（Hard Disk Drive）、または、ＳＤＤ(Solid State Drive)等の記憶装置である。
【００２７】
画像処理装置１０は、コンピュータ装置６０で構成されても良い。図４は、コンピュータ装置６０の構成図である。コンピュータ装置６０は、バス６４で相互に接続された、プロセッサ６１、主記憶手段６３、及び、外部記憶手段６２を備える。
【００２８】
プロセッサ６１は、バス６４を経由して、主記憶手段６３、及び、外部記憶手段６２に対してデータの読み書きを行う。
【００２９】
また、プロセッサ６１は、主記憶手段６３に格納されている画像処理プログラム６５を実行する。なお、画像処理プログラム６５は、当初外部記憶手段６２に格納されており、コンピュータ装置６０の初期設定時に、プロセッサ６１が外部記憶手段６２から主記憶手段６３にロードしても良い。
【００３０】
ここで、主記憶手段６３は半導体メモリ手段である。外部記憶手段６２は、ＨＤＤ、または、ＳＤＤ等の記憶手段である。
【００３１】
コンピュータ装置６０のプロセッサ６１は、画像処理プログラム６５を実行することにより、人物検出部１１、及び、着座位置検出部１２として機能する。すなわち、プロセッサ６１は、画像処理プログラム６５を実行することにより、人物検出部１１、及び、着座位置検出部１２が行う処理を実行する。
【００３２】
主記憶手段６３、または、外部記憶手段６２は、座席位置情報格納部１３として使用される。
【００３３】
指定席状況管理装置２０の指定席使用検出部２１は、論理回路、または、専用プロセッサとファームウェアで構成される。指定席予約情報格納部２２は、半導体記憶装置、ＨＤＤ、または、ＳＤＤ等の記憶装置である。
【００３４】
指定席状況管理装置２０は、画像処理装置１０と同様に、コンピュータ装置６０で構成されても良い。この場合、画像処理プログラム６５は別のプログラムに置換され、コンピュータ装置６０のプロセッサ６１は、当該別のプログラムを実行することにより指定席使用検出部２１として機能する。
【００３５】
＜動作＞
列車の運行が始まるなどすると、カメラ３１は、例えば、定期的または携帯端末装置３２の指示に従って、車両４０の座席４１の静止画を撮影して、画像処理装置１０に入力する。
【００３６】
画像処理装置１０内では、人物検出部１１が当該画像を受信して、座席４１の一部と重なっている乗客４３を検出する。人物検出部１１は、例えば、背景差分を用いてこの抽出を行う。
【００３７】
具体的には、例えば、人物検出部１１は、列車の運行前にカメラ３１で車両４０の全ての座席４１の画像を取得して、背景画像として記憶しておく。その後、人物検出部１１は、運行中に同じアングルで取得した画像と背景画像を比較し、座席４１部分における差分を、当該座席４１の一部と重なっている乗客４３として検出すれば良い。人物検出部１１は、さらに、当該差分が人物としての特徴、例えば頭部の形状を備えていることを確認したうえで、乗客４３の検出をしても良い。
【００３８】
人物検出部１１は、座席４１の一部と重なっている乗客４３を検出すると、画像内における乗客４３の位置を、着座位置検出部１２に出力する。
【００３９】
着座位置検出部１２は、画像内における乗客４３の位置の周辺を探索して、座席位置情報格納部１３に格納されている識別情報４２の何れかを検出する。識別情報４２が模様パターンである場合、着座位置検出部１２は、画像内における乗客４３の位置の周辺の模様パターンと一致する、座席位置情報格納部１３に格納されている識別情報４２を検出する。識別情報４２が色彩である場合、着座位置検出部１２は、画像内における乗客４３の位置の周辺の色彩と一致する、座席位置情報格納部１３に格納されている識別情報４２を検出する。識別情報４２が文字列や数字である場合、着座位置検出部１２は、画像内における乗客４３の位置の周辺から抽出される文字列や数字と一致する、座席位置情報格納部１３に格納されている識別情報４２を検出する。
【００４０】
さらに、着座位置検出部１２は、検出した識別情報４２に関連付けられて座席位置情報格納部１３に格納されている座席４１の位置情報を取得して、指定席状況管理装置２０に出力する。
【００４１】
指定席状況管理装置２０の指定席使用検出部２１は、画像処理装置１０から入力された座席４１の位置情報に関連付けられた予約の有無情報を、指定席予約情報格納部２２から取得して、座席４１が予約されていないことを検出すると警報を通知する。指定席使用検出部２１は、例えば、予約が無かった座席４１の位置情報、及び、当該座席４１の一部と重なっている乗客４３の画像を、警報として携帯端末装置３２に送信する。警報は、予約が無かった座席４１の位置情報だけであっても良い。
【００４２】
＜効果＞
本実施の形態にかかる画像処理装置１０は、車両４０などの施設における指定席である座席４１の使用状況を検出する為の座席使用状況検出システム３０の構築費用を低減できる。その理由は、乗客４３などの人物との重なりが検出された座席４１の識別情報４２を、着座位置検出部１２が、カメラ３１が撮影した画像から検出するからである。この為、一枚の映像から複数の座席４１の使用状況を検出可能となり、座席４１毎にカメラ３１を設置する必要が無くなるからである。カメラ３１は、既存の監視カメラを流用することも可能である。
【００４３】
さらに、本実施の形態にかかる画像処理装置１０は、正確な座席４１の使用状況の検出が可能である。その理由は、座席４１の識別を画像内の位置に依存せずに行うからである。この為、カメラ３１の向きの揺れ、ずれなどで、座席４１の映像内の位置がずれても座席４１の識別誤りが発生しないからである。この特性は、カメラ３１が振動する列車に設置されている場合は、特に有益である。
【００４４】
さらに、本実施の形態にかかる画像処理装置１０は、一台のカメラ３１で広範囲に広がって配置されている座席４１の使用状況の検出が可能である。その理由は、座席４１の識別を画像内の位置に依存せずに行う為、カメラ３１の向きをモータなどで変えることが可能であり、広範囲な画像を取ることが出来るからである。この特性は、既存の監視カメラを流用するとき、特に有益となる。
【００４５】
＜変形例＞
画像処理装置１０、及び、指定席状況管理装置２０は、統合されて、一台の装置として実装されても良い。この場合、例えば、画像処理装置１０が、人物検出部１１、着座位置検出部１２、及び、座席位置情報格納部１３に加えて、指定席使用検出部２１、及び、指定席予約情報格納部２２を備える。
【００４６】
この統合された画像処理装置１０も、コンピュータ装置６０で構成されても良い。この場合、コンピュータ装置６０のプロセッサ６１は、画像処理プログラム６５を実行することにより、人物検出部１１、着座位置検出部１２、及び、指定席使用検出部２１として機能する。そして、主記憶手段６３、または、外部記憶手段６２は、座席位置情報格納部１３、及び、指定席予約情報格納部２２として使用される。
【００４７】
カメラ３１は、静止画でなく、動画を撮影し、人物検出部１１、及び、着座位置検出部１２は、当該動画のフレームから、座席４１等の情報を抽出しても良い。
【００４８】
＜第二の実施形態＞
図５は、第２の実施の形態の画像処理装置１０の構成を示すブロック図である。画像処理装置１０は、人物検出部１１、及び、着座位置検出部１２を備える。人物検出部１１は、カメラ３１から入力された画像から、施設に設けられた座席４１の一部と重なっている乗客４３等の人物とを検出する。着座位置検出部１２は、人物が検出された座席４１の識別情報４２を、画像に映されている座席４１の、人物と重なっていない部分から検出して出力する。
【００４９】
本実施の形態にかかる画像処理装置１０は、車両４０などの施設における座席４１の使用状況を検出する為の座席使用状況検出システム３０の構築費用を低減できる。その理由は、乗客４３などの人物との重なりが検出された座席４１の識別情報４２を、着座位置検出部１２が、カメラ３１が撮影した画像から検出するからである。この為、一枚の映像から複数の座席４１の使用状況を検出可能となり、座席４１毎にカメラ３１を設置する必要が無くなるからである。カメラ３１は、既存の監視カメラを流用することも可能である。
【００５０】
さらに、本実施の形態にかかる画像処理装置１０は、正確な座席４１の使用状況の検出が可能である。その理由は、座席４１の識別を画像内の位置に依存せずに行うからである。この為、カメラ３１の向きの揺れ、ずれなどで、座席４１の映像内の位置がずれても座席４１の識別誤りが発生しないからである。この特性は、カメラ３１が振動する列車に設置されている場合は、特に有益である。
【００５１】
さらに、本実施の形態にかかる画像処理装置１０は、一台のカメラ３１で広範囲に広がって配置されている座席４１の使用状況の検出が可能である。その理由は、座席４１の識別を画像内の位置に依存せずに行う為、カメラ３１の向きをモータなどで変えることが可能であり、広範囲な画像を取ることが出来るからである。この特性は、既存の監視カメラを流用するとき、特に有益となる。
【００５２】
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【００５３】
１０    画像処理装置
１１    人物検出部
１２    着座位置検出部
１３    座席位置情報格納部
２０    指定席状況管理装置
２１    指定席使用検出部
２２    指定席予約情報格納部
３０    座席使用状況検出システム
３１    カメラ
３２    携帯端末装置
４０    車両
４１    座席
４２    識別情報
４３    乗客
６０    コンピュータ装置
６１    プロセッサ
６２    外部記憶手段
６３    主記憶手段
６４    バス
６５    画像処理プログラム
【図１】
2019091145.tif 000003
【図２】
2019091145.tif 000004
【図３】
2019091145.tif 000005
【図４】
2019091145.tif 000006
【図５】
2019091145.tif 000007