(57)【要約】  画像取得部（１１０）は、扉を有する構造物において扉を含む領域を撮影した時系列順の画像を撮影画像（３０１）として取得する。検出部（１２０）は、扉が開閉する状態を含む撮影画像（３０１）に基づいて、扉の領域を扉領域（Ｒｔ）として検出する。第１算出部（１４０）は、撮影画像（３０１）に基づいて、扉領域（Ｒｔ）における動き情報を扉領域動き情報（Ｖｔ）として算出する。第２算出部（１５０）は、撮影画像（３０１）と扉領域動き情報（Ｖｔ）を用いて、扉領域を通過する移動物体の面積を通過物体面積（Ｍｂ）として算出する。加減算部（１６０）は、扉領域動き情報（Ｖｔ）と通過物体面積（Ｍｂ）を用いて、構造物に対する移動物体の占有面積（Ｍａ）を算出する。
2019176039.tif 000002
【特許請求の範囲】
【請求項１】
扉を有する構造物において前記扉を含む領域を撮影した時系列順の画像を撮影画像として取得する画像取得部と、
前記扉が開閉する状態を含む前記撮影画像に基づいて、前記扉の領域を扉領域として検出する検出部と、
前記撮影画像に基づいて、前記扉領域における動き情報を扉領域動き情報として算出する第１算出部と、
前記撮影画像と前記扉領域動き情報を用いて、前記扉領域を通過する移動物体の面積を通過物体面積として算出する第２算出部と、
前記扉領域動き情報と前記通過物体面積とを用いて、前記構造物に対する前記移動物体の占有面積を算出する加減算部と
を備えた画像処理装置。
【請求項２】
前記検出部は、
前記扉が開閉する状態を含む前記撮影画像において、一様に同じ方向に動く動き情報が発生した領域を前記扉領域として検出する請求項１に記載の画像処理装置。
【請求項３】
前記検出部は、
前記扉が開閉する状態を含む前記撮影画像において、前記扉が閉まっている扉閉状態の画像を背景画像とし、前記背景画像との差分が最も大きい領域を前記扉領域として検出する請求項１に記載の画像処理装置。
【請求項４】
前記加減算部は、
前記扉領域動き情報を用いて、前記扉から前記構造物に入る方向と前記扉から出る方向とを設定し、前記移動物体が入る方向に動くときに前記通過物体面積を加算し、前記移動物体が出る方向に動くときに前記通過物体面積を減算することにより前記占有面積を算出する請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記加減算部は、
前記構造物の内部が空になったことを表すリセット情報を受け取ると、前記占有面積を初期化する請求項４に記載の画像処理装置。
【請求項６】
前記移動物体は、人あるいは物である請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
画像取得部が、扉を有する構造物において前記扉を含む領域を撮影した時系列順の画像を撮影画像として取得し、
検出部が、前記扉が開閉する状態を含む前記撮影画像に基づいて、前記扉の領域を扉領域として検出し、
第１算出部が、前記撮影画像に基づいて、前記扉領域における動き情報を扉領域動き情報として算出し、
第２算出部が、前記撮影画像と前記扉領域動き情報を用いて、前記扉領域を通過する移動物体の面積を通過物体面積として算出し、
加減算部が、前記扉領域動き情報と前記通過物体面積とを用いて、前記構造物に対する前記移動物体の占有面積を算出する画像処理方法。
【請求項８】
扉を有する構造物において前記扉を含む領域を撮影した時系列順の画像を撮影画像として取得する画像取得処理と、
前記扉が開閉する状態を含む前記撮影画像に基づいて、前記扉の領域を扉領域として検出する検出処理と、
前記撮影画像に基づいて、前記扉領域における動き情報を扉領域動き情報として算出する第１算出処理と、
前記撮影画像と前記扉領域動き情報を用いて、前記扉領域を通過する移動物体の面積を通過物体面積として算出する第２算出処理と、
前記扉領域動き情報と前記通過物体面積とを用いて、前記構造物に対する前記移動物体の占有面積を算出する加減算処理と
をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。特に、箱状の構造物に入っている人および物が占める面積を推定する画像処理装置、画像処理方法および画像処理プログラムに関するものである。
【背景技術】
【０００２】
エレベータでは、重量センサによる重量判定により、かご内の乗車率を推定している。重量が規定値以上の場合、かご内が一杯であると判定され、乗車待ちの人がいる階であっても通過するといった制御が行われる。
また、特許文献１には、カメラで撮影した画像から、エレベータに乗車する巨大な物体の大きさを取得し、その物体の重量を推定し、重量判定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１６９０７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
エレベータには、台車あるいは車椅子といった軽量かつ占有面積が大きい物体と複数の人が乗車している場合がある。重量判定のみを用いた場合、新たに人が乗車できないほどかご内が混雑しているにもかかわらず、重量が規定値以下となる。このため、かご内に新たに乗車できる空間があると判定されてしまう。
また、特許文献１では、巨大な物体を対象としており、かつ、最終的に重量推定を実施しているため、かご内の占有面積を推定することはできていない。【０００５】
本発明は、エレベータかごあるいは列車といった箱状の構造物において、軽量かつ占有面積が大きい物と複数の人とが乗車している際の占有面積を推定することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、
扉を有する構造物において前記扉を含む領域を撮影した時系列順の画像を撮影画像として取得する画像取得部と、
前記扉が開閉する状態を含む前記撮影画像に基づいて、前記扉の領域を扉領域として検出する検出部と、
前記撮影画像に基づいて、前記扉領域における動き情報を扉領域動き情報として算出する第１算出部と、
前記撮影画像と前記扉領域動き情報を用いて、前記扉領域を通過する移動物体の面積を通過物体面積として算出する第２算出部と、
前記扉領域動き情報と前記通過物体面積とを用いて、前記構造物に対する前記移動物体の占有面積を算出する加減算部とを備えた。
【発明の効果】
【０００７】
本発明に係る画像処理装置では、構造物に対する移動物体の占有面積を算出することができるので、重量だけでは推定することができなかった占有面積を用いて、構造物への乗車制御を行うことができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１に係る画像処理装置の構成図。
【図２】実施の形態１における扉の開閉を示す時系列画像の一例を示す模式図。
【図３】実施の形態１における扉領域の画像の一例を示す模式図。
【図４】実施の形態１に係る扉領域を人が通過する画像の一例を示す模式図。
【図５】実施の形態１に係る扉領域を人および物が通過する画像の一例を示す模式図。
【図６】実施の形態１に係る画像処理装置の動作を示すフローチャート。
【図７】実施の形態１の変形例に係る画像処理装置の構成図。
【図８】実施の形態２に係る画像処理装置の動作を示すフローチャート。
【図９】実施の形態３に係る画像処理装置の構成図。
【図１０】実施の形態３に係る画像処理装置の動作を示すフローチャート。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について、図を用いて説明する。なお、各図中、同一または相当する部分には、同一符号を付している。実施の形態の説明において、同一または相当する部分については、説明を適宜省略または簡略化する。
【００１０】
実施の形態１．
＊＊＊構成の説明＊＊＊
図１を用いて、本実施の形態に係る画像処理装置１００の構成を説明する。
画像処理装置１００は、エレベータかごあるいは列車といった箱状の構造物において、この構造物の内部に入っている人および物が占める面積を推定する。なお、構造物は扉を有する。本実施の形態では、扉を有する構造物の例として、エレベータかごを用いて説明する。
【００１１】
画像処理装置１００は、コンピュータである。画像処理装置１００は、プロセッサ９１０を備えるとともに、メモリ９２１、補助記憶装置９２２、入力インタフェース９３０、および出力インタフェース９４０といった他のハードウェアを備える。プロセッサ９１０は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
【００１２】
画像処理装置１００は、機能要素として、画像取得部１１０と検出部１２０と記憶部１３０と第１算出部１４０と第２算出部１５０と加減算部１６０を備える。記憶部１３０には、扉領域Ｒｔが記憶される。
【００１３】
画像取得部１１０と検出部１２０と第１算出部１４０と第２算出部１５０と加減算部１６０の機能は、ソフトウェアにより実現される。記憶部１３０は、メモリ９２１に備えられる。記憶部１３０は、補助記憶装置９２２に備えられていてもよい。
【００１４】
プロセッサ９１０は、画像処理プログラムを実行する装置である。画像処理プログラムは、画像取得部１１０と検出部１２０と第１算出部１４０と第２算出部１５０と加減算部１６０の機能を実現するプログラムである。
プロセッサ９１０は、演算処理を行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）である。プロセッサ９１０の具体例は、ＣＰＵ、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）である。プロセッサ９１０は、画像処理プロセッサともいう。
【００１５】
メモリ９２１は、データを一時的に記憶する記憶装置である。メモリ９２１の具体例は、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、あるいはＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）である。
補助記憶装置９２２は、データを保管する記憶装置である。補助記憶装置９２２の具体例は、ＨＤＤである。また、補助記憶装置９２２は、ＳＤ（登録商標）メモリカード、ＣＦ、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤといった可搬記憶媒体であってもよい。なお、ＨＤＤは、Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅの略語である。ＳＤ（登録商標）は、Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌの略語である。ＣＦは、ＣｏｍｐａｃｔＦｌａｓｈ（登録商標）の略語である。ＤＶＤは、Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋの略語である。
【００１６】
入力インタフェース９３０は、撮像装置２００と接続される。撮像装置２００の具体例は、カメラである。入力インタフェース９３０は、撮像装置２００から画像を取得する画像入力インタフェースである。また、入力インタフェース９３０として、マウス、キーボード、あるいはタッチパネルといった入力装置と接続されるポートを備えていてもよい。入力インタフェース９３０は、具体的には、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）端子である。なお、入力インタフェース９３０は、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）と接続されるポートであってもよい。
【００１７】
出力インタフェース９４０は、ディスプレイといった出力機器のケーブルが接続されるポートである。出力インタフェース９４０は、具体的には、ＵＳＢ端子またはＨＤＭＩ（登録商標）（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）端子である。ディスプレイは、具体的には、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）である。画像処理装置１００は、出力インタフェース９４０を介して処理結果をディスプレイに表示する処理結果出力インタフェースである。
【００１８】
画像処理プログラムは、プロセッサ９１０に読み込まれ、プロセッサ９１０によって実行される。メモリ９２１には、画像処理プログラムだけでなく、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）も記憶されている。プロセッサ９１０は、ＯＳを実行しながら、画像処理プログラムを実行する。画像処理プログラムおよびＯＳは、補助記憶装置に記憶されていてもよい。補助記憶装置に記憶されている画像処理プログラムおよびＯＳは、メモリ９２１にロードされ、プロセッサ９１０によって実行される。なお、画像処理プログラムの一部または全部がＯＳに組み込まれていてもよい。
【００１９】
画像処理装置１００は、プロセッサ９１０を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、画像処理プログラムの実行を分担する。それぞれのプロセッサは、プロセッサ９１０と同じように、画像処理プログラムを実行する装置である。
【００２０】
画像処理プログラムにより利用、処理または出力されるデータ、情報、信号値および変数値は、メモリ９２１、補助記憶装置９２２、または、プロセッサ９１０内のレジスタあるいはキャッシュメモリに記憶される。
【００２１】
画像取得部１１０と検出部１２０と第１算出部１４０と第２算出部１５０と加減算部１６０の各部の「部」を「処理」、「手順」あるいは「工程」に読み替えてもよい。また画像取得処理と検出処理と第１算出処理と第２算出処理と加減算処理の「処理」を「プログラム」、「プログラムプロダクト」または「プログラムを記録したコンピュータ読取可能な記憶媒体」に読み替えてもよい。
画像処理プログラムは、上記の各部の「部」を「処理」、「手順」あるいは「工程」に読み替えた各処理、各手順あるいは各工程を、コンピュータに実行させる。また、画像処理方法は、画像処理装置１００が画像処理プログラムを実行することにより行われる方法である。
画像処理プログラムは、コンピュータ読取可能な記録媒体に格納されて提供されてもよい。また、画像処理プログラムは、プログラムプロダクトとして提供されてもよい。
【００２２】
＊＊＊機能の説明＊＊＊
撮像装置２００は、扉を含む領域を撮影する。撮像装置２００は、扉を含む領域を撮影した時系列順の画像を撮影画像３０１として画像取得部１１０に出力する。本実施の形態では、撮像装置２００は、エレベータの内側から、扉を含む領域を撮影する。
【００２３】
画像取得部１１０は、扉を有する構造物において扉を含む領域を撮影した時系列順の画像を撮影画像３０１として取得する。
扉領域が検出されていない時点では、画像取得部１１０は、撮像装置２００から取得した撮影画像３０１を検出部１２０に出力する。また、扉領域が検出済みの場合は、画像取得部１１０は、撮像装置２００から取得した撮影画像３０１を第１算出部１４０に出力する。
【００２４】
検出部１２０は、扉が開閉する状態を含む撮影画像３０１に基づいて、扉の領域を扉領域Ｒｔとして検出する。検出部１２０は、扉領域Ｒｔを記憶部１３０に記憶する。
【００２５】
図２は、本実施の形態における扉の開閉を示す撮影画像３０１の一例を示す模式図である。
検出部１２０は、扉が閉じた扉閉状態の画像を起点とし、扉が開いていく状態、扉が開いた扉開状態、および扉が閉じていく状態を捉えた時系列順の画像を連続で取得する。そして、検出部１２０は、時系列順に隣接するフレーム間で動きベクトルを算出する。検出部１２０は、一様に同じ方向に動きベクトルが発生した領域を画像中の扉領域Ｒｔとして検出する。
【００２６】
図３は、本実施の形態における扉領域Ｒｔの画像の一例を示す模式図である。図３において、斜線で示している部分が検出部１２０により検出された扉領域Ｒｔである。
記憶部１３０は、検出部１２０から出力された画像中の扉領域Ｒｔを記憶しておき、第１算出部１４０に出力する。また、検出部１２０は、扉領域Ｒｔが検出済みか否かを画像取得部１１０に出力する。
第１算出部１４０は、画像取得部１１０から時系列順に取得される画像に対し、記憶部１３０から入力される扉領域Ｒｔ部分の動きベクトルを算出し、第２算出部１５０に出力する。扉領域Ｒｔ部分の動きベクトルは扉領域動き情報Ｖｔの例である。
第２算出部１５０は、第１算出部１４０から取得される扉領域Ｒｔ部分の時系列の動きベクトルから扉を通過する移動物体の面積を通過物体面積Ｍｂとして算出する。第２算出部１５０は、通過物体面積Ｍｂを動きの方向、すなわち扉領域動き情報Ｖｔとともに加減算部１６０に出力する。
【００２７】
図４は、本実施の形態に係る扉領域Ｒｔを人３１が通過する画像の一例を示す模式図である。
図５は、本実施の形態に係る扉領域Ｒｔを人３１および物３２が通過する画像の一例を示す模式図である。ここでは、物３２は台車である。
なお、移動物体３０とは、エレベータかごといった構造物に出入りする人３１あるいは物３２である。
図４および図５に示すように、画像に映る移動物体３０の面積が大きいほど動きベクトルの発生する面積は多くなる。
加減算部１６０は、第２算出部１５０から取得される面積と動きの方向に応じて、現在エレベータかご内に存在する人３１および物３２の面積を出力する。扉領域Ｒｔの検出直後は、エレベータかごは空の状態である。よって、加減算部１６０は、最初に扉領域Ｒｔを通過する動きベクトルの方向を「入る」方向、逆方向に通過する動きベクトルを「出る」方向と定義する。そして、加減算部１６０は、現在のエレベータかごに存在する人３１および物３２の面積を占有面積Ｍａとして算出する。
【００２８】
＊＊＊動作の説明＊＊＊
図６を用いて、本実施の形態に係る画像処理装置１００の動作について説明する。
ステップＳ１０１において、画像取得部１１０は、撮像装置２００から、エレベータかごの扉が閉じた扉閉状態から時系列順に撮影画像３０１を取得する。画像取得部１１０は、撮影画像３０１を検出部１２０に出力する。
ステップＳ１０２において、検出部１２０は、扉が開閉する状態を含む撮影画像３０１に基づいて、扉の領域を扉領域Ｒｔとして検出する。具体的には、検出部１２０は、扉が開閉する状態を含む撮影画像３０１において、一様に同じ方向に動く動き情報が発生した領域を扉領域Ｒｔとして検出する。具体的には、検出部１２０は、時系列順に隣接するフレーム間で動きベクトルを動き情報として算出する。検出部１２０は、隣接するフレーム間で一様に同じ方向に動きベクトルが発生している領域を扉領域Ｒｔとして検出する。動きベクトルは動き情報の例である。検出部１２０は、扉領域Ｒｔを記憶部１３０に記憶する。
【００２９】
ステップＳ１０３において、検出部１２０は、扉領域Ｒｔが検出済みか否かを判定する。検出部１２０は、扉の開閉を繰り返し、所定の時間Ｔの間、扉領域Ｒｔが拡大しなかった場合、扉領域検出済みとする。扉領域が検出済みでない場合は、処理はステップＳ１０１に戻る。扉領域検出済みの場合は、処理はステップＳ１０４に進む。
【００３０】
ステップＳ１０４において、第１算出部１４０は、撮影画像３０１に基づいて、扉領域Ｒｔにおける動きベクトルを扉領域動き情報Ｖｔとして算出する。具体的には、第１算出部１４０は、記憶部１３０から扉領域Ｒｔを取得する。第１算出部１４０は、画像取得部１１０から時系列順に取得される画像に対し、時系列順に隣接するフレーム間で、扉領域Ｒｔを通過する動きベクトルを算出する。扉領域Ｒｔを通過する動きベクトルは、扉領域動き情報Ｖｔの例である。
【００３１】
ステップＳ１０５において、第２算出部１５０は、撮影画像３０１と扉領域動き情報Ｖｔを用いて、前記扉領域を通過する移動物体の面積を通過物体面積Ｍｂとして算出する。第２算出部１５０は、第１算出部１４０により算出された動きベクトルの方向別に、扉領域Ｒｔを通過する移動物体の面積を通過物体面積Ｍｂとして算出する。例えば、画像処理装置１００には扉の寸法が予め登録されているものとする。第２算出部１５０は、撮影画像３０１において、扉の寸法から求められる扉の面積に対する移動物体部分の割合を算出することにより、通過物体面積Ｍｂを算出する。
【００３２】
ステップＳ１０６において、加減算部１６０は、扉領域動き情報Ｖｔと通過物体面積Ｍｂを用いて、構造物に対する移動物体３０の占有面積Ｍａを算出する。加減算部１６０は、扉領域動き情報Ｖｔを用いて、扉から構造物に入る方向と扉から出る方向とを設定する。加減算部１６０は、移動物体が入る方向に動くときに通過物体面積Ｍｂを占有面積Ｍａに加算する。また、加減算部１６０は、移動物体が扉から出る方向に動くときに通過物体面積Ｍｂを占有面積Ｍａから減算する。これにより、加減算部１６０は、占有面積Ｍａを算出する。このようにして、加減算部１６０は、第２算出部１５０により算出された通過物体面積Ｍｂを、扉領域動き情報Ｖｔの方向に応じて加減算することにより、現在のエレベータかごに存在する移動物体３０の占有面積Ｍａを算出する。
【００３３】
＊＊＊他の構成＊＊＊
＜変形例１＞
本実施の形態では、構造物の例をエレベータかごとして説明した。構造物は、列車、コンテナ、あるいはバスといった、移動物体が扉から出入り可能な構造物であれば本実施の形態を適用することができる。また、物の例としては、台車、車いす、あるいはキャスター付きワゴンといった比較的軽く、かつ、占有面積が大きい物体を想定している。
【００３４】
＜変形例２＞
本実施の形態では、撮像装置がエレベータの内側から扉領域を含む画像を撮影しているが、扉領域を含む画像が撮影されていればエレベータの外側から撮影するようにしてもよい。
【００３５】
＜変形例３＞
画像処理装置１００は、通信装置を備えていてもよい。通信装置は、レシーバとトランスミッタを有する。通信装置は、無線で、ＬＡＮ、インターネット、あるいは電話回線といった通信網に接続している。通信装置は、具体的には、通信チップまたはＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）である。画像処理装置１００は、通信装置を介して、構造物内の画像を取得してもよい。あるいは、画像処理装置１００は、通信装置を介して、処理結果を外部の表示装置に表示してもよい。
【００３６】
＜変形例４＞
本実施の形態では、画像取得部１１０と検出部１２０と第１算出部１４０と第２算出部１５０と加減算部１６０の機能がソフトウェアで実現される。変形例として、画像取得部１１０と検出部１２０と第１算出部１４０と第２算出部１５０と加減算部１６０の機能がハードウェアで実現されてもよい。
【００３７】
図７は、本実施の形態の変形例に係る画像処理装置１００の構成を示す図である。
画像処理装置１００は、電子回路９０９、メモリ９２１、補助記憶装置９２２、入力インタフェース９３０、および出力インタフェース９４０を備える。
【００３８】
電子回路９０９は、画像取得部１１０と検出部１２０と第１算出部１４０と第２算出部１５０と加減算部１６０の機能を実現する専用の電子回路である。
電子回路９０９は、具体的には、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、または、ＦＰＧＡである。ＧＡは、Ｇａｔｅ  Ａｒｒａｙの略語である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔの略語である。ＦＰＧＡは、Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙの略語である。
画像取得部１１０と検出部１２０と第１算出部１４０と第２算出部１５０と加減算部１６０の機能は、１つの電子回路で実現されてもよいし、複数の電子回路に分散して実現されてもよい。
別の変形例として、画像取得部１１０と検出部１２０と第１算出部１４０と第２算出部１５０と加減算部１６０の一部の機能が電子回路で実現され、残りの機能がソフトウェアで実現されてもよい。
【００３９】
プロセッサと電子回路の各々は、プロセッシングサーキットリとも呼ばれる。つまり、画像処理装置１００において、画像取得部１１０と検出部１２０と第１算出部１４０と第２算出部１５０と加減算部１６０の機能は、プロセッシングサーキットリにより実現される。
【００４０】
＊＊＊本実施の形態の効果の説明＊＊＊
本実施の形態に係る画像処理装置１００では、画像取得部は、扉領域の検出有無にしたがって、時系列画像を検出部または第１算出部に出力する。また、検出部は、扉開閉時の時系列画像から扉領域を検出する。検出部は、撮影装置から時系列に取得される映像のうち、扉領域が開閉する映像から開閉する扉の動き情報を算出し、動きが多く発生する領域を扉領域として検出する。記憶部は、検出部で検出した扉領域を記憶する。第１算出部は、時系列画像から記憶部に記憶された扉領域における動きベクトルを算出する。第２算出部は、動きベクトルから扉領域を通過する移動物体の面積を通過物体面積として算出する。そして、加減算部は、通過物体面積とその動きベクトルとから、エレベータかご内の移動物体の占有面積を加減算する。よって、本実施の形態に係る画像処理装置１００によれば、現在のエレベータかご内に存在する移動物体の占有面積を算出することができる。
【００４１】
以上のように、本実施の形態に係る画像処理装置１００よれば、扉を有する構造物において、軽量かつ占有面積が大きい物体と複数の人が乗車している際の占有面積を推定できる。よって、本実施の形態に係る画像処理装置１００よれば、重量だけでは推定することができなかった占有面積を用いて、構造物への乗車制御を行うことができる。
【００４２】
実施の形態２．
本実施の形態では、主に、実施の形態１と異なる点について説明する。なお、実施の形態１と同様の構成には同一の符号を付し、その説明を省略する場合がある。
実施の形態１では、検出部１２０において、扉開閉時の動きベクトルから扉領域を検出するように構成した。本実施の形態では、扉が閉じた状態と開閉している状態で画像を比較し、扉領域を検出する形態について説明する。
【００４３】
本実施の形態に係る画像処理装置１００の構成は、図１および図７と同様である。
検出部１２０は、扉が開閉する状態を含む撮影画像３０１において、扉が閉まっている扉閉状態の画像を背景画像３１１とする。図２に示す扉閉状態の撮影画像３０１が背景画像３１１の例である。そして、検出部１２０は、背景画像３１１との差分が最も大きい領域を扉領域Ｒｔとして検出する。このように、検出部１２０は、画像取得部１１０から時系列順に取得した画像から扉領域Ｒｔを検出し、記憶部１３０に記憶する。
【００４４】
図８を用いて、本実施の形態に係る画像処理装置１００の動作について説明する。
図８は、本実施の形態における画像処理装置１００の処理を示すフローチャートである。図８において、実施の形態１の図６と同じ処理については、同一のステップ符号を付して示し、その説明は省略する。
ステップＳ２０２において、検出部１２０は、扉が閉じた扉閉状態の画像を背景画像３１１とする。検出部１２０は、扉が開いていく状態、扉が開いた扉開状態、および扉が閉じていく状態を捉えた時系列順の画像を連続で取得する。そして、検出部１２０は、各画像と背景画像３１１との差分を算出し、差分が大きく発生した領域を画像中の扉領域Ｒｔとして検出する。
【００４５】
本実施の形態に係る画像処理装置１００では、検出部は、撮影装置から時系列に取得される映像のうち、扉領域が閉じている映像と扉領域が開閉している映像から差分を算出する。そして、検出部は、差分が大きい領域を扉領域として検出する。よって、本実施の形態に係る画像処理装置１００によれば、検出部１２０において、扉領域が閉じた状態を背景画像とし、開閉している状態と画像を比較することで、より詳細に扉領域を検出することができる。
【００４６】
実施の形態３．
本実施の形態では、主に、実施の形態１および２と異なる点について説明する。なお、実施の形態１および２と同様の構成には同一の符号を付し、その説明を省略する場合がある。
本実施の形態では、外部センサ２０１から入力されるリセット情報２０２によって、エレベータかご内の面積をリセットする形態について説明する。
【００４７】
図９を用いて、本実施の形態に係る画像処理装置１００ａの構成を説明する。
図９において、実施の形態１の図１と異なる点は、入力インタフェース９３０ａが外部センサ２０１に接続されている点である。入力インタフェース９３０ａには、外部センサ２０１のセンサ情報が入力される。入力インタフェース９３０ａは、センサ入力インタフェースである。
また、加減算部１６０は、実施の形態１と同様に、第２算出部１５０から出力される通過物体面積Ｍｂと動きの方向に応じて、現在エレベータかごに存在する人３１および物３２の面積を占有面積Ｍａとして出力する。扉領域検出直後は、エレベータかごが空の状態であり、最初に扉領域を通過する動きベクトルの方向が「入る」方向、逆方向に通過する動きベクトルが「出る」方向と定義される。加減算部１６０は、動きベクトルの面積と動きベクトルの方向とに基づいて、現在のエレベータかごに存在する面積を算出する。また、加減算部１６０は、外部センサ２０１からリセット情報２０２が入力された場合、現在の面積をリセットする。具体的には、加減算部１６０は、構造物の内部が空になったことを表すリセット情報２０２を受け取ると、占有面積Ｍａを初期化する。
【００４８】
図１０を用いて、本実施の形態に係る画像処理装置１００ａの動作について説明する。
図１０は、本実施の形態における画像処理装置１００ａの処理を示すフローチャートである。図１０において、実施の形態１の図６と同じ処理については、同一のステップ符号を付して示し、その説明は省略する。
ステップＳ３０７において、加減算部１６０ａは、占有面積の算出後、外部センサ２０１からリセット情報２０２の入力の有無を判定する。リセット情報２０２の入力があった場合、処理はステップＳ３０８に進む。リセット情報２０２の入力がなければ、処理はステップＳ１０５に戻る。
ステップＳ３０８において、加減算部１６０ａは、占有面積Ｍａをリセットして、ステップＳ１０４に戻る。
【００４９】
以上のように、本実施の形態に係る画像処理装置１００ａでは、加減算部が、外部センサから出力されるリセット情報により占有面積をリセットする。よって、本実施の形態に係る画像処理装置１００ａによれば、外部センサから入力されるリセット情報によって、エレベータかごの面積をリセットすることで、加減算部により蓄積されている占有面積の誤差を低減することができる。
【００５０】
以上の実施の形態１から３では、画像処理装置の各部を独立した機能ブロックとして説明した。しかし、画像処理装置の構成は、上述した実施の形態のような構成でなくてもよい。画像処理装置の機能ブロックは、上述した実施の形態で説明した機能を実現することができれば、どのような構成でもよい。また、画像処理装置は、１つの装置でなく、複数の装置から構成されたシステムでもよい。
また、実施の形態１から３のうち、複数の部分を組み合わせて実施しても構わない。あるいは、これらの実施の形態のうち、１つの部分を実施しても構わない。その他、これら実施の形態を、全体としてあるいは部分的に、どのように組み合わせて実施しても構わない。
すなわち、実施の形態１から３では、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【００５１】
なお、上述した実施の形態は、本質的に好ましい例示であって、本発明の範囲、本発明の適用物の範囲、および本発明の用途の範囲を制限することを意図するものではない。上述した実施の形態は、必要に応じて種々の変更が可能である。
【符号の説明】
【００５２】
３０  移動物体、３１  人、３２  物、１００，１００ａ  画像処理装置、１１０  画像取得部、１２０  検出部、１３０  記憶部、１４０  第１算出部、１５０  第２算出部、１６０，１６０ａ  加減算部、２００  撮像装置、２０１  外部センサ、２０２  リセット情報、３０１  撮影画像、３１１  背景画像、９０９  電子回路、９１０  プロセッサ、９２１  メモリ、９２２  補助記憶装置、９３０，９３０ａ  入力インタフェース、９４０  出力インタフェース、Ｒｔ  扉領域、Ｍａ  占有面積、Ｍｂ  通過物体面積、Ｖｔ  扉領域動き情報。
【図１】
2019176039.tif 000003
【図２】
2019176039.tif 000004
【図３】
2019176039.tif 000005
【図４】
2019176039.tif 000006
【図５】
2019176039.tif 000007
【図６】
2019176039.tif 000008
【図７】
2019176039.tif 000009
【図８】
2019176039.tif 000010
【図９】
2019176039.tif 000011
【図１０】
2019176039.tif 000012
【手続補正書】
【提出日】令和1年8月6日(2019.8.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
扉を有する構造物において前記扉を含む領域を撮影した時系列順の画像を撮影画像として取得する画像取得部と、
前記扉が開閉する状態を含む前記撮影画像に基づいて、前記扉の領域を扉領域として検出する検出部と、
前記撮影画像に基づいて、前記扉領域における動き情報を扉領域動き情報として算出する第１算出部と、
前記撮影画像と前記扉領域動き情報を用いて、前記扉領域を通過する移動物体の面積を通過物体面積として算出する第２算出部と、
前記扉領域動き情報と前記通過物体面積とを用いて、前記構造物に対する前記移動物体の占有面積を算出する加減算部と
を備え、
前記検出部は、
前記扉が開閉する状態を含む前記撮影画像において、前記扉が閉まっている扉閉状態の画像を背景画像とし、前記背景画像との差分が最も大きい領域を前記扉領域として検出する画像処理装置。
【請求項２】
前記加減算部は、
前記扉領域動き情報を用いて、前記扉から前記構造物に入る方向と前記扉から出る方向とを設定し、前記移動物体が入る方向に動くときに前記通過物体面積を加算し、前記移動物体が出る方向に動くときに前記通過物体面積を減算することにより前記占有面積を算出する請求項１に記載の画像処理装置。
【請求項３】
扉を有する構造物において前記扉を含む領域を撮影した時系列順の画像を撮影画像として取得する画像取得部と、
前記扉が開閉する状態を含む前記撮影画像に基づいて、前記扉の領域を扉領域として検出する検出部と、
前記撮影画像に基づいて、前記扉領域における動き情報を扉領域動き情報として算出する第１算出部と、
前記撮影画像と前記扉領域動き情報を用いて、前記扉領域を通過する移動物体の面積を通過物体面積として算出する第２算出部と、
前記扉領域動き情報と前記通過物体面積とを用いて、前記構造物に対する前記移動物体の占有面積を算出する加減算部と
を備え、
前記加減算部は、
前記扉領域動き情報を用いて、前記扉から前記構造物に入る方向と前記扉から出る方向とを設定し、前記移動物体が入る方向に動くときに前記通過物体面積を加算し、前記移動物体が出る方向に動くときに前記通過物体面積を減算することにより前記占有面積を算出する画像処理装置。
【請求項４】
前記検出部は、
前記扉が開閉する状態を含む前記撮影画像において、一様に同じ方向に動く動き情報が発生した領域を前記扉領域として検出する請求項３に記載の画像処理装置。
【請求項５】
前記加減算部は、
前記構造物の内部が空になったことを表すリセット情報を受け取ると、前記占有面積を初期化する請求項２から請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
前記移動物体は、人あるいは物である請求項１から請求項５のいずれか１項に記載の画像処理装置。
【請求項７】
画像取得部が、扉を有する構造物において前記扉を含む領域を撮影した時系列順の画像を撮影画像として取得し、
検出部が、前記扉が開閉する状態を含む前記撮影画像に基づいて、前記扉の領域を扉領域として検出し、
第１算出部が、前記撮影画像に基づいて、前記扉領域における動き情報を扉領域動き情報として算出し、
第２算出部が、前記撮影画像と前記扉領域動き情報を用いて、前記扉領域を通過する移動物体の面積を通過物体面積として算出し、
加減算部が、前記扉領域動き情報と前記通過物体面積とを用いて、前記構造物に対する前記移動物体の占有面積を算出し、
前記検出部は、前記扉が開閉する状態を含む前記撮影画像において、前記扉が閉まっている扉閉状態の画像を背景画像とし、前記背景画像との差分が最も大きい領域を前記扉領域として検出する画像処理方法。
【請求項８】
画像取得部が、扉を有する構造物において前記扉を含む領域を撮影した時系列順の画像を撮影画像として取得し、
検出部が、前記扉が開閉する状態を含む前記撮影画像に基づいて、前記扉の領域を扉領域として検出し、
第１算出部が、前記撮影画像に基づいて、前記扉領域における動き情報を扉領域動き情報として算出し、
第２算出部が、前記撮影画像と前記扉領域動き情報を用いて、前記扉領域を通過する移動物体の面積を通過物体面積として算出し、
加減算部が、前記扉領域動き情報と前記通過物体面積とを用いて、前記構造物に対する前記移動物体の占有面積を算出し、
前記加減算部は、前記扉領域動き情報を用いて、前記扉から前記構造物に入る方向と前記扉から出る方向とを設定し、前記移動物体が入る方向に動くときに前記通過物体面積を加算し、前記移動物体が出る方向に動くときに前記通過物体面積を減算することにより前記占有面積を算出する画像処理方法。
【請求項９】
扉を有する構造物において前記扉を含む領域を撮影した時系列順の画像を撮影画像として取得する画像取得処理と、
前記扉が開閉する状態を含む前記撮影画像に基づいて、前記扉の領域を扉領域として検出する検出処理であって、前記扉が開閉する状態を含む前記撮影画像において、前記扉が閉まっている扉閉状態の画像を背景画像とし、前記背景画像との差分が最も大きい領域を前記扉領域として検出する検出処理と、
前記撮影画像に基づいて、前記扉領域における動き情報を扉領域動き情報として算出する第１算出処理と、
前記撮影画像と前記扉領域動き情報を用いて、前記扉領域を通過する移動物体の面積を通過物体面積として算出する第２算出処理と、
前記扉領域動き情報と前記通過物体面積とを用いて、前記構造物に対する前記移動物体の占有面積を算出する加減算処理と
をコンピュータに実行させる画像処理プログラム。
【請求項１０】
扉を有する構造物において前記扉を含む領域を撮影した時系列順の画像を撮影画像として取得する画像取得処理と、
前記扉が開閉する状態を含む前記撮影画像に基づいて、前記扉の領域を扉領域として検出する検出処理と、
前記撮影画像に基づいて、前記扉領域における動き情報を扉領域動き情報として算出する第１算出処理と、
前記撮影画像と前記扉領域動き情報を用いて、前記扉領域を通過する移動物体の面積を通過物体面積として算出する第２算出処理と、
前記扉領域動き情報と前記通過物体面積とを用いて、前記構造物に対する前記移動物体の占有面積を算出する加減算処理であって、前記扉領域動き情報を用いて、前記扉から前記構造物に入る方向と前記扉から出る方向とを設定し、前記移動物体が入る方向に動くときに前記通過物体面積を加算し、前記移動物体が出る方向に動くときに前記通過物体面積を減算することにより前記占有面積を算出する加減算処理と
をコンピュータに実行させる画像処理プログラム。
【国際調査報告】
2019176039.tif 000013
2019176039.tif 000014