(57)【要約】【課題】対象者がベッドから転落する危険性をより確実に判定し、報知することができる危険報知装置の提供。【解決手段】ベッドの上方から前記ベッド及び前記ベッドの周辺を撮影し、撮影対象物までの距離値を画素値として距離画像を取得する距離画像取得手段と、取得した前記距離画像から抽出したベッド上面領域と、対象者が前記ベッドの上にいる場合において前記対象者の長座位状態を誤検知しないための修正領域とをベッド領域として設定する領域設定手段と、前記対象者を含む前記距離画像の前記ベッド領域外における前記対象者の画素数に基づき、前記対象者が前記ベッドから転落する危険性の有無を判定する判定手段と、前記判定手段の判定結果を、前記対象者及び第三者の少なくともいずれかに報知する報知手段と、を有する危険報知装置である。【選択図】図１２Ｃ
2018067203.tif 000002
【特許請求の範囲】
【請求項１】
ベッドの上方から前記ベッド及び前記ベッドの周辺を撮影し、撮影対象物までの距離値を画素値として距離画像を取得する距離画像取得手段と、
取得した前記距離画像から抽出したベッド上面領域と、対象者が前記ベッドの上にいる場合において前記対象者の長座位状態を誤検知しないための修正領域とをベッド領域として設定する領域設定手段と、
前記対象者を含む前記距離画像の前記ベッド領域外における前記対象者の画素数に基づき、前記対象者が前記ベッドから転落する危険性の有無を判定する判定手段と、
前記判定手段の判定結果を、前記対象者及び第三者の少なくともいずれかに報知する報知手段と、
を有することを特徴とする危険報知装置。
【請求項２】
前記領域設定手段が、前記ベッド領域外において、
前記対象者の前記ベッドからのはみ出しを検知するためのベッドサイド領域と、
前記ベッド領域及び前記ベッドサイド領域の上方領域と、
を更に設定し、
前記判定手段が、前記ベッドサイド領域における前記対象者の画素数、及び前記上方領域における前記対象者の画素数の少なくともいずれかに基づき、前記対象者が前記ベッドから転落する危険性の有無を判定する請求項１に記載の危険報知装置。
【請求項３】
前記判定手段が、前記ベッドサイド領域における前記対象者の画素数が所定の画素数以上である場合、前記上方領域における前記対象者の画素数が所定の画素数以下であるとき、前記対象者が前記ベッドから転落する危険性があると判定する請求項２に記載の危険報知装置。
【請求項４】
前記領域設定手段が、前記上方領域における前記ベッド上面領域の上方の領域を前記修正領域に更に設定し、
前記判定手段が、前記対象者の離床状態及び前記第三者を誤検知しないように判定する請求項２から３のいずれかに記載の危険報知装置。
【請求項５】
ベッドの上方から前記ベッド及び前記ベッドの周辺を撮影し、撮影対象物までの距離値を画素値として距離画像を取得する距離画像取得工程と、
取得した前記距離画像から抽出したベッド上面領域と、対象者が前記ベッドの上にいる場合において前記対象者の長座位状態を誤検知しないための修正領域とをベッド領域として設定する領域設定工程と、
前記対象者を含む前記距離画像の前記ベッド領域外における前記対象者の画素数に基づき、前記対象者が前記ベッドから転落する危険性の有無を判定する判定工程と、
前記判定工程による判定結果を、前記対象者及び第三者の少なくともいずれかに報知する報知工程と、
を含むことを特徴とする危険報知方法。
【請求項６】
ベッドの上方から前記ベッド及び前記ベッドの周辺を撮影し、撮影対象物までの距離値を画素値として距離画像を取得する距離画像取得手段と、
取得した前記距離画像から抽出したベッド上面領域を設定する領域設定手段と、
を有する危険報知装置の校正方法であって、
取得した前記距離画像を空間的な勾配が同様な領域に区割りした勾配画像を生成し、前記勾配画像に基づいて前記ベッド上面領域を抽出するベッド上面領域抽出工程を含むことを特徴とする危険報知装置の校正方法。
【請求項７】
前記ベッド上面領域抽出工程が、前記距離画像の前記画素値の変化量が大きい箇所を線で表したエッジ画像を更に生成し、前記エッジ画像と前記勾配画像との合成画像に基づいて前記ベッド上面領域を抽出する処理を含む請求項６に記載の危険報知装置の校正方法。
【請求項８】
前記距離画像取得手段により取得される前記距離画像において、前記ベッドの上面に該当する領域が、所定の画素数の順位で抽出されるように前記距離画像取得手段を設置する設置工程を更に含み、
前記ベッド上面領域抽出工程が、前記所定の画素数の順位の領域を前記ベッド上面領域として抽出する処理を含む請求項７に記載の危険報知装置の校正方法。
【請求項９】
前記ベッド上面領域に基づき、前記距離画像取得手段の位置及び姿勢を算出する算出工程を更に含む請求項７から８のいずれかに記載の危険報知装置の校正方法。
【請求項１０】
前記ベッド上面領域に基づき、カメラ座標系における空間を分割して領域を設定する領域設定工程を更に含む請求項９に記載の危険報知装置の校正方法。
【請求項１１】
前記領域設定工程が、対象者が前記ベッドの上にいる場合において前記対象者の長座位状態を誤検知しないための修正領域を設定する請求項１０に記載の危険報知装置の校正方法。
【請求項１２】
前記領域設定工程が、前記上方領域における前記ベッド上面領域の上方の領域を、前記対象者の離床状態及び第三者を誤検知しないための修正領域として更に設定する請求項１１に記載の危険報知装置の校正方法。
【請求項１３】
ベッドの上方から前記ベッド及び前記ベッドの周辺を撮影し、撮影対象物までの距離値を画素値として距離画像を取得する距離画像取得手段と、
取得した前記距離画像から抽出したベッド上面領域を設定する領域設定手段と、
を有する危険報知装置の校正方法であって、
前記ベッド上面領域に基づき、カメラ座標系における空間を分割して領域を設定し、設定した前記領域のうち、対象者が前記ベッドの上にいる場合において前記対象者の長座位状態を誤検知しないための修正領域を設定する領域設定工程を含むことを特徴とする危険報知装置の校正方法。
【請求項１４】
前記ベッド上面領域に基づき、前記距離画像取得手段の位置及び姿勢を算出する算出工程を更に含む請求項１３に記載の危険報知装置の校正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、危険報知装置及び危険報知方法、並びに危険報知装置の校正方法に関する。
【背景技術】
【０００２】
近年の高齢化社会の進展とともに、介護施設や病院等での転倒及び転落のいずれかの事故が非常に多く発生し、大きな問題となっている。例えば、介護施設においては、介助行為や見守りを行っていない状況下において、ベッドからの転落事故が多く発生しており、発見が遅れると生命に関わる危険を伴う場合もある。
【０００３】
このため、転倒転落アセスメントスコアシートにより危険度が高いと評価された要介護者や患者などには離床動作を検知する離床検知装置を使用する場合がある。前記離床検知装置に用いるセンサとしては、例えば、衣服に取り付けるクリップタイプ、床やベッドに敷くマットタイプなどがあり、要介護者などの離床動作を検知する。
しかし、これらのセンサでは、誤検知が多く、また、前記マットタイプの場合には、マットを跨いで回避されてしまうという問題がある。
そこで、これらの問題を解決するために、最近では様々な離床検知装置が研究され始めており、複数の圧電素子を用いる装置、超音波センサを用いる装置、距離画像センサを用いる装置などが提案されている（例えば、非特許文献１参照）。
【０００４】
しかし、これらの多くは、転落の危険性が低い起床状態や離床状態も検知してしまうことから報知の頻度が多くなりやすく、危険性が高いベッドからの転落のみを検知するものではない。また、危険性が高いベッドからのずり落ちなどの臥床状態からの転落は検知しにくいという問題がある。
このため、ベッドから転落する危険性をより確実に判定し、報知することができる危険報知装置が望まれている。
【０００５】
また、前記非特許文献１に記載の前記距離画像センサを用いる装置では、前記距離画像センサを壁や天井などに固定せずに、前記距離画像センサをポールなどに設置して比較的移動しやすくしているが、移動させる度に、得られる距離画像においてベッドを識別するための校正が必要である。ベッドを識別するための校正方法として、一部手動で行うｗａｔｅｒｓｈｅｄ法を用いているため、移動させる度に校正を一部手動で行うのでは手間がかかり、更にはベッドを正確に識別できない場合があるという問題もある。
このため、手間をかけずにベッドを正確に識別できる校正方法が望まれている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】中田豊久、金井秀明、國藤進:"プライバシを考慮した距離情報を利用したベッド転落検知システム"、日本創造学会、第６回知識創造支援システムシンポジウム予稿集、北陸先端科学技術大学院大学知識科学研究科、２００９年２月２６日
【発明の概要】
【発明が解決しようとする課題】
【０００７】
そこで、本発明は、従来における前記諸問題を解決し、以下の目的を達成することを課題とする。即ち、本発明は、対象者がベッドから転落する危険性をより確実に判定し、報知することができる危険報知装置及び危険報知方法、並びに危険報知装置の校正方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記課題を解決するための手段としては、以下のとおりである。即ち、
＜１＞  ベッドの上方から前記ベッド及び前記ベッドの周辺を撮影し、撮影対象物までの距離値を画素値として距離画像を取得する距離画像取得手段と、取得した前記距離画像から抽出したベッド上面領域と、対象者が前記ベッドの上にいる場合において前記対象者の長座位状態を誤検知しないための修正領域とをベッド領域として設定する領域設定手段と、前記対象者を含む前記距離画像の前記ベッド領域外における前記対象者の画素数に基づき、前記対象者が前記ベッドから転落する危険性の有無を判定する判定手段と、前記判定手段の判定結果を、前記対象者及び第三者の少なくともいずれかに報知する報知手段と、を有することを特徴とする危険報知装置である。
【０００９】
前記＜１＞に記載の危険報知装置において、前記距離画像取得手段は、ベッドの上方から前記ベッド及び前記ベッドの周辺を撮影し、撮影対象物までの距離値を画素値として距離画像を取得する。前記領域設定手段は、前記距離画像取得手段により取得した前記距離画像から抽出したベッド上面領域と、対象者が前記ベッドの上にいる場合において前記対象者の長座位状態を誤検知しないための修正領域とをベッド領域として設定する。前記判定手段は、前記対象者を含む前記距離画像の前記ベッド領域外における前記対象者の画素数に基づき、前記対象者が前記ベッドから転落する危険性の有無を判定する。前記報知手段は、前記判定手段の判定結果を、前記対象者及び第三者の少なくともいずれかに報知する。
これにより、前記対象者が前記ベッドから転落する危険性があることを報知された前記対象者自身が前記ベッド領域からはみ出さないように動く、あるいは前記第三者により前記対象者を前記ベッド領域からはみ出さないようにさせるため、前記対象者がベッドから転落することをより確実に防止できる。
【００１０】
＜２＞  前記領域設定手段が、前記ベッド領域外において、前記対象者の前記ベッドからのはみ出しを検知するためのベッドサイド領域と、前記ベッド領域及び前記ベッドサイド領域の上方領域と、を更に設定し、前記判定手段が、前記ベッドサイド領域における前記対象者の画素数、及び前記上方領域における前記対象者の画素数の少なくともいずれかに基づき、前記対象者が前記ベッドから転落する危険性の有無を判定する前記＜１＞に記載の危険報知装置である。
【００１１】
前記＜２＞に記載の危険報知装置において、前記領域設定手段は、前記ベッド領域外において、前記対象者のベッドからのはみ出しを検知するためのベッドサイド領域と、前記ベッド領域及び前記ベッドサイド領域の上方領域と、を更に設定する。前記判定手段は、前記ベッドサイド領域における前記対象者の画素数、及び前記上方領域における前記対象者の画素数の少なくともいずれかに基づき、前記対象者が前記ベッドから転落する危険性の有無を判定する。
これにより、前記対象者の一部が前記ベッド領域外に存在すると判定したときであっても、前記対象者が前記ベッドの上で起床状態にあるのか、前記対象者の身体の一部がベッドサイドからはみ出している状態にあるのかを判定することにより、前記対象者が前記ベッドから転落する危険性をより確実に判定し、報知することができる。
【００１２】
＜３＞  前記判定手段が、前記ベッドサイド領域における前記対象者の画素数が所定の画素数以上である場合、前記上方領域における前記対象者の画素数が所定の画素数以下であるとき、前記対象者が前記ベッドから転落する危険性があると判定する前記＜２＞に記載の危険報知装置である。
【００１３】
前記＜３＞に記載の危険報知装置において、前記判定手段は、前記ベッドサイド領域における前記対象者の画素数が所定の画素数以上である場合、前記上方領域における前記対象者の画素数が所定の画素数以下であるとき、前記対象者が前記ベッドから転落する危険性があると判定する。
これにより、前記対象者の身体の一部が前記ベッドサイド領域からはみ出し、かつ起床状態である可能性が低いと判定できるため、前記対象者がベッドから転落する危険性をより確実に判定し、報知することができる。
【００１４】
＜４＞  前記領域設定手段が、前記上方領域における前記ベッド上面領域の上方の領域を前記修正領域に更に設定し、前記判定手段が、前記対象者の離床状態及び第三者を誤検知しないように判定する前記＜２＞から＜３＞のいずれかに記載の危険報知装置である。
【００１５】
前記＜４＞に記載の危険報知装置において、前記領域設定手段が前記上方領域における前記ベッド上面領域の上方の領域を前記修正領域に更に設定することにより、前記対象者の画素が前記ベッド上面領域の上方の領域に存在しても、前記対象者がベッドから転落する危険性が少ない離床状態にあるとして、前記判定手段が誤検知しないように判定することができる。また、第三者の画素が前記ベッド上面領域の上方の領域に存在しても、前記対象者がベッドから転落する危険性が少ない状態にあるとして、前記判定手段が誤検知しないように判定することができる。このように前記判定手段が誤検知しないように判定することができると、前記対象者がベッドから転落する危険性をより確実に判定し、報知することができる。
【００１６】
＜５＞  ベッドの上方から前記ベッド及び前記ベッドの周辺を撮影し、撮影対象物までの距離値を画素値として距離画像を取得する距離画像取得工程と、取得した前記距離画像から抽出したベッド上面領域と、対象者が前記ベッドの上にいる場合において前記対象者の長座位状態を誤検知しないための修正領域とをベッド領域として設定する領域設定工程と、前記対象者を含む前記距離画像の前記ベッド領域外における前記対象者の画素数に基づき、前記対象者が前記ベッドから転落する危険性の有無を判定する判定工程と、前記判定工程による判定結果を、前記対象者及び第三者の少なくともいずれかに報知する報知工程と、を含むことを特徴とする危険報知方法である。
【００１７】
前記＜５＞に記載の危険報知方法において、前記距離画像取得工程では、ベッドの上方から前記ベッド及び前記ベッドの周辺を撮影し、撮影対象物までの距離値を画素値として距離画像を取得する。前記領域設定工程では、取得した前記距離画像から抽出したベッド上面領域と、対象者が前記ベッドの上にいる場合において前記対象者の長座位状態を誤検知しないための修正領域とをベッド領域として設定する。前記判定工程では、前記対象者を含む前記距離画像の前記ベッド領域外における前記対象者の画素数に基づき、前記対象者が前記ベッドから転落する危険性の有無を判定する。前記報知工程では、前記判定工程による判定結果を、前記対象者及び第三者の少なくともいずれかに報知する。
これにより、前記対象者が前記ベッドから転落する危険性があることを報知された前記対象者自身が前記ベッド領域からはみ出さないように動く、あるいは前記第三者により前記対象者を前記ベッド領域からはみ出さないようにさせるため、前記対象者がベッドから転落することをより確実に防止できる。
【００１８】
＜６＞  ベッドの上方から前記ベッド及び前記ベッドの周辺を撮影し、撮影対象物までの距離値を画素値として距離画像を取得する距離画像取得手段と、取得した前記距離画像から抽出したベッド上面領域を設定する領域設定手段と、を有する危険報知装置の校正方法であって、取得した前記距離画像を空間的な勾配が同様な領域に区割りした勾配画像を生成し、前記勾配画像に基づいて前記ベッド上面領域を抽出するベッド上面領域抽出工程を含むことを特徴とする危険報知装置の校正方法である。
【００１９】
前記＜６＞に記載の危険報知装置の校正方法において、前記ベッド上面領域抽出工程では、取得した前記距離画像を空間的な勾配が同様な領域に区割りすることにより、ベッドの上面、床、壁などの各領域をラベリングなどによりを識別できるため、識別した領域の中から前記ベッド上面領域を抽出することができる。
【００２０】
＜７＞  前記ベッド上面領域抽出工程が、前記距離画像の前記画素値の変化量が大きい箇所に沿って線引きしたエッジ画像を更に生成し、前記エッジ画像と前記勾配画像との合成画像に基づいて区割りした領域から前記ベッド上面領域を抽出する処理を含む前記＜６＞に記載の危険報知装置の校正方法である。
【００２１】
前記＜７＞に記載の危険報知装置の校正方法において、例えば、空間的な勾配がいずれも水平である前記ベッドの上面と前記床との区割りが、前記勾配画像に基づくだけでは困難な場合、前記距離画像から、前記ベッドの上面と前記床との高さが異なることにより生じる前記画素値の変化量が大きい箇所に沿って線引きした輪郭線を含む前記エッジ画像を生成し、前記床に対する前記ベッドの上面の前記輪郭線を含む前記エッジ画像を前記勾配画像と合成することにより、前記ベッド上面領域をより確実に抽出することができる。
【００２２】
＜８＞  前記距離画像取得手段により取得される前記距離画像において、前記区割りした領域の画素数のうち、前記ベッドの上面に該当する領域の画素数が、所定の順位となるように前記距離画像取得手段を設置する設置工程を更に含み、前記ベッド上面領域抽出工程が、前記所定の順位の領域を前記ベッド上面領域として抽出する処理を含む前記＜７＞に記載の危険報知装置の校正方法である。
【００２３】
前記＜８＞に記載の危険報知装置の校正方法において、例えば、取得する前記距離画像において前記ベッドの上面が最も広く抽出されるように前記距離画像取得手段を設置し、前記所定の順位を１位と設定すると、前記距離画像から自動的に前記ベッド上面領域を抽出することができるため、校正の手間をかけずにベッドを正確に識別できる。
【００２４】
＜９＞  前記ベッド上面領域に基づき、前記距離画像取得手段の位置及び姿勢を算出する算出工程を更に含む前記＜７＞から＜８＞のいずれかに記載の危険報知装置の校正方法である。
【００２５】
前記＜９＞に記載の危険報知装置の校正方法において、前記ベッド上面領域に基づき、前記距離画像取得手段の位置及び姿勢を算出することにより、手動で設定せずに前記距離画像取得手段の位置及び姿勢を求めることができるため、手間をかけずに校正することができる。
【００２６】
＜１０＞  前記ベッド上面領域に基づき、カメラ座標系における空間を分割して領域を設定する領域設定工程を更に含む前記＜９＞に記載の危険報知装置の校正方法である。
【００２７】
前記＜１０＞に記載の危険報知装置の校正方法において、ノイズの影響を受けやすい世界座標系における空間ではなく、カメラ座標系における空間を分割して領域を設定することから、前記ベッド上面領域をより確実に抽出することができる。
【００２８】
＜１１＞  前記領域設定工程が、前記対象者が前記ベッドの上にいる場合において前記対象者の長座位状態を誤検知しないための修正領域を設定する前記＜１０＞に記載の危険報知装置の校正方法である。
【００２９】
前記＜１１＞に記載の危険報知装置の校正方法において、前記対象者の長座位状態を誤検知しないための修正領域を設定することにより、誤検知を少なくすることができるため、前記対象者がベッドから転落することをより確実に防止できる。
【００３０】
＜１２＞  前記領域設定工程が、前記上方領域における前記ベッド上面領域の上方の領域を、前記対象者の離床状態及び第三者を誤検知しないための修正領域として更に設定する前記＜１１＞に記載の危険報知装置の校正方法である。
【００３１】
前記＜１２＞に記載の危険報知装置の校正方法において、前記上方領域における前記ベッド上面領域の上方の領域を、前記対象者の離床状態及び前記第三者を誤検知しないための修正領域として更に設定することにより、誤検知を少なくすることができるため、前記対象者がベッドから転落することをより確実に防止できる。
【００３２】
＜１３＞  ベッドの上方から前記ベッド及び前記ベッドの周辺を撮影し、撮影対象物までの距離値を画素値として距離画像を取得する距離画像取得手段と、取得した前記距離画像から抽出したベッド上面領域を設定する領域設定手段と、を有する危険報知装置の校正方法であって、前記ベッド上面領域に基づき、カメラ座標系における空間を分割して領域を設定し、設定した前記領域のうち、前記対象者が前記ベッドの上にいる場合において前記対象者の長座位状態を誤検知しないための修正領域を設定する領域設定工程を含むことを特徴とする危険報知装置の校正方法である。
【００３３】
前記＜１３＞に記載の危険報知装置の校正方法において、ノイズの影響を受けやすい世界座標系における空間ではなく、カメラ座標系における空間を分割して領域を設定することから、前記ベッド上面領域をより確実に抽出することができる。
【００３４】
＜１４＞  前記ベッド上面領域に基づき、前記距離画像取得手段の位置及び姿勢を算出する算出工程を更に含む前記＜１３＞に記載の危険報知装置の校正方法である。
【００３５】
前記＜１４＞に記載の危険報知装置の校正方法において、前記ベッド上面領域に基づき、前記距離画像取得手段の位置及び姿勢を算出することにより、手動で設定せずに前記距離画像取得手段の位置及び姿勢を求めることができるため、手間をかけずに校正することができる。
【発明の効果】
【００３６】
本発明によると、従来における前記諸問題を解決することができ、対象者がベッドから転落する危険性をより確実に判定し、報知することができる危険報知装置及び危険報知方法、並びに危険報知装置の校正方法を提供することができる。
【図面の簡単な説明】
【００３７】
【図１Ａ】図１Ａは、本発明の危険報知装置の一例を示す概略図である。
【図１Ｂ】図１Ｂは、本発明の危険報知装置の一例を示すブロック図である。
【図２】図２は、距離画像取得手段により取得される距離画像の一例を示す説明図である。
【図３】図３は、世界座標系における領域設定の一例を示す説明図である。
【図４Ａ】図４Ａは、図２の距離画像から生成した勾配画像を示す説明図である。
【図４Ｂ】図４Ｂは、図４Ａの勾配画像を色ムラ補正した画像を示す説明図である。
【図４Ｃ】図４Ｃは、図４Ｂの色ムラ補正後の勾配画像からベッド上面領域及び床領域を抽出した画像を示す説明図である。
【図４Ｄ】図４Ｄは、図２の距離画像から生成したエッジ画像を示す説明図である。
【図４Ｅ】図４Ｅは、図４Ｃのベッド上面領域及び床領域を抽出した画像に、図４Ｄの前記エッジ画像を合成した合成画像を示す説明図である。
【図４Ｆ】図４Ｆは、図４Ｅの合成画像からベッド上面領域を抽出した画像を示す説明図である。
【図５】図５は、距離画像取得手段により取得される距離画像の他の一例を示す説明図である。
【図６Ａ】図６Ａは、図５の距離画像から生成した勾配画像を示す説明図である。
【図６Ｂ】図６Ｂは、図６Ａの勾配画像を色ムラ補正した画像を示す説明図である。
【図６Ｃ】図６Ｃは、図６Ｂの色ムラ補正後の勾配画像からベッド上面領域及び床領域を抽出した画像を示す説明図である。
【図６Ｄ】図６Ｄは、図５の距離画像から生成したエッジ画像を示す説明図である。
【図６Ｅ】図６Ｅは、図６Ｃのベッド上面領域及び床領域を抽出した画像に、図４Ｄの前記エッジ画像を合成した合成画像を示す説明図である。
【図６Ｆ】図６Ｆは、図６Ｅの合成画像からベッド上面領域を抽出した画像を示す説明図である。
【図７】図７は、世界座標系におけるカメラ位置の算出についての説明図である。
【図８】図８は、カメラ座標系の高さに応じた輝度に変換した距離画像の一例を示す説明図である。
【図９】図９は、長座位状態の対象者を含む距離画像の一例を示す説明図である。
【図１０】図１０は、カメラ座標系における領域設定の一例を示す説明図である。
【図１１Ａ】図１１Ａは、修正領域を含むベッド領域の画像の一例を示す説明図である。
【図１１Ｂ】図１１Ｂは、修正領域を含むベッド領域の画像の他の一例を示す説明図である。
【図１２Ａ】図１２Ａは、本発明の危険報知装置を校正して動作させるフローの一例を示すフローチャートである。
【図１２Ｂ】図１２Ｂは、本発明の危険報知装置の校正方法のフローの一例を示すフローチャートである。
【図１２Ｃ】図１２Ｃは、本発明の危険報知装置を動作させるフローの一例を示すフローチャートである。
【図１３】図１３は、実施例１における距離画像を示す説明図である。
【図１４】図１４は、実施例２における距離画像を示す説明図である。
【図１５】図１５は、実施例３における距離画像を示す説明図である。
【図１６】図１６は、実施例４における距離画像を示す説明図である。
【図１７Ａ】図１７Ａは、実施例５における色ムラ補正後の勾配画像を示す説明図である。
【図１７Ｂ】図１７Ｂは、実施例５において抽出したベッド上面領域の画像を示す説明図である。
【図１８Ａ】図１８Ａは、比較例１において取得した距離画像上で基準点を指定した画像を示す説明図である。
【図１８Ｂ】図１８Ｂは、比較例１において抽出したベッド上面領域の画像を示す説明図である。
【図１９Ａ】図１９Ａは、実施例６における色ムラ補正後の勾配画像を示す説明図である。
【図１９Ｂ】図１９Ｂは、実施例６において抽出したベッド上面領域の画像を示す説明図である。
【図２０Ａ】図２０Ａは、比較例２において取得した距離画像上で基準点を指定した画像を示す説明図である。
【図２０Ｂ】図２０Ｂは、比較例２において抽出したベッド上面領域の画像を示す説明図である。
【図２１Ａ】図２１Ａは、実施例７における色ムラ補正後の勾配画像を示す説明図である。
【図２１Ｂ】図２１Ｂは、実施例７において抽出したベッド上面領域の画像を示す説明図である。
【図２２Ａ】図２２Ａは、比較例３において取得した距離画像上で基準点を指定した画像を示す説明図である。
【図２２Ｂ】図２２Ｂは、比較例３において抽出したベッド上面領域の画像を示す説明図である。
【発明を実施するための形態】
【００３８】
（危険報知装置及び危険報知方法）
本発明の危険報知装置は、距離画像取得手段と、領域設定手段と、判定手段と、報知手段とを有し、更に必要に応じてその他の手段を有する。
本発明の危険報知方法は、距離画像取得工程と、領域設定工程と、判定工程と、報知工程とを含み、更に必要に応じてその他の工程を含む。
本発明の危険報知方法は、本発明の危険報知装置により好適に行うことができることから、本発明の危険報知装置の説明を通して本発明の危険報知方法の詳細についても明らかにする。
【００３９】
＜距離画像取得手段及び距離画像取得工程＞
前記距離画像取得手段は、ベッドの上方から前記ベッド及び前記ベッドの周辺を撮影し、撮影対象物までの距離値を画素値として距離画像を取得する手段である。
前記距離画像取得工程は、ベッドの上方から前記ベッド及び前記ベッドの周辺を撮影し、撮影対象物までの距離値を画素値として距離画像を取得する工程である。
前記距離画像取得工程は、前記距離画像取得手段により好適に行うことができる。
【００４０】
前記撮影対象物としては、後述する本発明の危険報知装置の校正方法により校正する際には前記ベッド及び前記ベッドの周辺のみとし、本発明の危険報知装置を動作させている際には前記ベッド及び前記ベッドの周辺の他に前記対象者が少なくとも含まれていれば特に制限はなく、目的に応じて適宜選択することができる。
【００４１】
前記対象者としては、前記ベッドから転落しないように見守られる者であれば特に制限はなく、目的に応じて適宜選択することができ、例えば、介護施設における認知症の要介護者、病院における歩行障害の患者などが挙げられる。
【００４２】
前記ベッドとしては、特に制限はなく、目的に応じて適宜選択することができるが、上面が平らであることが好ましい。前記ベッドの上面が平らであると、校正する際には前記ベッドの上面の領域を抽出しやすい点で有利である。
前記ベッドの上面の形状としては、特に制限はなく、目的に応じて適宜選択することができるが、長方形が好ましい。
前記ベッドの上面の傾斜としては、特に制限はなく、目的に応じて適宜選択することができるが、水平であることが好ましい。
【００４３】
前記ベッドの設置位置としては、特に制限はなく、目的に応じて適宜選択することができるが、前記距離画像取得手段を比較的低い位置に設置し、ベッドサイド方向から設置する場合、前記距離画像取得手段の設置位置から遠いほうのベッドサイド（ベッドの長辺側及び短辺側）を、前記対象者が転落しないように壁などに密着できる位置が好ましい。壁などに密着できないときは、ベッドに柵を設けることが好ましい。前記距離画像取得手段の設置位置から遠いほうのベッドサイドは死角となり、計測が困難であるが、これにより、前記対象者が前記ベッドから転落する危険性をより確実に判定しやすくなる点で有利である。
【００４４】
前記距離画像取得手段は、「距離画像センサ」、「三次元距離センサ」、「深度センサ」、「距離画像カメラ」などと称され、例えば、赤外線などを用いて前記撮影対象物までの距離を非接触で測定して画像化する三次元測定器である。具体的には、前記距離画像取得手段（以下、「カメラ」と称することもある）は、赤外線を前記撮影対象物に照射し、前記撮影対象物から反射した赤外線を撮像素子が受けるまでの時間を計測する方法、もしくは、赤外線パターンを前記撮影対象物に照射し、前記撮影対象物から反射した前記赤外線パターンを前記撮像素子が受けたときの視差から三角測量の原理による方法で前記撮影対象物までの距離値を得て、得られた前記距離値を前記画素値として輝度に変換することにより、前記距離画像を取得することができる。
なお、前記撮影対象物が赤外線を反射しない箇所、赤外線を反射しても反射光が弱くなる箇所、前記赤外線パターンが届かない前記撮影対象物の影（オクルージョン）が発生する箇所などは、前記距離値を得られない欠損領域となる。
【００４５】
前記距離画像取得手段の設置高さとしては、特に制限はなく、目的に応じて適宜選択することができるが、天井近くの比較的高い位置に設置されることが好ましい。前記距離画像取得手段が天井近くの比較的高い位置に設置されると、死角が少なくなるため、誤検知しにくくなり、前記対象者がベッドから転落する危険性をより確実に判定し、報知することができる。
【００４６】
前記距離画像取得手段の設置方向としては、特に制限はなく、目的に応じて適宜選択することができるが、ベッドの長軸上に設置することが好ましい。前記距離画像取得手段の設置方向がベッドの長軸上であると、ベッドから転落する可能性が高い両ベッドサイドの床を、死角が少なくなるように撮影できるため誤検知しにくくなり、前記対象者がベッドから転落する危険性をより確実に判定し、報知することができる。
【００４７】
前記距離画像取得手段の設置箇所としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、三脚の上、天井、壁、床に安定して設置できるような重石を下部に有するポールの上部、前記ベッドに取り付けたアームスタンドの上部などが挙げられる。
【００４８】
前記距離画像取得手段は、二次元で画素が配列されている撮像素子を有することが好ましい。
前記距離画像取得手段の市販品としては、例えば、赤外線を用いたものでは、Ｘｔｉｏｎ  ＰＲＯ、Ｘｔｉｏｎ  ＰＲＯ  Ｌｉｖｅ（以上、ＡＳＵＳ社製）、Ｋｉｎｅｃｔ（登録商標）（Ｍｉｃｒｏｓｏｆｔ社製）、Ｓｗｉｓｓ  Ｒａｎｇｅｒ  ＳＲ３０００、Ｓｗｉｓｓ  Ｒａｎｇｅｒ  ＳＲ４０００（以上、ＭＥＳＡ社製）、ＤｅｐｔｈＳｅｎｓｅ（ＳｏｆｔＫｉｎｅｔｉｃ社製）、Ｄ−Ｉｍａｇｅｒ（パナソニック株式会社製）などが挙げられる。また、２台のカメラを用いたステレオ方式のものでは、Ｂｕｍｂｌｅｂｅｅ（Ｐｏｉｎｔ  Ｇｒｅｙ  Ｒｅｓｅａｒｃｈ社製）などが挙げられる。
【００４９】
＜領域設定手段及び領域設定工程＞
前記領域設定手段は、取得した前記距離画像から抽出したベッド上面領域と、対象者が前記ベッドの上にいる場合において前記対象者の長座位状態を誤検知しないための修正領域とをベッド領域として設定する手段である。
前記領域設定工程は、取得した前記距離画像から抽出したベッド上面領域と、対象者が前記ベッドの上にいる場合において前記対象者の長座位状態を誤検知しないための修正領域とをベッド領域として設定する工程である。
前記領域設定工程は、前記領域設定手段により好適に行うことができる。
また、前記領域設定工程は、後述する本発明の危険報知装置の校正方法に含まれる。
【００５０】
前記ベッド領域は、前記対象者が転落する危険性が少ない領域であり、前記ベッド上面領域と、前記修正領域とを含む。
前記ベッド上面領域は、前記距離画像から前記ベッドの上面を抽出した領域であり、平面として抽出される。これにより、前記対象者が転落する危険性が少ない長座位状態であっても前記ベッド上面領域から前記対象者の身体の一部がはみ出る場合がある。このため、前記領域設定手段は、前記対象者が転落する危険性が少ない前記ベッドの上での長座位状態を、前記判定手段により前記危険性が高いと誤判定しないように前記修正領域を設定する。  なお、前記長座位状態とは、足を長く伸ばして座っている姿勢のみならず、前記ベッドから転落する危険性が低い状態のことを意味する。
【００５１】
前記領域設定手段は、前記ベッド領域外において、前記対象者の前記ベッドからのはみ出しを検知するためのベッドサイド領域と、前記ベッドサイド領域及び前記ベッド領域における上方領域とを更に設定することが好ましい。これにより、前記判定手段が、前記ベッドサイド領域における前記対象者の画素数、及び前記上方領域における前記対象者の画素数に基づき、前記対象者が前記ベッドから転落する危険性の有無をより確実に判定できる。即ち、前記対象者の一部が前記ベッド領域外に存在すると判定したときであっても、前記対象者が前記ベッドの上で安全な起床状態であるのか、前記対象者の身体の一部がベッドサイドからはみ出している危険な状態であるのかを判別して検知することにより、前記対象者が前記ベッドから転落する危険性をより確実に判定し、報知することができる。
なお、前記対象者の画素数とは、前記対象者と識別できる画素の数を意味する。
【００５２】
前記領域設定手段は、前記上方領域における前記ベッド上面領域の上方の領域を前記修正領域に更に設定することが好ましい。これにより、前記対象者が転落する危険性が少ない離床状態や、前記第三者の身体の一部が前記ベッド上面領域内に入り込んだ状態であっても、前記判定手段が、前記対象者の離床状態及び前記第三者を誤検知しないように判定できる。
【００５３】
したがって、前記対象者が前記ベッドから転落する危険性をより確実に判定し、報知するために、前記領域設定手段は、前記ベッド上面領域と、前記修正領域とをベッド領域として設定し、前記ベッド領域外においては、前記ベッドサイド領域と、前記上方領域とを設定することが好ましい。また、前記領域設定手段は、前記ベッドサイド領域の下方の領域に前記ベッドサイド下部領域を設定し、前記判定手段により前記対象者が前記ベッドサイドに腰を掛けて座る端座位状態であることを判定してもよく、前記報知手段により危険を報知した後に前記対象者が転落したか否かを判定してもよい。
【００５４】
前記上方領域は、前記ベッド上面領域の上方の領域（以下、「ベッド上方領域」と称することもある）と、前記ベッドサイド領域の上方の領域（以下、「ベッドサイド上方領域」と称することもある）に分割してもよい。これにより、他の領域における前記対象者又は前記第三者の画素数に基づき、前記ベッド上方領域では、ベッドサイド上方領域では、前記第三者を検知することができる。また、前記ベッド上方領域は前記対象者の起床状態を検知するために、前記ベッドサイド上方領域は前記対象者の離床状態や前記第三者の検知に使用してもよい。
【００５５】
次に、前記対象者及び前記第三者を撮影しない状態で取得した前記距離画像に基づき、前記領域設定手段が、前記ベッド上面領域、前記上方領域、前記修正領域、及び前記ベッドサイド領域の順に、各領域を抽出又は設定する処理について説明する。
【００５６】
［ベッド上面領域の抽出処理］
前記ベッド上面領域は、以下のように、前記距離画像取得手段が取得した前記距離画像に基づいて抽出することができる。
【００５７】
−距離画像座標系からカメラ座標系への変換−
まず、前記距離画像における画素の座標である距離画像座標（ｕ，ｖ）を、下記式（１）によりカメラ座標Ｐｕ，ｖに変換する。
なお、前記距離画像取得手段の視点を原点とするカメラ座標系をそれぞれ直交するＸ１軸、Ｙ１軸、及びＺ１軸で表す。また、三次元空間内における物体の位置を表す世界座標系をそれぞれ直交するＸ０軸、Ｙ０軸、及びＺ０軸で表す。
【００５８】
【数１】
2018067203.tif 000003
ただし、上記式（１）中、ｋは前記距離画像における１輝度あたりのＺ１軸方向の距離値、Ｉｕ，ｖは前記距離画像取得手段の前記撮影素子において距離画像座標（ｕ，ｖ）に対応する各画素の輝度、Ｃｕ及びＣｖは距離画像座標系における光軸中心座標、ａは焦点距離ｆと、前記距離画像取得手段の前記撮影素子における画素の物理的な距離ｓとの比（ｓ／ｆ）を表す。
なお、前記焦点距離とは、前記距離画像取得手段の光学中心（レンズの中心）と撮影投影面との距離を意味する。
【００５９】
１輝度あたりのＺ１軸方向の距離値ｋとしては、特に制限はなく、目的に応じて適宜選択することができ、例えば、前記距離画像の輝度値の階調数ｈと計測する最大距離Ｄより、ｋ＝Ｄ／ｈとしてもよい。具体的には、階調数ｈが２５６である前記距離画像取得手段を用いて、前記距離画像取得手段から最大３，２００ｍｍ先までを撮影する場合、ｋ＝１２．５ｍｍ／輝度とする。
【００６０】
最大距離Ｄとしては、特に制限はなく、目的に応じて適宜選択することができるが、２，０００ｍｍ以上１０，０００ｍｍ以下が好ましく、３，０００ｍｍ以上５，０００ｍｍ以下がより好ましい。
【００６１】
光軸中心座標（Ｃｕ，Ｃｖ）としては、特に制限はなく、目的に応じて適宜選択することができるが、前記距離画像取得手段の仕様、もしくはカメラ校正手法などを用いて取得することが好ましく、前記仕様の明記がなく、かつ前記カメラ校正手法を用いない場合では、前記距離画像を構成する画素の中心が好ましい。具体的には、前記距離画像のサイズが３２０画素×２４０画素であれば、光軸中心座標（Ｃｕ，Ｃｖ）＝（１６０，１２０）とすることが好ましい。
【００６２】
比ａ（ｓ／ｆ）としては、特に制限はなく、目的に応じて適宜選択することができるが、前記距離画像取得手段の仕様（焦点距離ｆと画素の物理的な距離ｓ）、もしくは、カメラ校正手法などを用いて取得することが好ましい。前記仕様における焦点距離ｆと画素の物理的な距離ｓの明記がない場合であっても、画角θと前記距離画像の画素数ｗが既知であれば、次式、ａ＝（２／ｗ）×ｔａｎ（θ／２）よりａを算出することができる。具体的には、前記距離画像取得手段の垂直画角が４５度、前記距離画像の垂直画素サイズが２４０画素であれば、ａ＝０．００３４５２となる。
【００６３】
−勾配画像の生成−
三次元空間上の面の傾きは、主成分分析（Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ、ＰＣＡ）により求めることができる第三主成分で表すことができる。このことから、まず、距離画像座標（ｕ，ｖ）を中心とする小区画から前記欠損領域を除いてカメラ座標Ｐｕ，ｖの集合を生成し、生成した集合の第三主成分の単位ベクトルＮｕ，ｖを求める。ただし、単位ベクトルＮｕ，ｖは、点対象に２つ存在するため、カメラ座標Ｐｕ，ｖに近い方、すなわち、カメラ座標Ｐｕ，ｖと単位ベクトルＮｕ，ｖの内積が正となる方とする。
前記小区画としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、前記距離画像のサイズが３２０画素×２４０画素であれば、１１画素×１１画素としてもよい。
【００６４】
次に、求めた単位ベクトルＮｕ，ｖのカメラ座標系におけるＸ１軸方向、Ｙ１軸方向、及びＺ１軸方向の３つの成分を下記式（２）のようにＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）の色の各要素に置き換えることにより、単位ベクトルＮｕ，ｖの向きに応じて色分けした勾配画像を生成する。
前記勾配画像の色分け方法については、特に制限はなく、目的に応じて適宜選択することができ、例えば、Ｒｕ，ｖ、Ｇｕ，ｖ、Ｂｕ，ｖの要素を入れ替えてもよい。
【００６５】
【数２】
2018067203.tif 000004
【００６６】
−勾配画像の色ムラ低減補正−
生成した前記勾配画像は、ノイズ等の影響により色ムラが多いことがあるため、色ムラを低減する補正がなされることが好ましい。
前記勾配画像の色ムラを低減する補正は、特に制限はなく、目的に応じて適宜選択することができ、例えば、求めた各画素の単位ベクトルＮｕ，ｖに対してクラスタリングを行う補正などが挙げられる。前記クラスタリングでは、単位ベクトルＮｕ，ｖが近似している画素を同一とみなすようにして減色させることにより、色ムラを低減することができる。
【００６７】
前記クラスタリングとしては、特に制限はなく、目的に応じて適宜選択することができるが、例えば、ｋ−ｍｅａｎｓ法などが挙げられる。
前記ｋ−ｍｅａｎｓ法で用いる分割数（クラスター数）Ｔ３としては、特に制限はなく、目的に応じて適宜選択することができるが、各領域の代表点からの標準偏差が所定のしきい値以下となるように徐々に増加させて決定することが好ましい。
【００６８】
なお、前記色ムラ低減補正がなされた前記勾配画像において、前記ベッドの上面及び前記ベッドを設置している床面が水平である場合、空間的な勾配が同様であるため、前記ベッドの上面及び前記床面は同色になる場合が多い。これにより、前記ベッド上面領域と前記床領域とを確実に区割りができない可能性もある。このため、以下のように前記距離画像から前記ベッド上面領域及び前記床領域を抽出する前に、あるいは前記ベッド上面領域及び前記床領域を抽出した後に、前記距離画像の前記画素値の変化量が大きい箇所に沿って線引きしたエッジ画像を生成し、前記補正がなされた前記勾配画像と前記エッジ画像との合成画像を生成して、より確実に前記ベッド上面領域を抽出することが好ましい。
【００６９】
−ベッド上面領域及び床領域の抽出−
前記距離画像取得手段は、前記ベッド及び前記ベッドの周辺が大きく写るように設置されるため、前記クラスタリングにより区割りされた前記距離画像における各領域の面積（画素数）を比較すると、前記ベッド上面領域及び前記床領域の面積が大きくなる場合が多い。このため、前記距離画像において区割りされた領域のうち、面積が大きい領域を選択することにより、前記ベッド上面領域及び前記床領域を抽出する。
【００７０】
−エッジ画像の生成−
前記ベッド上面領域及び前記床領域を抽出した画像において、前記ベッド上面領域と床領域の区割りを確実なものとするため、前記距離画像の前記画素値の変化量が大きい箇所に沿って線引きしてエッジを抽出し、前記距離画像からエッジ画像を更に生成することが好ましい。
前記エッジ画像は、線引きして得た前記エッジを黒（例えば、輝度値０）、前記エッジ以外を白（例えば、輝度値２５５）とすることが好ましい。
【００７１】
前記エッジの抽出法としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、ｃａｎｎｙのエッジ検出アルゴリズムなどが挙げられ、前記ベッド上面領域と前記床領域の間に途切れなく線が引かれることが好ましい。
【００７２】
−合成画像の生成−
次に、前記距離画像の前記画素値の変化量が大きい箇所、即ち所定の大きさの段差に沿って線引きされたエッジにより表された前記エッジ画像及び前記勾配画像を合成して合成画像を生成する。これにより、前記ベッドの上面及び前記ベッドを設置している床面が水平であり、前記ベッド上面領域と前記床領域とを確実に区割りができない可能性があっても、前記勾配画像と、前記ベッド上面領域と前記床領域との段差を明確にできる前記エッジ画像とを合成することにより、より確実に前記ベッド上面領域を抽出することができる。
【００７３】
前記合成画像の生成としては、特に制限はなく、目的に応じて適宜選択することができるが、前記エッジ画像の前記エッジが黒（例えば、輝度値０）、前記エッジ以外が白（例えば、輝度値２５５）であれば、前記勾配画像及び前記エッジ画像において対応する各画素の輝度値を乗算する方法が好ましい。これにより、段差がある領域と面の角度差がある領域とを重ね合わせ二値化された合成画像を生成することができる。
【００７４】
−ベッド上面領域の抽出−
前記区割りした領域の画素数のうち、前記ベッドの上面に該当する領域の画素数の多さが所定の順位となるように、予め前記距離画像取得手段を設置し、前記所定の順位の領域を前記ベッド上面領域として抽出する。
具体的には、前記ベッドの上面に該当する領域の画素数が最大となるように、予め前記距離画像取得手段を設置し、前記合成画像、又は、前記ベッド上面領域及び前記床領域を抽出した画像に、同領域の各画素に同じ識別番号を与えるラベリング処理を行い、最大画素数を有するラベル（領域）を前記ベッド上面領域として抽出する。なお、前記区割りした領域の画素数のうち、前記ベッドの上面に該当する領域の画素数が２番目になるように予め前記距離画像取得手段を設置し、２番目の領域を前記ベッド上面領域として抽出するようにしてもよい。
【００７５】
［上方領域の設定処理］
前記上方領域は、例えば、以下のようにカメラの姿勢及び位置を算出することにより設定することができる。
【００７６】
−カメラ姿勢の算出−
前記カメラ姿勢は、世界座標系における前記距離画像取得手段の傾き、即ち、カメラ座標系におけるベッドや床の傾きＮとして表す。
Ｎは、前記ベッド上面領域及び前記床領域の抽出時に実施したクラスタリングの最大クラスの代表ベクトル（ｋ−ｍｅａｎｓ法を用いた場合は距離の二乗和が最小となる単位ベクトル）を用いることも可能であるが、前記ベッド上面領域及び前記床領域を抽出した画像は、机などの周辺物のノイズが含まれる可能性もある。
そこで、できるだけノイズの影響を軽減するため、前記ベッド上面領域上の画素（ｕ，ｖ）に対する前記距離画像の距離値Ｉｕ，ｖを再度取得し、上記式（１）によりカメラ座標Ｐｕ，ｖに変換し、小区画ごとに主成分分析を行う。次に、主成分分析の第３主成分の単位ベクトルＮｕ，ｖを求める。ただし、前述と同様に、単位ベクトルＮｕ，ｖは、点対象に２つ存在するため、カメラ座標Ｐｕ，ｖに近い方、即ち、カメラ座標Ｐｕ，ｖと単位ベクトルＮｕ，ｖの内積が正となる方とする。
なお、単位ベクトルＮｕ，ｖからの距離の二乗和が最小となる単位ベクトルを、前記距離画像取得手段の傾きＮとする。
【００７７】
−カメラ位置の算出−
まず、前記距離画像取得手段から前記ベッドの上面までの世界座標系における高さｌと、前記距離画像取得手段から前記床面までの世界座標系における高さｍとを算出する。
前記距離画像取得手段から前記ベッドの上面の任意の点までのベクトルをＰｉとすると、前記距離画像取得手段から前記ベッドの上面の任意の点までの世界座標系における高さｌｉ、即ちベクトルＰｉのＺ０軸成分は下記式（３）により算出することができる。
【００７８】
【数３】
2018067203.tif 000005
【００７９】
また、前記距離画像取得手段から前記床面の任意の点までのベクトルをＱｉとすると、前記距離画像取得手段から前記床面の任意の点までの世界座標系における高さｍｉ、即ちベクトルＱｉのＺ０軸成分は下記式（４）により算出することができる。
【００８０】
【数４】
2018067203.tif 000006
【００８１】
【数５】
2018067203.tif 000007
ただし、上記式（５）中、Ａｖｅｒａｇｅ（）は平均値を表す。
【００８２】
【数６】
2018067203.tif 000008
ただし、上記式（６）中、Ｍｏｄｅ｛｝は最頻値を表す。
【００８３】
上記式（３）により高さｌｉを算出し、下記式（５）により高さｌｉの平均値ｌを算出する。
また、上記式（４）により高さｍｉを算出し、下記式（６）により高さｍｉの最頻値ｍを算出する。
なお、前記高さｌｉにおいて算出するのが平均値であるのは、前記距離画像取得手段により精度良くベッドの上面までの距離を計測できると想定されるためである。また、前記高さｍｉにおいて算出するのが最頻値であるのは、前記距離画像取得手段により床面までの距離を計測するとき、床面以外にも机などの周辺物がノイズとなる可能性があり、平均値を用いると影響を受けやすくなるためである。
【００８４】
−上方領域の設定−
前記距離画像には、前記距離画像取得手段により得た距離値に応じた輝度が各画素に設定されている。上記式（１）によりカメラ座標Ｐｕ，ｖを算出した後、下記式（７）のＩ１ｕ，ｖを求めることにより、前記距離画像を世界座標系のＺ０軸成分に応じた輝度を画素に設定し直すことができる。
【００８５】
【数７】
2018067203.tif 000009
ただし、上記式（７）中、ｇ１は前記ベッド上面と前記床面との間の輝度差を表し、ｇ２は前記床面の輝度を表す。
【００８６】
ｇ１としては、特に制限はなく、目的に応じて適宜選択することができるが、２０以上１００以下が好ましく、４０以上７０以下がより好ましい。
ｇ２としては、特に制限はなく、目的に応じて適宜選択することができるが、２００以上２５５以下が好ましく、２４０以上２５５以下がより好ましい。
【００８７】
輝度Ｉ１ｕ，ｖが下記式（８）のＩＴよりも小さい場合は、距離画像座標（ｕ，ｖ）が前記上方領域内に存在していることになる。したがって、Ｉ１ｕ，ｖがＩＴよりも小さい場合、距離画像座標（ｕ，ｖ）は、前記距離画像における前記上方領域に含まれていると判定する。
【００８８】
【数８】
2018067203.tif 000010
ただし、上記式（８）中、ｄは世界座標系における前記ベッドの上面からの高さを表し、前記ベッド領域及び前記ベッドサイド領域と、前記上方領域とを区割りするための定数である。
【００８９】
ｄとしては、特に制限はなく、目的に応じて適宜選択することができるが、３００ｍｍ以上７００ｍｍ以下が好ましく、４００ｍｍ以上６００ｍｍ以下がより好ましい。
【００９０】
同様に，上記式（７）で求めた輝度値（Ｉ１ｕ，ｖ）が下記式（９）のＩＴ２よりも大きい場合、距離画像座標座標（ｕ，ｖ）は、前記ベッドサイド下部領域に含まれていることとなる。
【００９１】
【数９】
2018067203.tif 000011
ただし、ｅは世界座標系における前記ベッドサイド下部領域の前記床面からの高さを表し、前記ベッドサイド領域と前記ベッドサイド下部領域とを区割りするための定数である。
【００９２】
ｅは、実際の空間上の床面からベッド上面までの高さ以下であれば、目的に応じて適宜選択することができるが、２００ｍｍ以上５００ｍｍ以下が好ましく、３００ｍｍ以上４００ｍｍ以下がより好ましい。
【００９３】
［修正領域の設定処理］
前記修正領域は、例えば、以下のように前記ベッド上面領域の全画素に対し、前記ベッドの上面を仮想的にＺ０軸方向に移動させるようにすることにより設定することができる。
【００９４】
まず、前記修正領域における距離画像座標（ｕ，ｖ）のＲＧＢ成分のうちＢ成分の輝度値をＩｂｕ，ｖで表し、Ｒ成分の輝度値をＩｒｕ，ｖで表す。
【００９５】
（ｉ）距離画像座標(ｕ，ｖ)が前記ベッド上面領域内の場合、Ｉｒｕ，ｖ及びＩｂｕ，ｖを、それぞれ２５５及びｇ２−ｇ１として初期化する。それ以外の場合、Ｉｒｕ，ｖ及びＩｂｕ，ｖを、いずれも０として初期化する。
【００９６】
（ｉｉ）前記ベッド領域内から１画素選択し（選択した座標を（ｕ，ｖ）とする）、距離画像のその座標における輝度値Ｉｕ，ｖを取得し、上記式（１）でカメラ座標値Ｐｕ，ｖを計算する。
【００９７】
（ｉｉｉ）前記ベッドの上面を仮想的にＺ０軸方向にｂ（初めはｂ＝１とする。）移動したときの距離画像座標（ｕ２，ｖ２）を求める。移動後のカメラ座標値Ｐ２ｕ，ｖ＝（Ｐ２ｘ，Ｐ２ｙ，Ｐ２ｚ）は下記式（１０）及び下記式（１１）により算出することができる。なお、下記式（１１）は、上記式（１）のｕ及びｖについて解くことにより、求めることができる。
【００９８】
【数１０】
2018067203.tif 000012
【００９９】
【数１１】
2018067203.tif 000013
【０１００】
（ｉｖ）また、Ｚ０軸方向に仮想的にｂ移動したときの距離画像座標（ｕ２，ｖ２）におけるＺ距離画像値をＩ２ｕ，ｖとすると、Ｉ２ｕ，ｖは下記式（１２）から導出することができる。
【０１０１】
【数１２】
2018067203.tif 000014
【０１０２】
（ｖ）下記式（１３）と下記式（１４）により前記修正領域の画像における画素値を更新する。
【０１０３】
【数１３】
2018067203.tif 000015
【０１０４】
【数１４】
2018067203.tif 000016
【０１０５】
（ｖｉ）ｂをカウントし，人の身長の高さ程度となるｂ＝１，８００ｍｍ程度になるまで（ｉｉｉ）〜（ｖ）を繰り返す。
【０１０６】
（ｖｉｉ）前記ベッド上面領域内の別の１画素を選択し，前記ベッド上面領域内の全画素について（ｉｉ）〜（ｖｉ）を行う。
【０１０７】
［各領域の設定処理］
前記距離画像上の座標（ｕ，ｖ）が前記ベッドサイド領域、前記ベッドサイド上方領域、前記ベッドサイド下部領域、前記ベッド上方領域、及び前記ベッド領域のいずれに含まれるかを以下の手順で判定する。
【０１０８】
（ｉ）上記式（７）を用いて前記距離画像をＺ距離画像に変換する。なお、変換後の輝度値をＩ１ｕ，ｖとする。
【０１０９】
（ｉｉ）上記式（８）と上記式（９）を用いて距離画像座標（ｕ，ｖ）の高さ方向の領域判定をする。具体的には、Ｉ１ｕ，ｖが上記式（９）のＩＴ２よりも大きい場合、座標（ｕ，ｖ）が前記ベッドサイド下部領域に存在すると判定する。それ以外の場合において、Ｉ１ｕ，ｖが上記式（８）のＩＴよりも小さい場合、（ｉｉｉ−ａ）に移行し、Ｉ１ｕ，ｖが上記式（８）のＩＴ以上の場合、（ｉｉｉ−ｂ）に移行する。
【０１１０】
（ｉｉｉ−ａ）Ｉ１ｕ，ｖが前記修正領域画像のＲ２ｕ，ｖ以下、かつＢ２ｕ，ｖ以上の場合、距離画像座標（ｕ，ｖ）は、前記ベッド上方領域に含まれていると判定する。それ以外の場合、前記ベッドサイド上方領域に含まれていると判定する。
【０１１１】
（ｉｉｉ−ｂ）Ｉ１ｕ，ｖが前記修正領域画像のＲ２ｕ，ｖ以下、かつＢ２ｕ，ｖ以上の場合、距離画像座標（ｕ，ｖ）は、前記ベッド領域に含まれていると判定する。それ以外の場合、前記ベッドサイド領域に含まれていると判定する。
【０１１２】
［各領域面積のカウント］
距離画像上の全画素に対して、距離画像座標（ｕ，ｖ）がどの領域に含まれるかを上記の方法で判定した後、各領域に含まれる画素数（面積）をカウントする。ここで、前記ベッドサイド上方領域及び前記ベッド上方領域のいずれかに含まれる場合を上方領域と判定し、上方領域の画素数をＡＩＩ−ＩＩＩとする。また、ベッドサイド領域の画素数をＡＩＶとする。
【０１１３】
このように、得られた前記距離値についてカメラ座標系から世界座標系への変換をせずに、距離画像座標（ｕ，ｖ）のまま、各領域の設定を行うことが好ましい。これにより、世界座標系への変換に起因して、標本化による空白点が多く発生することによる描画性能の低下、計算量の増大、オクルージョンの発生などを抑制することができる。
【０１１４】
また、上記のように求めた上方領域ＡＩＩ−ＩＩＩ及びベッドサイド領域ＡＩＶの画素値を初期値とし、本発明の危険報知装置の動作中の各領域において前記画素値が所定の範囲以上に変動した画素数を前記対象者の画素数として、前記ベッドからの転落の危険性が高い状態を前記判定手段が判定する。
【０１１５】
＜判定手段及び判定工程＞
前記判定手段は、前記対象者を含む前記距離画像の前記ベッド領域外における前記対象者の画素数に基づき、前記対象者が前記ベッドから転落する危険性の有無を判定する手段である。
前記判定工程は、前記対象者を含む前記距離画像の前記ベッド領域外における前記対象者の画素数に基づき、前記対象者が前記ベッドから転落する危険性の有無を判定する工程である。
前記判定工程は、前記判定手段により好適に行うことができる。
【０１１６】
前記判定手段は、前記ベッドサイド領域における前記対象者の画素数が所定の画素数以上である場合、前記上方領域における前記対象者の画素数が所定の画素数以下であるとき、前記対象者が前記ベッドから転落する危険性があると判定することが好ましい。これにより、前記対象者の身体の一部がベッドサイドからはみ出しており、かつ起床状態である可能性が低いと判定できるため、前記対象者がベッドから転落する危険性をより確実に判定し、報知することができる。
【０１１７】
これは、前記対象者が起床するとき、前記ベッドサイド領域における前記対象者の画素数が増加するとともに、前記上方領域における前記対象者の画素数も増加する。また、訪問者が訪れたときも、前記ベッドサイド領域における前記対象者の画素数が増加するとともに、前記上方領域における前記対象者の画素数も増加する。これらの状態を前記対象者が前記ベッドからの転落の危険性があると判定しないようにすることにより、前記判定の精度を高めることができる。
なお、前記対象者が前記ベッドからの転落の危険性があるとの判定は、前記対象者の画素の変動速度に基づいてもよく、前記対象者の画素の一連の動きに基づいてもよい。
【０１１８】
前記ベッドから転落する危険性がある前記対象者の動作及び状態としては、例えば、臥床状態での拾得動作、臥床状態でのベッド柵の操作、病的原因などが挙げられる。
【０１１９】
＜報知手段及び報知工程＞
前記報知手段は、前記判定手段の判定結果を、前記対象者及び前記第三者の少なくともいずれかに報知する手段である。
前記報知工程は、前記判定工程による判定結果を、前記対象者及び前記第三者の少なくともいずれかに報知する工程である。
前記報知工程は、前記報知手段により好適に行うことができる。
【０１２０】
前記報知手段としては、前記判定手段の判定結果を、前記対象者及び前記第三者の少なくともいずれかに報知できれば特に制限はなく、目的に応じて適宜選択することができ、例えば、ディスプレイなどの表示手段、警報音などの音響手段、照明を点灯させる手段、振動を付与する手段、又はこれらの手段の組み合わせなどが挙げられる。
【０１２１】
前記第三者としては、例えば、前記対象者を訪ねてきた訪問者、介護施設における介護者、病院などにおける医療スタッフなどが挙げられる。
【０１２２】
＜その他の手段及びその他の工程＞
前記その他の手段としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、対象者保護手段、制御手段などが挙げられる。
前記その他の工程としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、対象者保護工程、制御工程などが挙げられる。
前記その他の工程は、前記その他の手段により好適に行うことができる。
【０１２３】
前記対象者保護手段としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、前記判定手段により前記対象者が前記ベッドから転落する危険性があると判定したとき、前記対象者がベッドから転落しても保護できる手段であり、例えば、エアバッグなどが挙げられる。
前記対象者保護工程としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、前記判定工程により前記対象者が前記ベッドから転落する危険性があると判定したとき、エアバッグなどを用いることにより前記対象者が転落しても保護できる工程などが挙げられる。
前記対象者保護工程は、前記対象者保護手段により好適に行うことができる。
【０１２４】
前記制御手段は、本発明の危険報知装置の各動作を制御するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを有し、危険報知装置全体の動作を制御するための制御プログラムに基づいて各種処理を実行する。
前記制御工程は、危険報知装置全体の動作を制御するための制御プログラムに基づいて各種処理を実行する工程であり、前記制御手段により好適に行うことができる。
【０１２５】
（危険報知装置の校正方法）
本発明の危険報知装置の校正方法の第一の実施形態としては、ベッド上面領域抽出工程を含み、設置工程と、算出工程と、領域設定工程とを含むことが好ましく、更に必要に応じてその他の工程を含む。
【０１２６】
＜ベッド上面領域抽出工程＞
前記ベッド上面領域抽出工程は、取得した前記距離画像を空間的な勾配が同様な領域に区割りした勾配画像を生成し、前記勾配画像に基づいて区割りした領域から前記ベッド上面領域を抽出する工程である。前記ベッド上面領域抽出工程では、取得した前記距離画像を空間的な勾配が同様な領域に区割りすることにより、ベッドの上面、床、壁などの各領域をラベリングなどによりを識別できるため、識別した領域の中から前記ベッド上面領域を抽出することができる。
【０１２７】
＜設置工程＞
前記設置工程は、前記距離画像取得手段により取得される前記距離画像において、前記区割りした領域の画素数のうち、前記ベッドの上面に該当する領域の画素数が、所定の順位となるように前記距離画像取得手段を設置する工程である。前述のとおり、前記ベッドの上面が最も広く抽出されるように前記距離画像取得手段を設置すると、前記領域設定工程において前記ベッド上面領域を自動的に抽出することができる。
【０１２８】
＜算出工程＞
前記算出工程は、前記ベッド上面領域に基づき、前記距離画像取得手段の位置及び姿勢を算出する工程である。
前記算出工程では、前記ベッド上面領域に基づき、前記距離画像取得手段の位置及び姿勢を算出することにより、手動で設定せずに前記距離画像取得手段の位置及び姿勢を求めることができるため、手間をかけずに校正することができる。
【０１２９】
＜領域設定工程＞
前記領域設定工程は、前記ベッド上面領域に基づき、カメラ座標系における空間を分割して領域を設定する工程である。
前述のとおり、前記領域設定工程では、前記ベッド上面領域に加えて前記修正領域を転落の危険性が低い前記ベッド領域として設定することにより、前記対象者が前記ベッドから転落する危険性をより確実に判定し、報知することができる。また、ノイズの影響を受けやすい世界座標系における空間ではなく、カメラ座標系における空間を分割して領域を設定することから、前記ベッド上面領域をより確実に抽出することができる。
【０１３０】
前記領域設定工程としては、前記対象者が前記ベッドの上にいる場合において前記対象者の長座位状態を検知しないための修正領域を設定することが好ましく、前記上方領域における前記ベッド上面領域の上方の領域を、前記対象者の離床状態及び前記第三者を検知しないための修正領域として更に設定することがより好ましい。
前記対象者の長座位状態を検知しないための修正領域を設定することにより、誤検知を少なくすることができるため、前記対象者がベッドから転落することをより確実に防止できる。また、前記上方領域における前記ベッド上面領域の上方の領域を、前記対象者の離床状態及び前記第三者を検知しないための修正領域として更に設定することにより、誤検知を少なくすることができるため、前記対象者がベッドから転落することをより確実に防止できる。
【０１３１】
本発明の危険報知装置の校正方法の第二の実施形態は、領域設定工程を含み、算出工程を含むことが好ましく、更に必要に応じてその他の工程を含む。
本実施形態における領域設定工程は、前記ベッド上面領域に基づき、カメラ座標系における空間を分割して領域を設定し、設定した前記領域のうち、前記対象者が前記ベッドの上にいる場合において前記対象者の長座位状態を誤検知しないための修正領域を設定する工程である。
【０１３２】
ここで、本発明における危険報知装置の一例について図面を参照して説明する。
なお、各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。また、下記構成部材の数、位置、形状等は本実施の形態に限定されず、本発明を実施する上で好ましい数、位置、形状等にすることができる。
【０１３３】
図１Ａは、本発明の危険報知装置の一例を示す概略図であり、世界座標系をそれぞれ直交するＸ０軸、Ｙ０軸、及びＺ０軸で、カメラ座標系をそれぞれ直交するＸ１軸、Ｙ１軸、及びＺ１軸でそれぞれ表す。図１Ｂは、本発明の危険報知装置の一例を示すブロック図である。
図１Ａ及び図１Ｂに示すように、危険報知装置１００は、ベッド３０の上方からベッド３０及びベッド３０の周辺を撮影し、撮影対象物までの距離値を画素値として距離画像を取得する距離画像取得手段１０と、取得した前記距離画像から抽出したベッド３０のベッド上面領域と、対象者がベッド３０上にいる場合において前記対象者の長座位状態を誤検知しないための修正領域とをベッド領域として設定する領域設定手段１１と、前記対象者を含む前記距離画像の前記ベッド領域外における前記対象者の画素数に基づき、前記対象者が前記ベッドから転落する危険性の有無を判定する判定手段１２と、前記判定手段の判定結果を、前記対象者及び第三者の少なくともいずれかに報知する報知手段１３と、を有する。
なお、領域設定手段１１、判定手段１２、報知手段１３、及び制御手段１４は、図示しないパーソナルコンピュータなどの情報処理装置１５の記憶手段にプログラムとして記憶されて動作する。
【０１３４】
危険報知装置１００は、自由に移動ができるように、三脚２０に距離画像取得手段１０（Ｘｔｉｏｎ  ＰＲＯ、３２０画素×２４０画素、ＡＳＵＳ社製）を取り付けている。
距離画像取得手段１０は、ベッド領域全体が写る向きに設置され、カメラ座標系におけるＺ１軸（光軸）方向の距離値を得ることができ、前記距離値に基づいて図２に示すような距離画像を取得することができる。
【０１３５】
図２は、距離画像取得手段により取得される距離画像の一例を示す説明図であり、横軸は前記距離画像におけるＵ軸であり、縦軸は前記距離画像におけるＵ軸に直交するＶ軸である。
図２に示すように、前記距離画像は、距離画像取得手段１０により得られた前記距離値が小さいほど輝度が小さく、前記距離値が大きいほど輝度が大きくなるように表されている。なお、前記距離画像の一部黒くなっている領域は、前記距離値を得ることができなかった前記欠損領域である。
なお、上記式（６）より、前記距離画像取得手段を設置した床面からの高さを求めると２，４６０ｍｍであり、上記式（５）より、前記距離画像取得手段から前記ベッドの上面までの高さを求めると１，７１８ｍｍであった。また、図３中のｄを５００ｍｍに設定し、上記式（８）からＩＴを求めると１４９．６であった。
【０１３６】
図３は、世界座標系における領域設定の一例を示す説明図であり、Ｘ０Ｚ０平面において設定される各領域を示している。
図３に示すように、距離画像取得手段１０は、床面４０に設置されているベッド３０及びベッド３０の周辺を撮影できるように、天井５０近傍に設置されている。図３において、領域Ｉは前記ベッド領域、領域ＩＩ及び領域ＩＩＩは前記ベッド上方領域、領域ＩＶは前記ベッドサイド領域、領域Ｖは前記ベッドサイド下部領域を示している。また、領域ＩＩはベッド上方領域、領域ＩＩＩはベッドサイド上方領域を示している。
【０１３７】
図４Ａは、図２の距離画像から生成した勾配画像を示す説明図である。
図４Ａに示すように、前記勾配画像は、各画素において求めた単位ベクトルＮｕ，ｖのＸ１軸、Ｙ１軸、及びＺ１軸の３つの方向の成分をＲＧＢの色の各要素に置き換えることにより、単位ベクトルＮｕ，ｖの向きに応じて色分けして生成される。
【０１３８】
図４Ｂは、図４Ａの勾配画像を色ムラ補正した画像を示す説明図である。
図４Ａの勾配画像では色ムラが多いため、各画素の単位ベクトルＮｕ，ｖをｋ−ｍｅａｎｓ法によりクラスタリングすることにより、図４Ｂに示すように、空間的な勾配が同様な領域、即ちほぼ平らな面ごとの領域に色ムラなく区割りされた前記勾配画像を得ることができる。なお、前記色ムラ低減補正がなされた前記勾配画像において、前記ベッドの上面及び前記床面は水平であり、空間的な勾配が同様であるため、同色となる。
【０１３９】
図４Ｃは、図４Ｂの色ムラ補正後の勾配画像からベッド上面領域及び床領域を抽出した画像を示す説明図である。
図４Ｂの色ムラ補正の勾配画像を、同領域の各画素に同じ識別番号を与えるラベリング処理して所定の画素数以上の領域を抽出すると、図４Ｃに示すように、前記ベッド上面領域及び前記床領域が抽出される。
【０１４０】
図４Ｄは、図２の距離画像から生成したエッジ画像を示す説明図である。
図４Ｄに示すように、図２の距離画像にＣａｎｎｙのエッジ検出アルゴリズムを用いることにより、前記距離画像のエッジ画像を求めることができる。
【０１４１】
図４Ｅは、図４Ｃのベッド上面領域及び床領域を抽出した画像に、図４Ｄの前記エッジ画像を合成した合成画像を示す説明図である。
図４Ｅに示すように、前記ベッド上面領域及び前記床領域を抽出した画像に、前記エッジ画像を合成することにより、前記ベッド上面領域と前記床領域とをより確実に区割りすることができる。
【０１４２】
図４Ｆは、図４Ｅの合成画像からベッド上面領域を抽出した画像を示す説明図である。
図４Ｅの合成画像をラベリングし、最大画素数を有するラベルを、図４Ｆに示すように、前記ベッド上面領域として抽出する。
【０１４３】
図５は、距離画像取得手段により取得される距離画像の他の一例を示す説明図である。
図５において、上記式（６）より、前記距離画像取得手段を設置した床面からの高さを求めると１，６８０ｍｍであり、上記式（５）より、前記距離画像取得手段から前記ベッドの上面までの高さを求めると１，１０８ｍｍであった。また、図３中のｄを５００ｍｍに設定し、上記式（８）からＩＴを求めると１４９．６であった。
【０１４４】
図６Ａ〜図６Ｆは、図２の前記距離画像及び図２の前記距離画像から生成される図４Ａ〜図４Ｆの各画像と同様に、図５の前記距離画像から前記ベッド上面領域を抽出するまでの過程を表した説明図であり、それぞれ、勾配画像、色ムラ補正した画像、ベッド上面領域及び床領域を抽出した画像、エッジ画像、合成画像、前記ベッド上面領域を示している。
図６Ｃのように、ベッド上面領域及び床領域を抽出した画像ではベッド上面領域と床領域が繋がる可能性もある。しかし、図６Ｄのエッジ画像を用いることにより、図６Ｅではベッド上面領域と床領域が分離され、図６Ｆのようにベッド上面領域が精度よく抽出される。
【０１４５】
図７は、世界座標系におけるカメラ位置の算出についての説明図である。
カメラ位置の算出することにより、前記ベッド領域外を自動的に設定するため、距離画像取得手段１０からベッド３０の上面までの世界座標系における高さｌと、距離画像取得手段１０から床面４０までの世界座標系における高さｍとを算出する。図７に示すように、距離画像取得手段１０からベッド３０の上面の任意の点までのベクトルをＰｉとすると、距離画像取得手段１０からベッド３０の上面の任意の点までの世界座標系における高さｌｉ、即ちベクトルＰｉのＺ０軸成分は上記式（３）により算出することができる。
【０１４６】
また、距離画像取得手段１０から床面４０の任意の点までのベクトルをＱｉとすると、距離画像取得手段１０から床面４０の任意の点までの世界座標系における高さｍｉ、即ちベクトルＱｉのＺ０軸成分は上記式（４）により算出することができる。
上記式（３）を用いて、上記式（５）により高さｌｉの平均値ｌを算出する。また、上記式（４）を用いて、上記式（６）により高さｍｉの最頻値ｍを算出する。
【０１４７】
図８は、カメラ座標系の高さに応じた輝度に変換した距離画像の一例を示す説明図である。
例えば、図２に示すような前記距離値に応じた輝度とした前記距離画像を、図８に示すように、カメラ座標系の高さに応じた輝度に変換したＺ０距離画像にすることができる。
【０１４８】
図９は、長座位状態の対象者を含む距離画像の一例を示す説明図である。
図９に示すように、長座位状態の前記対象者を含む距離画像では、前記対象者が転落の危険性が少ない状態であっても、前記対象者の身体の一部（囲んだ箇所）が前記ベッド上面領域外であるため危険性が高いと判定してしまう。このため、本発明の危険報知装置では、図１０で示すようなカメラ座標系における領域設定の都合上、前記ベッド領域として撮影されるが、実際にはベッド領域外となる領域が存在する。
【０１４９】
図１０は、カメラ座標系における領域設定の一例を示す説明図である。
図１０に示すように、前記修正領域として、領域ＩＢに該当する領域を設ける必要がある。また、領域ＩＶＡは、前記距離画像には前記ベッド領域として撮影されるが、実際にはベッド領域外である。このため、図１１Ａ及び図１１Ｂで示すような前記修正領域を設けるようにした。
【０１５０】
図１１Ａは修正領域を含むベッド領域の画像の一例を示す説明図、図１１Ｂは修正領域を含むベッド領域の画像の他の一例を示す説明図であり、それぞれ図４Ｆと図４Ｍで示した前記ベッド上面領域に前記修正領域を加えた前記ベッド領域の距離画像を示す。
図１１Ａ及び図１１Ｂに示すように前記ベッド領域を設定すると、図９に示したような前記対象者が長座位状態になっても前記ベッド領域外と判定されず、前記対象者が前記ベッドから転落する危険性をより確実に判定し、報知することができる。
【０１５１】
次に、本発明の危険報知装置を校正して動作させるフローを、図１２Ａに示すフローチャートの図中Ｓで表すステップにしたがって図１Ａ及び図１Ｂを参照しながら説明する。
【０１５２】
Ｓ１０１では、前記対象者を監視する前記第三者は、前記距離画像においてベッド３０の上面が最も広く抽出され、ベッド３０の上方からベッド３０及びベッド３０の周辺を撮影できるように、ベッド３０周辺に配置された三脚２０の上に距離画像取得手段１０を設置する。
【０１５３】
Ｓ１０２では、前記第三者により距離画像取得手段１０が設置された危険報知装置１００は、本発明の危険報知装置の校正方法により校正される。校正についての詳細は図１２Ｂを参照しながら後述する。
【０１５４】
Ｓ１０３では、危険報知装置１００は、前記対象者がベッド３０から転落することを防止するために動作し、本処理を終了する。
【０１５５】
次に、本発明の危険報知装置の校正方法のフローを、図１２Ｂに示すフローチャートの図中Ｓで表すステップにしたがって図１Ａ及び図１Ｂを参照しながら説明する。
【０１５６】
Ｓ２０１では、領域設定手段１１は、距離画像取得手段１０１により取得した距離画像を距離画像座標系からカメラ座標系に変換する。
【０１５７】
Ｓ２０２では、領域設定手段１１は、前記距離画像に基づき、前記ベッド上面領域を抽出する。
【０１５８】
Ｓ２０３では、領域設定手段１１は、世界座標系におけるカメラ姿勢を算出し、処理をＳ２０４に移行する。
【０１５９】
Ｓ２０４では、領域設定手段１１は、世界座標系におけるカメラ位置を算出し、処理をＳ２０５に移行する。
【０１６０】
Ｓ２０５では、領域設定手段１１は、各領域の設定を行い、本処理を終了する。
【０１６１】
次に、本発明の危険報知装置を動作させるフローを、図１２Ｃに示すフローチャートの図中Ｓで表すステップにしたがって図１Ａ及び図１Ｂを参照しながら説明する。
【０１６２】
Ｓ３０１では、判定手段１２は、前記ベッドサイド領域における前記対象者の画素数が予め設定したしきい値より小さいと判定すると、前記ベッドサイド領域における前記対象者の画素数の監視を継続する。また、判定手段１２は、前記ベッドサイド領域における前記対象者の画素数がしきい値以上であると判定すると、処理をＳ３０２に移行する。前記ベッドサイド領域における前記対象者の画素数がしきい値以上であると、前記対象者の転落、前記対象者の離床、及び前記対象者以外の前記第三者（訪問者）の侵入のいずれかである可能性がある。
【０１６３】
Ｓ３０２では、前記ベッドサイド領域における前記対象者の画素数がしきい値以上であると判定した判定手段１２は、前記上方領域における前記対象者の画素数がしきい値より大きいと判定すると、処理をＳ３０１に戻す。また、判定手段１２は、前記上方領域における前記対象者の画素数がしきい値以下であると判定すると、処理をＳ３０３に移行する。
【０１６４】
Ｓ３０３では、前記上方領域における前記対象者の画素数がしきい値以下であると判定した判定手段１２は、前記対象者が前記ベッドから転落する危険性が高いと判定して、報知手段１３を作動させて第三者に報知し、本処理を終了する。
【実施例】
【０１６５】
以下、本発明の実施例を説明するが、本発明は、これらの実施例に何ら限定されるものではない。
【０１６６】
（実施例１）
＜危険報知装置の校正＞
＜＜距離画像取得手段の設置＞＞
図１Ａのように、距離画像取得手段１０としての距離画像センサ（Ｘｔｉｏｎ  ＰＲＯ、ＡＳＵＳ社製）を取り付けた三脚をベッドの長軸上に設置し、距離画像センサを床面から約２４０ｃｍの高さから長方形のベッドの上面が最も広く抽出されるように向きを調整した。その後、領域設定手段、判定手段、及び報知手段を動作させるプログラムが記憶されている記憶手段を有するパーソナルコンピュータを起動させ、距離画像取得手段１０により図２のような３２０画素×２４０画素の距離画像を取得した。
【０１６７】
＜＜各領域の設定＞＞
［ベッド上面領域の抽出処理］
取得した前記距離画像における距離画像座標（ｕ，ｖ）を、下記式（１）によりカメラ座標Ｐｕ，ｖに変換した。なお、下記式（１）において、前記距離画像における１輝度あたりのＺ１軸方向の距離値ｋを１２．５ｍｍ／輝度、光軸中心座標（Ｃｕ，Ｃｖ）を（１６０，１２０）、前記焦点距離と前記画素サイズとの比ａを０．００３４５２とした。また、Ｉｕ，ｖは前記距離画像取得手段の前記撮影素子において距離画像座標（ｕ，ｖ）に対応する各画素の輝度を表す。
【０１６８】
【数１５】
2018067203.tif 000017
【０１６９】
−勾配画像の生成−
距離画像座標（ｕ，ｖ）を中心とする小区画（１１画素×１１画素）から前記欠損領域を除いてカメラ座標Ｐｕ，ｖの集合を作成し、作成した集合の第三主成分の単位ベクトルＮｕ，ｖを求めた。ただし、Ｎｕ，ｖは点対象に２つ存在するため、Ｎｕ，ｖは前記カメラ座標Ｐｕ，ｖに近い方（Ｐｕ，ｖとＮｕ，ｖの内積が正となる方）とした。
求めた単位ベクトルＮｕ，ｖのカメラ座標系におけるＸ１軸方向、Ｙ１軸方向、及びＺ１軸方向の３つの成分を下記式（２）のようにＲＧＢの各要素に置き換えることにより、図４Ａに示すような単位ベクトルＮｕ，ｖの向きに応じて色分けした勾配画像を生成した。
【０１７０】
【数１６】
2018067203.tif 000018
【０１７１】
−勾配画像の色ムラ低減補正−
得られた勾配画像に色ムラが発生したため、求めた各画素の単位ベクトルＮｕ，ｖをｋ−ｍｅａｎｓ法により分割数Ｔ３を０．３７としてクラスタリングして前記勾配画像の色ムラ低減補正を行い、図４Ｂに示すような画像を得た。
【０１７２】
−ベッド上面領域及び床領域の抽出−
前記ｋ−ｍｅａｎｓ法で取得した各クラスの中で、最大面積のクラスを持つ画素を抽出し、図４Ｃに示すようなベッド上面領域及び床領域を抽出した画像を得た。
【０１７３】
−エッジの抽出−
前記ベッド上面領域及び床領域を抽出した画像において、前記ベッド上面領域と前記床領域の分離を確実なものとするため、図２の距離画像に対してｃａｎｎｙのエッジ検出アルゴリズムを適用し、図４Ｄに示すようなエッジが黒色、エッジ以外が白色としたエッジ画像を得た。
【０１７４】
−合成画像の生成−
前記ベッド上面領域及び床領域距離を抽出した画像と前記エッジ画像との対応する各画素の輝度値を乗算させて合成させ、図４Ｅに示すような合成画像を生成した。
【０１７５】
−ベッド上面領域の抽出−
次に、前記合成画像に、同領域の各画素に同じ識別番号を与えるラベリング処理を行い、最大画素数を有する領域を前記ベッド上面領域として抽出し、図４Ｆに示すような画像を得た。
【０１７６】
［上方領域の設定処理］
−カメラ姿勢の算出−
前記ベッド上面領域上の画素（ｕ，ｖ）に対する距離画像の距離値Ｉｕ，ｖを再度取得し、式（１）でカメラ座標Ｐｕ，ｖに変換し、小区画（１１画素×１１画素）ごとに再度主成分分析を行い、主成分分析の第３主成分の単位ベクトルＮｕ，ｖを求めた。ただし、ここではＮｕ，ｖとＰｕ，ｖの内積が正となる方のＮｕ，ｖを選択した。次に，Ｎｕ，ｖからの距離の二乗和が最小となる単位ベクトルＮｕ，ｖを、カメラの傾きＮとして計算した。
【０１７７】
−カメラ位置の算出−
図７に示すように、距離画像取得手段１０からベッド３０の上面の任意の点までのベクトルをＰｉとすると、距離画像取得手段１０からベッド３０の上面の任意の点までの世界座標系における高さｌｉを下記式（３）により算出し、高さｌｉの平均値ｌを下記式（５）により算出した結果、ｌ＝１，７１８ｍｍであった。
また、前記距離画像取得手段から床の面の任意の点までのベクトルをＱｉとすると、距離画像取得手段１０から床面４０までの世界座標系における高さｍｉを下記式（４）により算出し、高さｍｉの最頻値ｍを下記式（６）により算出した結果、ｍ＝２，４６０ｍｍであった。
【０１７８】
【数１７】
2018067203.tif 000019
【０１７９】
【数１８】
2018067203.tif 000020
【０１８０】
【数１９】
2018067203.tif 000021
ただし、上記式（５）中、Ａｖｅｒａｇｅ（  ）は平均値を表す。
【０１８１】
【数２０】
2018067203.tif 000022
ただし、上記式（６）中、Ｍｏｄｅ（  ）は最頻値を表す。
【０１８２】
−上方領域の設定−
前記距離画像は、上記式（１）によりカメラ座標Ｐｕ，ｖを算出した後、下記式（７）により、前記ベッドの上面と前記床面との間の輝度差ｇ１を６０、前記床面の輝度ｇ２を２５０としてＩ１ｕ，ｖを求め、前記距離画像を世界座標系のＺ０軸成分に応じた輝度としたＺ０距離画像を得た。
【０１８３】
【数２１】
2018067203.tif 000023
【０１８４】
【数２２】
2018067203.tif 000024
【０１８５】
【数２３】
2018067203.tif 000025
【０１８６】
［修正領域の設定］
【０１８７】
（ｉ）前記修正領域における距離画像座標（ｕ，ｖ）のＲＧＢ成分のうちＢ成分の輝度値をＩｂｕ，ｖで表し、Ｒ成分の輝度値をＩｒｕ，ｖで表す。距離画像座標(ｕ，ｖ)が前記ベッド上面領域内の場合、Ｉｒｕ，ｖ及びＩｂｕ，ｖを、それぞれ２５５及びｇ２−ｇ１として初期化する。それ以外の場合、Ｉｒｕ，ｖ及びＩｂｕ，ｖを、いずれも０として初期化する。
【０１８８】
（ｉｉ）前記ベッド領域内から座標（ｕ，ｖ）の１画素を選択し、前記距離画像の座標（ｕ，ｖ）における輝度値Ｉｕ，ｖを取得し、上記式（１）でカメラ座標値Ｐｕ，ｖを計算した。
【０１８９】
（ｉｉｉ）前記ベッドの上面を仮想的にＺ０軸方向にｂ（初めはｂ＝１とする。）移動したときの距離画像座標（ｕ２，ｖ２）を求めた。移動後のカメラ座標値Ｐ２ｕ，ｖ＝（Ｐ２ｘ，Ｐ２ｙ，Ｐ２ｚ）は下記式（１０）及び下記式（１１）により算出した。なお、下記式（１１）は、上記式（１）のｕ及びｖについて解くことにより求めた。
【０１９０】
【数２４】
2018067203.tif 000026
【０１９１】
【数２５】
2018067203.tif 000027
【０１９２】
（ｉｖ）また、Ｚ０軸方向に仮想的にｂ移動したときの距離画像座標（ｕ２，ｖ２）におけるＺ距離画像値をＩ２ｕ，ｖとし、Ｉ２ｕ，ｖを下記式（１２）から導出した。
【０１９３】
【数２６】
2018067203.tif 000028
【０１９４】
（ｖ）下記式（１３）と下記式（１４）により前記修正領域の画像における画素値を更新した。
【０１９５】
【数２７】
2018067203.tif 000029
【０１９６】
【数２８】
2018067203.tif 000030
【０１９７】
（ｖｉ）ｂをカウントし，人の身長の高さ程度となるｂ＝１，８００ｍｍ程度になるまで（ｉｉｉ）〜（ｖ）を繰り返した。
【０１９８】
（ｖｉｉ）前記ベッド上面領域内の別の１画素を選択し，前記ベッド上面領域内の全画素について（ｉｉ）〜（ｖｉ）を行った。
【０１９９】
［ベッドサイド領域の設定処理］
次に、下記式（１４）により、距離しきい値定数ｅを３００ｍｍとして、前記対象者の身体の一部が前記ベッドサイド領域に存在するか前記ベッドサイド下部領域に存在するかを判定するためのＺ０軸方向の輝度しきい値ＩＴ２を求めると、２２５．７であった。以上のように、危険報知装置の校正を行った。
【０２００】
＜危険報知装置の評価＞
上記のように校正を行った危険報知装置１００を用いて、前記ベッドサイド領域における前記対象者の画素数のしきい値Ｔ１を２，０００画素、前記上方領域における前記対象者の画素数のしきい値Ｔ２を１，０００画素とし、しきい値Ｔ１以上であり、かつしきい値Ｔ２以下である場合、前記対象者が前記ベッドから転落する危険性が高いと判定して警告音を発するようにした。
前記危険報知装置が監視する動作を、図１３に示すような前記対象者が臥床状態で拾得動作をした場合とし、前記対象者に転落する危険性が高いことを報知する警告音が発せられるか否か評価した。評価した結果、前記対象者に警告音が発せられ、前記対象者がベッドから転落する危険性をより確実に判定し、報知することができた。
【０２０１】
（実施例２）
実施例１において、前記危険報知装置が監視する動作を、図１３に示すような前記対象者が臥床状態で拾得動作をした場合から、図１４に示すように前記対象者が臥床状態でのベッド柵の操作をした場合に変えた以外は、実施例１と同様に評価した。評価した結果、前記ベッド柵の操作後に前記対象者に警告音が発せられ、前記対象者がベッドから転落する危険性をより確実に判定し、報知することができた。
【０２０２】
（実施例３）
実施例１において、図１３に示すような前記対象者が臥床状態で拾得動作をした場合から、図１５に示すような前記対象者が離床動作をした場合に変えた以外は、実施例１と同様に評価した。評価した結果、前記対象者に警告音が発せられることはなく、前記対象者がベッドから転落する危険性をより確実に判定し、報知することができた。
【０２０３】
（実施例４）
実施例１において、図１３に示すような前記対象者が臥床状態で拾得動作をした場合から、図１６に示すような外部からの第三者の侵入に変えた以外は、実施例１と同様に評価した。評価した結果、前記対象者に警告音が発せられることはなく、前記対象者がベッドから転落する危険性をより確実に判定し、報知することができた。
【０２０４】
（実施例５）
＜危険報知装置の校正方法の評価＞
図２に示すような距離画像を取得できる位置を、図１７Ａに示すような距離画像を取得できる位置に距離画像センサを設置した後、本発明の危険報知装置の校正方法により校正を行った結果を図１７Ａ及び図１７Ｂに示した。図１７Ａ及び図１７Ｂに示すように、ベッド上面とベッド柵との境界で領域が区割りされ、精度よくベッド上面領域を抽出できた。
【０２０５】
（比較例１）
実施例５において、本発明の危険報知装置の校正方法から、従来のｗａｔｅｒｓｈｅｄ法に変え、○印の箇所を基準点として指定し、隣接する画素の輝度値が所定の輝度値以上変化する箇所を境界と判定して領域を区割りしてベッド上面領域を抽出する以外は、実施例５と同様に評価し、結果を図１８Ａ及び図１８Ｂに示した。図１８Ａ及び図１８Ｂに示すように、ベッド上面とベッド柵との境界で区割りできず、ベッド上面領域を精度よく抽出できなかった。
【０２０６】
（実施例６）
実施例５において、図１７Ａに示すような距離画像を取得できる位置を、図１９Ａに示すような距離画像を取得できる位置に距離画像センサの設置位置を変えた以外は、実施例５と同様に評価し、結果を図１９Ａ及び図１９Ｂに示した。図１９Ａ及び図１９Ｂに示すように、ベッド上面とベッド柵との境界で区割りされ、精度よくベッド上面領域を抽出できた。
【０２０７】
（比較例２）
実施例６において、本発明の危険報知装置の校正方法から、従来のｗａｔｅｒｓｈｅｄ法に変えた以外は、実施例６と同様に評価し、結果を図２０Ａ及び図２０Ｂに示した。図２０Ａ及び図２０Ｂに示すように、ベッド上面とベッド柵との境界で区割りできず、ベッド上面領域を精度よく抽出できなかった。
【０２０８】
（実施例７）
実施例５において、図１７Ａに示すような距離画像を取得できる位置を、図２１Ａに示すような距離画像を取得できる位置に距離画像センサの設置位置を変えた以外は、実施例５と同様に評価し、結果を図２１Ａ及び図２１Ｂに示した。図２１Ａ及び図２１Ｂに示すように、ベッド上面とベッド柵との境界で区割りされ、精度よくベッド上面領域を抽出できた。
【０２０９】
（比較例３）
実施例７において、本発明の危険報知装置の校正方法から、従来のｗａｔｅｒｓｈｅｄ法に変えた以外は、実施例７と同様に評価し、結果を図２２Ａ及び図２２Ｂに示した。図２２Ａ及び図２２Ｂに示すように、ベッド上面とベッド柵との境界で区割りできず、ベッド上面領域を精度よく抽出できなかった。
【符号の説明】
【０２１０】
１０    距離画像取得手段
１１    領域設定手段
１２    判定手段
１３    報知手段
１４    制御手段
１５    情報処理装置
２０    三脚
３０    ベッド
４０    床面
５０    天井
１００    危険報知装置
【図１Ａ】
2018067203.tif 000031
【図１Ｂ】
2018067203.tif 000032
【図２】
2018067203.tif 000033
【図３】
2018067203.tif 000034
【図４Ａ】
2018067203.tif 000035
【図４Ｂ】
2018067203.tif 000036
【図４Ｃ】
2018067203.tif 000037
【図４Ｄ】
2018067203.tif 000038
【図４Ｅ】
2018067203.tif 000039
【図４Ｆ】
2018067203.tif 000040
【図５】
2018067203.tif 000041
【図６Ａ】
2018067203.tif 000042
【図６Ｂ】
2018067203.tif 000043
【図６Ｃ】
2018067203.tif 000044
【図６Ｄ】
2018067203.tif 000045
【図６Ｅ】
2018067203.tif 000046
【図６Ｆ】
2018067203.tif 000047
【図７】
2018067203.tif 000048
【図８】
2018067203.tif 000049
【図９】
2018067203.tif 000050
【図１０】
2018067203.tif 000051
【図１１Ａ】
2018067203.tif 000052
【図１１Ｂ】
2018067203.tif 000053
【図１２Ａ】
2018067203.tif 000054
【図１２Ｂ】
2018067203.tif 000055
【図１２Ｃ】
2018067203.tif 000056
【図１３】
2018067203.tif 000057
【図１４】
2018067203.tif 000058
【図１５】
2018067203.tif 000059
【図１６】
2018067203.tif 000060
【図１７Ａ】
2018067203.tif 000061
【図１７Ｂ】
2018067203.tif 000062
【図１８Ａ】
2018067203.tif 000063
【図１８Ｂ】
2018067203.tif 000064
【図１９Ａ】
2018067203.tif 000065
【図１９Ｂ】
2018067203.tif 000066
【図２０Ａ】
2018067203.tif 000067
【図２０Ｂ】
2018067203.tif 000068
【図２１Ａ】
2018067203.tif 000069
【図２１Ｂ】
2018067203.tif 000070
【図２２Ａ】
2018067203.tif 000071
【図２２Ｂ】
2018067203.tif 000072