(57)【要約】【課題】撮像された海上の画像を用いて離岸流の発生を監視できるようにする。【解決手段】ドローンに設けられたカメラにより、所定の高度より、所定の画角の画像を撮像する。この画像を輝度信号と色差信号とに分離し、輝度信号の画像を小領域に分割し、小領域毎に所定時間の輝度信号の最小値、平均値、または最大値といった変位から、輝度レンジを求める。また、色差信号の画像を小領域に分割し、画像全体の色の平均値と、小領域毎に、平均的な色との差分とを求める。そして、輝度レンジが所定値よりも低いことにより、波がないとみなされ、かつ、全体の平均的な色との差分が大きく海面色が他と異なる小領域において離岸流が発生しているものと見なされる。本開示は、ドローンに適用することができる。【選択図】図２
2017133901.tif 000002
【特許請求の範囲】
【請求項１】
海面の画像を撮像する撮像部と、
前記画像において、前記海面の波の有無と、前記海面の色とに基づいて、前記海面に離岸流が発生している領域を特定する特定部と
を含む監視装置。
【請求項２】
前記海面の画像を輝度信号と色差信号とに分離する分離部と、
前記輝度信号に基づいて、前記海面の波の有無を検知する波検知部と、
前記色差信号に基づいて、前記海面の色を検知する海面色検知部とを含み、
前記特定部は、前記波検知部の波検知結果により求められた、前記海面の波の有無と、前記海面色検知部の海面色検知結果により求められた、前記海面色とに基づいて、前記海面に離岸流が発生している領域を特定する
請求項１に記載の監視装置。
【請求項３】
前記波検知部は、
前記輝度信号からなる画像を小領域に分割し、前記小領域毎の所定時間における輝度値の変位における輝度レンジを測定し、
前記特定部は、前記輝度レンジが所定値よりも小さい小領域の範囲を前記離岸流が発生する可能性のある領域として特定する
請求項２に記載の監視装置。
【請求項４】
前記小領域毎の所定時間における輝度値の変位は、前記小領域毎の所定時間における輝度値の最大値、平均値、および最小値のいずれかを含む
請求項３に記載の監視装置。
【請求項５】
前記海面色検知部は、
前記色差信号からなる画像を小領域に分割し、前記小領域毎の所定時間における色の平均値を測定し、
前記特定部は、前記小領域毎の所定時間における色の平均値の前記画像全体の平均値との差分が所定の閾値よりも大きい小領域の範囲を前記離岸流が発生する可能性のある領域として特定する
請求項２に記載の監視装置。
【請求項６】
前記波検知部は、
前記輝度信号からなる画像を小領域に分割し、前記小領域毎の所定時間における輝度値の変位における輝度レンジを測定し、
前記海面色検知部は、
前記色差信号からなる画像を小領域に分割し、前記小領域毎の所定時間における色の平均値を測定し、
前記特定部は、前記輝度レンジが所定値よりも小さい小領域の範囲であって、かつ、
前記小領域毎の所定時間における色の平均値の前記画像全体の平均値との差分が所定の閾値よりも大きい小領域の範囲を前記離岸流が発生している領域として特定する
請求項２に記載の監視装置。
【請求項７】
前記特定部により、前記離岸流の発生している領域が特定された場合、前記離岸流の発生している領域の情報を送信する通信部をさらに含む
請求項１に記載の監視装置。
【請求項８】
前記画像に基づいて、人を検知する人検知部をさらに含む
請求項１に記載の監視装置。
【請求項９】
前記特定部は、前記離岸流が発生している領域を特定した場合、前記人検知部を制御して、前記画像に基づいて、前記人を検知させる
請求項８に記載の監視装置。
【請求項１０】
前記人検知部は、前記画像における各画素のうち、肌色を検知する領域において、人を検知したものとみなす
請求項８に記載の監視装置。
【請求項１１】
前記人検知部は、前記画像における各画素のうち、海上の色、波の色、および肌色を検知し、前記肌色の領域、並びに、前記海上の色、前記波の色、および前記肌色以外の色の領域において、人を検知したものとみなす
請求項８に記載の監視装置。
【請求項１２】
前記監視装置の本体を移動させるための駆動部をさらに含み、
前記人検知部が人を検知した場合、前記特定部は、前記駆動部を制御して、前記人が検知された領域に対応する位置に移動させる
請求項８に記載の監視装置。
【請求項１３】
前記駆動部は、複数の回転翼を含む
請求項１２に記載の監視装置。
【請求項１４】
前記離岸流の発生と避難誘導とをアナウンスする音声出力部をさらに含み、
前記人検知部が人を検知した場合、前記特定部は、前記駆動部を制御して、前記人が検知された領域に対応する位置に移動させ、前記音声出力部を制御して、前記離岸流の発生と避難誘導とをアナウンスさせる
請求項８に記載の監視装置。
【請求項１５】
救命具を投下させる投下部をさらに含み、
前記人検知部が人を検知した場合、前記特定部は、前記駆動部を制御して、前記人が検知された領域に対応する位置に移動させ、前記投下部を制御して、検知された前記人に対して前記救命具を投下させる
請求項８に記載の監視装置。
【請求項１６】
海面の画像を撮像し、
前記画像において、前記海面の波の有無と、前記海面の色とに基づいて、前記海面に離岸流が発生している領域を特定するステップを
を含む監視方法。
【請求項１７】
海面の画像を撮像する撮像部と、
前記画像において、前記海面の波の有無と、前記海面の色とに基づいて、前記海面に離岸流が発生している領域を特定する特定部として、
コンピュータを機能させるようにするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、監視装置、および監視方法、並びにプログラムに関し、特に、海上を撮像した画像に基づいて、離岸流の発生を検出できるようにした監視装置、および監視方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、カメラにより海上を撮像し、撮像した画像を解析することにより、海上の物体、水流、波浪の方向、および流速などを検出する技術が提案されている（特許文献１乃至４参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０２−２４８８６３号公報
【特許文献２】特開２０１５−１２７６６９号公報
【特許文献３】特開２００８−２３２８６０号公報
【特許文献４】特開２００９−０７４９６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許技術１乃至４において、海上を撮像した画像に基づいて、遊泳者を監視することはある程度できるが、離岸流などの危険の発生を検出するには、撮像された画像を人間が目視により監視し続ける必要があった。
【０００５】
本開示は、このような状況に鑑みてなされたものであり、特に、カメラなどにより撮像された海上の画像を用いて離岸流の発生を監視できるようにするものである。
【課題を解決するための手段】
【０００６】
本開示の一側面の監視装置は、海面の画像を撮像する撮像部と、前記画像において、前記海面の波の有無と、前記海面の色とに基づいて、前記海面に離岸流が発生している領域を特定する特定部とを含む監視装置である。
【０００７】
前記海面の画像を輝度信号と色差信号とに分離する分離部と、前記輝度信号に基づいて、前記海面の波の有無を検知する波検知部と、前記色差信号に基づいて、前記海面の色を検知する海面色検知部とを含み、前記特定部には、前記波検知部の波検知結果により求められた、前記海面の波の有無と、前記海面色検知部の海面色検知結果により求められた、前記海面色とに基づいて、前記海面に離岸流が発生している領域を特定させるようにすることができる。
【０００８】
前記波検知部には、前記輝度信号からなる画像を小領域に分割させ、前記小領域毎の所定時間における輝度値の変位における輝度レンジを測定させ、前記特定部には、前記輝度レンジが所定値よりも小さい小領域の範囲を前記離岸流が発生する可能性のある領域として特定させるようにすることができる。
【０００９】
前記小領域毎の所定時間における輝度値の変位には、前記小領域毎の所定時間における輝度値の最大値、平均値、および最小値のいずれかを含ませるようにすることができる。
【００１０】
前記海面色検知部には、前記色差信号からなる画像を小領域に分割させ、前記小領域毎の所定時間における色の平均値を測定させ、前記特定部には、前記小領域毎の所定時間における色の平均値の前記画像全体の平均値との差分が所定の閾値よりも大きい小領域の範囲を前記離岸流が発生する可能性のある領域として特定させる。
【００１１】
前記波検知部には、前記輝度信号からなる画像を小領域に分割させ、前記小領域毎の所定時間における輝度値の変位における輝度レンジを測定させ、前記海面色検知部には、前記色差信号からなる画像を小領域に分割させ、前記小領域毎の所定時間における色の平均値を測定させ、前記特定部には、前記輝度レンジが所定値よりも小さい小領域の範囲であって、かつ、前記小領域毎の所定時間における色の平均値の前記画像全体の平均値との差分が所定の閾値よりも大きい小領域の範囲を前記離岸流が発生している領域として特定させる。
【００１２】
前記特定部により、前記離岸流の発生している領域が特定された場合、前記離岸流の発生している領域の情報を送信する通信部をさらに含ませるようにすることができる。
【００１３】
前記画像に基づいて、人を検知する人検知部をさらに含ませるようにすることができる。
【００１４】
前記特定部には、前記離岸流が発生している領域を特定した場合、前記人検知部を制御させて、前記画像に基づいて、前記人を検知させるようにすることができる。
【００１５】
前記人検知部には、前記画像における各画素のうち、肌色を検知する領域において、人を検知したものとみなすようにさせることができる。
【００１６】
前記人検知部には、前記画像における各画素のうち、海上の色、波の色、および肌色を検知させ、前記肌色の領域、並びに、前記海上の色、前記波の色、および前記肌色以外の色の領域において、人を検知したものとみなすようにさせることができる。
【００１７】
前記監視装置の本体を移動させるための駆動部をさらに含ませるようにすることができ、前記人検知部が人を検知した場合、前記特定部には、前記駆動部を制御して、前記人が検知された領域に対応する位置に移動させるようにすることができる。
【００１８】
前記駆動部には、複数の回転翼を含ませるようにすることができる。
【００１９】
前記離岸流の発生と避難誘導とをアナウンスする音声出力部をさらに含ませるようにすることができ、前記人検知部が人を検知した場合、前記特定部には、前記駆動部を制御させ、前記人が検知された領域に対応する位置に移動させ、前記音声出力部を制御して、前記離岸流の発生と避難誘導とをアナウンスさせるようにすることができる。
【００２０】
救命具を投下させる投下部をさらに含ませるようにすることができ、前記人検知部が人を検知した場合、前記特定部には、前記駆動部を制御させて、前記人が検知された領域に対応する位置に移動させ、前記投下部を制御させて、検知された前記人に対して前記救命具を投下させるようにすることができる。
【００２１】
本開示の一側面の監視方法は、海面の画像を撮像し、前記画像において、前記海面の波の有無と、前記海面の色とに基づいて、前記海面に離岸流が発生している領域を特定するステップを含む監視方法である。
【００２２】
本開示の一側面のプログラムは、海面の画像を撮像する撮像部と、前記画像において、前記海面の波の有無と、前記海面の色とに基づいて、前記海面に離岸流が発生している領域を特定する特定部として、コンピュータを機能させるようにするプログラムである。
【００２３】
本開示の一側面においては、海面の画像が撮像され、前記画像において、前記海面の波の有無と、前記海面の色とに基づいて、前記海面に離岸流が発生している領域が特定される。
【発明の効果】
【００２４】
本開示の一側面によれば、カメラなどにより撮像された海上の画像を用いて離岸流の発生を監視することが可能となる。
【図面の簡単な説明】
【００２５】
【図１】離岸流を説明する図である。
【図２】本開示を適用した監視装置の実施の形態の構成例を説明する図である。
【図３】図２の監視装置による監視処理を説明するフローチャートである。
【図４】図３の波検知処理を説明するフローチャートである。
【図５】図３の波検知処理を説明する図である。
【図６】図３の波検知処理の波検知結果を説明する図である。
【図７】図３の海面色検知処理を説明するフローチャートである。
【図８】図３の海面色検知処理の海面色検知結果を説明する図である。
【図９】図３の人検知処理を説明するフローチャートである。
【図１０】図３の人検知処理のその他の処理を説明するフローチャートである。
【図１１】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための形態】
【００２６】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２７】
＜離岸流について＞
本開示の監視装置は、いわゆるドローンと呼ばれる無線操作可能な飛行装置にカメラからなる撮像部が設けられたものであり、海上を撮像し、撮像した海上の画像から離岸流の発生を検出し、通知するものである。
【００２８】
本開示の監視装置の説明をするにあたって、まず、離岸流について説明する。
【００２９】
離岸流とは、海岸の波打ち際から沖合に向かって、幅10m前後で局所的に生じる強い引き潮の流れである。
【００３０】
より具体的には、離岸流は、図１で示されるように、海上Ｓの実線の矢印で示される図中手前部分の海岸Ｇに向かって打ち付ける海流（向岸流）により運ばれた海水が、海岸Ｇの起伏や深さなどにより、一部の範囲に集中することで、例えば、範囲Ｚ内の点線の矢印で示される図中手前部分の海岸Ｇから海上Ｓに向かって流れる海流により生じる強い引き潮の流れである。
【００３１】
尚、図１においては、海上Ｓにおける実線の矢印は、海岸Ｇに打ち付ける海流の方向を示し、点線の矢印は、海岸Ｇから海上Ｓに向かう海流の方向を示している。また、範囲Ｚにおいては、離岸流により、遊泳者Ｈが、沖に向かって流される様子が描かれている。
【００３２】
離岸流の流れの幅は、一般に10m程度と言われており、その流れは、非常に速い流れであるため、遊泳中の人間は、その流れに抗うことは難しい。また、離岸流の速さは秒速1mを超えることもあるとされており、離岸流に逆らってそれより速く泳ぐことは水泳のオリンピック選手でも困難と言われている。
【００３３】
しかしながら、離岸流の特徴は、海岸付近であって、周辺で白波が立った海の中でほとんど波の発生しない範囲であって、かつ、海水が濁った範囲において発生することであり、これが故に、その発生を離岸流が発生している中で認識することは難しく、離岸流による海浜事故は後を絶たない。
【００３４】
そこで、本開示の監視装置は、海上を撮像した画像から離岸流の特徴を検出することで、離岸流の発生を検出し、遊泳者に離岸流の発生を促して、離岸流による被害を低減させるものである。
【００３５】
＜本開示の監視装置の構成例＞
次に、図２を参照して、本開示の監視装置の構成例について説明する。
【００３６】
図２の監視装置１１は、撮像部３１、YC分離部３２、波検知部３３、海面色検知部３４、離岸流特定部３５、人検知部３６、位置情報検出部３７、警告発動部３８、駆動部３９、音声出力部４０、および通信部４１を備えている。
【００３７】
撮像部３１は、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）などからなるイメージセンサであり、図示せぬ光学系を介して入射される海面方向の画像を撮像し、撮像した画像をYC分離部３２に出力する。
【００３８】
YC分離部３２は、撮像部３１より供給されてくる画像を輝度信号Yと色差信号C（Cb,Cr）とに分離して、それぞれ輝度信号Yを波検知部３３に供給し、色差信号Cを海面色検知部３４に供給する。
【００３９】
波検知部３３は、輝度信号Yからなる画像に基づいて、撮像範囲内において波が発生している領域を特定し、波検知結果として離岸流特定部３５に出力する。すなわち、海上において、波が発生している領域に囲まれた、波が発生していない範囲が、離岸流が発生している可能性が高い領域であるので、全体として波が発生している領域と波が発生していない領域の情報とが識別可能な領域の情報が、波検知結果として離岸流特定部３５に供給される。
【００４０】
海面色検知部３４は、色差信号Cからなる画像に基づいて、撮像範囲内において海面色が他の領域と異なる領域を特定し、海面色検知結果として離岸流特定部３５に供給する。すなわち、海上において、海面色が濁った領域（他の領域と異なる領域）が、離岸流が発生している可能性が高い領域であるので、海面色が他の領域と異なる領域の情報が、海面色検知結果として離岸流特定部３５に供給される。
【００４１】
離岸流特定部３５は、波検知結果と海面色検知結果とから、撮像部３１による撮像領域内における離岸流の発生している領域を特定して警告発動部３８に特定結果を供給する。より具体的には、離岸流特定部３５は、波検知結果と海面色検知結果とを重畳し、いずれかが検出された領域を離岸流が発生している可能性が高い領域として特定し、さらに、双方が重なる領域を離岸流が発生している領域として特定する。これにより、離岸流特定部３５は、離岸流が発生している可能性が高い領域と、離岸流が発生しているとして特定された領域との情報を特定結果として警告発動部３８に供給する。当然のことながら、波検知結果および海面色検知結果のいずれにも離岸流の発生を示す領域が含まれていないような場合もあり、このような場合、撮像領域内に離岸流の発生がないことを示す特定情報が出力されることになる。
【００４２】
人検知部３６は、警告発動部３８からの要求に応じて、撮像部３１により撮像された画像に基づいて、海上の遊泳者である人を検知して検知結果を警告発動部３８に供給する。より具体的には、人検知部３６は、海上を撮像した画像内において、肌色となる画素の有無を検出し、肌色となる画素が存在する場合、人が存在するものとみなす。
【００４３】
位置情報検出部３７は、例えば、GPS（Global Positioning System）などからなり、所定の時間間隔で、図示せぬ衛星からの信号を受信して、自らの地球上の位置を示す緯度経度を検出して、位置情報として警告発動部３８に供給する。
【００４４】
警告発動部３８は、離岸流特定部３５より供給されてくる特定情報に基づいて、離岸流が発生している領域、または、発生している可能性がある領域が特定されている場合、人検知部３６に対して離岸流が発生している可能性がある領域、または、発生している領域の付近の海上における遊泳者を人検知処理により検知させる。そして、警告発動部３８は、人検知結果に基づいて、遊泳者である人が検知されたとき、駆動部３９を制御して、その遊泳者の検知された位置に移動させるように制御する。
【００４５】
また、特定情報により離岸流が発生している、または、発生している可能性がある場合、警告発動部３８は、遊泳者である人が検知された位置に到着すると、音声出力部４０を制御して、周囲において、離岸流が発生している、または、発生している可能性があることを警告する情報を音声により海上の遊泳者に通知させる。これにより、海上で遊泳中の遊泳者は、直ちに避難することが可能となる。離岸流は、流れの方向に対して垂直方向に泳ぐことで離岸流から退避できることが知られているので、離岸流の方向に応じて、離脱すべき方向を誘導するような情報を音声で出力するようにすることで、遊泳者をより確実に離岸流による被害から守ることも可能となる。
【００４６】
さらに、特定情報により離岸流が発生している、または、発生している可能性がある場合、警告発動部３８は、通信部４１を制御して、離岸流が発生している、または、発生している可能性がある海上の領域の情報を示す特定情報と共に、自らの位置情報を、自らを管理する使用者が使用する図示せぬ管理センターの管理サーバなどに通知させる。この通知により、監視装置１１を管理運営している使用者は、図示せぬ管理サーバに通知される情報に基づいて、離岸流が発生している、または、発生している可能性があることを認識することが可能となり、更なる、注意喚起を促したり、迅速な救助要請を補助することが可能となる。
【００４７】
駆動部３９は、通信部４１を介して、監視装置１１を管理する使用者により操作される、図示せぬ遠隔操作装置、または、管理サーバなどより供給されてくる操作信号に基づいて、監視装置１１を飛行させるための複数の回転翼のそれぞれの回転数、および回転方向（ピッチ、ロール、およびヨー等）を制御して飛行を制御する。
【００４８】
＜監視処理＞
次に、図３のフローチャートを参照して、図２の監視装置１１による監視処理について説明する。尚、この監視処理においては、監視装置１１は、駆動部３９が通信部４１を介して遠隔地から制御されており、所定の高さで所定の画角の海上の画像を撮像できる状態で飛行していることを前提とする。
【００４９】
ステップＳ１１において、撮像部３１は、監視対象となる海上を所定の画角となる高さから撮像し、撮像した画像をYC分離部３２、および人検知部３６に供給する。
【００５０】
ステップＳ１２において、YC分離部３２は、撮像部３１より供給されてきた監視対象となる海上の画像をYC分離し、輝度信号Yを波検知部３３に出力し、色差信号Cを海面色検知部３４に供給する。
【００５１】
ステップＳ１３において、波検知部３３は、輝度信号Yに基づいて、波検知処理を実行して、撮像範囲内における海上において、離岸流が発生している可能性のある領域を特定し、特定した情報を波検知結果として出力する。
【００５２】
＜波検知処理＞
ここで、図４のフローチャートを参照して、波検知部３３における波検知処理について説明する。
【００５３】
ステップＳ５１において、波検知部３３は、輝度信号Yからなる画像を、図示せぬメモリに蓄えると共に、例えば、矩形状の小領域に分割する。尚、波検知部３３は、所定の容量のメモリに、所定時間分の輝度信号Yからなる画像を蓄積しており、いっぱいになった場合、最も古い画像を削除して、新たな画像を蓄積し、常に新たな画像が供給されるとき、そのタイミングから所定時間だけ遡った分までの複数の画像を、小領域に分割した状態で記憶している。
【００５４】
ステップＳ５２において、波検知部３３は、現在の画像の小領域における輝度値を計算する。より詳細には、波検知部３３は、各小領域における画素の輝度信号Yの最大値、平均値、または最小値を計算する。なお、小領域における輝度信号Yは、小領域内の画素の輝度信号Yの特徴が抽出できる限り、最大値、平均値、および最小値以外であってもよい。
【００５５】
ステップＳ５３において、波検知部３３は、図示せぬメモリに蓄積された所定時間分の全画像における各小領域における輝度値の最大値、平均値、または最小値の時間方向の変移を取得する。
【００５６】
ステップＳ５４において、波検知部３３は、メモリに蓄積されている所定時間分の画像における輝度値の最大値、平均値、または最小値の時間方向の変移から、小領域毎の輝度レンジ（振幅）をマッピングし、輝度レンジ（振幅）が所定値より小さい箇所を特定する。
【００５７】
ステップＳ５５において、波検知部３３は、特定した領域に離岸流が発生している可能性が高いことを示すマッピング結果を波検知結果として離岸流特定部３５に出力する。
【００５８】
すなわち、図５の実線の波形で示されるように、所定の時間の輝度値の振幅Ｈのレンジが大きいということは、その小領域には波が発生しているものとみなすことができる。また、逆に、図５の点線の波形で示されるように、輝度値の振幅Ｈのレンジが小さいということは、その小領域には波が発生していないものとみなすことができる。尚、図５は、縦軸が輝度値の振幅Ｈであり、横軸が時間ｔである。
【００５９】
そこで、波検知部３３は、図６で示されるように、小領域のそれぞれのうち、輝度値変化のレンジが所定の閾値よりも小さい小領域に対して右上がりの斜線を付した分布をマッピングし、これを波検知結果として出力する。すなわち、図６においては、監視範囲の全体が矩形状の小領域に分割され、右上がり斜線が付された領域において、離岸流が発生している可能性が高い領域であることを示した波検知結果である。尚、図６におけるＢは海岸線を示しており、図６において海岸線Ｂより上方が海上Ｓであり、下方が海岸Ｇである。
【００６０】
ここで、図３のフローチャートの説明に戻る。
【００６１】
ステップＳ１４において、海面色検知部３４は、色差信号Cに基づいて、海面色検知処理を実行して、撮像範囲内における海上において、離岸流が発生している可能性のある領域を特定し、その特定した情報を海面色検知結果として出力する。
【００６２】
＜海面色検知処理＞
ここで、図７のフローチャートを参照して、海面色検知処理について説明する。
【００６３】
ステップＳ７１において、海面色検知部３４は、色差信号Cからなる画像を、図示せぬメモリに蓄えると共に、例えば、矩形状の小領域に分割する。尚、海面色検知部３４は、波検知部３３と同様に、所定の容量のメモリに、所定時間分の色差信号Cからなる画像を蓄積しており、いっぱいになった場合、最も古い画像を削除して、新たな画像を蓄積し、常に新たな画像が供給されるとき、そのタイミングから所定の時間だけ遡った分の画像を、小領域に分割した状態で記憶している。
【００６４】
ステップＳ７２において、海面色検知部３４は、海面の色の所定時間の平均値を計算する。すなわち、海面色検知部３４は、記憶している海面の全画像の海面の色の所定時間の平均値を計算する。
【００６５】
ステップＳ７３において、海面色検知部３４は、小領域毎に、小領域内の画素の色の平均値の所定時間の平均値と、全小領域の色の所定時間の平均値との差分を求め、平均値との差分が所定の閾値よりも大きく、色の違いが大きい小領域を、海面色が濁った領域として特定しマッピングする。
【００６６】
ステップＳ７４において、海面色検知部３４は、特定した領域に離岸流が発生している可能性が高いことを示すマッピング結果を海面色検知結果として離岸流特定部３５に出力する。
【００６７】
すなわち、小領域毎に、色の所定時間の平均値と、画像全体の色の所定時間の平均値との差分が大きく、色の差が大きいとき、その小領域は、他の領域とは色が異なり、海面色が濁っており、離岸流が発生している可能性が高いことが示されることになる。
【００６８】
そこで、海面色検知部３４は、図８で示される、小領域のそれぞれのうち、色の値の所定時間の平均値と、画像全体の所定時間の色の平均値との差分が所定の閾値よりも大きい小領域に対して右下がりの斜線、および黒色を付した分布をマッピングし、これを海面色検知結果として出力する。
【００６９】
すなわち、図８においては、監視範囲の全体が矩形状の小領域に分割され、右上がりの斜線部で示される小領域は、輝度信号Yにより離岸流が発生している可能性が高い領域を示し、右下がりの斜線部が付された小領域は、色差信号Cにより離岸流が発生している可能性が高い領域を示し、さらに、黒色で示される小領域は、輝度信号Yおよび色差信号Cのいずれにおいても離岸流が発生している可能性があることから、離岸流が発生しているものとみなされる領域を示している。
【００７０】
従って、図８においては、輝度信号Yに基づいて、波がないことにより離岸流が発生している可能性のある領域として特定された小領域の範囲は、右上がりの斜線部と黒色が付された小領域の範囲であり、色差信号Cに基づいて、付近と異なる海面色により海水が濁っているとみなされた、離岸流が発生している可能性のある領域として特定された小領域の範囲は、右下がりの斜線部と黒色が付された小領域の範囲である。
【００７１】
ここで、図３のフローチャートの説明に戻る。
【００７２】
ステップＳ１５において、離岸流特定部３５は、波検知部３３より供給されてくる波検知結果と、海面色検知結果とに基づいて、離岸流の有無と、離岸流が発生している位置を特定し、特定結果を警告発動部３８に供給する。
【００７３】
すなわち、図８で示されるようなマッピング結果が得られるような場合、波検知結果により右上がりの斜線部の範囲に離岸流が発生している可能性が高く、海面色検知結果により右下がりの斜線部の範囲に離岸流が発生している可能性が高い。さらに、黒色の範囲においては、波検知結果からも、海面色検知結果からも離岸流が発生している可能性が高いともなされるので、現実に離岸流が発生しているものとみなされる。
【００７４】
このことから、離岸流特定部３５は、黒色の領域では、離岸流が発生しているものとして特定し、右上がりの斜線部、または、右下がりの斜線部については、離岸流が発生している可能性がある領域であるものとして特定する。
【００７５】
すなわち、ステップＳ１５においては、例えば、図８で示されるようなマッピング結果が特定結果として出力される。
【００７６】
ステップＳ１６において、警告発動部３８は、特定結果に応じて、離岸流が発生しているか否かを判定する。より詳細には、警告発動部３８は、特定結果内に、離岸流が発生している可能性がある領域、または、離岸流が発生している領域の少なくともいずれかが存在する場合、離岸流が発生しているものと判定し、それ以外の場合、離岸流の発生がないものと判定する。
【００７７】
すなわち、特定結果が図８で示されるような場合、離岸流が発生している可能性がある領域、および、離岸流が発生している領域がいずれも存在するため、離岸流が発生しているものとみなされて処理は、ステップＳ１７に進む。
【００７８】
ステップＳ１７において、警告発動部３８は、人検知部３６に対して撮像された画像内において、人間の有無を検知するように指示する。人検知部３６は、この指示に応じて、人検知処理を実行し、撮像された画像内の人間の有無を検知する。この際、警告発動部３８は、同時に、位置情報検出部３７より供給されてくる自らの位置情報を取得する。
【００７９】
＜人検知処理＞
ここで、図９のフローチャートを参照して、人検知処理について説明する。
【００８０】
ステップＳ９１において、人検知部３６は、撮像部３１より供給されてくる画像のうち、肌色の領域を検索する。より詳細には、人検知部３６は、各画素について、画素値が肌色に対応する画素値であるか否かを判定し、対応する位置に肌色が検知されたことを示す情報を付して、マッピングする。
【００８１】
ステップＳ９２において、人検知部３６は、各画素について肌色が検知されたか否かを示す情報がマッピングされたマッピング結果からなる人検知結果を警告発動部３８に出力する。
【００８２】
以上の処理により、人検知結果が、撮像された画像内において肌色となる画素が存在するか否かを示すマッピング情報として出力される。すなわち、遊泳者などの人間が、画像領域内において存在する場合、肌色を含む画像となるため、このような処理により、画像内に人間が撮像されているのか否かを判定することが可能となる。
【００８３】
＜その他の人検知処理＞
以上においては、海上の撮像範囲内における人間の有無を肌色の画素のマッピング情報として抽出する例について説明してきたが、水着やウェットスーツなどにより、肌色の露出が少なく、画像内に人間が写っているのに、検出できないことがある。そこで、画像内において、海上の色、波の色、および肌色を検出し、肌色と、それら以外の色が検出される位置には、人間が存在することを示す情報をマッピングするようにして、より高精度に人間を検出するようにしてもよい。
【００８４】
そこで、次に、図１０のフローチャートを参照して、撮像された画像内において、海上の色、波の色、および肌色の画素を検出し、肌色の画素と、それら以外の画素については、人間が存在するものとしてマッピングするようにした人検知処理について説明する。
【００８５】
ステップＳ１１１において、人検知部３６は、全画素について画素値が海上の色、波の色、および肌色であるか否かを判定する。
【００８６】
ステップＳ１１２において、人検知部３６は、全画素のうち、海上の色、波の色、および肌色のいずれでもない画素（異色画素）、および、肌色の画素については、人間を撮像した画素とみなしてマッピングする。
【００８７】
ステップＳ１１３において、人検知部３６は、マッピング結果を人検知結果として警告発動部３８に供給する。
【００８８】
以上の処理により、撮像された画像内において、肌色の画素、または、海上の色、波の色、および肌色のどの色にも分類されない異色画素については、人間であるものとみなされたマッピング結果が人検知結果として検出される。結果として、肌色以外の色の衣類を着用した状態の人間が海上に存在した場合でも、高精度に検出することが可能となる。
【００８９】
ここで、図３のフローチャートの説明に戻る。
【００９０】
ステップＳ１７の処理により人検知結果が取得されると、ステップＳ１８において、警告発動部３８は、人検知結果に基づいて、海上に人が検知されたか否かを判定する。例えば、人検知結果としてのマッピング結果に、人間が存在することを示すマッピング結果が含まれていた場合、警告発動部３８は、海上に人間が存在するものとみなし、処理は、ステップＳ１９に進む。
【００９１】
ステップＳ１９において、警告発動部３８は、通信部４１を制御して、位置情報検出部３７より供給されてくる自らの位置情報と共に、図示せぬ管理センターのサーバ等に離岸流が発生したことを示すマッピング情報からなる離岸流の特定情報、並びに、要救助者となる可能性のある人が存在することを示す情報、および、要救助者の位置を示す人検知結果を通知する。
【００９２】
この処理により、監視装置１１を管理する管理センターのサーバ等には、離岸流の発生、離岸流が発生した位置、離岸流により流される可能性のある要救助者の有無、および、要救助者となる恐れのある人物の位置の情報が通知される。結果として、管理センターを管理する使用者は、離岸流の発生に伴う注意喚起や救助の手配を迅速に実施することが可能になり、離岸流による被害を低減することが可能となる。
【００９３】
ステップＳ２０において、警告発動部３８は、位置情報、および人検知結果に基づいて、人検知結果として検出された人間の海上における位置を割り出し、対応する位置に向けて移動できるように駆動部３９を制御する。さらに、警告発動部３８は、離岸流が検出された位置に近い位置に存在する人間から順番に、本体装置となる監視装置１１を接近させて、音声出力部４０を制御して、離岸流が発生したことを音声により伝達し、避難を促す情報を提供する。例えば、離岸流に巻き込まれていない遊泳者などに対しては、離岸流の発生している方向を伝達し、離岸流の発生している海域に接近しないように促すようなアナウンスをするようにしてもよい。また、離岸流は、流れの方向に対して垂直方向に泳ぐようにすることで離脱できることが知られているので、離岸流に巻き込まれている遊泳者などに対しては、離脱し易い泳ぐべき方向をアナウンスするようにしてもよい。
【００９４】
また、ステップＳ１８において、離岸流により流される可能性のある遊泳者が検出されていない場合、ステップＳ２１において、警告発動部３８は、離岸流が発生したことと共に、離岸流が発生した位置を特定する特定情報のみを管理センターのサーバ等に通知し、処理は、ステップＳ２２に進む。すなわち、この場合は、離岸流による被害者は存在しない可能性が高いので、離岸流の発生と、その位置だけが通知される。
【００９５】
さらに、ステップＳ１６において、離岸流が発生していないとみなされた場合、処理は、ステップＳ２２に進む。すなわち、ステップＳ１７乃至Ｓ２１の処理がスキップされる。
【００９６】
ステップＳ２２において、警告発動部３８は、通信部４１を制御して、動作の終了が指示されてきたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ１１に戻り、以降の処理が繰り返される。そして、ステップＳ２２において、通信部４１を介して図示せぬ管理センターのサーバ等から動作の終了が指示されると、駆動部３９を制御して管理センター等の所定の位置に戻るように制御し、到着し次第処理を終了する。
【００９７】
以上の処理により、撮像した画像の輝度信号Yと色差信号Cとに基づいた、波検知結果と、海面色検知結果とから、沿岸部からでは認識できない、離岸流の発生と、その位置を適切に検出し、通知することが可能となる。結果として、付近の遊泳者に対して、離岸流の発生を喚起することが可能となり、離岸流による被害を軽減することが可能となる。
【００９８】
また、撮像した画像を用いて人検知処理をすることで、離岸流が発生した場合に、その付近の遊泳者の有無と、その位置を検出し、通知することが可能となる。結果として、付近の遊泳者への注意喚起や、避難誘導、および救助等を迅速に実施することが可能となり、離岸流による被害を軽減することが可能となる。
【００９９】
さらに、監視装置１１が、海上で検出した遊泳者に接近して、音声によるアナウンスで、離岸流の発生と、その発生位置を通知して、離岸流に巻き込まれるのを未然に防止することが可能になる。
【０１００】
また、離岸流に巻き込まれた遊泳者に対して、離岸流から離脱する方向を指示するといったことが可能となり、離岸流の被害を低減することが可能となる。
【０１０１】
尚、以上においては、１台の監視装置１１による監視処理について説明してきたが、海上の監視範囲は広範であるので、複数の監視装置１１を用いて広範の海上における離岸流の監視システムを実現するようにしてもよい。この際、複数の監視装置１１を連携して使用するようにしてもよく、例えば、複数の監視装置１１のいずれかにおいて、離岸流の発生が検出された場合、他の複数の監視装置１１にもその情報を通知して、それぞれの監視範囲における遊泳者に対して離岸流の注意を喚起するようにしてもよい。
【０１０２】
また、以上においては、監視装置１１が、離岸流により被害者となりそうな遊泳者に接近して、離岸流の発生や避難方向をアナウンスする例について説明してきたが、例えば、監視装置１１が救命具等を搭載し、離岸流に流されている遊泳者に対して投下して救助を補助させるようにしてもよい。
【０１０３】
さらに、以上においては、監視装置１１が離岸流の発生を検知した場合や、人検知処理により遊泳者を検出した場合については、通信部４１を制御して、管理センターのサーバに通知する、または、駆動部３９を制御して、遊泳者の付近に接近し、音声により離岸流の発生や位置、並びに避難方向等を通知する例について説明してきた。
【０１０４】
しかしながら、例えば、遊泳者が防水機能と通信機能とを備えた腕時計型のウェアラブル端末等を身に着けているような場合、離岸流の発生や避難方向等の情報をウェアラブル端末等に通知するようにしてもよい。また、管理センターのサーバ等が、監視装置１１からの離岸流の発生や位置、および避難方向等の情報を、ウェアラブル端末に通知するようにしてもよい。さらに、ウェアラブル端末を介して、遊泳者が発信し、管理センターのサーバを操作するオペレータと対話できるようにして、離岸流の発生や避難誘導をするようにしてもよい。
【０１０５】
また、以上においては、離岸流の発生の有無やその位置に基づいて、警告発動部３８が通信部４１を制御して、警告を発する例について説明してきたが、警告発動部３８に対応する機能を管理センターのサーバ等に持たせるようにして、監視装置１１からは、離岸流の特定情報、人検知結果、および位置情報のみを通知させるようにして、警告や避難誘導等は、管理センターのサーバ等から通知させるようにしてもよい。
【０１０６】
さらに、飛行するドローンには、撮像部３１のみを搭載して、撮像した画像のみを管理センターのサーバ等に通知させ、図２におけるYC分離部３２以降の機能を全てサーバ等で実現するようにしてもよい。
【０１０７】
また、監視装置１１は、ドローン等の飛行装置により実現させることが可能となるため、従来のように、例えば、ヘリコプターなどの大型で、高コストの機器を使用することなく、低コストで監視システムを実現することが可能となる。
【０１０８】
さらに、以上においては、ドローン等の飛行機能を備えた監視装置１１の構成例について説明してきたが、海上が監視可能な高台や海上支柱に設けられた監視台などに撮像部３１を固定した状態で図１における駆動部３９以外の構成を設けるようにして、同様の処理を実行するようにしてもよい。この場合、ドローン等の飛行装置も不要となるため、更なる、低コストでの離岸流の監視システムを実現することが可能となる。
【０１０９】
＜ソフトウェアにより実行させる例＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１１０】
図１１は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０１１１】
入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０１１２】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１１３】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０１１４】
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１１５】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０１１６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１１７】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１１８】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１１９】
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１２０】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１２１】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１２２】
尚、本開示は、以下のような構成も取ることができる。
＜１＞  海面の画像を撮像する撮像部と、
前記画像において、前記海面の波の有無と、前記海面の色とに基づいて、前記海面に離岸流が発生している領域を特定する特定部と
を含む監視装置。
＜２＞  前記海面の画像を輝度信号と色差信号とに分離する分離部と、
前記輝度信号に基づいて、前記海面の波の有無を検知する波検知部と、
前記色差信号に基づいて、前記海面の色を検知する海面色検知部とを含み、
前記特定部は、前記波検知部の波検知結果により求められた、前記海面の波の有無と、前記海面色検知部の海面色検知結果により求められた、前記海面色とに基づいて、前記海面に離岸流が発生している領域を特定する
＜１＞に記載の監視装置。
＜３＞  前記波検知部は、
前記輝度信号からなる画像を小領域に分割し、前記小領域毎の所定時間における輝度値の変位における輝度レンジを測定し、
前記特定部は、前記輝度レンジが所定値よりも小さい小領域の範囲を前記離岸流が発生する可能性のある領域として特定する
＜２＞に記載の監視装置。
＜４＞  前記小領域毎の所定時間における輝度値の変位は、前記小領域毎の所定時間における輝度値の最大値、平均値、および最小値のいずれかを含む
＜３＞に記載の監視装置。
＜５＞  前記海面色検知部は、
前記色差信号からなる画像を小領域に分割し、前記小領域毎の所定時間における色の平均値を測定し、
前記特定部は、前記小領域毎の所定時間における色の平均値の前記画像全体の平均値との差分が所定の閾値よりも大きい小領域の範囲を前記離岸流が発生する可能性のある領域として特定する
＜２＞に記載の監視装置。
＜６＞  前記波検知部は、
前記輝度信号からなる画像を小領域に分割し、前記小領域毎の所定時間における輝度値の変位における輝度レンジを測定し、
前記海面色検知部は、
前記色差信号からなる画像を小領域に分割し、前記小領域毎の所定時間における色の平均値を測定し、
前記特定部は、前記輝度レンジが所定値よりも小さい小領域の範囲であって、かつ、
前記小領域毎の所定時間における色の平均値の前記画像全体の平均値との差分が所定の閾値よりも大きい小領域の範囲を前記離岸流が発生している領域として特定する
＜２＞に記載の監視装置。
＜７＞  前記特定部により、前記離岸流の発生している領域が特定された場合、前記離岸流の発生している領域の情報を送信する通信部をさらに含む
＜１＞乃至＜６＞のいずれかに記載の監視装置。
＜８＞  前記画像に基づいて、人を検知する人検知部をさらに含む
＜１＞乃至＜７＞のいずれかに記載の監視装置。
＜９＞  前記特定部は、前記離岸流が発生している領域を特定した場合、前記人検知部を制御して、前記画像に基づいて、前記人を検知させる
＜８＞に記載の監視装置。
＜１０＞  前記人検知部は、前記画像における各画素のうち、肌色を検知する領域において、人を検知したものとみなす
＜８＞に記載の監視装置。
＜１１＞  前記人検知部は、前記画像における各画素のうち、海上の色、波の色、および肌色を検知し、前記肌色の領域、並びに、前記海上の色、前記波の色、および前記肌色以外の色の領域において、人を検知したものとみなす
＜８＞に記載の監視装置。
＜１２＞  前記監視装置の本体を移動させるための駆動部をさらに含み、
前記人検知部が人を検知した場合、前記特定部は、前記駆動部を制御して、前記人が検知された領域に対応する位置に移動させる
＜８＞に記載の監視装置。
＜１３＞  前記駆動部は、複数の回転翼を含む
＜１２＞に記載の監視装置。
＜１４＞  前記離岸流の発生と避難誘導とをアナウンスする音声出力部をさらに含み、
前記人検知部が人を検知した場合、前記特定部は、前記駆動部を制御して、前記人が検知された領域に対応する位置に移動させ、前記音声出力部を制御して、前記離岸流の発生と避難誘導とをアナウンスさせる
＜８＞に記載の監視装置。
＜１５＞  救命具を投下させる投下部をさらに含み、
前記人検知部が人を検知した場合、前記特定部は、前記駆動部を制御して、前記人が検知された領域に対応する位置に移動させ、前記投下部を制御して、検知された前記人に対して前記救命具を投下させる
＜８＞に記載の監視装置。
＜１６＞  海面の画像を撮像し、
前記画像において、前記海面の波の有無と、前記海面の色とに基づいて、前記海面に離岸流が発生している領域を特定するステップを
を含む監視方法。
＜１７＞  海面の画像を撮像する撮像部と、
前記画像において、前記海面の波の有無と、前記海面の色とに基づいて、前記海面に離岸流が発生している領域を特定する特定部として、
コンピュータを機能させるようにするプログラム。
【符号の説明】
【０１２３】
１１  監視装置，  ３１  撮像部，  ３２  YC分離部，  ３３  波検知部，  ３４  海面色検知部，  ３５  離岸流特定部，  ３６  人検知部，  ３７  位置情報検出部，  ３８  警告発動部，  ３９  駆動部，  ４０  音声出力部，  ４１  通信部
【図１】
2017133901.tif 000003
【図２】
2017133901.tif 000004
【図３】
2017133901.tif 000005
【図４】
2017133901.tif 000006
【図５】
2017133901.tif 000007
【図６】
2017133901.tif 000008
【図７】
2017133901.tif 000009
【図８】
2017133901.tif 000010
【図９】
2017133901.tif 000011
【図１０】
2017133901.tif 000012
【図１１】
2017133901.tif 000013