(57)【要約】 【課題】  就寝異常通知システムにおいて、通知先となる保護者が人物の周辺にいない場合にも、就寝異常を適切に通知可能とする。【解決手段】  就寝異常通知システムに、人物が就寝している就寝画像を取得する画像取得モジュール２２１と、取得した就寝画像を画像解析する画像解析モジュール２１１と、画像解析の結果、前記人物が就寝異常かどうかを検出する就寝異常検出モジュール２１２と、前記人物の保護者のモバイル端末の登録を受け付ける受付モジュール２２２と、前記登録されたモバイル端末の位置を取得する位置取得モジュール２２３と、前記取得した位置が、前記人物の位置から所定の範囲内にあるかどうかを判定する判定モジュール２１３と、前記就寝異常であると検出された場合、かつ、前記所定の範囲内にないと判定された場合に、前記保護者のモバイル端末に就寝異常を通知する通知モジュール２２４を備える。 【選択図】図１
2018198312.tif 000002
【特許請求の範囲】
【請求項１】
人物が就寝している就寝画像を取得する画像取得手段と、
前記取得した就寝画像を画像解析する画像解析手段と、
前記画像解析の結果、前記人物が就寝異常かどうかを検出する就寝異常検出手段と、
前記人物の保護者のモバイル端末の登録を受け付ける受付手段と、
前記登録されたモバイル端末の位置を取得する位置取得手段と、
前記取得した位置が、前記人物の位置から所定の範囲内にあるかどうかを判定する判定手段と、
前記就寝異常であると検出された場合、かつ、前記所定の範囲内にないと判定された場合に、前記保護者のモバイル端末に就寝異常を通知する通知手段と、
を備えることを特徴とする就寝異常通知システム。
【請求項２】
前記画像取得手段は、前記人物が就寝している場所の両脇から水平方向に設置されたカメラから前記就寝画像を取得することを特徴とする請求項１に記載の就寝異常通知システム。
【請求項３】
前記画像解析手段は、過去に取得された就寝画像を教師データとして機械学習を行い、前記人物に適合するようにカスタマイズして画像解析することを特徴とする請求項１または請求項２のいずれかに記載の就寝異常通知システム。
【請求項４】
前記就寝異常検出手段は、過去の画像解析の結果を教師データとして機械学習を行い、前記人物に適合するようにカスタマイズして就寝異常を検出することを特徴とする請求項１から請求項３のいずれか一項に記載の就寝異常通知システム。
【請求項５】
前記就寝異常検出手段は、前記画像解析の結果、前記人物の鼻と口とが同時に塞がっているかどうかを判定することで就寝異常を検出することを特徴とする請求項１から請求項４のいずれか一項に記載の就寝異常通知システム。
【請求項６】
前記就寝異常検出手段は、前記画像解析の結果、前記人物が所定の時間内に何らかの動作を行わず動きが見られなかった場合に就寝異常を検出することを特徴とする請求項１から請求項５のいずれか一項に記載の就寝異常通知システム。
【請求項７】
前記就寝異常検出手段は、前記人物が所定の時間内に何らかの動作を行わず動きが見られなかった場合に異常であることを教師データとして機械学習を行い、就寝異常を検出することを特徴とする請求項１から請求項６のいずれか一項に記載の就寝異常通知システム。
【請求項８】
前記通知手段は、前記就寝異常であると検出された場合、かつ、前記所定の範囲内にあると判定された場合に、前記人物の周囲にいる保護者に向けて警告音または警告光で通知することを特徴とする請求項１から請求項７のいずれか一項に記載の就寝異常通知システム。
【請求項９】
前記通知手段は、前記就寝異常であると検出された場合、かつ、前記モバイル端末の位置が取得できなかった場合に、前記人物の周囲にいる保護者に向けて警告音または警告光で通知するか、または、事前に就寝異常検知システムに登録した動作を行うことを特徴とする請求項１から請求項８のいずれか一項に記載の就寝異常通知システム。
【請求項１０】
人物が就寝している就寝画像を取得するステップと、
前記取得した就寝画像を画像解析するステップと、
前記画像解析の結果、前記人物が就寝異常かどうかを検出するステップと、
前記人物の保護者のモバイル端末の登録を受け付けるステップと、
前記登録されたモバイル端末の位置を取得するステップと、
前記取得した位置が、前記人物の位置から所定の範囲内にあるかどうかを判定するステップと、
前記就寝異常であると検出された場合、かつ、前記所定の範囲内にないと判定された場合に、前記保護者のモバイル端末に就寝異常を通知するステップと、
を備えることを特徴とする就寝異常通知方法。
【請求項１１】
就寝異常通知システムに、
人物が就寝している就寝画像を取得するステップ、
前記取得した就寝画像を画像解析するステップ、
前記画像解析の結果、前記人物が就寝異常かどうかを検出するステップ、
前記人物の保護者のモバイル端末の登録を受け付けるステップ、
前記登録されたモバイル端末の位置を取得するステップ、
前記取得した位置が、前記人物の位置から所定の範囲内にあるかどうかを判定するステップ、
前記就寝異常であると検出された場合、かつ、前記所定の範囲内にないと判定された場合に、前記保護者のモバイル端末に就寝異常を通知するステップ、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物が就寝している画像を取得して画像解析を行い、就寝異常かどうかを検出し、就寝異常が検出された場合に異常を通知する就寝異常通知システムにおいて、通知先となる保護者が人物の周辺にいない場合にも、就寝異常を適切に通知可能な就寝異常通知システム、就寝異常通知方法、およびプログラムに関する。
【背景技術】
【０００２】
就寝異常を通知するためのシステムとして、病院患者や老人、幼児等の就寝中の人物に、うつ伏せ寝等の就寝異常があった時に、周囲の保護者に音や光で通知するシステムが提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−９９１４０
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の方法では、音や光による通知を行っても、保護者が通知手段の周囲にいない場合には気付くことができないという問題があった。【０００５】
本発明では、上記の課題に鑑み、人物が就寝している画像を取得して画像解析を行い、就寝異常かどうかを検出し、就寝異常が検出された場合に異常を通知する就寝異常通知システムにおいて、通知先となる保護者が人物の周辺にいない場合にも、就寝異常を適切に通知可能な就寝異常通知システム、就寝異常通知方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明では、以下のような解決手段を提供する。【０００７】
第１の特徴に係る発明は、
人物が就寝している就寝画像を取得する画像取得手段と、
前記取得した就寝画像を画像解析する画像解析手段と、
前記画像解析の結果、前記人物が就寝異常かどうかを検出する就寝異常検出手段と、
前記人物の保護者のモバイル端末の登録を受け付ける受付手段と、
前記登録されたモバイル端末の位置を取得する位置取得手段と、
前記取得した位置が、前記人物の位置から所定の範囲内にあるかどうかを判定する判定手段と、
前記就寝異常であると検出された場合、かつ、前記所定の範囲内にないと判定された場合に、前記保護者のモバイル端末に就寝異常を通知する通知手段と、
を備えることを特徴とする就寝異常通知システムを提供する。【０００８】
第１の特徴に係る発明によれば、就寝異常通知システムにおいて、人物が就寝している就寝画像を取得する画像取得手段と、前記取得した就寝画像を画像解析する画像解析手段と、前記画像解析の結果、前記人物が就寝異常かどうかを検出する就寝異常検出手段と、前記人物の保護者のモバイル端末の登録を受け付ける受付手段と、前記登録されたモバイル端末の位置を取得する位置取得手段と、前記取得した位置が、前記人物の位置から所定の範囲内にあるかどうかを判定する判定手段と、前記就寝異常であると検出された場合、かつ、前記所定の範囲内にないと判定された場合に、前記保護者のモバイル端末に就寝異常を通知する通知手段と、を備える。【０００９】
第１の特徴に係る発明は、就寝異常通知システムのカテゴリであるが、就寝異常通知方法、およびプログラムであっても同様の作用、効果を奏する。【００１０】
第２の特徴に係る発明は、第１の特徴に係る発明である就寝異常通知システムであって、
前記画像取得手段は、前記人物が就寝している場所の両脇から水平方向に設置されたカメラから前記就寝画像を取得することを特徴とする就寝異常通知システムを提供する。【００１１】
第２の特徴に係る発明によれば、第１の特徴に係る発明である就寝異常通知システムにおいて、前記画像取得手段は、前記人物が就寝している場所の両脇から水平方向に設置されたカメラから前記就寝画像を取得する。【００１２】
第３の特徴に係る発明は、第１の特徴または第２の特徴に係る発明である就寝異常通知システムであって、
前記画像解析手段は、過去に取得された就寝画像を教師データとして機械学習を行い、前記人物に適合するようにカスタマイズして画像解析することを特徴とする就寝異常通知システムを提供する。【００１３】
第３の特徴に係る発明によれば、第１の特徴または第２の特徴に係る発明である就寝異常通知システムにおいて、前記画像解析手段は、過去に取得された就寝画像を教師データとして機械学習を行い、前記人物に適合するようにカスタマイズして画像解析する。【００１４】
第４の特徴に係る発明は、第１の特徴から第３の特徴のいずれかに係る発明である就寝異常通知システムであって、
前記就寝異常検出手段は、過去の画像解析の結果を教師データとして機械学習を行い、前記人物に適合するようにカスタマイズして就寝異常を検出することを特徴とする就寝異常通知システムを提供する。【００１５】
第４の特徴に係る発明によれば、第１の特徴から第３の特徴のいずれかに係る発明である就寝異常通知システムにおいて、前記就寝異常検出手段は、過去の画像解析の結果を教師データとして機械学習を行い、前記人物に適合するようにカスタマイズして就寝異常を検出する。【００１６】
第５の特徴に係る発明は、第１の特徴から第４の特徴のいずれかに係る発明である就寝異常通知システムであって、
前記就寝異常検出手段は、前記画像解析の結果、前記人物の鼻と口とが同時に塞がっているかどうかを判定することで就寝異常を検出することを特徴とする就寝異常通知システムを提供する。【００１７】
第５の特徴に係る発明によれば、第１の特徴から第４の特徴のいずれかに係る発明である就寝異常通知システムにおいて、前記就寝異常検出手段は、前記画像解析の結果、前記人物の鼻と口とが同時に塞がっているかどうかを判定することで就寝異常を検出する。【００１８】
第６の特徴に係る発明は、第１の特徴から第５の特徴のいずれかに係る発明である就寝異常通知システムであって、
前記就寝異常検出手段は、前記画像解析の結果、前記人物が所定の時間内に何らかの動作を行わず動きが見られなかった場合に就寝異常を検出することを特徴とする就寝異常通知システムを提供する。【００１９】
第６の特徴に係る発明によれば、第１の特徴から第５の特徴のいずれかに係る発明である就寝異常通知システムにおいて、前記就寝異常検出手段は、前記画像解析の結果、前記人物が所定の時間内に何らかの動作を行わず動きが見られなかった場合に就寝異常を検出する。【００２０】
第７の特徴に係る発明は、第１の特徴から第６の特徴のいずれかに係る発明である就寝異常通知システムであって、
前記就寝異常検出手段は、前記人物が所定の時間内に何らかの動作を行わず動きが見られなかった場合に異常であることを教師データとして機械学習を行い、就寝異常を検出することを特徴とする就寝異常通知システムを提供する。【００２１】
第７の特徴に係る発明によれば、第１の特徴から第６の特徴のいずれかに係る発明である就寝異常通知システムにおいて、前記就寝異常検出手段は、前記人物が所定の時間内に何らかの動作を行わず動きが見られなかった場合に異常であることを教師データとして機械学習を行い、就寝異常を検出する。【００２２】
第８の特徴に係る発明は、第１の特徴から第７の特徴のいずれかに係る発明である就寝異常通知システムであって、
前記通知手段は、前記就寝異常であると検出された場合、かつ、前記所定の範囲内にあると判定された場合に、前記人物の周囲にいる保護者に向けて警告音または警告光で通知することを特徴とする就寝異常通知システムを提供する。【００２３】
第８の特徴に係る発明によれば、第１の特徴から第７の特徴のいずれかに係る発明である就寝異常通知システムにおいて、前記通知手段は、前記就寝異常であると検出された場合、かつ、前記所定の範囲内にあると判定された場合に、前記人物の周囲にいる保護者に向けて警告音または警告光で通知する。【００２４】
第９の特徴に係る発明は、第１の特徴から第８の特徴のいずれかに係る発明である就寝異常通知システムであって、
前記通知手段は、前記就寝異常であると検出された場合、かつ、前記モバイル端末の位置が取得できなかった場合に、前記人物の周囲にいる保護者に向けて警告音または警告光で通知するか、または、事前に就寝異常検知システムに登録した動作を行うことを特徴とする就寝異常通知システムを提供する。【００２５】
第９の特徴に係る発明によれば、第１の特徴から第８の特徴のいずれかに係る発明である就寝異常通知システムにおいて、前記通知手段は、前記就寝異常であると検出された場合、かつ、前記モバイル端末の位置が取得できなかった場合に、前記人物の周囲にいる保護者に向けて警告音または警告光で通知するか、または、事前に就寝異常検知システムに登録した動作を行う。【００２６】
第１０の特徴に係る発明は、
就寝異常通知方法であって、
人物が就寝している就寝画像を取得するステップと、
前記取得した就寝画像を画像解析するステップと、
前記画像解析の結果、前記人物が就寝異常かどうかを検出するステップと、
前記人物の保護者のモバイル端末の登録を受け付けるステップと、
前記登録されたモバイル端末の位置を取得するステップと、
前記取得した位置が、前記人物の位置から所定の範囲内にあるかどうかを判定するステップと、
前記就寝異常であると検出された場合、かつ、前記所定の範囲内にないと判定された場合に、前記保護者のモバイル端末に就寝異常を通知するステップと、
を備えることを特徴とする就寝異常通知方法を提供する。【００２７】
第１１の特徴に係る発明は、就寝異常通知システムに、
人物が就寝している就寝画像を取得するステップ、
前記取得した就寝画像を画像解析するステップ、
前記画像解析の結果、前記人物が就寝異常かどうかを検出するステップ、
前記人物の保護者のモバイル端末の登録を受け付けるステップ、
前記登録されたモバイル端末の位置を取得するステップ、
前記取得した位置が、前記人物の位置から所定の範囲内にあるかどうかを判定するステップ、
前記就寝異常であると検出された場合、かつ、前記所定の範囲内にないと判定された場合に、前記保護者のモバイル端末に就寝異常を通知するステップ、
を実行させるためのプログラムを提供する。
【発明の効果】
【００２８】
本発明によれば、人物が就寝している画像を取得して画像解析を行い、就寝異常かどうかを検出し、就寝異常が検出された場合に異常を通知する就寝異常通知システムにおいて、通知先となる保護者が人物の周辺にいない場合にも、就寝異常を適切に通知可能な就寝異常通知システム、就寝異常通知方法、およびプログラムを提供することが可能となる。
【図面の簡単な説明】
【００２９】
【図１】図１は、本発明の好適な実施形態の概要図である。
【図２】図２は、カメラ１００とコンピュータ２００とモバイル端末３００の機能ブロックと各機能の関係を示す図である。
【図３】図３は、カメラ１００での撮像画像をコンピュータ２００で画像解析処理を行いモバイル端末３００に就寝異常を通知する場合のフローチャート図である。
【図４】図４は、カメラ１００とコンピュータ２００とモバイル端末３００と警報装置５００の機能ブロックと各機能の関係を示す図である。
【図５】図５は、就寝異常を検出し、モバイル端末３００が所定範囲内にある場合のコンピュータ２００と警報装置５００のフローチャート図である。（処理Ａ）
【図６】図６は、就寝異常を検出し、モバイル端末３００の位置情報を取得できなかった場合のコンピュータ２００と警報装置５００のフローチャート図である。（処理Ｂ）
【図７】図７は、コンピュータ２００が就寝異常の画像解析を行うための機械学習を行う場合のフローチャート図である。
【図８】図８は、就寝異常を検知した際に、モバイル端末３００を所持する保護者７００が、所定の範囲内にいない場合の一例を示す模式図である。
【図９】図９は、就寝異常を検知した際に、モバイル端末３００を所持する保護者７００が、所定の範囲内にいる場合の一例を示す模式図である。
【図１０】図１０は、就寝異常を検知した際に、モバイル端末３００の位置情報が取得できなかった場合の一例を示す模式図である。
【発明を実施するための形態】
【００３０】
以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
【００３１】
［就寝異常通知システムの概要］
図１は、本発明の好適な実施形態の概要図である。この図１に基づいて、本発明の概要を説明する。就寝異常通知システムは、カメラ１００、コンピュータ２００、モバイル端末３００、通信網４００から構成される。
【００３２】
なお、図１において、カメラ１００の数は１つに限らず複数であってよい。また、コンピュータ２００は、実在する装置に限らず、仮想的な装置であってもよい。
【００３３】
カメラ１００は、図２に示すように、撮像部１０、制御部１１０、通信部１２０から構成される。また、コンピュータ２００は、同じく図２に示すように、制御部２１０、通信部２２０、記憶部２３０、入出力部２４０、から構成される。制御部２１０は記憶部２３０と協働して画像解析モジュール２１１、就寝異常検出モジュール２１２、判定モジュール２１３を実現する。また、通信部２２０は、制御部２１０、記憶部２３０と協働して画像取得モジュール２２１、受付モジュール２２２、位置取得モジュール２２３、通知モジュール２２４を実現する。モバイル端末３００は、位置情報取得部３０、制御部３１０、通信部３２０から構成される。通信網４００は、インターネット等の公衆通信網でも専用通信網でもよく、カメラ１００とコンピュータ２００とモバイル端末３００間の通信を可能とする。
【００３４】
カメラ１００は、コンピュータ２００とデータ通信可能な、撮像素子やレンズ等の撮像デバイスを備える撮像装置である。ここでは、例としてＷＥＢカメラを図示しているが、デジタルカメラ、デジタルビデオ、無人航空機に搭載したカメラ、ウェアラブルデバイスのカメラ、防犯カメラ、車載カメラ、３６０度カメラ等の必要な機能を備える撮像装置であってよい。
【００３５】
コンピュータ２００は、カメラ１００とデータ通信可能な計算装置である。ここでは、例としてデスクトップ型のコンピュータを図示しているが、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末等であってよい。
【００３６】
モバイル端末３００は、就寝異常通知システムを使用するユーザが所持する端末装置である。就寝異常通知システムを使用するユーザとして、就寝画像を撮像される人物６００の保護者７００を想定する。ここでは、例としてスマートフォンを図示しているが、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末等であってよい。
【００３７】
図１の就寝異常通知システムにおいて、カメラ１００は、就寝異常を検知したい人物６００の水平方向に設置され、就寝画像を撮像可能であるものとする。ここでは、カメラ１００は１台のみ図示しているが、人物６００の両脇からの撮影が可能となるよう、２台以上設置することが望ましい。人物６００としては、赤ちゃんや病院患者や老人等の、見守りが必要な人物を想定する。特に、人物６００として赤ちゃんを想定した場合、乳幼児突然死症候群（ＳＩＤＳ：Ｓｕｄｄｅｎ  Ｉｎｆａｎｔ  Ｄｅｔｈ  Ｓｙｎｄｒｏｍｅ）につながるとされる、うつぶせ寝を就寝異常として検知して、保護者７００に通知する必要がある。そのために、人物６００の水平方向の両脇から撮影することで、より、うつぶせ寝検知のための画像解析の精度を上げることが可能となる。また、コンピュータ２００は、就寝異常の画像解析を行うための機械学習済みであるものとする。モバイル端末３００は、就寝画像を撮像される人物６００の保護者７００が所持しているものであるとする。
【００３８】
まず、モバイル端末３００からコンピュータ２００に対して、就寝異常通知システムへの登録申請を行う（ステップＳ１０１）。ここでの登録申請は、人物６００の保護者７００が所持するモバイル端末３００を、就寝異常通知システムの通知先として設定するためのものである。登録のための申請内容として、カメラ１００の情報、人物６００の情報、保護者７００の情報を含めてもよい。
【００３９】
次に、コンピュータ２００の受付モジュール２２２は、モバイル端末３００からの登録申請を受け付ける（ステップＳ１０２）。受付モジュール２２２は、カメラ１００で撮像する人物６００の保護者７００が所持するモバイル端末３００を、就寝異常通知システムの通知先として設定する。ここであわせて、就寝異常通知のために、モバイル端末３００の位置情報をコンピュータ２００が取得可能とする設定を行う。前記設定のために、必要に応じて、コンピュータ２００とモバイル端末３００の間で、データの受け渡しを行う。
【００４０】
次に、コンピュータ２００は、カメラ１００に対して、人物６００の動画または静止画等の就寝画像を撮像するようカメラ制御を行う（ステップＳ１０３）。ここで、人物６００の就寝画像の撮像開始の指示は、コンピュータ２００から直接行ってもよいし、モバイル端末３００からの指示を受け取った場合に行ってもよい。
【００４１】
カメラ１００の撮像部１０は、コンピュータ２００からの制御を受け、人物６００の動画または静止画等の就寝画像を撮像する（ステップＳ１０４）。
【００４２】
カメラ１００の制御部１１０は、通信部１２０を介して、撮像した就寝画像をコンピュータ２００に送信する（ステップＳ１０５）。
【００４３】
コンピュータ２００の画像取得モジュール２２１は、カメラ１００から就寝画像を受信する（ステップＳ１０６）。
【００４４】
コンピュータ２００の画像解析モジュール２１１は、カメラ１００から就寝画像を解析する（ステップＳ１０７）。この画像解析モジュール２１１は、就寝異常の画像解析を行うための機械学習済みであるものとする。就寝異常の画像解析を行うための機械学習の方法については、後述する。
【００４５】
コンピュータ２００の就寝異常検出モジュール２１２は、ステップＳ１０７の画像解析結果に基づき、就寝異常を検出する（ステップＳ１０８）。ここでの就寝異常とは、たとえば、人物６００の鼻と口とが同時に塞がっているか場合、あるいは、所定の時間内に何らかの動作を行わず動きが見られなかった場合、等が例としてあげられる。その他、赤ちゃんの目に指が入りそうな場合、ベッドから落ちそうな場合、等、保護者７００からの登録を受け付けて、カスタマイズ可能としてもよい。
【００４６】
就寝異常が検出された場合、コンピュータ２００の位置取得モジュール２２３は、モバイル端末３００から位置情報を取得する（ステップＳ１０９）。
【００４７】
ステップ１０９で、モバイル端末３００の位置情報が取得できた場合、コンピュータ２００の判定モジュール２１３は、モバイル端末３００が所定の範囲内にあるかどうかを判定する（ステップＳ１１０）。ここでの所定の範囲内とは、カメラ１００および人物６００の周囲であるか、後述する警報装置５００の周囲であるか、とする。警報装置５００により就寝異常を通知する場合に、通知を正常に認知できる範囲を所定の範囲として設定することが望ましい。
【００４８】
ステップＳ１１０で、モバイル端末３００が所定の範囲内にないと判定された場合、コンピュータ２００の通知モジュール２２４が、モバイル端末３００に対して、就寝異常を通知する（ステップＳ１１１）。
【００４９】
最後に、モバイル端末３００は通信部３２０を介して就寝異常の通知を受信し、設定に応じて保護者７００に対して提示する（ステップＳ１１２）。ここでの就寝異常の提示方法は、音、光、バイブレーション、動画または静止画の表示等、事前に設定可能であるものとする。
【００５０】
以上のように、本発明によれば、人物が就寝している画像を取得して画像解析を行い、就寝異常かどうかを検出し、就寝異常が検出された場合に異常を通知する就寝異常通知システムにおいて、通知先となる保護者が人物の周辺にいない場合にも、保護者の所持するモバイル端末に就寝異常を通知することで、就寝異常を適切に通知可能な就寝異常通知システム、就寝異常通知方法、およびプログラムを提供することが可能となる。
【００５１】
［各機能の説明］
図２は、カメラ１００とコンピュータ２００とモバイル端末３００の機能ブロックと各機能の関係を示す図である。カメラ１００は、撮像部１０、制御部１１０、通信部１２０から構成される。コンピュータ２００は、制御部２１０、通信部２２０、記憶部２３０、入出力部２４０、から構成される。制御部２１０は記憶部２３０と協働して画像解析モジュール２１１、就寝異常検出モジュール２１２、判定モジュール２１３を実現する。また、通信部２２０は、制御部２１０、記憶部２３０と協働して画像取得モジュール２２１、受付モジュール２２２、位置取得モジュール２２３、通知モジュール２２４を実現する。モバイル端末３００は、位置情報取得部３０、制御部３１０、通信部３２０から構成される。通信網４００は、インターネット等の公衆通信網でも専用通信網でもよく、カメラ１００とコンピュータ２００とモバイル端末３００間の通信を可能とする。
【００５２】
カメラ１００は、コンピュータ２００とデータ通信可能な、撮像素子やレンズ等の撮像デバイスを備える撮像装置である。ここでは、例としてＷＥＢカメラを図示しているが、デジタルカメラ、デジタルビデオ、無人航空機に搭載したカメラ、ウェアラブルデバイスのカメラ、防犯カメラ、車載カメラ、３６０度カメラ等の必要な機能を備える撮像装置であってよい。
【００５３】
カメラ１００は、撮像部１０として、レンズ、撮像素子、各種ボタン、フラッシュ等の撮像デバイス等を備え、動画や静止画等の撮像画像として撮像する。また、撮像して得られる画像は、画像解析に必要なだけの情報量を持った精密な画像であるものする。また、撮像時の解像度、カメラ角度、カメラ倍率、等を制御可能としてもよい。
【００５４】
制御部１１０として、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等を備える。
【００５５】
通信部１２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）対応デバイスまたは３Ｇ（第３世代移動通信システム）、４Ｇ（第４世代移動通信システム）等のＩＭＴ−２０００規格に準拠した無線デバイス等を備える。有線によるＬＡＮ接続であってもよい。
【００５６】
コンピュータ２００は、カメラ１００とデータ通信可能な計算装置である。ここでは、例としてデスクトップ型のコンピュータを図示しているが、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末等であってよい。
【００５７】
制御部２１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。制御部２１０は記憶部２３０と協働して画像解析モジュール２１１、就寝異常検出モジュール２１２、判定モジュール２１３を実現する。
【００５８】
通信部２２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉ−Ｆｉ対応デバイスまたは３Ｇ、４Ｇ等のＩＭＴ−２０００規格に準拠した無線デバイス等を備える。有線によるＬＡＮ接続であってもよい。通信部２２０は、制御部２１０、記憶部２３０と協働して画像取得モジュール２２１、受付モジュール２２２、位置取得モジュール２２３、通知モジュール２２４を実現する。
【００５９】
記憶部２３０として、ハードディスクや半導体メモリによる、データのストレージ部を備え、撮像画像や、教師データ、画像解析結果、等の処理に必要なデータ等を記憶する。また、記憶部２３０に、就寝画像の教師データのデータベースを備えてもよい。
【００６０】
入出力部２４０は、就寝異常通知システムをコンピュータ２００を介してオペレータが操作する場合に、必要な機能を備えるものとする。入力を実現するための例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン、音声認識を行うためのマイク等を備えることが可能である。また、出力を実現するための例として、液晶ディスプレイ、ＰＣのディスプレイ、プロジェクターへの投影等の表示と音声出力等の形態が考えられる。入出力方法により、本発明は特に機能を限定されるものではない。
【００６１】
モバイル端末３００は、就寝異常通知システムを使用するユーザが所持する端末装置である。ここでは、例としてスマートフォンを図示しているが、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末等であってよい。
【００６２】
モバイル端末３００は、位置情報取得部３０を備え、ＧＰＳ（Ｇｒｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）機能等により、モバイル端末３００の緯度、経度、高度等の情報を取得可能であるものとする。ここで、位置情報の取得方法はＧＰＳに限るものではなく、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、３Ｇ、４Ｇ、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）等の、無線通信方式を使用して位置情報を取得してもよい。また、各通信方式に応じた位置情報の取得に関しては、本特許を限定するものではなく、既存の技術を利用可能であるものとする。
【００６３】
制御部３１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。
【００６４】
通信部３２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉ−Ｆｉ対応デバイスまたは３Ｇ、４Ｇ等のＩＭＴ−２０００規格に準拠した無線デバイス等を備える。
【００６５】
［就寝異常通知処理］
図３は、カメラ１００での撮像画像をコンピュータ２００で画像解析処理を行いモバイル端末３００に就寝異常を通知する場合のフローチャート図である。上述した各モジュールが実行する処理について、本処理にあわせて説明する。
【００６６】
図８は、就寝異常通知システムにおいて就寝異常を検知した際に、モバイル端末３００を所持する保護者７００が、所定の範囲内にいない場合の一例を示す模式図である。カメラ１００は、就寝異常を検知したい人物６００の水平方向に設置され、就寝画像を撮像可能であるものとする。ここでは、カメラ１００は１台のみ図示しているが、人物６００の両脇からの撮影が可能となるよう、２台以上設置することが望ましい。人物６００としては、赤ちゃんや病院患者や老人等の、見守りが必要な人物を想定する。特に、人物６００として赤ちゃんを想定した場合、乳幼児突然死症候群につながるとされる、うつぶせ寝を就寝異常として検知して、保護者７００に通知する必要がある。そのために、人物６００の水平方向の両脇から撮影することで、より、うつぶせ寝検知のための画像解析の精度を上げることが可能となる。また、コンピュータ２００は、就寝異常の画像解析を行うための機械学習済みであるものとする。モバイル端末３００は、就寝画像を撮像される人物６００の保護者７００が所持しているものであるとする。図８に示す警報装置５００については、後述する。通信網４００は、インターネット等の公衆通信網でも専用通信網でもよく、カメラ１００とコンピュータ２００とモバイル端末３００と警報装置５００間の通信を可能とする。
【００６７】
図３のフローチャートに戻り、まず、モバイル端末３００からコンピュータ２００に対して、就寝異常通知システムへの登録申請を行う（ステップＳ３０１）。ここでの登録申請は、人物６００の保護者７００が所持するモバイル端末３００を、就寝異常通知システムの通知先として設定するためのものである。登録のための申請内容として、カメラ１００の情報、人物６００の情報、保護者７００の情報を含めてもよい。
【００６８】
次に、コンピュータ２００の受付モジュール２２２は、モバイル端末３００からの登録申請を受け付ける（ステップＳ３０２）。受付モジュール２２２は、カメラ１００で撮像する人物６００の保護者７００が所持するモバイル端末３００を、就寝異常通知システムの通知先として設定する。ここであわせて、就寝異常通知のために、モバイル端末３００の位置情報をコンピュータ２００が取得可能とする設定を行う。前記設定のために、必要に応じて、コンピュータ２００とモバイル端末３００の間で、データの受け渡しを行う。
【００６９】
次に、コンピュータ２００は、カメラ１００に対して、人物６００の動画または静止画等の就寝画像を撮像するようカメラ制御を行う（ステップＳ３０３）。ここで、人物６００の就寝画像の撮像開始の指示は、コンピュータ２００から直接行ってもよいし、モバイル端末３００からの指示を受け取った場合に行ってもよい。
【００７０】
カメラ１００の撮像部１０は、コンピュータ２００からの制御を受け、人物６００の動画または静止画等の就寝画像を撮像する（ステップＳ３０４）。
【００７１】
カメラ１００の制御部１１０は、通信部１２０を介して、撮像した就寝画像をコンピュータ２００に送信する（ステップＳ３０５）。
【００７２】
コンピュータ２００の画像取得モジュール２２１は、カメラ１００から就寝画像を受信する（ステップＳ３０６）。
【００７３】
コンピュータ２００の画像解析モジュール２１１は、カメラ１００から就寝画像を解析する（ステップＳ３０７）。この画像解析モジュール２１１は、就寝異常の画像解析を行うための機械学習済みであるものとする。就寝異常の画像解析を行うための機械学習の方法については、後述する。
【００７４】
コンピュータ２００の就寝異常検出モジュール２１２は、ステップＳ１０７の画像解析結果に基づき、就寝異常を検出する（ステップＳ３０８）。ここでの就寝異常とは、たとえば、人物６００の鼻と口とが同時に塞がっているか場合、あるいは、所定の時間内に何らかの動作を行わず動きが見られなかった場合、等が例としてあげられる。その他、赤ちゃんの目に指が入りそうな場合、ベッドから落ちそうな場合、等、保護者７００からの登録を受け付けて、カスタマイズ可能としてもよい。
【００７５】
就寝異常が検出された場合、コンピュータ２００の位置取得モジュール２２３は、モバイル端末３００から位置情報を取得する（ステップＳ３０９）。就寝異常が検出されなかった場合、ステップＳ３０３に戻り、引き続き就寝画像の取得を行う。
【００７６】
コンピュータ２００の位置取得モジュール２２３は、モバイル端末３００から位置情報取得が成功したかどうかの確認を行う（ステップＳ３１０）。位置情報の取得に成功した場合には、ステップＳ３１１に進み、位置情報の取得に失敗した場合には、処理Ｂへと進む。処理Ｂについては、図６の説明として後述する。
【００７７】
位置情報の取得に成功した場合、コンピュータ２００の判定モジュール２１３は、モバイル端末３００が所定の範囲内にあるかどうかを判定する（ステップＳ３１１）。ここでの所定の範囲内とは、カメラ１００および人物６００の周囲であるか、後述する警報装置５００の周囲であるか、とする。警報装置５００により就寝異常を通知する場合に、通知を正常に認知できる範囲を所定の範囲として設定することが望ましい。所定の範囲内にあると判定された場合には処理Ａへと進み、所定の範囲内にないと判定された場合には、ステップＳ３１２に進む。処理Ａについては、図５の説明として後述する。
【００７８】
ステップＳ３１１で、モバイル端末３００が所定の範囲内にないと判定された場合、コンピュータ２００の通知モジュール２２４が、モバイル端末３００に対して、就寝異常を通知する（ステップＳ３１２）。
【００７９】
最後に、モバイル端末３００は通信部３２０を介して就寝異常の通知を受信し、設定に応じて保護者７００に対して提示する（ステップＳ３１３）。ここでの就寝異常の提示方法は、音、光、バイブレーション、動画または静止画の表示等、事前に設定可能であるものとする。
【００８０】
図３のフローチャートでは図示していいないが、人物６００の就寝画像の撮像終了の指示は、コンピュータ２００から直接行ってもよいし、モバイル端末３００からの指示を受け取った場合に行ってもよい。コンピュータ２００が撮像終了の指示を受けた場合、ステップＳ３０３からステップＳ３０８のループ処理を終了し、就寝異常通知システムを終了する。
【００８１】
以上のように、本発明によれば、人物が就寝している画像を取得して画像解析を行い、就寝異常かどうかを検出し、就寝異常が検出された場合に異常を通知する就寝異常通知システムにおいて、通知先となる保護者が人物の周辺にいない場合にも、保護者の所持するモバイル端末に就寝異常を通知することで、就寝異常を適切に通知可能な就寝異常通知システム、就寝異常通知方法、およびプログラムを提供することが可能となる。
【００８２】
［警報装置への就寝異常通知処理］
図４は、カメラ１００とコンピュータ２００とモバイル端末３００と警報装置５００の機能ブロックと各機能の関係を示す図である。図２の構成に加え、警報装置５００を備える。警報装置５００は、警告部５０、制御部５１０、通信部５２０から構成される。通信網４００は、インターネット等の公衆通信網でも専用通信網でもよく、カメラ１００とコンピュータ２００とモバイル端末３００と警報装置５００間の通信を可能とする。
【００８３】
警報装置５００は、警告部５０として、警告音や警告光で周辺の保護者７００に、就寝異常を通知する構成を備える。
【００８４】
制御部５１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、コンピュータ２００からの指示を受けて、警告部５０を動作させる。
【００８５】
通信部５２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉ−Ｆｉ対応デバイスまたは３Ｇ、４Ｇ等のＩＭＴ−２０００規格に準拠した無線デバイス等を備える。有線によるＬＡＮ接続であってもよい。通信部５２０を介して、コンピュータ２００からの警告部５０の動作指示を受け付けるものとする。
【００８６】
図９は、就寝異常を検知した際に、モバイル端末３００を所持する保護者７００が、所定の範囲内にいる場合の一例を示す模式図である。カメラ１００は、就寝異常があった場合に検知を行いたい人物６００の水平方向に設置され、就寝画像を撮像可能であるものとする。カメラ１００は、図に示すように人物６００の両脇からの撮影が可能となるよう、２台以上設置することが望ましい。また、ここでのコンピュータ２００は、就寝異常の画像解析を行うための機械学習済みであるものとする。モバイル端末３００は、就寝画像を撮像される人物６００の保護者７００が所持しているものであるとする。警報装置５００は、警告音や警告光で周辺の保護者７００に、就寝異常を通知するものである。通信網４００は、インターネット等の公衆通信網でも専用通信網でもよく、カメラ１００とコンピュータ２００とモバイル端末３００と警報装置５００間の通信を可能とする。
【００８７】
図５は、就寝異常を検出し、モバイル端末３００が所定範囲内にある場合のコンピュータ２００と警報装置５００のフローチャート図である。図９に示す状況で、図３のフローチャートの処理Ａに進んだ場合に相当する。
【００８８】
就寝異常を検出し、モバイル端末３００が所定の範囲内にあると判定された場合、つまり、警報装置５００による就寝異常通知を正常に認知できる範囲に、保護者７００が存在すると考えられる場合、コンピュータ２００の通知モジュール２２４が、警報装置５００に対して、警告命令を通知する（ステップＳ５０１）。
【００８９】
警報装置５００は通信部５２０を介して警告命令を受信し、制御部５１０からの指示により、警告部５０を動作させ、警告音または警告光で通知を行う（ステップＳ５０２）。警告音と警告光で同時に通知を行ってもよく、また、警報装置５００の機能に応じて、バイブレーション動作や文字等の表示を行ってもよい。
【００９０】
また、図１０は、就寝異常を検知した際に、モバイル端末３００の位置情報が取得できなかった場合の一例を示す模式図である。カメラ１００は、就寝異常があった場合に検知を行いたい人物６００の水平方向に設置され、就寝画像を撮像可能であるものとする。カメラ１００は、図に示すように人物６００の両脇からの撮影が可能となるよう、２台以上設置することが望ましい。また、ここでのコンピュータ２００は、就寝異常の画像解析を行うための機械学習済みであるものとする。モバイル端末３００は、就寝画像を撮像される人物６００の保護者７００が所持しているものであるとする。ただし、この時、電池切れや通信状況の問題で、モバイル端末３００の位置情報が取得できないものとする。警報装置５００は、警告音や警告光で周辺の保護者７００に、就寝異常を通知するものである。通信網４００は、インターネット等の公衆通信網でも専用通信網でもよく、カメラ１００とコンピュータ２００とモバイル端末３００と警報装置５００間の通信を可能とする。
【００９１】
図６は、就寝異常を検出し、モバイル端末３００の位置情報を取得できなかった場合のコンピュータ２００と警報装置５００のフローチャート図である。図１０に示す状況で、図３のフローチャートの処理Ｂに進んだ場合に相当する。
【００９２】
就寝異常を検出し、モバイル端末３００の位置情報を取得できなかった場合、つまり、警報装置５００による就寝異常通知を正常に認知できる範囲に、保護者７００が存在するかどうかが不明である場合、コンピュータ２００の通知モジュール２２４が、事前にモバイル端末の位置情報を取得できなかった場合の登録動作があるかどうかの確認を行う（ステップＳ６０１）。
【００９３】
モバイル端末３００の位置情報を取得できなかった場合の動作が登録されていた場合、ステップＳ６０４に進み、動作が登録されていなかった場合、通知モジュール２２４が、警報装置５００に対して、警告命令を通知する（ステップＳ６０２）。
【００９４】
コンピュータ２００から警告命令が通知された場合、警報装置５００は通信部５２０を介して警告命令を受信し、制御部５１０からの指示により、警告部５０を動作させ、警告音または警告光で通知を行う（ステップＳ６０３）。警告音と警告光で同時に通知を行ってもよく、また、警報装置５００の機能に応じて、バイブレーション動作や文字等の表示を行ってもよい。
【００９５】
モバイル端末３００の位置情報を取得できなかった場合の動作が登録されていた場合、通知モジュール２２４は、登録動作を実行する（ステップＳ６０４）。登録動作の例としては、警報装置５００への警告命令通知、別のモバイル端末への通知、就寝異常通知システムの管理者への通知、セキュリティ会社への通知、病院や医療施設への通知、等が考えられ、これらを複数登録してもよい。
【００９６】
以上のように、本発明によれば、人物が就寝している画像を取得して画像解析を行い、就寝異常かどうかを検出し、就寝異常が検出された場合に異常を通知する就寝異常通知システムにおいて、通知先となる保護者が人物の周辺にいない場合には保護者の所持するモバイル端末に就寝異常を通知し、通知先となる保護者が人物の周辺にいる場合には警報装置により警告を行い、通知先となる保護者が人物の周辺にいるかどうかわからない場合には、警報装置による警告を行うか、事前に登録された動作を行うことで、就寝異常を適切に通知可能な就寝異常通知システム、就寝異常通知方法、およびプログラムを提供することが可能となる。
【００９７】
［就寝異常の画像解析のための機械学習処理］
図７は、コンピュータ２００が就寝異常の画像解析を行うための機械学習を行う場合のフローチャート図である。
【００９８】
コンピュータ２００の制御部２１０は、過去に取得された就寝画像を記憶部２３０から複数取得する（ステップＳ７０１）。ここで、取得する就寝画像は、就寝異常を検出したい人物６００のものを使用することで、より、画像解析の精度を向上させることができる。
【００９９】
取得した就寝画像に、十分な就寝異常画像を含む場合は、それを就寝異常時の教師データ画像として利用することができるが、通常、過去に取得された就寝画像には、あまり多くの就寝異常画像が含まれないと考えられる。そこで、制御部２１０は、取得した就寝画像をもとに、就寝異常画像を作成する（ステップＳ７０２）。ここで作成する就寝異常画像の例としては、人物６００の鼻と口とが同時に塞がっているもの、あるいは、所定の時間内に何らかの動作を行わず動きが見られないもの、等があげられる。特に、乳児の無呼吸が１０数秒から２０秒ほど続く無呼吸発作は、乳幼児突然死症候群のリスクにつながるため、所定の時間として、就寝異常を検知する人物６００の年齢等にあわせた就寝異常画像例を作成することで、効果的に就寝異常を検知できるようになる。
【０１００】
最後に、制御部２１０は、取得した過去の就寝画像に、作成した就寝異常画像を含めた教師データを使用して、機械学習を行う（ステップＳ７０３）。
【０１０１】
以上のように、本発明によれば、就寝異常の画像解析を行うための機械学習を行う場合に、取得した過去の就寝画像を元に就寝異常画像を作成し、十分な数の就寝異常画像を含めた教師データを使用して機械学習を行うことで、効果的な教師データを追加することができ、画像解析における就寝異常の検出精度をより一層向上させる就寝異常通知システム、就寝異常通知方法、およびプログラムを提供することが可能となる。
【０１０２】
上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態であってもよいし、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭ等）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ等）、コンパクトメモリ等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
【０１０３】
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
【符号の説明】
【０１０４】
１００  カメラ、２００  コンピュータ、３００  モバイル端末、４００  通信網、５００  警報装置、６００  人物、７００  保護者
【図１】
2018198312.tif 000003
【図２】
2018198312.tif 000004
【図３】
2018198312.tif 000005
【図４】
2018198312.tif 000006
【図５】
2018198312.tif 000007
【図６】
2018198312.tif 000008
【図７】
2018198312.tif 000009
【図８】
2018198312.tif 000010
【図９】
2018198312.tif 000011
【図１０】
2018198312.tif 000012
【手続補正書】
【提出日】平成30年2月7日(2018.2.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
人物が就寝している就寝画像を、前記人物が就寝している場所の両脇から水平方向に設置されたカメラから取得する画像取得手段と、
前記取得した就寝画像を画像解析する画像解析手段と、
前記画像解析の結果、前記人物が就寝異常かどうかを検出する就寝異常検出手段と、
前記人物の保護者のモバイル端末の登録を受け付ける受付手段と、
前記登録されたモバイル端末の位置を取得する位置取得手段と、
前記取得した位置が、前記人物の位置から所定の範囲内にあるかどうかを判定する判定手段と、
前記就寝異常であると検出された場合、かつ、前記所定の範囲内にないと判定された場合に、前記保護者のモバイル端末に就寝異常を通知し、前記就寝異常であると検出された場合、かつ、前記所定の範囲内にあると判定された場合に、前記人物の周囲にいる保護者に向けて警告音または警告光で通知し、前記就寝異常であると検出された場合、かつ、前記モバイル端末の位置が取得できなかった場合に、事前に就寝異常検知システムに登録した動作が無い場合には前記人物の周囲にいる保護者に向けて警告音または警告光で通知し、事前に就寝異常検知システムに登録した動作がある場合には前記事前登録動作を行う通知手段と、
を備えることを特徴とする就寝異常通知システム。
【請求項２】
（削除）
【請求項３】
前記画像解析手段は、過去に取得された就寝画像を教師データとして機械学習を行い、前記人物に適合するようにカスタマイズして画像解析することを特徴とする請求項１に記載の就寝異常通知システム。
【請求項４】
前記就寝異常検出手段は、過去の画像解析の結果を教師データとして機械学習を行い、前記人物に適合するようにカスタマイズして就寝異常を検出することを特徴とする請求項１から請求項３のいずれか一項に記載の就寝異常通知システム。
【請求項５】
前記就寝異常検出手段は、前記画像解析の結果、前記人物の鼻と口とが同時に塞がっているかどうかを判定することで就寝異常を検出することを特徴とする請求項１から請求項４のいずれか一項に記載の就寝異常通知システム。
【請求項６】
前記就寝異常検出手段は、前記画像解析の結果、前記人物が所定の時間内に何らかの動作を行わず動きが見られなかった場合に就寝異常を検出することを特徴とする請求項１から請求項５のいずれか一項に記載の就寝異常通知システム。
【請求項７】
前記就寝異常検出手段は、前記人物が所定の時間内に何らかの動作を行わず動きが見られなかった場合に異常であることを教師データとして機械学習を行い、就寝異常を検出することを特徴とする請求項１から請求項６のいずれか一項に記載の就寝異常通知システム。
【請求項８】
（削除）
【請求項９】
（削除）
【請求項１０】
人物が就寝している就寝画像を、前記人物が就寝している場所の両脇から水平方向に設置されたカメラから取得するステップと、
前記取得した就寝画像を画像解析するステップと、
前記画像解析の結果、前記人物が就寝異常かどうかを検出するステップと、
前記人物の保護者のモバイル端末の登録を受け付けるステップと、
前記登録されたモバイル端末の位置を取得するステップと、
前記取得した位置が、前記人物の位置から所定の範囲内にあるかどうかを判定するステップと、
前記就寝異常であると検出された場合、かつ、前記所定の範囲内にないと判定された場合に、前記保護者のモバイル端末に就寝異常を通知し、前記就寝異常であると検出された場合、かつ、前記所定の範囲内にあると判定された場合に、前記人物の周囲にいる保護者に向けて警告音または警告光で通知し、前記就寝異常であると検出された場合、かつ、前記モバイル端末の位置が取得できなかった場合に、事前に就寝異常検知システムに登録した動作が無い場合には前記人物の周囲にいる保護者に向けて警告音または警告光で通知し、事前に就寝異常検知システムに登録した動作がある場合には前記事前登録動作を行うステップと、
を備えることを特徴とする就寝異常通知方法。
【請求項１１】
就寝異常通知システムに、
人物が就寝している就寝画像を、前記人物が就寝している場所の両脇から水平方向に設置されたカメラから取得するステップ、
前記取得した就寝画像を画像解析するステップ、
前記画像解析の結果、前記人物が就寝異常かどうかを検出するステップ、
前記人物の保護者のモバイル端末の登録を受け付けるステップ、
前記登録されたモバイル端末の位置を取得するステップ、
前記取得した位置が、前記人物の位置から所定の範囲内にあるかどうかを判定するステップ、
前記就寝異常であると検出された場合、かつ、前記所定の範囲内にないと判定された場合に、前記保護者のモバイル端末に就寝異常を通知し、前記就寝異常であると検出された場合、かつ、前記所定の範囲内にあると判定された場合に、前記人物の周囲にいる保護者に向けて警告音または警告光で通知し、前記就寝異常であると検出された場合、かつ、前記モバイル端末の位置が取得できなかった場合に、事前に就寝異常検知システムに登録した動作が無い場合には前記人物の周囲にいる保護者に向けて警告音または警告光で通知し、事前に就寝異常検知システムに登録した動作がある場合には前記事前登録動作を行うステップ、
を実行させるためのプログラム。
【手続補正書】
【提出日】令和1年10月24日(2019.10.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
人物が就寝している就寝画像を、前記人物が就寝している場所の両脇から水平方向に設置されたカメラから取得する画像取得手段と、
前記取得した就寝画像を画像解析する画像解析手段と、
前記人物を就寝異常と検出する内容の登録を受け付ける登録受付手段と、
前記画像解析の結果、前記人物が受け付けた前記就寝異常かどうかを検出する就寝異常検出手段と、
前記人物の保護者のモバイル端末の登録を受け付ける受付手段と、
前記登録されたモバイル端末の位置を取得する位置取得手段と、
前記取得した位置が、前記人物の位置から所定の範囲内にあるかどうかを判定する判定手段と、
前記就寝異常であると検出された場合、かつ、前記所定の範囲内にないと判定された場合に、前記保護者のモバイル端末に就寝異常を通知し、前記就寝異常であると検出された場合、かつ、前記所定の範囲内にあると判定された場合に、前記人物の周囲にいる保護者に向けて警告音または警告光で通知し、前記就寝異常であると検出された場合、かつ、前記モバイル端末の位置が取得できなかった場合に、事前に就寝異常検知システムに登録した動作が無い場合には前記人物の周囲にいる保護者に向けて警告音または警告光で通知し、事前に就寝異常検知システムに登録した動作がある場合には前記事前登録動作を行う通知手段と、
を備えることを特徴とする就寝異常通知システム。
【請求項２】
前記画像解析手段は、過去に取得された就寝画像を教師データとして機械学習を行い、前記人物に適合するようにカスタマイズして画像解析することを特徴とする請求項１に記載の就寝異常通知システム。
【請求項３】
前記就寝異常検出手段は、過去の画像解析の結果を教師データとして機械学習を行い、前記人物に適合するようにカスタマイズして就寝異常を検出することを特徴とする請求項１又は２のいずれか一項に記載の就寝異常通知システム。
【請求項４】
前記就寝異常検出手段は、前記画像解析の結果、前記人物の鼻と口とが同時に塞がっているかどうかを判定することで就寝異常を検出することを特徴とする請求項１から請求項３のいずれか一項に記載の就寝異常通知システム。
【請求項５】
前記就寝異常検出手段は、前記画像解析の結果、前記人物が所定の時間内に何らかの動作を行わず動きが見られなかった場合に就寝異常を検出することを特徴とする請求項１から請求項４のいずれか一項に記載の就寝異常通知システム。
【請求項６】
前記就寝異常検出手段は、前記人物が所定の時間内に何らかの動作を行わず動きが見られなかった場合に異常であることを教師データとして機械学習を行い、就寝異常を検出することを特徴とする請求項１から請求項５のいずれか一項に記載の就寝異常通知システム。
【請求項７】
就寝異常通知システムが実行する就寝異常通知方法であって、
人物が就寝している就寝画像を、前記人物が就寝している場所の両脇から水平方向に設置されたカメラから取得するステップと、
前記取得した就寝画像を画像解析するステップと、
前記人物を就寝異常と検出する内容の登録を受け付けるステップと、
前記画像解析の結果、前記人物が受け付けた前記就寝異常かどうかを検出するステップと、
前記人物の保護者のモバイル端末の登録を受け付けるステップと、
前記登録されたモバイル端末の位置を取得するステップと、
前記取得した位置が、前記人物の位置から所定の範囲内にあるかどうかを判定するステップと、
前記就寝異常であると検出された場合、かつ、前記所定の範囲内にないと判定された場合に、前記保護者のモバイル端末に就寝異常を通知し、前記就寝異常であると検出された場合、かつ、前記所定の範囲内にあると判定された場合に、前記人物の周囲にいる保護者に向けて警告音または警告光で通知し、前記就寝異常であると検出された場合、かつ、前記モバイル端末の位置が取得できなかった場合に、事前に就寝異常検知システムに登録した動作が無い場合には前記人物の周囲にいる保護者に向けて警告音または警告光で通知し、事前に就寝異常検知システムに登録した動作がある場合には前記事前登録動作を行うステップと、
を備えることを特徴とする就寝異常通知方法。
【請求項８】
就寝異常通知システムに、
人物が就寝している就寝画像を、前記人物が就寝している場所の両脇から水平方向に設置されたカメラから取得するステップ、
前記取得した就寝画像を画像解析するステップ、
前記人物を就寝異常と検出する内容の登録を受け付けるステップ、
前記画像解析の結果、前記人物が受け付けた前記就寝異常かどうかを検出する就寝ステップ、
前記人物の保護者のモバイル端末の登録を受け付けるステップ、
前記登録されたモバイル端末の位置を取得するステップ、
前記取得した位置が、前記人物の位置から所定の範囲内にあるかどうかを判定するステップ、
前記就寝異常であると検出された場合、かつ、前記所定の範囲内にないと判定された場合に、前記保護者のモバイル端末に就寝異常を通知し、前記就寝異常であると検出された場合、かつ、前記所定の範囲内にあると判定された場合に、前記人物の周囲にいる保護者に向けて警告音または警告光で通知し、前記就寝異常であると検出された場合、かつ、前記モバイル端末の位置が取得できなかった場合に、事前に就寝異常検知システムに登録した動作が無い場合には前記人物の周囲にいる保護者に向けて警告音または警告光で通知し、事前に就寝異常検知システムに登録した動作がある場合には前記事前登録動作を行うステップ、
を実行させるためのコンピュータ読み取り可能なプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
第１の特徴に係る発明は、
人物が就寝している就寝画像を取得する画像取得手段と、
前記取得した就寝画像を画像解析する画像解析手段と、
前記人物を就寝異常と検出する内容の登録を受け付ける登録受付手段と、
前記画像解析の結果、前記人物が受け付けた前記就寝異常かどうかを検出する就寝異常検出手段と、
前記人物の保護者のモバイル端末の登録を受け付ける受付手段と、
前記登録されたモバイル端末の位置を取得する位置取得手段と、
前記取得した位置が、前記人物の位置から所定の範囲内にあるかどうかを判定する判定手段と、
前記就寝異常であると検出された場合、かつ、前記所定の範囲内にないと判定された場合に、前記保護者のモバイル端末に就寝異常を通知し、前記就寝異常であると検出された場合、かつ、前記所定の範囲内にあると判定された場合に、前記人物の周囲にいる保護者に向けて警告音または警告光で通知し、前記就寝異常であると検出された場合、かつ、前記モバイル端末の位置が取得できなかった場合に、事前に就寝異常検知システムに登録した動作が無い場合には前記人物の周囲にいる保護者に向けて警告音または警告光で通知し、事前に就寝異常検知システムに登録した動作がある場合には前記事前登録動作を行う通知手段と、
を備えることを特徴とする就寝異常通知システムを提供する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
第１の特徴に係る発明によれば、就寝異常通知システムにおいて、人物が就寝している就寝画像を取得する画像取得手段と、前記取得した就寝画像を画像解析する画像解析手段と、前記人物を就寝異常と検出する内容の登録を受け付ける登録受付手段と、
前記画像解析の結果、前記人物が受け付けた前記就寝異常かどうかを検出する就寝異常検出手段と、前記人物の保護者のモバイル端末の登録を受け付ける受付手段と、前記登録されたモバイル端末の位置を取得する位置取得手段と、前記取得した位置が、前記人物の位置から所定の範囲内にあるかどうかを判定する判定手段と、前記就寝異常であると検出された場合、かつ、前記所定の範囲内にないと判定された場合に、前記保護者のモバイル端末に就寝異常を通知し、前記就寝異常であると検出された場合、かつ、前記所定の範囲内にあると判定された場合に、前記人物の周囲にいる保護者に向けて警告音または警告光で通知し、前記就寝異常であると検出された場合、かつ、前記モバイル端末の位置が取得できなかった場合に、事前に就寝異常検知システムに登録した動作が無い場合には前記人物の周囲にいる保護者に向けて警告音または警告光で通知し、事前に就寝異常検知システムに登録した動作がある場合には前記事前登録動作を行う通知手段と、を備える。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
第２の特徴に係る発明は、第１の特徴に係る発明である就寝異常通知システムであって、
前記画像解析手段は、過去に取得された就寝画像を教師データとして機械学習を行い、前記人物に適合するようにカスタマイズして画像解析することを特徴とする就寝異常通知システムを提供する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
第２の特徴に係る発明によれば、第１の特徴に係る発明である就寝異常通知システムにおいて、前記画像解析手段は、過去に取得された就寝画像を教師データとして機械学習を行い、前記人物に適合するようにカスタマイズして画像解析する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
第３の特徴に係る発明は、第１の特徴から第２の特徴のいずれかに係る発明である就寝異常通知システムであって、
前記就寝異常検出手段は、過去の画像解析の結果を教師データとして機械学習を行い、前記人物に適合するようにカスタマイズして就寝異常を検出することを特徴とする就寝異常通知システムを提供する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
第３の特徴に係る発明によれば、第１の特徴から第２の特徴のいずれかに係る発明である就寝異常通知システムにおいて、前記就寝異常検出手段は、過去の画像解析の結果を教師データとして機械学習を行い、前記人物に適合するようにカスタマイズして就寝異常を検出する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
第４の特徴に係る発明は、第１の特徴から第３の特徴のいずれかに係る発明である就寝異常通知システムであって、
前記就寝異常検出手段は、前記画像解析の結果、前記人物の鼻と口とが同時に塞がっているかどうかを判定することで就寝異常を検出することを特徴とする就寝異常通知システムを提供する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
第４の特徴に係る発明によれば、第１の特徴から第３の特徴のいずれかに係る発明である就寝異常通知システムにおいて、前記就寝異常検出手段は、前記画像解析の結果、前記人物の鼻と口とが同時に塞がっているかどうかを判定することで就寝異常を検出する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
第５の特徴に係る発明は、第１の特徴から第４の特徴のいずれかに係る発明である就寝異常通知システムであって、
前記就寝異常検出手段は、前記画像解析の結果、前記人物が所定の時間内に何らかの動作を行わず動きが見られなかった場合に就寝異常を検出することを特徴とする就寝異常通知システムを提供する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
第５の特徴に係る発明によれば、第１の特徴から第４の特徴のいずれかに係る発明である就寝異常通知システムにおいて、前記就寝異常検出手段は、前記画像解析の結果、前記人物が所定の時間内に何らかの動作を行わず動きが見られなかった場合に就寝異常を検出する。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
第６の特徴に係る発明は、第１の特徴から第５の特徴のいずれかに係る発明である就寝異常通知システムであって、
前記就寝異常検出手段は、前記人物が所定の時間内に何らかの動作を行わず動きが見られなかった場合に異常であることを教師データとして機械学習を行い、就寝異常を検出することを特徴とする就寝異常通知システムを提供する。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
第６の特徴に係る発明によれば、第１の特徴から第５の特徴のいずれかに係る発明である就寝異常通知システムにおいて、前記就寝異常検出手段は、前記人物が所定の時間内に何らかの動作を行わず動きが見られなかった場合に異常であることを教師データとして機械学習を行い、就寝異常を検出する。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】削除
【補正の内容】
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】削除
【補正の内容】
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】削除
【補正の内容】
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】削除
【補正の内容】
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
第７の特徴に係る発明は、
就寝異常通知システムが実行する就寝異常通知方法であって、
人物が就寝している就寝画像を取得するステップと、
前記取得した就寝画像を画像解析するステップと、
前記人物を就寝異常と検出する内容の登録を受け付けるステップと、
前記画像解析の結果、前記人物が受け付けた前記就寝異常かどうかを検出するステップと、
前記人物の保護者のモバイル端末の登録を受け付けるステップと、
前記登録されたモバイル端末の位置を取得するステップと、
前記取得した位置が、前記人物の位置から所定の範囲内にあるかどうかを判定するステップと、
前記就寝異常であると検出された場合、かつ、前記所定の範囲内にないと判定された場合に、前記保護者のモバイル端末に就寝異常を通知し、前記就寝異常であると検出された場合、かつ、前記所定の範囲内にあると判定された場合に、前記人物の周囲にいる保護者に向けて警告音または警告光で通知し、前記就寝異常であると検出された場合、かつ、前記モバイル端末の位置が取得できなかった場合に、事前に就寝異常検知システムに登録した動作が無い場合には前記人物の周囲にいる保護者に向けて警告音または警告光で通知し、事前に就寝異常検知システムに登録した動作がある場合には前記事前登録動作を行うステップと、
を備えることを特徴とする就寝異常通知方法を提供する。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
第８の特徴に係る発明は、就寝異常通知システムに、
人物が就寝している就寝画像を取得するステップ、
前記取得した就寝画像を画像解析するステップ、
前記人物を就寝異常と検出する内容の登録を受け付けるステップ、
前記画像解析の結果、前記人物が受け付けた前記就寝異常かどうかを検出するステップ、
前記人物の保護者のモバイル端末の登録を受け付けるステップ、
前記登録されたモバイル端末の位置を取得するステップ、
前記取得した位置が、前記人物の位置から所定の範囲内にあるかどうかを判定するステップ、
前記就寝異常であると検出された場合、かつ、前記所定の範囲内にないと判定された場合に、前記保護者のモバイル端末に就寝異常を通知し、前記就寝異常であると検出された場合、かつ、前記所定の範囲内にあると判定された場合に、前記人物の周囲にいる保護者に向けて警告音または警告光で通知し、前記就寝異常であると検出された場合、かつ、前記モバイル端末の位置が取得できなかった場合に、事前に就寝異常検知システムに登録した動作が無い場合には前記人物の周囲にいる保護者に向けて警告音または警告光で通知し、事前に就寝異常検知システムに登録した動作がある場合には前記事前登録動作を行うステップ、
を実行させるためのコンピュータ読み取り可能なプログラムを提供する。
【国際調査報告】
2018198312.tif 000013
2018198312.tif 000014
2018198312.tif 000015
2018198312.tif 000016