(57)【要約】【課題】子供の印象的なシーンを閲覧することができる画像解析システムを提供する。【解決手段】画像解析システムは、所定の施設内において特定の子供の画像を取得する画像取得部１０と、画像取得部１０の取得結果に基づいて、当該子供の行動と表情の少なくとも１つを認識する状態認識部１２と、状態認識部１２の認識結果に基づいて当該子供の危険性を認識する危険性認識部１８および状態認識部１２の認識結果に基づいて当該子供の印象的なシーンを認識し取得結果から当該シーンを抽出するシーン抽出部２０の少なくとも一方と、を備える。【選択図】図１
2019125870.tif 000002
【特許請求の範囲】
【請求項１】
所定の施設内において特定の子供の画像を取得する画像取得部と、
前記画像取得部の取得結果に基づいて、当該子供の行動と表情の少なくとも１つを認識する状態認識部と、
前記状態認識部の認識結果に基づいて当該子供の危険性を認識する危険性認識部および前記状態認識部の認識結果に基づいて当該子供の印象的なシーンを認識し前記取得結果から当該シーンを抽出するシーン抽出部の少なくとも一方と、
を備える画像解析システム。
【請求項２】
特定の個人の画像を取得する画像取得部と、
前記画像取得部の取得結果に基づいて、当該個人の行動と表情の少なくとも１つを認識する状態認識部と、
前記状態認識部の認識結果に基づいて、当該個人の印象的なシーンを認識し、前記取得結果から当該シーンを抽出するシーン抽出部と、
を備える画像解析システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、保育施設など所定施設用の画像解析システムに関する。
【背景技術】
【０００２】
保育施設などにいる児童の画像情報を保護者に配信するシステムが知られている。例えば、特許文献１には、撮像装置により児童のいる施設内を撮像して、その撮像装置で取得された画像情報を保護者の端末に配信する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２９８７３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ライフスタイルの変化に伴う、共働き世帯の増加により、保育園を利用するニーズが高まっている。その結果、保育園・保育士の不足による待機児童問題が以前より、大きな社会問題となっている。子供をターゲットにした犯罪事例などから、「子供の安全」に対する意識が高まっている。
【０００５】
子供を預けた後、保護者は仕事が終わって子供を迎えに行くまで、保育園などの保育施設での子供の様子を知ることができない。この間、子供は保育施設において多様な行動をし、多様な表情を見せる。保護者は、その日の笑顔、初めて立った日の様子、初めて歩いた様子などの行動や表情を見ることができない。このため、登録されている子供の印象的なシーンを切り取り、保護者に提供することが望まれている。このような作業を施設職員が行うことは様々な事情に鑑みて容易でない。このような観点において、特許文献１に記載された配信システムでは、保護者は普段みることのできない子供の印象的なシーンを閲覧することはできないという問題がある。
このような課題は、保育施設に限らず他の様々な施設についても生じうる。
【０００６】
本発明は、こうした課題に鑑みてなされたものであり、その目的は、子供の印象的なシーンを閲覧することができる画像解析システムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様の画像解析システムは、所定の施設内において特定の子供の画像を取得する画像取得部と、画像取得部の取得結果に基づいて、当該子供の行動と表情の少なくとも１つを認識する状態認識部と、状態認識部の認識結果に基づいて当該子供の危険性を認識する危険性認識部および状態認識部の認識結果に基づいて当該子供の印象的なシーンを認識し取得結果から当該シーンを抽出するシーン抽出部の少なくとも一方と、を備える。
【０００８】
この態様によると、子供の保護者の要求にしたがって、シーン抽出部で抽出した子供の印象的なシーンを保護者の端末などに提供することができる。この結果、保護者は、普段みることのできない子供の印象的なシーンを閲覧することができる。この印象的なシーンを所定の期間蓄積して印象的なシーンのアルバムを提供することができる。また、危険性認識部の認識結果に基づいて、子供の不安全行動を監視し、施設の職員や保護者に通報することにより安全性を確保することができる。
【０００９】
本発明の別の態様もまた、画像解析システムである。この画像解析システムは、特定の個人の画像を取得する画像取得部と、画像取得部の取得結果に基づいて、当該個人の行動と表情の少なくとも１つを認識する状態認識部と、状態認識部の認識結果に基づいて、当該個人の印象的なシーンを認識し、取得結果から当該シーンを抽出するシーン抽出部と、を備える。
【００１０】
この態様によると、特定の個人であるユーザの要求にしたがって、シーン抽出部で抽出した印象的なシーンをユーザの端末などに提供することができる。この結果、ユーザは、自分の印象的なシーンを閲覧することができる。この印象的なシーンを所定の期間蓄積して印象的なシーンのアルバムに編纂してユーザに提供することができる。
【００１１】
なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を方法、装置、プログラム、プログラムを記録した一時的なまたは一時的でない記憶媒体、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１２】
本発明によれば、子供の印象的なシーンを閲覧することができる画像解析システムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態に係る画像解析システムの一例を示すブロック図である。
【図２】図１の画像解析システムを保育施設に適用した例を概念的に示す概念図である。
【図３】第２実施形態に係る画像解析システムの一例を示すブロック図である。
【００１４】
以下、本発明を好適な実施の形態をもとに各図面を参照しながら説明する。実施の形態および変形例では、同一または同等の構成要素、部材には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面における部材の寸法は、理解を容易にするために適宜拡大、縮小して示される。また、各図面において実施の形態を説明する上で重要ではない部材の一部は省略して表示する。
【００１５】
［第１実施形態］
本発明の第１実施形態は保育施設の画像解析システムである。図１は、第１実施形態に係る画像解析システム１００の構成の一例を示すブロック図である。図２は、画像解析システム１００を保育施設６０に適用した例を概念的に示す概念図である。画像解析システム１００は、所定の施設として例示される保育施設６０において、特定の子供として例示される登録された子供８の画像を解析するシステムである。子供８はこの保育施設の園児であってもよい。子供８は画像取得の対象として後述する対象者ＤＢ１６に登録された子供である。なお、本明細書では、「ＤＢ」は「データベース」の意味で用いられている。
【００１６】
保育施設６０には、施設の出入口や教室３３の出入口などに複数の自動ドア３１が設けられている。これらの自動ドア３１や教室３３には各種の入力デバイス３０が設けられる。一例として、入力デバイス３０は、自動ドア３１に設けられた自動ドアカメラ３２と、教室３３に設けられた教室カメラ３４および音センサ３６と、を含む。
【００１７】
画像解析システム１００は、画像取得部１０と、状態認識部１２と、認識情報ＤＢ１４と、対象者ＤＢ１６と、危険性認識部１８と、シーン抽出部２０と、を主に含む。画像解析システム１００は、入力デバイス３０から、子供８の音声付きまたは音声なしの画像データを取得し、その取得結果に基づいて、子供８の行動と表情の少なくとも１つを認識し、その認識結果に基づいて子供８の危険性を認識する。画像解析システム１００は、危険性を認識したときはその結果を何らかの形で通報する。この通報は、警報音であってもよいし、出力画面上への表示であってもよいし、保護者携帯端末４４や保護者端末４６への通知であってもよいし、警備会社への通報であってもよい。
【００１８】
また、画像解析システム１００は、画像データからの認識結果に基づいて子供８の印象的なシーンを認識し、その認識結果に基づいて画像データから当該シーンを抽出する。画像解析システム１００は、この抽出結果を出力デバイス４０に出力する。出力デバイス４０としては、印刷装置４２、保護者携帯端末４４、保護者端末４６などがあげられる。また、画像解析システム１００は、画像データ、中間データおよび抽出結果のいずれかまたは全てをサーバ２４に蓄積するようにしてもよい。サーバ２４は、画像解析システム１００と一体に設けられてもよいし、画像解析システム１００とは別に設けられてもよい。サーバ２４は、画像解析システム１００と通信ネットワークを介して接続されてもよく、クラウドサーバであってもよい。
【００１９】
画像取得部１０は、保育施設６０において、自動ドアカメラ３２、教室カメラ３４および音センサ３６から子供８の画像を取得する。音センサ３６は、主に子供８やその周辺の音を拾うマイクであってもよい。当該画像は、音声付きまたは音声なしの動画または静止画であってもよい。特に、自動ドアカメラ３２は、保育施設６０の出入口および教室３３の出入口において、その出入口を通行する子供８の画像を取得し、教室カメラ３４は、教室３３において、遊びや昼寝をする子供８の画像を取得する。入力デバイス３０は常時または連続して子供８の画像を取得してその取得結果を画像解析システム１００に提供する。
【００２０】
状態認識部１２は、画像取得部１０の取得結果に基づいて、子供８の行動と表情の少なくとも１つを認識する。状態認識部１２は、人工知能を利用して、画像取得部１０の取得結果から子供８の画像を識別する。対象者ＤＢ１６は、対象者（例えば子供８）を識別するための顔画像の特徴データを複数層のニューラルネットワークとして記憶するデータベースとして機能する。認識情報ＤＢ１４は、不特定の人（例えば不特定の子供）の行動と表情のパターン情報を複数層のニューラルネットワークとして記憶するデータベースとして機能する。状態認識部１２は、画像取得部１０の取得結果に基づいて、子供８の行動と表情のパターン情報を抽出し、その抽出パターン情報と記憶パターン情報の類似性を評価する。抽出パターン情報と記憶パターン情報との類似性は、人工知能を利用してそれぞれのパターンの特徴を認識し、その認識結果を比較することによって評価することができる。
【００２１】
危険性認識部１８は、状態認識部１２の認識結果に基づいて子供８の行動の危険性を認識する。危険性認識部１８は、例えば、子供８がうつぶせ寝で呼吸状態に異常がある状態や刃物などの危険な物品や火気に近づいている状態を抽出パターン情報として抽出する。危険性認識部１８は、不特定の子供の不安全行動のパターン情報を複数層のニューラルネットワークとして記憶しており、抽出パターン情報と記憶パターン情報の類似性に応じて危険性を評価する。危険性認識部１８が危険性ありと評価したとき、画像解析システム１００は、その結果を上述したように通報する。
【００２２】
シーン抽出部２０は、状態認識部１２の認識結果に基づいて、子供８の行動や表情を抽出特徴情報として抽出する。シーン抽出部２０は、不特定の子供の印象的な行動と表情の特徴情報を複数層のニューラルネットワークとして記憶しており、抽出特徴情報と記憶特徴情報の類似性に応じて印象的か否かを判定する。印象的と判定したときシーン抽出部２０は、取得結果から当該シーンを切り取る。画像解析システム１００は、シーン抽出部２０が子供８の印象的なシーンを切り取ったら、その結果をサーバ２４に保存してもよい。印象的なシーンとして、その日の笑顔、初めて立った日の様子、初めて歩いた様子などの行動や表情があげられる。
【００２３】
画像解析システム１００は、保護者の要求に基づいて、子供８の印象的なシーンを出力デバイス４０に出力する。例えば、印象的なシーンを印刷装置４２で印刷した写真を保護者に手渡してもよいし、印象的なシーンを保護者携帯端末４４や保護者端末４６に送信してもよい。保護者が閲覧可能なネットワーク上のサーバに印象的なシーンをアップロードしてもよい。
【００２４】
画像解析システム１００は、危険性認識部１８とシーン抽出部２０の一方のみを備えてもよいしく、この両方を備えてもよい。
【００２５】
（変形例）
対象者ＤＢ１６は、子供８の顔画像、音声データを記憶してもよく、この顔画像、音声データは、子供８の成長に応じて適宜更新されることが望ましい。認識情報ＤＢ１４は、着替えや不許可園児など公表が不適当な行動のパターン情報を記憶しておき、そのようなシーンを保存しないようにしてもよい。認識情報ＤＢ１４は、保護者が好む行動のパターン情報を記憶しておき、そのようなシーンを優先して切り取るようにしてもよい。提供したシーンに対する保護者の評価を収集可能にしておき、その評価に基づき保護者の好みを把握してもよい。例えば、提供したシーンをウェブ上で保護者の閲覧に供し、保護者がいわゆる「イイネ」ボタンをクリックすることで、保護者の評価を収集することができる。なお、保護者の範囲は、両親に限定されず、祖父母や親戚その他の関係者が含まれてもよい。
【００２６】
保護者のメールアドレスを１つまたは複数登録可能にし、見守り画像に基づき顔認識により識別した子供８の画像から所定の枚数を日常的に自動送信するようにしてもよい。
保護者の保護者携帯端末４４から、送迎時間や送迎者の情報を入力して連絡するようにしてもよい。この場合、祖父母の急な送迎など、送迎者の顔データがシステムに登録されてない場合、保護者携帯端末４４から顔画像を送ることでワンタイムキーを発行することができる。また、保護者携帯端末４４に保育施設からのお知らせを通知する掲示板機能を備えてもよい。
保育施設の端末としては、専用端末を使用してもよい。この端末により送迎時間などの行政監査レポートを自動作成するようにしてもよい。この端末には、子供が一人で教室を出た場合に警告表示をしてもよい。この端末には、自動ドアに保護者が到着した場合に連絡するようにしてもよい。
【００２７】
［第２実施形態］
次に、図３を参照して本発明に係る第２実施形態に係る画像解析システム２００を説明する。図３は、第２実施形態に係る画像解析システム２００の構成の一例を示すブロック図である。画像解析システム２００は、第１実施形態に係る画像解析システム１００に対して、危険性認識部１８がなく、アルバム編纂部１７を有する点で相違する。ここでは、重複する構成の説明を省き、第１実施形態と相違する点について重点的に説明する。
【００２８】
第１実施形態は、保育施設内という限定された領域・期間における特定の子供の情報を対象としているのに対して、第２実施形態は、より長い期間と、より広範囲な領域における特定の個人（以下、「ユーザ」という）の情報を対象としている。いわば、ユーザの誕生から死に至る期間の中でユーザが要求する期間内のユーザの活動を対象としている。なお、ユーザは、画像解析システム２００の対象者ＤＢ１６に登録された者であってもよい。
【００２９】
一例として、第２実施形態の画像解析システム２００は下記のように動作する。画像解析システム２００は、ユーザについて、日常的に撮影される家庭や町中のカメラ映像を取得し、その映像データを解析し、登録されたユーザの印象的なシーンや日常的なシーンを切り取り、編集しアルバムデータとして保管、ユーザの要求に従い提供することができる。ユーザの印象的なシーンとしては、一例として入学前後のシーン、卒業前後のシーン、成人式前後のシーン、出産前後のシーン、ユーザの子供の入学前後のシーンなどがあげられる。日常的なシーンとしては、一例としてユーザの成長記録、ユーザの通学などのシーンがあげられる。
【００３０】
また、画像解析システム２００は、動物園や水族館、遊園地などのレジャー施設に設置されたカメラ画像を取得して、その取得画像から印象的なシーンを認識し、当該シーンを、静止画や短時間動画として登録したユーザに提供することができる。この場合、レジャー施設での写真撮影目的の停滞が減るので、個人の写真撮影の頻度を減らして混雑を緩和することができる。施設としては来場者の回転率をあげることができる。
【００３１】
（アルバム編纂部）
画像解析システム２００では、長期間に亘って広範囲な領域におけるユーザの活動を対象としているため、画像のデータ量が膨大になる可能性がある。そこで、画像解析システム２００は、印象的なシーンをシーンアルバムとして編纂するアルバム編纂部１７を備えている。アルバム編纂部１７は、保存されたユーザの記録情報を適宜編集することにより、データ量を圧縮することができる。
【００３２】
図３の例では、入力デバイス３０は、自動ドアカメラ３２と、監視カメラ３５と、施設固定カメラ３７と、を含んでいる。これらのカメラは、家庭、町中の建物、学校などの教育施設、産院などの医療施設、神社などの宗教施設、体育館などの公共施設、レジャー施設などに設置されたカメラであってもよい。これらのカメラからの画像情報は通信ネットワークを介して画像解析システム２００に送信されてもよい。
【００３３】
画像解析システム２００は、特定の個人の画像を取得する画像取得部１０と、画像取得部１０の取得結果に基づいて、ユーザの行動と表情の少なくとも１つを認識する状態認識部１２と、状態認識部１２の認識結果に基づいて、ユーザの印象的なシーンを認識し、取得結果から当該シーンを抽出するシーン抽出部２０と、を備える。
【００３４】
このように構成された画像解析システム２００は、入力デバイス３０から、ユーザの音声付きまたは音声なしの画像データを取得し、その画像データからの認識結果に基づいてユーザの印象的なシーンを認識し、その認識結果に基づいて画像データから当該シーンを抽出する。画像解析システム２００は、この印象的なシーンを所定の期間蓄積し、所定様式のフォーマットに編成し、シーンアルバムとして出力デバイス４０に出力する。出力デバイス４０としては、印刷装置４２、ユーザ携帯端末４５、ユーザ端末４７などがあげられる。ユーザは、出力デバイス４０によってシーンアルバムからの自分の印象的なシーンを閲覧することができる。
【００３５】
また、画像解析システム２００は、画像データ、中間データおよびシーンアルバムのいずれかまたは全てをサーバ２４に蓄積するようにしてもよい。サーバ２４は、画像解析システム２００と一体に設けられてもよいし、画像解析システム２００とは別に設けられてもよい。サーバ２４は、画像解析システム２００と通信ネットワークを介して接続されてもよく、クラウドサーバであってもよい。
【００３６】
（変形例）
画像解析システム２００において、認識情報ＤＢ１４は、着替えや昔の恋人などユーザが公表したくない情報を記憶しておき、そのようなシーンを保存しないようにしてもよい。認識情報ＤＢ１４は、ユーザが好む行動情報を記憶しておき、そのようなシーンを優先して切り取るようにしてもよい。提供したシーンに対するユーザの評価を収集可能にしておき、その評価に基づきユーザの好みを把握してもよい。例えば、提供したシーンをウェブ上でユーザの閲覧に供し、ユーザがいわゆる「イイネ」ボタンをクリックすることで、保護者の評価を収集することができる。
【００３７】
以上、本発明について、各実施形態をもとに説明した。各実施形態は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、また、そうした変形例も本発明の範囲にあることは当業者に理解されるところである。各実施形態の内容は、本発明の技術的範囲を限定するものではなく、請求の範囲に規定された発明の思想を逸脱しない範囲において、構成要素の変更、追加、削除等の多くの設計変更が可能である。
【符号の説明】
【００３８】
８・・子供、  １０・・画像取得部、  １２・・状態認識部、  １４・・認識情報ＤＢ、  １６・・対象者ＤＢ、  １７・・アルバム編纂部、  １８・・危険性認識部、  ２０・・シーン抽出部、  ２４・・サーバ、  ３０・・入力デバイス、  ３１・・自動ドア、  ３２・・自動ドアカメラ、  ３３・・教室、  ３４・・教室カメラ、  ３５・・監視カメラ、  ３６・・音センサ、  ３７・・施設固定カメラ、  ４０・・出力デバイス、  ４２・・印刷装置、  ４４・・保護者携帯端末、  ４５・・ユーザ携帯端末、  ４６・・保護者端末、  ４７・・ユーザ端末、  ６０・・保育施設、  １００、２００・・画像解析システム。
【図１】
2019125870.tif 000003
【図２】
2019125870.tif 000004
【図３】
2019125870.tif 000005