(57)【要約】本願の実施例は子供状態分析方法および装置、車両、電子機器、ならびに記憶媒体を開示し、前記方法は、取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うステップと、顔特徴に基づいて画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行い、画像中の人が子供であるかどうかの第一分類結果および人の少なくとも一種類の状態の第二分類結果を得るステップと、第一分類結果および第二分類結果を出力するステップ、および／または、第一分類結果および第二分類結果に基づいて、提示情報を出力するステップと、を含む。
2021504824.tif 000002
【特許請求の範囲】
【請求項１】
取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うステップと、
顔特徴に基づいて、前記画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行い、前記画像中の人が子供であるかどうかの第一分類結果および人の少なくとも一種類の状態の第二分類結果を得るステップと、
前記第一分類結果および前記第二分類結果を出力するステップ、および／または、前記第一分類結果および前記第二分類結果に基づいて、提示情報を出力するステップと、を含むことを特徴とする、子供状態分析方法。
【請求項２】
さらに、
前記第一分類結果として画像中の人が子供であることに応じて、前記第二分類結果が所定の条件を満たすかどうかを判定するステップと、
第二分類結果が前記所定の条件を満たすことに応じて、提示情報を出力するステップと、を含むことを特徴とする、請求項１に記載の方法。
【請求項３】
前記人の状態は、正常状態、異常状態、睡眠状態、目覚め状態、チャイルドシートから離れる状態の少なくとも一つを含み、
前記第二分類結果は、前記人の状態が正常状態であるかどうか、前記人の状態が異常状態であるかどうか、前記人の状態が睡眠状態であるかどうか、前記人の状態が目覚め状態であるかどうか、前記人の状態がチャイルドシートから離れる状態であるかどうかの少なくとも一つを含むことを特徴とする、請求項１または２に記載の方法。
【請求項４】
前記異常状態は、泣き状態、暴れ状態、嘔吐状態、むせる状態、苦痛状態の少なくとも一つを含むことを特徴とする、請求項３に記載の方法。
【請求項５】
前記所定の条件は、前記人の状態が異常状態であること、前記人の状態が目覚め状態であること、前記人の状態がチャイルドシートから離れる状態であることの少なくとも一つを含むことを特徴とする、請求項３または４に記載の方法。
【請求項６】
第二分類結果が前記人の状態が異常状態であることを満たすことに応じて、提示情報を出力する前記ステップは、
前記人が泣き状態にある時間が第一の予め設定された時間に達したこと、および／または前記人が暴れ状態にある時間が第二の予め設定された時間に達したこと、および／または前記人が苦痛状態にある時間が第三の予め設定された時間に達したことに応じて、提示情報を出力するステップを含むことを特徴とする、請求項５に記載の方法。
【請求項７】
取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行う前記ステップは、ニューラルネットワークにおける特徴抽出ブランチによって、取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うステップを含み、
顔特徴に基づいて、前記画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行う前記ステップは、前記ニューラルネットワークにおいて前記特徴抽出ブランチと接続される少なくとも二つの分類ブランチによって、前記特徴抽出ブランチにより抽出された顔特徴に基づいて、前記画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類をそれぞれ判定するステップを含むことを特徴とする、請求項１から６のいずれか一項に記載の方法。
【請求項８】
取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行う前記ステップは、ニューラルネットワークにおける特徴抽出ブランチによって、取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うステップを含み、
顔特徴に基づいて、前記画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行う前記ステップは、前記ニューラルネットワークにおいて前記特徴抽出ブランチと接続される少なくとも二つの分類ブランチによって、前記特徴抽出ブランチにより抽出された顔特徴に基づいて、前記画像中の人が子供であるかどうかの分類および人の少なくとも一種類の顔状態の分類をそれぞれ判定するステップと、
前記ニューラルネットワークにおいて前記少なくとも二つの分類ブランチと接続される統計分類ブランチによって、前記ビデオストリームにおける少なくとも１フレームの画像に対応する前記人の少なくとも一種類の顔状態の分類結果を統計し、統計結果に基づいて前記人の少なくとも一種類の状態の分類を判定するステップと、を含むことを特徴とする、請求項１から６のいずれか一項に記載の方法。
【請求項９】
前記人の顔状態は、開目、閉目の少なくとも一つを含むことを特徴とする、請求項８に記載の方法。
【請求項１０】
前記画像中の人が子供であるかどうかを判定する前記分類ブランチは、性別を区別する子供のアノテーションデータに基づいて予め訓練したものであることを特徴とする、請求項７から９のいずれか一項に記載の方法。
【請求項１１】
取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行う前記ステップの前に、さらに、
子供アノテーション情報および状態アノテーション情報を有するサンプル画像を使用して、前記ニューラルネットワークを訓練するステップを含むことを特徴とする、請求項７から１０のいずれか一項に記載の方法。
【請求項１２】
前記子供アノテーション情報は、前記サンプル画像中の人が子供であるかどうかを示すものであり、前記サンプル画像中の人の年齢または推定年齢が基準画像中の人の年齢または推定年齢よりも大きいことに応じて、前記サンプル画像の子供アノテーション情報は、非子供であることを示し、前記サンプル画像中の人の年齢または推定年齢が基準画像中の人の年齢または推定年齢以下であることに応じて、前記サンプル画像の子供アノテーション情報は、子供であることを示すことを特徴とする、請求項１１に記載の方法。
【請求項１３】
前記基準画像は男児基準画像および女児基準画像を含むことを特徴とする、請求項１２に記載の方法。
【請求項１４】
サンプル画像を使用して前記ニューラルネットワークを訓練する前記ステップは、
前記特徴抽出ブランチを使用して前記サンプル画像に対して顔特徴抽出を行うステップと、
前記少なくとも二つの分類ブランチの間で抽出された顔特徴を共有することによって、前記サンプル画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行い、サンプル画像中の人が子供であるかどうかの第一予測分類結果および人の少なくとも一種類の状態の第二予測分類結果を得るステップと、
前記第一予測分類結果および前記子供アノテーション情報に基づいて、第一損失を得て、前記第二予測分類結果および前記状態アノテーション情報に基づいて、第二損失を得るステップと、
前記第一損失および前記第二損失に基づき、前記ニューラルネットワークのパラメータを調整するステップと、を含むことを特徴とする、請求項１１から１３のいずれか一項に記載の方法。
【請求項１５】
前記第一損失および前記第二損失に基づき、前記ニューラルネットワークのパラメータを調整する前記ステップは、
前記第一損失および前記第二損失を重み付けして加算し、ネットワーク損失を得るステップと、
前記ネットワーク損失に基づいて、前記特徴抽出ブランチおよび前記少なくとも二つの分類ブランチのパラメータを調整するステップと、を含むことを特徴とする、請求項１４に記載の方法。
【請求項１６】
さらに、
車載機器および／または端末機器によって、前記取得されたビデオストリーム、前記第一分類結果、前記少なくとも一つの第二分類結果、前記提示情報のうちの少なくとも一つを表示するステップを含むことを特徴とする、請求項１から１５のいずれか一項に記載の方法。
【請求項１７】
取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行う前記ステップの前に、さらに、
車両内部に設置された少なくとも一つのカメラによって、前記ビデオストリームを取得するステップを含むことを特徴とする、請求項１から１６のいずれか一項に記載の方法。
【請求項１８】
取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うように構成される特徴抽出ユニットと、
顔特徴に基づいて、前記画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行い、前記画像中の人が子供であるかどうかの第一分類結果および人の少なくとも一種類の状態の第二分類結果を得るように構成される分類ユニットと、
前記第一分類結果および前記第二分類結果を出力するように構成され、および／または、前記第一分類結果および前記第二分類結果に基づいて、提示情報を出力するように構成される結果出力ユニットと、を含むことを特徴とする、子供状態分析装置。
【請求項１９】
さらに、
前記第一分類結果として画像中の人が子供であることに応じて、前記第二分類結果が所定の条件を満たすかどうかを判定するように構成される子供判定ユニットと、
第二分類結果が前記所定の条件を満たすことに応じて、提示情報を出力するように構成される提示ユニットと、を含むことを特徴とする、請求項１８に記載の装置。
【請求項２０】
前記人の状態は、正常状態、異常状態、睡眠状態、目覚め状態、チャイルドシートから離れる状態の少なくとも一つを含み、
前記第二分類結果は、前記人の状態が正常状態であるかどうか、前記人の状態が異常状態であるかどうか、前記人の状態が睡眠状態であるかどうか、前記人の状態が目覚め状態であるかどうか、前記人の状態がチャイルドシートから離れる状態であるかどうかの少なくとも一つを含むことを特徴とする、請求項１８または１９に記載の装置。
【請求項２１】
前記異常状態は、泣き状態、暴れ状態、嘔吐状態、むせる状態、苦痛状態の少なくとも一つを含むことを特徴とする、請求項２０に記載の装置。
【請求項２２】
前記所定の条件は、前記人の状態が異常状態であること、前記人の状態が目覚め状態であること、前記人の状態がチャイルドシートから離れる状態であることの少なくとも一つを含むことを特徴とする、請求項２０または２１に記載の装置。
【請求項２３】
前記提示ユニットは、前記人が泣き状態にある時間が第一の予め設定された時間に達したこと、および／または前記人が暴れ状態にある時間が第二の予め設定された時間に達したこと、および／または前記人が苦痛状態にある時間が第三の予め設定された時間に達したことに応じて、提示情報を出力するように構成されることを特徴とする、請求項２２に記載の装置。
【請求項２４】
前記特徴抽出ユニットは、ニューラルネットワークにおける特徴抽出ブランチによって、取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うように構成され、
前記分類ユニットは、前記ニューラルネットワークにおいて前記特徴抽出ブランチと接続される少なくとも二つの分類ブランチによって、前記特徴抽出ブランチにより抽出された顔特徴に基づいて、前記画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類をそれぞれ判定するように構成されることを特徴とする、請求項１８から２３のいずれか一項に記載の装置。
【請求項２５】
前記特徴抽出ユニットは、ニューラルネットワークにおける特徴抽出ブランチによって、取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うように構成され、
前記分類ユニットは、前記ニューラルネットワークにおいて前記特徴抽出ブランチと接続される少なくとも二つの分類ブランチによって、前記特徴抽出ブランチにより抽出された顔特徴に基づいて、前記画像中の人が子供であるかどうかの分類および人の少なくとも一種類の顔状態の分類をそれぞれ判定するステップと、前記ニューラルネットワークにおいて前記少なくとも二つの分類ブランチと接続される統計分類ブランチによって、前記ビデオストリームにおける少なくとも１フレームの画像に対応する前記人の少なくとも一種類の顔状態の分類結果を統計し、統計結果に基づいて前記人の少なくとも一種類の状態の分類を判定するステップと、を実行するように構成されることを特徴とする、請求項１８から２３のいずれか一項に記載の装置。
【請求項２６】
前記人の顔状態は、開目、閉目の少なくとも一つを含むことを特徴とする、請求項２５に記載の装置。
【請求項２７】
前記画像中の人が子供であるかどうかを判定する前記分類ブランチは、性別を区別する子供のアノテーションデータに基づいて予め訓練したものであることを特徴とする、請求項２４から２６のいずれか一項に記載の装置。
【請求項２８】
さらに、
子供アノテーション情報および状態アノテーション情報を有するサンプル画像を使用して、前記ニューラルネットワークを訓練するように構成されるネットワーク訓練ユニットを含むことを特徴とする、請求項２４から２７のいずれか一項に記載の装置。
【請求項２９】
前記子供アノテーション情報は、前記サンプル画像中の人が子供であるかどうかを示すものであり、前記サンプル画像中の人の年齢または推定年齢が基準画像中の人の年齢または推定年齢よりも大きいことに応じて、前記サンプル画像の子供アノテーション情報は、非子供であることを示し、前記サンプル画像中の人の年齢または推定年齢が基準画像中の人の年齢または推定年齢以下であることに応じて、前記サンプル画像の子供アノテーション情報は、子供であることを示すことを特徴とする、請求項２８に記載の装置。
【請求項３０】
前記基準画像は男児基準画像および女児基準画像を含むことを特徴とする、請求項２９に記載の装置。
【請求項３１】
前記ネットワーク訓練ユニットは、前記特徴抽出ブランチを使用して前記サンプル画像に対して顔特徴抽出を行うステップと、前記少なくとも二つの分類ブランチの間で抽出された顔特徴を共有することによって、前記サンプル画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行い、サンプル画像中の人が子供であるかどうかの第一予測分類結果および人の少なくとも一種類の状態の第二予測分類結果を得るステップと、前記第一予測分類結果および前記子供アノテーション情報に基づいて、第一損失を得て、前記第二予測分類結果および前記状態アノテーション情報に基づいて、第二損失を得るステップと、前記第一損失および前記第二損失に基づき、前記ニューラルネットワークのパラメータを調整するステップと、を実行するように構成されることを特徴とする、請求項２８から３０のいずれか一項に記載の装置。
【請求項３２】
前記ネットワーク訓練ユニットは、前記第一損失および前記第二損失に基づき、前記ニューラルネットワークのパラメータを調整する場合に、前記第一損失および前記第二損失を重み付けして加算し、ネットワーク損失を得るステップと、前記ネットワーク損失に基づいて、前記特徴抽出ブランチおよび前記少なくとも二つの分類ブランチのパラメータを調整するステップと、を実行するように構成されることを特徴とする、請求項３１に記載の装置。
【請求項３３】
さらに、
前記取得されたビデオストリーム、前記第一分類結果、前記少なくとも一つの第二分類結果、前記提示情報のうちの少なくとも一つを表示するように構成される車載機器および／または端末機器を含むことを特徴とする、請求項１８から３２のいずれか一項に記載の装置。
【請求項３４】
さらに、
前記ビデオストリームを取得するための、車両内部に設置された少なくとも一つのカメラを含むことを特徴とする、請求項１８から３３のいずれか一項に記載の装置。
【請求項３５】
請求項１８から３４のいずれか一項に記載の子供状態分析装置を含むことを特徴とする、車両。
【請求項３６】
請求項１８から３４のいずれか一項に記載の子供状態分析装置を含むプロセッサを含むことを特徴とする、電子機器。
【請求項３７】
実行可能命令を記憶するためのメモリと、
前記メモリと通信して前記実行可能命令を実行することにより請求項１から１７のいずれか一項に記載の子供状態分析方法を実行するためのプロセッサと、を含むことを特徴とする、電子機器。
【請求項３８】
コンピュータ可読命令を記憶するためのコンピュータ記憶媒体であって、前記命令は実行される時に請求項１から１７のいずれか一項に記載の子供状態分析方法の動作を実行することを特徴とする、コンピュータ記憶媒体。
【請求項３９】
コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが機器において実行される時、前記機器内のプロセッサは請求項１から１７のいずれか一項に記載の子供状態分析方法を実現するための命令を実行することを特徴とする、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は２０１８年１０月１９日に中国特許局へ提出された、出願番号がＣＮ２０１８１１２２４７８４．０であり、発明の名称が「子供状態分析方法および装置、車両、電子機器、ならびに記憶媒体」である中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
【０００２】
本願はコンピュータビジョン技術に関し、特に子供状態分析方法および装置、車両、電子機器、ならびに記憶媒体に関する。
【背景技術】
【０００３】
近年、コンピュータビジョン分野において、深層学習は、画像分類、位置特定、分割、認識などのタスクに広く応用されており、優れた実績を示している。深層学習は、顔関連作業への応用においても、大きく成功している。例えば、従来技術において、三次元の顔位置合わせ、シャムネットワーク、局所畳み込みおよび大量の訓練データによって、機械による顔認識率を人間によるものに近付ける。
【発明の概要】
【課題を解決するための手段】
【０００４】
本願の実施例は子供状態分析技術を提供する。
【０００５】
本願の実施例の第一態様によれば、
取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うステップと、
顔特徴に基づいて、前記画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行い、前記画像中の人が子供であるかどうかの第一分類結果および人の少なくとも一種類の状態の第二分類結果を得るステップと、
第一分類結果および第二分類結果を出力するステップ、および／または、前記第一分類結果および前記第二分類結果に基づいて、提示情報を出力するステップと、を含む子供状態分析方法が提供される。
【０００６】
本願の実施例の第二態様によれば、
取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うように構成される特徴抽出ユニットと、
顔特徴に基づいて、前記画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行い、画像中の人が子供であるかどうかの第一分類結果および人の少なくとも一種類の状態の第二分類結果を得るように構成される分類ユニットと、
前記第一分類結果および前記第二分類結果を出力するように構成され、および／または、前記第一分類結果および前記第二分類結果に基づいて、提示情報を出力するように構成される結果出力ユニットと、を含む子供状態分析装置が提供される。
【０００７】
本願の実施例の第三態様によれば、上記いずれか一項に記載の子供状態分析装置を含む車両が提供される。
【０００８】
本願の実施例の第四態様によれば、上記いずれか一項に記載の子供状態分析装置を含むプロセッサを含む電子機器が提供される。
【０００９】
本願の実施例の第五態様によれば、実行可能命令を記憶するためのメモリと、
前記メモリと通信して前記実行可能命令を実行することにより上記いずれか一項に記載の子供状態分析方法を実行するためのプロセッサと、を含む電子機器が提供される。
【００１０】
本願の実施例の第六態様によれば、コンピュータ可読命令を記憶するためのコンピュータ記憶媒体であって、前記命令は実行される時に上記いずれか一項に記載の子供状態分析方法の動作を実行するコンピュータ記憶媒体が提供される。
【００１１】
本願の実施例の第七態様によれば、コンピュータ可読コードを含むコンピュータプログラム製品であって、前記コンピュータ可読コードが機器において実行される時、前記機器内のプロセッサは上記いずれか一項に記載の子供状態分析方法を実現するための命令を実行するコンピュータプログラム製品が提供される。
【００１２】
本願の上記実施例が提供する子供状態分析方法および装置、車両、電子機器、ならびに記憶媒体に基づき、取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うステップと、顔特徴に基づいて画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行い、画像中の人が子供であるかどうかの第一分類結果および人の少なくとも一種類の状態の第二分類結果を得るステップと、第一分類結果および第二分類結果を出力するステップ、および／または、前記第一分類結果および前記第二分類結果に基づいて、提示情報を出力するステップと、を実行し、顔特徴を共有することでネットワークのサイズを小さくし、ネットワークの複雑度を低減し、ネットワークの処理速度を向上させ、高速な子供状態分析を実現し、それによって子供の異なる状態を速やかに対処する。
【００１３】
以下に図面および実施例により、本願の技術的解決手段をさらに詳しく説明する。
【図面の簡単な説明】
【００１４】
【図１】本願の実施例が提供する子供状態分析方法のフローチャートである。
【図２】本願の実施例が提供する子供状態分析方法の別のフローチャートである。
【図３】本願の実施例が提供する子供状態分析方法のさらに別のフローチャートである。
【図４】本願の実施例が提供する子供状態分析方法のさらに別のフローチャートである。
【図５】本願の実施例が提供する子供状態分析方法の一例における男児基準画像である。
【図６】本願の実施例が提供する子供状態分析方法の一例における女児基準画像である。
【図７】本願の実施例が提供する子供状態分析装置の概略構造図である。
【図８】本願の実施例の端末機器またはサーバの実現に適する電子機器の概略構造図である。
【発明を実施するための形態】
【００１５】
明細書の一部を構成する図面は、本願の実施例を説明し、その説明と共に本願の原理を解釈することに用いられる。
【００１６】
図面を参照し、以下の詳細な説明により本願をより明瞭に理解することができる。
【００１７】
ここで、図面を参照しながら本願の様々な例示的な実施例を詳細に説明する。なお、特に断らない限り、これらの実施例で記述した部材およびステップの相対的配置、数式および値は本願の範囲を限定するものではないことに注意すべきである。
【００１８】
同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。
【００１９】
以下の少なくとも一つの例示的な実施例に対する説明は実際に説明的なものに過ぎず、本願およびその適用または使用へのなんらの制限にもならない。
【００２０】
関連分野の当業者に既知の技術、方法および機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法および機器は明細書の一部と見なすべきである。
【００２１】
なお、類似する符号および英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。
【００２２】
本願の実施例はコンピュータシステム／サーバに適用可能であり、それは他の様々な共通または専用計算システム環境または構成と共に動作可能である。コンピュータシステム／サーバとの併用に適する公知の計算システム、環境および／または構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステムおよび前記の任意のシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。
【００２３】
コンピュータシステム／サーバはコンピュータシステムにより実行されるコンピュータシステム実行可能命令（例えば、プログラムモジュール）の一般的な言語環境において記述できる。通常、プログラムモジュールはルーチン、プログラム、目的プログラム、コンポーネント、ロジック、データ構造などを含んでよく、それらは特定のタスクを実行するかまたは特定の抽象データ型を実現する。コンピュータシステム／サーバは分散型クラウドコンピューティング環境において実施でき、分散型クラウドコンピューティング環境において、タスクは通信ネットワークにわたってリンクされた遠隔処理機器により実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してよい。
【００２４】
図１は本願の実施例が提供する子供状態分析方法のフローチャートである。該方法は、例えば端末機器、サーバ、モバイル機器、車載機器など任意の子供状態分析機器によって実行してもよく、本願の実施例はこれについて限定しない。図１に示すように、該実施例の方法は以下を含む。
【００２５】
ステップ１１０において、取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行う。
【００２６】
任意選択的に、人の状態は単一フレームの画像の状態から判定できないことが一般的であり、例えば、人が睡眠状態にあるかどうかを判定するには、単一フレームの画像における人の目が閉合状態にあるかどうかを判定する必要があるだけでなく、複数フレームの画像における目の閉合状態を判定する必要もあり、したがって、本願の実施例は取得されたビデオストリームに基づいて状態を分析する。
【００２７】
任意選択的に、本実施例は特徴抽出を実現可能な任意のニューラルネットワークまたは他の手段でビデオストリームにおける画像に対して特徴抽出を行い、顔特徴を得ることができ、本願の実施例は顔特徴を得る具体的な手段を限定しない。本実施例は撮像機器により任意の空間において収集されたビデオストリームに応用可能であり、取得されたビデオストリームにおける画像は通常顔のみを含むのではないため、任意選択的に、特徴抽出を行う前に、取得されたビデオストリームにおける画像の顔認識を行い、顔画像を得るステップをさらに含んでもよい。
【００２８】
一代替例では、該ステップ１１０はプロセッサによってメモリに記憶された対応する命令を呼び出して実行してもよく、プロセッサにより運用される特徴抽出ユニット７１によって実行してもよい。
【００２９】
ステップ１２０において、顔特徴に基づいて画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行い、画像中の人が子供であるかどうかの第一分類結果および人の少なくとも一種類の状態の第二分類結果を得る。
【００３０】
本願の実施例で言及された子供は、児童、乳児、幼児などを含んでもよいが、これらに限定されない。画像中の人が子供であるかどうかの判定は、一般的に人々が視覚的に子供と認める人を子供として判定してもよく、基準年齢または自前で定義された年齢以下の人を子供として判定してもよく、例えば、基準年齢を法律によって定められている児童年齢（例えば１２歳）としてもよく、または自前で定義された年齢を３歳、６歳もしくは８歳などに設定してもよく、本願の実施例は子供の具体的な年齢を限定せず、具体的な状況に応じて異なる年齢帯を子供として自前で定義してもよく、例えば、幼稚園では６歳以下を子供と定義するが、交通利用の場合は１２歳以下を子供と定義する。
【００３１】
年齢に基づいて画像中の人が子供であるかどうかを判定する上記方法以外に、年齢を判断せずに、直接、訓練後のニューラルネットワークなどの分類ブランチによって、入力される画像が子供であるかどうかの分類処理を行ってもよい。
【００３２】
本願の実施例では、得られた顔特徴に基づき、該画像中の人が子供であるかどうか（二つの分類結果を含み、一つは当該人が子供であることを示し、もう一つは当該人が子供ではないと示す）を判定し、かつ得られた顔特徴に基づき、該画像中の人の状態（複数種類の状態の分類結果、例えば、正常状態、異常状態、睡眠状態、目覚め状態、チャイルドシートから離れる状態などを含み得る）を判定する。
【００３３】
本実施例では、一つのニューラルネットワークによって子供であるかどうかを判定し、別の少なくとも一つのニューラルネットワークによって少なくとも一種類の状態を分類するように、少なくとも二つのニューラルネットワークによって上記ステップ１１０で得られた顔特徴を処理してもよく、または、一つのニューラルネットワークによって特徴抽出および子供であるかどうかの判定、少なくとも一種類の状態の分類を実現してもよく、この場合、該ニューラルネットワークは特徴抽出ブランチおよび特徴抽出ブランチと接続される少なくとも二つの分類ブランチを含み、または、少なくとも二つの分類ブランチと接続される統計分類ブランチをさらに含む。少なくとも二つの分類ブランチは顔特徴に基づいて画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類をそれぞれ判定し、統計分類ブランチはビデオストリームにおける少なくとも１フレームの画像に対応する人の少なくとも一種類の顔状態の分類結果を統計し、統計結果に基づいて人の少なくとも一種類の状態の分類を判定する。本実施例は顔特徴を共有することで少なくとも二つの分類結果を得て、重複した特徴抽出プロセスを削減し、画像処理の速度を向上させる。
【００３４】
一代替例では、該ステップ１２０はプロセッサによってメモリに記憶された対応する命令を呼び出して実行してもよく、プロセッサにより運用される分類ユニット７２によって実行してもよい。
【００３５】
ステップ１３０において、第一分類結果および第二分類結果を出力し、および／または、第一分類結果および第二分類結果に基づいて、提示情報を出力する。
【００３６】
本実施例では、第一分類結果および第二分類結果を得た後、二つのケースに分けて処理することができる。一つは、第一分類結果および第二分類結果を出力してもよいケースであり、この場合、ユーザは第一分類結果および第二分類結果を確認および識別し、第一分類結果および第二分類結果に基づいて、対応する対処を行うことができ、もう一つは、第一分類結果および第二分類結果によって提示情報を出力してもよい場合、本実施例が提示情報を直接出力可能なケースであり、この場合、ユーザは第一分類結果および第二分類結果を確認および処理し、特定の状況（例えば、子供が泣き状態にある状況など）で提示情報を受信すればよく、本実施例は提示情報を直接発信することで特定の状況に対するユーザの処理効率を高め、情報が多くなりすぎてユーザが分類結果を識別せざるを得ないことにより処理が遅れてしまうという問題を軽減することができる。
【００３７】
ここで、提示情報は、音声による提示情報、画像による提示情報、振動による提示情報、香りによる提示情報などの情報の少なくとも一つを含んでもよいが、これらに限定されず、本実施例は提示情報の具体的な表現形式を限定せず、他の人が該情報を受信できればよい。
【００３８】
一代替例では、該ステップ１３０はプロセッサによってメモリに記憶された対応する命令を呼び出して実行してもよく、プロセッサにより運用される結果出力ユニット７３によって実行してもよい。
【００３９】
本願の上記実施例が提供する子供状態分析方法に基づき、取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うステップと、抽出された顔特徴を共有して画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行い、画像中の人が子供であるかどうかの第一分類結果および人の少なくとも一種類の状態の第二分類結果を得るステップと、第一分類結果および第二分類結果を出力するステップと、を実行し、顔特徴を共有することでネットワークのサイズを小さくし、ネットワークの複雑度を低減し、ネットワークの処理速度を向上させ、高速な子供状態分析を実現し、それによって子供の異なる状態を速やかに対処する。
【００４０】
図２は本願の実施例が提供する子供状態分析方法の別のフローチャートである。図２に示すように、本実施の方法はステップ１３０の後に、さらに以下を含む。
【００４１】
ステップ２４０において、第一分類結果として画像中の人が子供であることに応じて、第二分類結果が所定の条件を満たすかどうかを判定する。
【００４２】
同一の画像から得られた、子供であるかどうかの分類結果および状態の分類結果を組み合わせして、子供である人の状態、および子供でない人の状態を判定できる。子供の状態に対する制御がより困難であるため、より多く配慮する必要があり、本実施例は結果から子供の状態を取得する。
【００４３】
ステップ２５０において、第二分類結果が所定の条件を満たすことに応じて、提示情報を出力する。
【００４４】
子供は大人などの他の個体群に比べ、容易に外部の刺激を受けてマイナスの状態になる傾向があり、子供の状態が所定の条件（例えば、泣いている）を満たす場合、危険にあう確率を低下させるために、他の人は速やかに対処しなければならず、他の人が子供の状態に早期に気付くことを可能にするために、本願の実施例は提示情報を通知することで他の人の注意を喚起し、提示情報は、音声による提示情報、画像による提示情報、振動による提示情報、香りによる提示情報などの情報の少なくとも一つを含んでもよいが、それらに限定されず、本実施例は提示情報の具体的な表現形式を限定せず、他の人が該情報を受信できればよい。
【００４５】
一つ以上の代替実施例では、人の状態は、正常状態、異常状態、睡眠状態、目覚め状態、チャイルドシートから離れる状態などの少なくとも一つを含むが、これらに限定されない。
【００４６】
第二分類結果は、人の状態が正常状態であるかどうか、人の状態が異常状態であるかどうか、人の状態が睡眠状態であるかどうか、人の状態が目覚め状態であるかどうか、人の状態がチャイルドシートから離れる状態であるかどうかなどの少なくとも一つを含むが、これらに限定されない。
【００４７】
任意選択的に、顔が落ち着いている状態（五官に明らかな変化がない）にある場合に当該人が正常状態にあると考えてよく、他の状態については、分析対象個体群の特徴（子供の特徴）に基づいて異常状態を定義してよい。例えば、子供に関しては、異常状態が泣き状態、暴れ状態、嘔吐状態、むせる状態、苦痛状態などの少なくとも一つを含んでもよいが、これらに限定されないと考えてもよい。子供にいずれの異常状態が発生しても、一定の危険性または一定の緊急性が伴う可能性があるため、他の人がそれに注意を向けて対応する操作を行う必要がある。睡眠状態とは人の目が閉じた時間が予め設定された時間に達した状態をいい、目覚め状態とは睡眠状態から覚醒状態へ転換する状態をいい、通常、子供の目覚め状態に泣きなどの異常状態が伴うため、子供の目覚め状態にも注意を向ける必要がある。子供が車内にいる場合、安全のために、突然の停車などの車両動作による危険にあう確率を低下させるように子供をチャイルドシートに座らせる必要があり、したがって、車内の子供に対して上記状態の分析以外に、チャイルドシートから離れる状態にあるかどうかを分析する必要もあり、子供の状態がチャイルドシートから離れる状態であると、子供が危険に臨んでいる可能性があり、大人などの他の人が子供の位置を調整する必要がある。
【００４８】
任意選択的に、所定の条件は、人の状態が異常状態であること、人の状態が目覚め状態であること、人の状態がチャイルドシートから離れる状態であることなどの少なくとも一つを含むが、これらに限定されない。
【００４９】
本願の実施例では、第二分類結果が以上で与えられた所定の条件のうちの少なくとも一つを満たす場合、他の人が速やかに子供の状態を調整し、その安全を確保するよう、提示情報を通知する必要があり、例えば、ベビールームに子供が泣いた場合（異常状態）、危険にあう確率を低下させるために、提示情報を発して保護者に速やかに対処するように促す必要があり、または幼稚園で、子供が嘔吐した場合および／またはむせた場合、速やかに対処しなければ子供の命が危うくなり、したがって、早期に子供の状態を対処しまたは子供を受診に連れて行くように、提示情報（例えば、音声による提示情報など）を発して他の大人の注意を促す必要がある。
【００５０】
任意選択的に、異常状態は緊急状況および非緊急状況に分けてもよく、緊急状況とは通常、速やかに対処する必要があり、そうでなければ事情がひどくなり得る状況をいい、例えば、子供が嘔吐した場合および／またはむせた場合、早期に対処できなければ子供の命が危うくなり、非緊急状況とは緊急状況の相対的な概念にすぎず、一般に異常状況はいずれも速やかに対処する必要があり、任意選択的に、当該人が泣き状態にある時間が第一の予め設定された時間に達したこと、および／または当該人が暴れ状態にある時間が第二の予め設定された時間に達したこと、および／または当該人が苦痛状態にある時間が第三の予め設定された時間に達したことに応じて、提示情報を出力する。
【００５１】
子供の状態は通常、不安定な状態であり、泣いたかおよび／または暴れたかと思うと、すぐに正常に戻ることがあり、したがって、泣き状態の持続時間が第一の予め設定された時間より短い場合、提示情報を通知する頻度を控え、ユーザ体験を改善するよう、提示情報を発さなくてもよく、暴れは、子供自体に限られて他の子供への影響が小さい（子供の個体群中）泣きとは異なり、他の子供を脅かす可能性があり（子供の個体群において、暴れは暴力に至る可能性がある）、したがって、泣き状態に対応する第一の予め設定された時間と暴れ状態に対応する第二の予め設定された時間は通常異なっている。子供が泣き状態および／または暴れ状態および／または苦痛状態にある時間がそれぞれの予め設定された時間に達した場合、子供の状態は自ら正常に戻ることができず、外部の介入が必要となる。本願の実施例は提示情報を通知することで外部の介入を実現する。
【００５２】
図３は本願の実施例が提供する子供状態分析方法のさらに別のフローチャートである。図３に示すように、本実施の方法は、
ニューラルネットワークにおける特徴抽出ブランチによって、取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うステップ３１０と、
ニューラルネットワークにおいて特徴抽出ブランチと接続される少なくとも二つの分類ブランチによって、特徴抽出ブランチにより抽出された顔特徴に基づいて画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類をそれぞれ判定し、画像中の人が子供であるかどうかの第一分類結果および人の少なくとも一種類の状態の第二分類結果を得るステップ３２０と、
第一分類結果および第二分類結果を出力するステップ３３０と、を含む。
【００５３】
本願の実施例は特徴抽出ブランチおよび少なくとも二つの分類ブランチを含むニューラルネットワークによって実現され、少なくとも二つの分類ブランチによって少なくとも二つの分類結果（例えば、子供であるかどうかの分類結果、および人の少なくとも一種類の状態の分類結果など）を同時に得て、ニューラルネットワークにおける特徴抽出ブランチによって顔画像に対して特徴抽出を行い、特徴抽出をそれぞれ行う複数の分類ブランチを必要とせず、ネットワークの処理速度を向上させる。特徴抽出ブランチの関与により、ネットワークのロバスト性が向上し、汎化能力が強くなる。パラメータが共有されるため、顔特徴抽出という動作は一回だけ行えばよく、その後、それを基に子供であるかどうかおよび人の状態を判定し、同一の顔特徴で分類し、それにより分類の正確度が高まり、ネットワークのフィードフォワード速度が向上する。
【００５４】
図４は本願の実施例が提供する子供状態分析方法のさらに別のフローチャートである。図４に示すように、本実施の方法は以下を含む。
【００５５】
ステップ４１０において、ニューラルネットワークにおける特徴抽出ブランチによって、取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行う。
【００５６】
ステップ４２０において、ニューラルネットワークにおいて特徴抽出ブランチと接続される少なくとも二つの分類ブランチによって、特徴抽出ブランチにより抽出された顔特徴に基づいて画像中の人が子供であるかどうかの分類および人の少なくとも一種類の顔状態の分類をそれぞれ判定する。
【００５７】
任意選択的に、人の顔状態は、開目、閉目などの少なくとも一つを含むが、これらに限定されない。
【００５８】
ステップ４３０において、ニューラルネットワークにおいて少なくとも二つの分類ブランチと接続される統計分類ブランチによって、ビデオストリームにおける少なくとも１フレームの画像に対応する人の少なくとも一種類の顔状態の分類結果を統計し、統計結果に基づいて前記人の少なくとも一種類の状態の分類を判定する。
【００５９】
設定時間内の顔状態統計結果と組み合わせて異なる顔状態によって人の状態を判定してもよく、例えば、統計分類ブランチにより、顔状態が閉目状態になってからの時間が設定時間に達し（連続受信した複数フレームの画像の分類結果が閉目である）または予め設定された時間窓内で閉目状態になってからの時間の割合が閾値を超えたと判定した場合、当該人が睡眠状態にあると考えてよく、統計ブランチにより、顔状態が長時間の閉目状態から開目に変化してからの時間が一定の時間に達した（閉目後の少なくとも一つの顔状態が開目である）と判定した場合、当該人が目覚め状態にあると考えてよい。設定時間内の顔または人体の統計結果と組み合わせてチャイルドシート領域の顔または人体を検出することで、子供がチャイルドシートから離れたかどうかを判定し、例えば、チャイルドシートに子供がいると検出した後の一定時間内にチャイルドシート領域の対応する画像において子供が検出されていなくなる場合、子供がチャイルドシートから離れたと判定してよい。
【００６０】
ステップ４４０において、第一分類結果および第二分類結果を出力し、および／または、第一分類結果および第二分類結果に基づいて、提示情報を出力する。
【００６１】
単一フレームの画像によって判定できない状態は、連続した複数フレーム（該連続した複数のフレームはビデオ中の時系列での連続フレームであってもよく、ビデオ中の間隔を持つ複数のフレームであってもよい）の画像の顔状態、例えば、正常状態、異常状態、睡眠状態、目覚め状態、チャイルドシートから離れる状態などと組み合わせて判定する必要があり、したがって、本願の実施例は統計分類ブランチと組み合わせて、複数フレームの画像の顔状態を統計し、さらに当該人の第二分類結果を判定する。
【００６２】
サンプル画像のアノテーション、例えば、子供であるかどうか、泣いているかどうか、目を開けているかどうか、目を閉じているかどうかなどの情報のアノテーションは、いずれも手動によるアノテーションまたは機械によるアノテーションなどの方式で実現し得、本願の実施例はこれについて限定しない。
【００６３】
任意選択的に、画像中の人が子供であるかどうかを判定する分類ブランチは、子供に対する分類の正確性を向上させるために、性別を区別する子供のアノテーションデータに基づいて予め訓練したものとされる。
【００６４】
本願の実施例では、画像中の人が子供であるかどうかを分類ブランチによって判定し、該分類ブランチはサンプル画像による訓練を経たものであり、性別によって顔特徴の表現が異なるため、即ち、同じ年齢の男児および女児の年齢を認識する時、得られた結果が異なることがあるため、該分類ブランチの分類正確性を向上させるために、該分類ブランチを訓練する時、サンプル画像を子供の性別に基づいて区別することができる。
【００６５】
一つ以上の代替実施例では、ステップ１１０の前に、本実施例の方法はさらに、
子供アノテーション情報および状態アノテーション情報を有するサンプル画像を使用してニューラルネットワークを訓練するステップを含む。
【００６６】
本願の実施例は子供の状態を分析する前に、他のニューラルネットワークと同様に、該ニューラルネットワークを訓練する必要があり、該ニューラルネットワークが少なくとも二つの分類ブランチを含むため、ニューラルネットワーク訓練用のサンプル画像は子供アノテーション情報および少なくとも一種類の状態アノテーション情報を有するべきであり、異なる分類ブランチによって少なくとも二つの損失を得て、全ての損失に基づいてニューラルネットワークを訓練し、子供および状態を同時に分類するニューラルネットワークを得る。
【００６７】
任意選択的に、子供アノテーション情報はサンプル画像中の人が子供であるかどうかを示すものであり、サンプル画像中の人の年齢または推定年齢が基準画像中の人の年齢または推定年齢より大きいことに応じて、サンプル画像の子供アノテーション情報は、非子供であることを示し、サンプル画像中の人の年齢または推定年齢が基準画像中の人の年齢または推定年齢以下である場合、該サンプル画像の子供アノテーション情報は、子供であることを示す。
【００６８】
該手動判定によって得られた推定年齢であれ、ネットワーク判定によって得られた人の年齢であれ、誤差が存在し得るため、サンプル画像中の人の年齢は、生年月日に基づいて計算して得られた所定の年齢であるか、または手動判定もしくはネットワーク判定によって得られた推定年齢であり得、基準画像中の人も年齢または推定年齢を採用できる。
【００６９】
人によって子供を判断する標準が異なり、同じ画像でも異なる人によりアノテーションされたアノテーション結果が異なるため、本実施例では、サンプル画像を基準画像と比較することで、該サンプル画像中の人が子供であるかどうかを判定し、手動アノテーションによる判断標準の差異を低減し、サンプル画像の子供アノテーション情報の正確性を向上させ、さらにネットワーク訓練の正確性を向上させる。任意選択的に、本実施例では、サンプル画像中の人の年齢または推定年齢が基準画像中の人の年齢または推定年齢より大きいかどうかの判定を手動で実現してもよく、訓練されておいたニューラルネットワークによって実現してもよい。
【００７０】
任意選択的に、基準画像は男児基準画像および女児基準画像を含む。
【００７１】
性別によって子供を判断する標準が異なり、人々は視覚的感知に大きな差がある。よって、性別の差によるアノテーション情報の誤差を低減するために、本実施例では男性および女性についてそれぞれ男児基準画像および女児基準画像を設定し、これによってアノテーション情報の確実性を向上させる。例えば、図５は本願の実施例が提供する子供状態分析方法の一例における男児基準画像である。図６は本願の実施例が提供する子供状態分析方法の一例における女児基準画像である。それぞれ二つの男児基準画像および女児基準画像を標準とし、この基準画像中の人の年齢または推定年齢より大きい場合、子供ではないと判定し、この基準画像中の人の年齢または推定年齢より小さい場合、子供であると判定する。男性、女性に分けることで一つの画像が子供であるかどうかを判定し、子供データセットのノイズを低減し、子供データセットの精度を高める。
【００７２】
任意選択的に、サンプル画像を使用してニューラルネットワークを訓練するステップは、
特徴抽出ブランチを使用してサンプル画像に対して顔特徴抽出を行うステップと、
少なくとも二つの分類ブランチの間で抽出された顔特徴を共有することによって、サンプル画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行い、サンプル画像中の人が子供であるかどうかの第一予測分類結果および人の少なくとも一種類の状態の第二予測分類結果を得るステップと、
第一予測分類結果および子供アノテーション情報に基づいて第一損失を得て、第二予測分類結果および状態アノテーション情報に基づいて第二損失を得るステップと、
第一損失および第二損失に基づき、ニューラルネットワークのパラメータを調整するステップと、を含む。
【００７３】
任意選択的に、ここで第二予測分類結果は少なくとも一つの結果を含み得、これに応じて、それは少なくとも一種類の状態アノテーション情報を含み、つまり、少なくとも一つの第二損失を得ることができ、この場合、第一損失および少なくとも一つの第二損失に基づいてニューラルネットワークのパラメータを調整する。
【００７４】
任意選択的に、子供データ（子供画像および非子供画像が含まれる）および子供状態データ（例えば、泣き状態および非泣き状態などが含まれる）をネットワークの入力とし、これらの画像に、データ拡張として、左右反転、ランダムクロップ、カラージッタリングを行い、これらのデータを顔特徴抽出ネットワークによって、顔特徴を抽出する。子供を判定する分類ブランチおよび子供の状態を判定する分類ブランチを設計し、抽出された特徴抽出ブランチの後に接続する。子供の分類損失および子供状態の分類損失をそれぞれ計算し、両方を最終的な損失として加算する。確率的勾配降下アルゴリズムを使用してネットワークを訓練する。例えば、ディープ畳み込みニューラルネットワークを特徴抽出ブランチとして使用する。各層において、異なるサイズ（例えば３ｘ３、５ｘ５など）の畳み込みカーネルおよび最大プーリングを使用して異なるサイズの情報を抽出し、これらの情報を次の層の入力としてつなぎ合わせる。任意選択的に、モデルの訓練速度を向上させるために、１ｘ１畳み込みを使用して次元を削減し、大きな畳み込みカーネルを複数の小さな畳み込みカーネルに分解し（例えば、５ｘ５畳み込みカーネルを２つの３ｘ３畳み込みカーネルに分解する）、同じ機能のネットワークを実現し、畳み込みカーネルの小さいネットワークを選択して本実施例を実現するようにしてもよい。残差ブロックを導入し、ネットワークにおける勾配の伝播を最適化する。両方を組み合わせれば、顔の特徴情報をより効率よく抽出できる。
【００７５】
任意選択的に、第一損失および第二損失に基づき、ニューラルネットワークのパラメータを調整するステップは、
第一損失および第二損失を重み付けして加算し、ネットワーク損失を得るステップと、
ネットワーク損失に基づいて特徴抽出ブランチおよび少なくとも二つの分類ブランチのパラメータを調整するステップと、を含む。
【００７６】
第一損失および第二損失を重み付けして加算し、ここで第二損失は一つ以上であってもよく、第二損失が複数である場合、第一損失および複数の第二損失を重み付けして加算し、重み付け加算により得られたネットワーク損失によってニューラルネットワークを訓練することで、ネットワークの訓練速度を向上させ、訓練により得られたニューラルネットワークのネットワーク性能を向上させる。
【００７７】
一つ以上の代替実施例では、本願の実施例の方法はさらに、
車載機器および／または端末機器によって、取得されたビデオストリーム、第一分類結果、少なくとも一つの第二分類結果、提示情報のうちの少なくとも一つを表示するステップを含んでもよい。
【００７８】
車両の運転中、子供の状態に配慮することがより必要になり、運転者または車内の他の乗員に車内の子供の状態を把握させるために、任意選択的に、車載機器によって以上の少なくとも一つの情報を受信および表示し、ここの表示は画面による表示に限られず、例えば、音声による提示情報を再生し、振動による提示情報を伝達するなど、他の方式でユーザに提示情報を受信させてもよく、車載機器によって情報を表示すると、運転者または車内の他の乗員は車両内の状況を速やかに確認できるようになる。端末機器は、例えば、車両外の他の位置で車両内の状況を監視するように、任意の位置で他の空間（例えば、車内、教室内など）にいる子供を監視することができ、運転者が一時的に車両から離れる場合、端末機器（例えば、携帯電話など）によって車両内の乗客、特に子供の状態を確認でき、提示情報を受信したら、速やかに車両に戻り、突発的な状況を対処することができる。例えば、高速道路のサービスエリアにいる時、トイレに行きたいが、車内の子供の状態を心配する場合、携帯電話のＡＰＰによってスマートリアシート監視機能を有効化してよい。
【００７９】
一つ以上の代替実施例では、取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うステップの前に、さらに、
車両内部に設置された少なくとも一つのカメラによってビデオストリームを収集するステップを含む。
【００８０】
顔画像における状態を判定するには、単独の顔画像を分析の基礎とすれば画像が不明瞭になりまたは表情に歪みが生じるなど不正確さが出ることがあり、状態を正確に監視するために、本実施例は車両内部のカメラによって車内の乗客の画像を収集し、ビデオストリームを得て、該ビデオストリームにおける少なくとも１フレームの画像から顔画像を得て、得られた顔画像によって車両内の子供状態への監視を実現する。
【００８１】
当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完成できることを理解でき、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記方法の実施例を含むステップを実行する。
【００８２】
図７は本願の実施例が提供する子供状態分析装置の構造概略図である。該実施例の装置は本願の上記各子供状態分析方法の実施例を実現するために用いることができる。図７に示すように、該実施例の装置は、
取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うように構成される特徴抽出ユニット７１と、
顔特徴に基づいて画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行い、画像中の人が子供であるかどうかの第一分類結果および人の少なくとも一種類の状態の第二分類結果を得るように構成される分類ユニット７２と、
第一分類結果および第二分類結果を出力するように構成され、および／または、第一分類結果および第二分類結果に基づいて、提示情報を出力するように構成される結果出力ユニット７３と、を含む。
【００８３】
本願の上記実施例が提供する子供状態分析装置に基づき、取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うステップと、顔特徴に基づいて画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行い、画像中の人が子供であるかどうかの第一分類結果および人の少なくとも一種類の状態の第二分類結果を得るステップと、第一分類結果および第二分類結果を出力するステップ、および／または、第一分類結果および第二分類結果に基づいて、提示情報を出力するステップと、を実行し、顔特徴を共有することでネットワークのサイズを小さくし、ネットワークの複雑度を低減し、ネットワークの処理速度を向上させ、高速な子供状態分析を実現し、それによって子供の異なる状態を速やかに対処する。
【００８４】
一つ以上の代替実施例では、本願の実施例の装置はさらに、
第一分類結果として画像中の人が子供であることに応じて、第二分類結果が所定の条件を満たすかどうかを判定するように構成される子供判定ユニットと、
第二分類結果が所定の条件を満たすことに応じて、提示情報を出力するように構成される提示ユニットと、を含む。
【００８５】
子供は大人などの他の個体群に比べ、容易に外部の刺激を受けてマイナスの状態になる傾向があり、子供の状態が所定の条件（例えば、泣いている）を満たす場合、危険にあう確率を低下させるために、他の人は速やかに対処しなければならず、他の人が子供の状態に早期に気付くことを可能にするために、本願の実施例は提示情報を通知することで他の人の注意を喚起し、提示情報は、音声による提示情報、画像による提示情報、振動による提示情報、香りによる提示情報などの情報の少なくとも一つを含んでもよいが、それらに限定されず、本実施例は提示情報の具体的な表現形式を限定せず、他の人が該情報を受信できればよい。
【００８６】
一つ以上の代替実施例では、人の状態は、正常状態、異常状態、睡眠状態、目覚め状態、チャイルドシートから離れる状態などの少なくとも一つを含むが、これらに限定されず、
第二分類結果は、人の状態が正常状態であるかどうか、人の状態が異常状態であるかどうか、人の状態が睡眠状態であるかどうか、人の状態が目覚め状態であるかどうか、人の状態がチャイルドシートから離れる状態であるかどうかなどの少なくとも一つを含むが、これらに限定されない。
【００８７】
任意選択的に、異常状態は、泣き状態、暴れ状態、嘔吐状態、むせる状態、苦痛状態などの少なくとも一つを含むが、これらに限定されない。
【００８８】
任意選択的に、所定の条件は、人の状態が異常状態であること、人の状態が目覚め状態であること、人の状態がチャイルドシートから離れる状態であることなどの少なくとも一つを含むが、これらに限定されない。
【００８９】
任意選択的に、提示ユニットは、当該人が泣き状態にある時間が第一の予め設定された時間に達したこと、および／または当該人が暴れ状態にある時間が第二の予め設定された時間に達したこと、および／または当該人が苦痛状態にある時間が第三の予め設定された時間に達したことに応じて、提示情報を出力するように構成される。
【００９０】
一つ以上の代替実施例では、特徴抽出ユニット７１は、ニューラルネットワークにおける特徴抽出ブランチによって、取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うように構成され、
分類ユニット７２は、ニューラルネットワークにおいて特徴抽出ブランチと接続される少なくとも二つの分類ブランチによって、特徴抽出ブランチにより抽出された顔特徴に基づいて画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類をそれぞれ判定するように構成される。
【００９１】
本願の実施例は特徴抽出ブランチおよび少なくとも二つの分類ブランチを含むニューラルネットワークによって実現し、少なくとも二つの分類ブランチによって少なくとも二つの分類結果（例えば、子供であるかどうかの分類結果、および人の少なくとも一種類の状態の分類結果など）を同時に得て、ニューラルネットワークにおける特徴抽出ブランチによって顔画像に対して特徴抽出を行い、特徴抽出をそれぞれ行う複数の分類ブランチを必要とせず、ネットワークの処理速度を向上させる。特徴抽出ブランチの関与により、ネットワークのロバスト性が向上し、汎化能力が強くなる。パラメータが共有されるため、顔特徴抽出という動作は一回だけ行えばよく、その後、それを基に子供であるかどうかおよび人の状態を判定し、同一の顔特徴で分類し、それにより分類の正確度が高まり、ネットワークのフィードフォワード速度が向上する。
【００９２】
一つ以上の代替実施例では、特徴抽出ユニット７１は、ニューラルネットワークにおける特徴抽出ブランチによって、取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うように構成され、
分類ユニット７２は、ニューラルネットワークにおいて特徴抽出ブランチと接続される少なくとも二つの分類ブランチによって、特徴抽出ブランチにより抽出された顔特徴に基づいて画像中の人が子供であるかどうかの分類および人の少なくとも一種類の顔状態の分類をそれぞれ判定するステップと、ニューラルネットワークにおいて少なくとも二つの分類ブランチと接続される統計分類ブランチによって、ビデオストリームにおける少なくとも１フレームの画像に対応する人の少なくとも一種類の顔状態の分類結果を統計し、統計結果に基づいて人の少なくとも一種類の状態の分類を判定するステップと、を実行するように構成される。
【００９３】
単一フレームの画像によって判定できない状態は、連続した複数フレーム（該連続した複数のフレームはビデオ中の時系列での連続フレームであってもよく、ビデオ中の間隔を持つ複数のフレームであってもよい）の画像の顔状態、例えば、正常状態、異常状態、睡眠状態、目覚め状態、チャイルドシートから離れる状態などと組み合わせて判定する必要があり、したがって、本願の実施例は統計分類ブランチと組み合わせて、複数フレームの画像の顔状態を統計し、さらに当該人の第二分類結果を判定する。
【００９４】
任意選択的に、人の顔状態は、開目、閉目などの少なくとも一つを含むが、これらに限定されない。
【００９５】
任意選択的に、画像中の人が子供であるかどうかを判定する分類ブランチは、性別を区別する子供のアノテーションデータに基づいて予め訓練したものである。
【００９６】
一つ以上の代替実施例では、本願の実施例の装置はさらに、
子供アノテーション情報および状態アノテーション情報を有するサンプル画像を利用してニューラルネットワークを訓練するように構成されるネットワーク訓練ユニットを含む。
【００９７】
本願の実施例は子供の状態を分析する前に、他のニューラルネットワークと同様に、該ニューラルネットワークを訓練する必要があり、該ニューラルネットワークが少なくとも二つの分類ブランチを含むため、ニューラルネットワーク訓練用のサンプル画像は子供アノテーション情報および少なくとも一種類の状態アノテーション情報を有するべきであり、異なる分類ブランチによって少なくとも二つの損失を得て、全ての損失に基づいてニューラルネットワークを訓練し、子供および状態を同時に分類するニューラルネットワークを得る。
【００９８】
任意選択的に、子供アノテーション情報はサンプル画像中の人が子供であるかどうかを示すものであり、サンプル画像中の人の年齢または推定年齢が基準画像中の人の年齢または推定年齢より大きいことに応じて、サンプル画像の子供アノテーション情報は、非子供であることを示し、サンプル画像中の人の年齢または推定年齢が基準画像中の人の年齢または推定年齢以下であることに応じて、該サンプル画像の子供アノテーション情報は、子供であることを示す。
【００９９】
任意選択的に、基準画像は男児基準画像および女児基準画像を含む。
【０１００】
任意選択的に、ネットワーク訓練ユニットは、特徴抽出ブランチを使用してサンプル画像に対して顔特徴抽出を行うステップと、少なくとも二つの分類ブランチの間で抽出された顔特徴を共有することによって、サンプル画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行い、サンプル画像中の人が子供であるかどうかの第一予測分類結果および人の少なくとも一種類の状態の第二予測分類結果を得るステップと、第一予測分類結果および子供アノテーション情報に基づいて第一損失を得て、第二予測分類結果および状態アノテーション情報に基づいて第二損失を得るステップと、第一損失および第二損失に基づき、ニューラルネットワークのパラメータを調整するステップと、を実行するように構成される。
【０１０１】
任意選択的に、ネットワーク訓練ユニットは、第一損失および第二損失に基づき、ニューラルネットワークのパラメータを調整する場合に、第一損失および第二損失を重み付けして加算し、ネットワーク損失を得るステップと、ネットワーク損失に基づいて特徴抽出ブランチおよび少なくとも二つの分類ブランチのパラメータを調整するステップと、を実行するように構成される。
【０１０２】
一つ以上の代替実施例では、本願の実施例の装置はさらに、
取得されたビデオストリーム、第一分類結果、少なくとも一つの第二分類結果、提示情報のうちの少なくとも一つを表示するための車載機器および／または端末機器を含む。
【０１０３】
一つ以上の代替実施例では、本願の実施例の装置はさらに、
ビデオストリームを取得するための、車両内部に設置された少なくとも一つのカメラを含む。
【０１０４】
顔画像における状態を判定するには、単独の顔画像を分析の基礎とすれば画像が不明瞭になりまたは表情に歪みが生じるなど不正確さが出ることがあり、状態を正確に監視するために、本実施例は車両内部のカメラによって車内の乗客の画像を収集し、ビデオストリームを得て、該ビデオストリームにおける少なくとも１フレームの画像から顔画像を得て、得られた顔画像によって車両内の子供状態への監視を実現する。
【０１０５】
本開示の実施例が提供する子供状態分析装置のいずれかの実施例の動作プロセス、設定方式および対応する技術的効果は、全て本開示の上記対応する方法の実施例の具体的な説明を参照すればよく、紙数に限りがあるので、ここで詳しい説明を省略する。
【０１０６】
本願の実施例の別の態様によれば、上記いずれか一つの実施例に係る子供状態分析装置を含む車両が提供される。
【０１０７】
本願の実施例のさらに別の態様によれば、上記いずれか一つの実施例に記載の子供状態分析装置を含むプロセッサを含む電子機器が提供される。
【０１０８】
本願の実施例のさらに別の態様によれば、実行可能命令を記憶するためのメモリと、
メモリと通信して該実行可能命令を実行することにより上記いずれか一つの実施例に記載の子供状態分析方法の動作を完了するためのプロセッサと、を含む電子機器が提供される。
【０１０９】
本願の実施例のさらに別の態様によれば、コンピュータ可読命令を記憶するためのコンピュータ記憶媒体であって、該命令は実行される時に上記いずれか一つの実施例に記載の子供状態分析方法の動作を実行するコンピュータ記憶媒体が提供される。
【０１１０】
本願の実施例は、例えば移動端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、サーバなどであってよい電子機器をさらに提供する。以下に図８を参照すると、本願の実施例の端末機器またはサーバの実現に適する電子機器８００の概略構造図が示される。図８に示すように、電子機器８００は、一つ以上のプロセッサ、通信部などを含み、前記一つ以上のプロセッサは、例えば一つ以上の中央処理装置（ＣＰＵ）８０１、および／または一つ以上の専用プロセッサであり、専用プロセッサは加速ユニット８１３として用いることができ、画像プロセッサ（ＧＰＵ）、ＦＰＧＡ、ＤＳＰおよび他のＡＳＩＣチップのような専用プロセッサなどを含んでもよいが、これらに限定されず、プロセッサは読み取り専用メモリ（ＲＯＭ）８０２に記憶されている実行可能命令または記憶部分８０８からランダムアクセスメモリ（ＲＡＭ）８０３にロードされた実行可能命令に従って様々な適当の動作および処理を実行できる。通信部８１２はネットワークカードを含んでもよいが、これに限定されず、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含んでもよいが、これに限定されない。
【０１１１】
プロセッサは読み取り専用メモリ８０２および／またはランダムアクセスメモリ８０３と通信して実行可能命令を実行し、バス８０４を介して通信部８１２と接続し、通信部８１２によって他の目標機器と通信し、それにより本願の実施例が提供するいずれかの方法の対応する動作、例えば、取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うことと、抽出された顔特徴を共有することで画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行い、画像中の人が子供であるかどうかの第一分類結果および人の少なくとも一種類の状態の第二分類結果を得ることと、第一分類結果および第二分類結果を出力することと、を完了することができる。
【０１１２】
また、ＲＡＭ８０３には、装置の動作に必要な種々のプログラムおよびデータを記憶することができる。ＣＰＵ８０１、ＲＯＭ８０２およびＲＡＭ８０３はバス８０４を介して互いに接続される。ＲＡＭ８０３が存在する場合、ＲＯＭ８０２は任意選択的なモジュールとなる。ＲＡＭ８０３は実行可能命令を記憶するか、または動作時にＲＯＭ８０２へ実行可能命令を書き込み、実行可能命令によって中央処理装置８０１は上記通信方法の対応する動作を実行する。入力／出力（Ｉ／Ｏ）インタフェース８０５もバス８０４に接続される。通信部８１２は統合設置してもよいし、また複数のサブモジュール（例えば複数のＩＢネットワークカード）を有するように設置してもよく、かつバスリンクに存在する。
【０１１３】
キーボード、マウスなどを含む入力部分８０６、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）などおよびスピーカーなどを含む出力部分８０７、ハードディスクなどを含む記憶部分８０８、およびＬＡＮカード、モデムのネットワークインタフェースカードなどを含む通信部分８０９などは、Ｉ／Ｏインタフェース８０５に接続される。通信部分８０９はインターネットのようなネットワークを介して通信処理を行う。ドライバ８１０ドライバ８０５に接続される。取り外し可能な媒体８１１、例えば磁気ディスク、光ディスク、磁気光ディスク、半導体メモリなどは、必要に応じてドライバ８１０取り付けられ、それによってそこから読み出されたコンピュータプログラムが必要に応じて記憶部分８０８にインストールされる。
【０１１４】
なお、図８に示すアーキテクチャは任意選択的な一実施形態に過ぎず、具体的な実践では、実際の必要に応じて上記図８の部品数およびタイプを選択、減少、増加または交換することができ、異なる機能部品の設置上でも、分離設置または統合設置などの実施形態を採用でき、例えば加速ユニット８１３とＣＰＵ８０１は分離設置するかまたは加速ユニット８１３をＣＰＵ８０１に統合するようにしてもよく、通信部は分離設置するか、またＣＰＵ８０１または加速ユニット８１３に統合設置することなども可能であることを説明する必要がある。これらの置換可能な実施形態はいずれも本願の保護範囲に属する。
【０１１５】
特に、本願の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本願の実施はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本願の実施例が提供する方法のステップを対応して実行する対応の命令、例えば、取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うことと、抽出された顔特徴を共有することで画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行い、画像中の人が子供であるかどうかの第一分類結果および人の少なくとも一種類の状態の第二分類結果を得ることと、第一分類結果および第二分類結果を出力することと、を含んでもよい。このような実施例では、該コンピュータプログラムは通信部分８０９によってネットワークからダウンロードおよびインストールされ、および／または取り外し可能な媒体８１１からインストールされ得る。該コンピュータプログラムは中央処理装置（ＣＰＵ）８０１により実行される時、本願の実施例の方法で限定された上記機能の動作を実行する。
【０１１６】
本明細書における様々な実施例は漸進的に説明され、各実施例は他の実施例との相違点に集中して説明したが、各実施例間の同一または類似の部分については相互に参照すればよい。システム実施例については、それは基本的に方法実施例に対応するので、説明は比較的簡単であり、関連部分は方法実施例の説明の一部を参照すればよい。
【０１１７】
本願の方法および装置は、様々な形態で実現され得る。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組み合わせによって本願の方法および装置を実現することができる。前記方法のステップのための上記順序は説明することのみを目的とし、本願の方法のステップは、特に断らない限り、以上で具体的に説明した順序に限定されない。また、いくつかの実施例では、本願は記録媒体に記憶されたプログラムとしてもよく、これらのプログラムは本願の方法を実現するための機械可読命令を含む。したがって、本願は本願の方法を実行するためのプログラムが記憶された記録媒体も含む。
【０１１８】
本願の説明は、例示および説明のために提示されたものであり、網羅的なものでありもしくは開示された形式に本願を限定するというわけでない。当業者にとっては多くの修正および変形を加えることができるのは明らかであろう。実施例は本願の原理および実際応用をより明瞭に説明するため、かつ当業者が本願を理解して特定用途に適した各種の修正を加えた各種の実施例を設計可能にするように選択され説明されたものである。
【図１】
2021504824.tif 000003
【図２】
2021504824.tif 000004
【図３】
2021504824.tif 000005
【図４】
2021504824.tif 000006
【図５】
2021504824.tif 000007
【図６】
2021504824.tif 000008
【図７】
2021504824.tif 000009
【図８】
2021504824.tif 000010
【手続補正書】
【提出日】令和2年5月25日(2020.5.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うステップと、
顔特徴に基づいて、前記画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行い、前記画像中の人が子供であるかどうかの第一分類結果および人の少なくとも一種類の状態の第二分類結果を得るステップと、
前記第一分類結果および前記第二分類結果を出力するステップ、および／または、前記第一分類結果および前記第二分類結果に基づいて、提示情報を出力するステップと、を含むことを特徴とする、子供状態分析方法。
【請求項２】
さらに、
前記第一分類結果として画像中の人が子供であることに応じて、前記第二分類結果が所定の条件を満たすかどうかを判定するステップと、
第二分類結果が前記所定の条件を満たすことに応じて、提示情報を出力するステップと、を含むことを特徴とする、請求項１に記載の方法。
【請求項３】
前記人の状態は、正常状態、異常状態、睡眠状態、目覚め状態、チャイルドシートから離れる状態の少なくとも一つを含み、
前記第二分類結果は、前記人の状態が正常状態であるかどうか、前記人の状態が異常状態であるかどうか、前記人の状態が睡眠状態であるかどうか、前記人の状態が目覚め状態であるかどうか、前記人の状態がチャイルドシートから離れる状態であるかどうかの少なくとも一つを含むことを特徴とする、請求項１または２に記載の方法。
【請求項４】
前記異常状態は、泣き状態、暴れ状態、嘔吐状態、むせる状態、苦痛状態の少なくとも一つを含み、
前記所定の条件は、前記人の状態が異常状態であること、前記人の状態が目覚め状態であること、前記人の状態がチャイルドシートから離れる状態であることの少なくとも一つを含むことを特徴とする、請求項３に記載の方法。
【請求項５】
第二分類結果が前記人の状態が異常状態であることを満たすことに応じて、提示情報を出力する前記ステップは、
前記人が泣き状態にある時間が第一の予め設定された時間に達したこと、および／または前記人が暴れ状態にある時間が第二の予め設定された時間に達したこと、および／または前記人が苦痛状態にある時間が第三の予め設定された時間に達したことに応じて、提示情報を出力するステップを含むことを特徴とする、請求項４に記載の方法。
【請求項６】
取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行う前記ステップは、ニューラルネットワークにおける特徴抽出ブランチによって、取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うステップを含み、
顔特徴に基づいて、前記画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行う前記ステップは、前記ニューラルネットワークにおいて前記特徴抽出ブランチと接続される少なくとも二つの分類ブランチによって、前記特徴抽出ブランチにより抽出された顔特徴に基づいて、前記画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類をそれぞれ判定するステップを含むことを特徴とする、請求項１から５のいずれか一項に記載の方法。
【請求項７】
取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行う前記ステップは、ニューラルネットワークにおける特徴抽出ブランチによって、取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うステップを含み、
顔特徴に基づいて、前記画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行う前記ステップは、前記ニューラルネットワークにおいて前記特徴抽出ブランチと接続される少なくとも二つの分類ブランチによって、前記特徴抽出ブランチにより抽出された顔特徴に基づいて、前記画像中の人が子供であるかどうかの分類および人の少なくとも一種類の顔状態の分類をそれぞれ判定するステップと、
前記ニューラルネットワークにおいて前記少なくとも二つの分類ブランチと接続される統計分類ブランチによって、前記ビデオストリームにおける少なくとも１フレームの画像に対応する前記人の少なくとも一種類の顔状態の分類結果を統計し、統計結果に基づいて前記人の少なくとも一種類の状態の分類を判定するステップと、を含むことを特徴とする、請求項１から５のいずれか一項に記載の方法。
【請求項８】
前記画像中の人が子供であるかどうかを判定する前記分類ブランチは、性別を区別する子供のアノテーションデータに基づいて予め訓練したものであることを特徴とする、請求項６又は７に記載の方法。
【請求項９】
取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行う前記ステップの前に、さらに、
子供アノテーション情報および状態アノテーション情報を有するサンプル画像を使用して、前記ニューラルネットワークを訓練するステップを含み、
前記子供アノテーション情報は、前記サンプル画像中の人が子供であるかどうかを示すものであり、前記サンプル画像中の人の年齢または推定年齢が基準画像中の人の年齢または推定年齢よりも大きいことに応じて、前記サンプル画像の子供アノテーション情報は、非子供であることを示し、前記サンプル画像中の人の年齢または推定年齢が基準画像中の人の年齢または推定年齢以下であることに応じて、前記サンプル画像の子供アノテーション情報は、子供であることを示すことを特徴とする、請求項６から８のいずれか一項に記載の方法。
【請求項１０】
前記基準画像は男児基準画像および女児基準画像を含むことを特徴とする、請求項９に記載の方法。
【請求項１１】
サンプル画像を使用して前記ニューラルネットワークを訓練する前記ステップは、
前記特徴抽出ブランチを使用して前記サンプル画像に対して顔特徴抽出を行うステップと、
前記少なくとも二つの分類ブランチの間で抽出された顔特徴を共有することによって、前記サンプル画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行い、サンプル画像中の人が子供であるかどうかの第一予測分類結果および人の少なくとも一種類の状態の第二予測分類結果を得るステップと、
前記第一予測分類結果および前記子供アノテーション情報に基づいて、第一損失を得て、前記第二予測分類結果および前記状態アノテーション情報に基づいて、第二損失を得るステップと、
前記第一損失および前記第二損失に基づき、前記ニューラルネットワークのパラメータを調整するステップと、を含むことを特徴とする、請求項９又は１０に記載の方法。
【請求項１２】
さらに、
車載機器および／または端末機器によって、前記取得されたビデオストリーム、前記第一分類結果、前記少なくとも一つの第二分類結果、前記提示情報のうちの少なくとも一つを表示するステップを含み、
取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行う前記ステップの前に、さらに、
車両内部に設置された少なくとも一つのカメラによって、前記ビデオストリームを取得するステップを含むことを特徴とする、請求項１から１１のいずれか一項に記載の方法。
【請求項１３】
取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うように構成される特徴抽出ユニットと、
顔特徴に基づいて、前記画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行い、前記画像中の人が子供であるかどうかの第一分類結果および人の少なくとも一種類の状態の第二分類結果を得るように構成される分類ユニットと、
前記第一分類結果および前記第二分類結果を出力するように構成され、および／または、前記第一分類結果および前記第二分類結果に基づいて、提示情報を出力するように構成される結果出力ユニットと、を含むことを特徴とする、子供状態分析装置。
【請求項１４】
電子機器であって、
前記電子機器が、請求項１３に記載の子供状態分析装置を含み、又は
前記電子機器が、
実行可能命令を記憶するためのメモリと、
前記メモリと通信して前記実行可能命令を実行することにより請求項１から１２のいずれか一項に記載の子供状態分析方法を実行するためのプロセッサと、を含むことを特徴とする、電子機器。
【請求項１５】
コンピュータ可読命令を記憶するためのコンピュータ記憶媒体であって、前記命令は実行される時に請求項１から１２のいずれか一項に記載の子供状態分析方法の動作を実行することを特徴とする、コンピュータ記憶媒体。
【請求項１６】
コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが機器において実行される時、前記機器内のプロセッサは請求項１から１２のいずれか一項に記載の子供状態分析方法を実現するための命令を実行することを特徴とする、コンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本願の上記実施例が提供する子供状態分析方法および装置、車両、電子機器、ならびに記憶媒体に基づき、取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うステップと、顔特徴に基づいて画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行い、画像中の人が子供であるかどうかの第一分類結果および人の少なくとも一種類の状態の第二分類結果を得るステップと、第一分類結果および第二分類結果を出力するステップ、および／または、前記第一分類結果および前記第二分類結果に基づいて、提示情報を出力するステップと、を実行し、顔特徴を共有することでネットワークのサイズを小さくし、ネットワークの複雑度を低減し、ネットワークの処理速度を向上させ、高速な子供状態分析を実現し、それによって子供の異なる状態を速やかに対処する。
例えば、本願は以下の項目を提供する。
（項目１）
取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うステップと、
顔特徴に基づいて、前記画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行い、前記画像中の人が子供であるかどうかの第一分類結果および人の少なくとも一種類の状態の第二分類結果を得るステップと、
前記第一分類結果および前記第二分類結果を出力するステップ、および／または、前記第一分類結果および前記第二分類結果に基づいて、提示情報を出力するステップと、を含むことを特徴とする、子供状態分析方法。
（項目２）
さらに、
前記第一分類結果として画像中の人が子供であることに応じて、前記第二分類結果が所定の条件を満たすかどうかを判定するステップと、
第二分類結果が前記所定の条件を満たすことに応じて、提示情報を出力するステップと、を含むことを特徴とする、項目１に記載の方法。
（項目３）
前記人の状態は、正常状態、異常状態、睡眠状態、目覚め状態、チャイルドシートから離れる状態の少なくとも一つを含み、
前記第二分類結果は、前記人の状態が正常状態であるかどうか、前記人の状態が異常状態であるかどうか、前記人の状態が睡眠状態であるかどうか、前記人の状態が目覚め状態であるかどうか、前記人の状態がチャイルドシートから離れる状態であるかどうかの少なくとも一つを含むことを特徴とする、項目１または２に記載の方法。
（項目４）
前記異常状態は、泣き状態、暴れ状態、嘔吐状態、むせる状態、苦痛状態の少なくとも一つを含むことを特徴とする、項目３に記載の方法。
（項目５）
前記所定の条件は、前記人の状態が異常状態であること、前記人の状態が目覚め状態であること、前記人の状態がチャイルドシートから離れる状態であることの少なくとも一つを含むことを特徴とする、項目３または４に記載の方法。
（項目６）
第二分類結果が前記人の状態が異常状態であることを満たすことに応じて、提示情報を出力する前記ステップは、
前記人が泣き状態にある時間が第一の予め設定された時間に達したこと、および／または前記人が暴れ状態にある時間が第二の予め設定された時間に達したこと、および／または前記人が苦痛状態にある時間が第三の予め設定された時間に達したことに応じて、提示情報を出力するステップを含むことを特徴とする、項目５に記載の方法。
（項目７）
取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行う前記ステップは、ニューラルネットワークにおける特徴抽出ブランチによって、取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うステップを含み、
顔特徴に基づいて、前記画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行う前記ステップは、前記ニューラルネットワークにおいて前記特徴抽出ブランチと接続される少なくとも二つの分類ブランチによって、前記特徴抽出ブランチにより抽出された顔特徴に基づいて、前記画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類をそれぞれ判定するステップを含むことを特徴とする、項目１から６のいずれか一項に記載の方法。
（項目８）
取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行う前記ステップは、ニューラルネットワークにおける特徴抽出ブランチによって、取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うステップを含み、
顔特徴に基づいて、前記画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行う前記ステップは、前記ニューラルネットワークにおいて前記特徴抽出ブランチと接続される少なくとも二つの分類ブランチによって、前記特徴抽出ブランチにより抽出された顔特徴に基づいて、前記画像中の人が子供であるかどうかの分類および人の少なくとも一種類の顔状態の分類をそれぞれ判定するステップと、
前記ニューラルネットワークにおいて前記少なくとも二つの分類ブランチと接続される統計分類ブランチによって、前記ビデオストリームにおける少なくとも１フレームの画像に対応する前記人の少なくとも一種類の顔状態の分類結果を統計し、統計結果に基づいて前記人の少なくとも一種類の状態の分類を判定するステップと、を含むことを特徴とする、項目１から６のいずれか一項に記載の方法。
（項目９）
前記人の顔状態は、開目、閉目の少なくとも一つを含むことを特徴とする、項目８に記載の方法。
（項目１０）
前記画像中の人が子供であるかどうかを判定する前記分類ブランチは、性別を区別する子供のアノテーションデータに基づいて予め訓練したものであることを特徴とする、項目７から９のいずれか一項に記載の方法。
（項目１１）
取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行う前記ステップの前に、さらに、
子供アノテーション情報および状態アノテーション情報を有するサンプル画像を使用して、前記ニューラルネットワークを訓練するステップを含むことを特徴とする、項目７から１０のいずれか一項に記載の方法。
（項目１２）
前記子供アノテーション情報は、前記サンプル画像中の人が子供であるかどうかを示すものであり、前記サンプル画像中の人の年齢または推定年齢が基準画像中の人の年齢または推定年齢よりも大きいことに応じて、前記サンプル画像の子供アノテーション情報は、非子供であることを示し、前記サンプル画像中の人の年齢または推定年齢が基準画像中の人の年齢または推定年齢以下であることに応じて、前記サンプル画像の子供アノテーション情報は、子供であることを示すことを特徴とする、項目１１に記載の方法。
（項目１３）
前記基準画像は男児基準画像および女児基準画像を含むことを特徴とする、項目１２に記載の方法。
（項目１４）
サンプル画像を使用して前記ニューラルネットワークを訓練する前記ステップは、
前記特徴抽出ブランチを使用して前記サンプル画像に対して顔特徴抽出を行うステップと、
前記少なくとも二つの分類ブランチの間で抽出された顔特徴を共有することによって、前記サンプル画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行い、サンプル画像中の人が子供であるかどうかの第一予測分類結果および人の少なくとも一種類の状態の第二予測分類結果を得るステップと、
前記第一予測分類結果および前記子供アノテーション情報に基づいて、第一損失を得て、前記第二予測分類結果および前記状態アノテーション情報に基づいて、第二損失を得るステップと、
前記第一損失および前記第二損失に基づき、前記ニューラルネットワークのパラメータを調整するステップと、を含むことを特徴とする、項目１１から１３のいずれか一項に記載の方法。
（項目１５）
前記第一損失および前記第二損失に基づき、前記ニューラルネットワークのパラメータを調整する前記ステップは、
前記第一損失および前記第二損失を重み付けして加算し、ネットワーク損失を得るステップと、
前記ネットワーク損失に基づいて、前記特徴抽出ブランチおよび前記少なくとも二つの分類ブランチのパラメータを調整するステップと、を含むことを特徴とする、項目１４に記載の方法。
（項目１６）
さらに、
車載機器および／または端末機器によって、前記取得されたビデオストリーム、前記第一分類結果、前記少なくとも一つの第二分類結果、前記提示情報のうちの少なくとも一つを表示するステップを含むことを特徴とする、項目１から１５のいずれか一項に記載の方法。
（項目１７）
取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行う前記ステップの前に、さらに、
車両内部に設置された少なくとも一つのカメラによって、前記ビデオストリームを取得するステップを含むことを特徴とする、項目１から１６のいずれか一項に記載の方法。
（項目１８）
取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うように構成される特徴抽出ユニットと、
顔特徴に基づいて、前記画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行い、前記画像中の人が子供であるかどうかの第一分類結果および人の少なくとも一種類の状態の第二分類結果を得るように構成される分類ユニットと、
前記第一分類結果および前記第二分類結果を出力するように構成され、および／または、前記第一分類結果および前記第二分類結果に基づいて、提示情報を出力するように構成される結果出力ユニットと、を含むことを特徴とする、子供状態分析装置。
（項目１９）
さらに、
前記第一分類結果として画像中の人が子供であることに応じて、前記第二分類結果が所定の条件を満たすかどうかを判定するように構成される子供判定ユニットと、
第二分類結果が前記所定の条件を満たすことに応じて、提示情報を出力するように構成される提示ユニットと、を含むことを特徴とする、項目１８に記載の装置。
（項目２０）
前記人の状態は、正常状態、異常状態、睡眠状態、目覚め状態、チャイルドシートから離れる状態の少なくとも一つを含み、
前記第二分類結果は、前記人の状態が正常状態であるかどうか、前記人の状態が異常状態であるかどうか、前記人の状態が睡眠状態であるかどうか、前記人の状態が目覚め状態であるかどうか、前記人の状態がチャイルドシートから離れる状態であるかどうかの少なくとも一つを含むことを特徴とする、項目１８または１９に記載の装置。
（項目２１）
前記異常状態は、泣き状態、暴れ状態、嘔吐状態、むせる状態、苦痛状態の少なくとも一つを含むことを特徴とする、項目２０に記載の装置。
（項目２２）
前記所定の条件は、前記人の状態が異常状態であること、前記人の状態が目覚め状態であること、前記人の状態がチャイルドシートから離れる状態であることの少なくとも一つを含むことを特徴とする、項目２０または２１に記載の装置。
（項目２３）
前記提示ユニットは、前記人が泣き状態にある時間が第一の予め設定された時間に達したこと、および／または前記人が暴れ状態にある時間が第二の予め設定された時間に達したこと、および／または前記人が苦痛状態にある時間が第三の予め設定された時間に達したことに応じて、提示情報を出力するように構成されることを特徴とする、項目２２に記載の装置。
（項目２４）
前記特徴抽出ユニットは、ニューラルネットワークにおける特徴抽出ブランチによって、取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うように構成され、
前記分類ユニットは、前記ニューラルネットワークにおいて前記特徴抽出ブランチと接続される少なくとも二つの分類ブランチによって、前記特徴抽出ブランチにより抽出された顔特徴に基づいて、前記画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類をそれぞれ判定するように構成されることを特徴とする、項目１８から２３のいずれか一項に記載の装置。
（項目２５）
前記特徴抽出ユニットは、ニューラルネットワークにおける特徴抽出ブランチによって、取得されたビデオストリームにおける少なくとも１フレームの画像に対して顔特徴抽出を行うように構成され、
前記分類ユニットは、前記ニューラルネットワークにおいて前記特徴抽出ブランチと接続される少なくとも二つの分類ブランチによって、前記特徴抽出ブランチにより抽出された顔特徴に基づいて、前記画像中の人が子供であるかどうかの分類および人の少なくとも一種類の顔状態の分類をそれぞれ判定するステップと、前記ニューラルネットワークにおいて前記少なくとも二つの分類ブランチと接続される統計分類ブランチによって、前記ビデオストリームにおける少なくとも１フレームの画像に対応する前記人の少なくとも一種類の顔状態の分類結果を統計し、統計結果に基づいて前記人の少なくとも一種類の状態の分類を判定するステップと、を実行するように構成されることを特徴とする、項目１８から２３のいずれか一項に記載の装置。
（項目２６）
前記人の顔状態は、開目、閉目の少なくとも一つを含むことを特徴とする、項目２５に記載の装置。
（項目２７）
前記画像中の人が子供であるかどうかを判定する前記分類ブランチは、性別を区別する子供のアノテーションデータに基づいて予め訓練したものであることを特徴とする、項目２４から２６のいずれか一項に記載の装置。
（項目２８）
さらに、
子供アノテーション情報および状態アノテーション情報を有するサンプル画像を使用して、前記ニューラルネットワークを訓練するように構成されるネットワーク訓練ユニットを含むことを特徴とする、項目２４から２７のいずれか一項に記載の装置。
（項目２９）
前記子供アノテーション情報は、前記サンプル画像中の人が子供であるかどうかを示すものであり、前記サンプル画像中の人の年齢または推定年齢が基準画像中の人の年齢または推定年齢よりも大きいことに応じて、前記サンプル画像の子供アノテーション情報は、非子供であることを示し、前記サンプル画像中の人の年齢または推定年齢が基準画像中の人の年齢または推定年齢以下であることに応じて、前記サンプル画像の子供アノテーション情報は、子供であることを示すことを特徴とする、項目２８に記載の装置。
（項目３０）
前記基準画像は男児基準画像および女児基準画像を含むことを特徴とする、項目２９に記載の装置。
（項目３１）
前記ネットワーク訓練ユニットは、前記特徴抽出ブランチを使用して前記サンプル画像に対して顔特徴抽出を行うステップと、前記少なくとも二つの分類ブランチの間で抽出された顔特徴を共有することによって、前記サンプル画像中の人が子供であるかどうかの分類および人の少なくとも一種類の状態の分類を行い、サンプル画像中の人が子供であるかどうかの第一予測分類結果および人の少なくとも一種類の状態の第二予測分類結果を得るステップと、前記第一予測分類結果および前記子供アノテーション情報に基づいて、第一損失を得て、前記第二予測分類結果および前記状態アノテーション情報に基づいて、第二損失を得るステップと、前記第一損失および前記第二損失に基づき、前記ニューラルネットワークのパラメータを調整するステップと、を実行するように構成されることを特徴とする、項目２８から３０のいずれか一項に記載の装置。
（項目３２）
前記ネットワーク訓練ユニットは、前記第一損失および前記第二損失に基づき、前記ニューラルネットワークのパラメータを調整する場合に、前記第一損失および前記第二損失を重み付けして加算し、ネットワーク損失を得るステップと、前記ネットワーク損失に基づいて、前記特徴抽出ブランチおよび前記少なくとも二つの分類ブランチのパラメータを調整するステップと、を実行するように構成されることを特徴とする、項目３１に記載の装置。
（項目３３）
さらに、
前記取得されたビデオストリーム、前記第一分類結果、前記少なくとも一つの第二分類結果、前記提示情報のうちの少なくとも一つを表示するように構成される車載機器および／または端末機器を含むことを特徴とする、項目１８から３２のいずれか一項に記載の装置。
（項目３４）
さらに、
前記ビデオストリームを取得するための、車両内部に設置された少なくとも一つのカメラを含むことを特徴とする、項目１８から３３のいずれか一項に記載の装置。
（項目３５）
項目１８から３４のいずれか一項に記載の子供状態分析装置を含むことを特徴とする、車両。
（項目３６）
項目１８から３４のいずれか一項に記載の子供状態分析装置を含むプロセッサを含むことを特徴とする、電子機器。
（項目３７）
実行可能命令を記憶するためのメモリと、
前記メモリと通信して前記実行可能命令を実行することにより項目１から１７のいずれか一項に記載の子供状態分析方法を実行するためのプロセッサと、を含むことを特徴とする、電子機器。
（項目３８）
コンピュータ可読命令を記憶するためのコンピュータ記憶媒体であって、前記命令は実行される時に項目１から１７のいずれか一項に記載の子供状態分析方法の動作を実行することを特徴とする、コンピュータ記憶媒体。
（項目３９）
コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが機器において実行される時、前記機器内のプロセッサは項目１から１７のいずれか一項に記載の子供状態分析方法を実現するための命令を実行することを特徴とする、コンピュータプログラム。
【国際調査報告】
2021504824.tif 000011
2021504824.tif 000012
2021504824.tif 000013
2021504824.tif 000014