(57)【要約】本願の実施例は、車両内の後部座席領域のビデオストリームを取得するステップと、前記ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行うステップと、顔及び／又は人体検出の結果に基づいて、前記後部座席領域の乗客の状態情報を決定するステップと、前記乗客の状態情報が所定条件を満たしたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するステップと、を含む乗客状態分析方法及び装置、車両、電子機器並びに記憶媒体を開示する。
2021504814.tif 000002
【特許請求の範囲】
【請求項１】
車両内の後部座席領域のビデオストリームを取得するステップと、
前記ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行うステップと、
顔及び／又は人体検出の結果に基づいて、前記後部座席領域の乗客の状態情報を決定するステップと、
前記乗客の状態情報が所定条件を満たしたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するステップと、を含むことを特徴とする乗客状態分析方法。
【請求項２】
顔及び／又は人体検出の結果に基づいて、前記後部座席領域の乗客の状態情報を決定する前記ステップは、顔及び／又は人体検出の結果に基づいて、前記乗客が異常状態にあるか否か及び／又は前記乗客が危険行為をしているか否かを決定するステップを含み、
前記乗客の状態情報が所定条件を満たしたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力する前記ステップは、前記乗客に異常状態が現れたこと、乗客が危険行為をしたこと、乗客が異常状態にある時間が所定時間に達したこと、又は、乗客が危険行為状態にある時間が所定時間に達したことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するステップを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記異常状態は、暴れる状態、嘔吐している状態、むせている状態、咳をしている状態、苦痛状態、泣いている状態、眠っている状態、目覚めた状態のうちの少なくとも一つを含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記危険行為は、車両ドアを開くこと、器械を手に持つこと、シートベルトを外すこと、車窓から体の一部を出すこと、指定領域から離れること、タバコを吸うことのうちの少なくとも一つを含むことを特徴とする請求項２又は３に記載の方法。
【請求項５】
前記乗客は、大人、子供の少なくとも一項を含むことを特徴とする請求項１−４のいずれか一項に記載の方法。
【請求項６】
前記顔及び／又は人体検出の結果は、顔があるか否か、人体があるか否か、開目、閉目、表情、年齢、開口、閉口、肢体動作のうちの少なくとも一つを含むことを特徴とする請求項１−５のいずれか一項に記載の方法。
【請求項７】
前記乗客は、子供を含み、
前記後部座席領域は、チャイルドシート領域を含み、
前記顔及び／又は人体検出の結果は、顔があるか否か、人体があるか否かのうちの少なくとも一つを含み、
顔及び／又は人体検出の結果に基づいて、前記後部座席領域の乗客の状態情報を決定する前記ステップは、顔及び／又は人体検出の結果に基づいて、前記子供が前記チャイルドシートに位置しているか否かを決定するステップを含み、
前記乗客の状態情報が所定条件を満たしたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するステップは、前記子供が前記チャイルドシートから離れたこと、又は、前記チャイルドシートに子供がいない状態が所定時間を超えたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するステップを含むことを特徴とする請求項１−６のいずれか一項に記載の方法。
【請求項８】
前記乗客は、子供を含み、
顔及び／又は人体検出の結果に基づいて、前記後部座席領域の乗客の状態情報を決定する前記ステップは、顔及び／又は人体検出の結果に基づいて、前記子供が泣いているか否かを決定するステップを含み、
前記乗客の状態情報が所定条件を満たしたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力する前記ステップは、前記子供が泣き出したこと、又は前記子供が泣いている状態が所定時間に達したことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するステップを含むことを特徴とする請求項１−７のいずれか一項に記載の方法。
【請求項９】
前記乗客は、子供を含み、
前記顔及び／又は人体検出の結果は、開目、閉目を含み、
顔及び／又は人体検出の結果に基づいて、前記後部座席領域の乗客の状態情報を決定する前記ステップは、所定時間窓内の前記子供の開目及び／又は閉目の状態統計分析結果に基づいて、前記子供が眠っている状態にあるか否か又は目覚めた状態にあるか否かを決定するステップを含み、
前記乗客の状態情報が所定条件を満たしたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力する前記ステップは、前記子供が眠っている状態にあること、眠っている状態が所定時間に達したこと、目覚めた状態にあること、又は、目覚めた状態が所定時間に達したことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するステップを含むことを特徴とする請求項１−８のいずれか一項に記載の方法。
【請求項１０】
前記顔及び／又は人体検出の結果は、前記乗客が子供であるか否かの分類結果を含み、
前記ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行う前記ステップは、
前記ビデオストリーム内の少なくとも１フレームの画像における顔及び／又は人体特徴を抽出するステップと、
抽出された特徴に基づいて前記乗客が子供であるか否かの分類処理を行うステップと、を含むことを特徴とする請求項１−９のいずれか一項に記載の方法。
【請求項１１】
前記ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行う前記ステップは、
ニューラルネットワークの特徴抽出ブランチによって、前記ビデオストリーム内の少なくとも１フレームの画像に対して、顔特徴抽出及び／又は人体特徴抽出を行うステップと、
前記ニューラルネットワークにおいて前記特徴抽出ブランチに接続される少なくとも１つの検出ブランチによって、前記特徴抽出ブランチで抽出した顔特徴及び／又は人体特徴に基づいて、前記顔及び／又は人体検出の結果を決定するステップと、を含むことを特徴とする請求項１−１０のいずれか一項に記載の方法。
【請求項１２】
前記ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行う前記ステップは、
ニューラルネットワークの特徴抽出ブランチによって、前記ビデオストリーム内の少なくとも１フレームの画像に対して、顔特徴抽出及び／又は人体特徴抽出を行うステップと、
前記ニューラルネットワークにおいて前記特徴抽出ブランチに接続される分類ブランチ及び少なくとも１つの検出ブランチによって、前記特徴抽出ブランチで抽出した顔特徴／又は人体特徴に基づいて、前記画像内の人が子供であるか否か及び顔及び／又は人体検出の結果をそれぞれ決定するステップと、を含むことを特徴とする請求項１−１０のいずれか一項に記載の方法。
【請求項１３】
前記ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行う前記ステップは、
ニューラルネットワークの特徴抽出ブランチによって、前記ビデオストリーム内の少なくとも１フレームの画像に対して顔特徴抽出を行うステップと、
前記ニューラルネットワークにおいて前記特徴抽出ブランチに接続される分類ブランチによって、前記特徴抽出ブランチで抽出した顔特徴に基づいて、前記画像内の人が子供であるか否かを決定し、又は、
前記ニューラルネットワークにおいて前記特徴抽出ブランチに接続される認識ブランチによって、前記画像内の乗客の年齢を決定し、前記年齢が所定年齢以下の乗客を子供とするステップと、を含むことを特徴とする請求項１−１０のいずれか一項に記載の方法。
【請求項１４】
前記画像内の人が子供であるか否かを決定する前記分類ブランチは、性別を区分する子供アノテーションデータに基づいて、予め訓練されたものであることを特徴とする請求項１２又は１３に記載の方法。
【請求項１５】
前記ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行う前記ステップの前に、
子供アノテーション情報を有するサンプル画像を用いて、前記ニューラルネットワークを訓練するステップを更に含むことを特徴とする請求項１２−１４のいずれか一項に記載の方法。
【請求項１６】
前記子供アノテーション情報は前記サンプル画像内の人が子供であるか否かを示すものであり、前記サンプル画像内の人の年齢又は推定年齢が基準画像内の人の年齢又は推定年齢より大きいことに応じて、前記サンプル画像の子供アノテーション情報は子供でないことを示し、前記サンプル画像内の人の年齢又は推定年齢が基準画像内の人の年齢又は推定年齢以下であることに応じて、前記サンプル画像の子供アノテーション情報は子供であることを示すことを特徴とする請求項１５に記載の方法。
【請求項１７】
前記基準画像は、男児基準画像と女児基準画像を含むことを特徴とする請求項１６に記載の方法。
【請求項１８】
車両内の後部座席領域のビデオストリームを取得する前記ステップは、
前記車両内に設置された車両内部の少なくとも１つのカメラによって、前記後部座席領域のビデオストリームを収集して取得するステップを含むことを特徴とする請求項１−１７のいずれか一項に記載の方法。
【請求項１９】
前記乗客の状態情報が所定条件を満たしたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力する前記ステップは、
前記乗客の状態情報が所定条件を満たしたことに応じて、運転者視線範囲内の装置及び／又は所定の装置に通知情報を出力するステップを含むことを特徴とする請求項１−１８のいずれか一項に記載の方法。
【請求項２０】
運転者視線範囲内の装置及び／又は所定の装置によって、前記取得されたビデオストリームの少なくとも１フレームの画像、前記検出結果の中の少なくとも１種の情報を表示するステップを更に含むことを特徴とする請求項１８又は１９に記載の方法。
【請求項２１】
車両内の後部座席領域のビデオストリームを取得する前記ステップの前に、
携帯端末又は車載装置によって監視コマンドを受信するステップを更に含み、
車両内の後部座席領域のビデオストリームを取得する前記ステップは、
前記監視コマンドに基づいて、車両内の後部座席領域のビデオストリームを取得するステップを含むことを特徴とする請求項１−２０のいずれか一項に記載の方法。
【請求項２２】
車両内の後部座席領域のビデオストリームを取得するためのビデオ収集ユニットと、
前記ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行うための画像検出ユニットと、
顔及び／又は人体検出の結果に基づいて、前記後部座席領域の乗客の状態情報を決定するための状態決定ユニットと、
前記乗客の状態情報が所定条件を満たしたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するための情報通知ユニットと、を含むことを特徴とする乗客状態分析装置。
【請求項２３】
前記状態決定ユニットは、顔及び／又は人体検出の結果に基づいて、前記乗客が異常状態にあるか否か及び／又は前記乗客が危険行為をしているか否かを決定するために用いられ、
前記情報通知ユニットは、前記乗客に異常状態が現れたこと、乗客が危険行為をしたこと、乗客が異常状態にある時間が所定時間に達したこと、又は、乗客が危険行為状態にある時間が所定時間に達したことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するために用いられることを特徴とする請求項２２に記載の装置。
【請求項２４】
前記異常状態は、暴れる状態、嘔吐している状態、むせている状態、咳をしている状態、苦痛状態、泣いている状態、眠っている状態、目覚めた状態のうちの少なくとも一つを含むことを特徴とする請求項２３に記載の装置。
【請求項２５】
前記危険行為は、車両ドアを開くこと、器械を手に持つこと、シートベルトを外すこと、車窓から体の一部を出すこと、指定領域から離れること、タバコを吸うことのうちの少なくとも一つを含むことを特徴とする請求項２３又は２４に記載の装置。
【請求項２６】
前記乗客は、大人、子供の少なくとも一項を含むことを特徴とする請求項２２−２５のいずれか一項に記載の装置。
【請求項２７】
前記顔及び／又は人体検出の結果は、顔があるか否か、人体があるか否か、開目、閉目、表情、年齢、開口、閉口、肢体動作のうちの少なくとも一つを含むことを特徴とする請求項２２−２６のいずれか一項に記載の装置。
【請求項２８】
前記乗客は、子供を含み、
前記後部座席領域は、チャイルドシート領域を含み、
前記顔及び／又は人体検出の結果は、顔があるか否か、人体があるか否かのうちの少なくとも一つを含み、
前記状態決定ユニットは、顔及び／又は人体検出の結果に基づいて、前記子供が前記チャイルドシートに位置しているか否かを決定するために用いられ、
前記情報通知ユニットは、前記子供が前記チャイルドシートから離れたこと、又は、前記チャイルドシートに子供がいない状態が所定時間を超えたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するために用いられることを特徴とする請求項２２−２７のいずれか一項に記載の装置。
【請求項２９】
前記乗客は、子供を含み、
前記状態決定ユニットは、顔及び／又は人体検出の結果に基づいて、前記子供が泣いているか否かを決定するために用いられ、
前記情報通知ユニットは、前記子供が泣き出したこと、又は前記子供が泣いている状態が所定時間に達したことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するために用いられることを特徴とする請求項２２−２８のいずれか一項に記載の装置。
【請求項３０】
前記乗客は、子供を含み、
前記顔及び／又は人体検出の結果は、開目、閉目を含み、
前記状態決定ユニットは、所定時間窓内の前記子供の開目及び／又は閉目の状態統計分析結果に基づいて、前記子供が眠っている状態にあるか否か又は目覚めた状態にあるか否かを決定するために用いられ、
前記情報通知ユニットは、前記子供が眠っている状態にあること、眠っている状態が所定時間に達したこと、目覚めた状態にあること、又は、目覚めた状態が所定時間に達したことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するために用いられることを特徴とする請求項２２−２９のいずれか一項に記載の装置。
【請求項３１】
前記顔及び／又は人体検出の結果は、前記乗客が子供であるか否かの分類結果を含み、
前記画像検出ユニットは、前記ビデオストリーム内の少なくとも１フレームの画像における顔及び／又は人体特徴を抽出するステップと、抽出された特徴に基づいて前記乗客が子供であるか否かの分類処理を行うステップと、を実行するために用いられることを特徴とする請求項２２−３０のいずれか一項に記載の装置。
【請求項３２】
前記画像検出ユニットは、ニューラルネットワークの特徴抽出ブランチによって、前記ビデオストリーム内の少なくとも１フレームの画像に対して、顔特徴抽出及び／又は人体特徴抽出を行うステップと、前記ニューラルネットワークにおいて前記特徴抽出ブランチに接続される少なくとも１つの検出ブランチによって、前記特徴抽出ブランチで抽出した顔特徴及び／又は人体特徴に基づいて、前記顔及び／又は人体検出の結果を決定するステップと、を実行するために用いられることを特徴とする請求項２２−３１のいずれか一項に記載の装置。
【請求項３３】
前記画像検出ユニットは、ニューラルネットワークの特徴抽出ブランチによって、前記ビデオストリーム内の少なくとも１フレームの画像に対して、顔特徴抽出及び／又は人体特徴抽出を行うステップと、前記ニューラルネットワークにおいて前記特徴抽出ブランチに接続される分類ブランチ及び少なくとも１つの検出ブランチによって、前記特徴抽出ブランチで抽出した顔特徴／又は人体特徴に基づいて、前記画像内の人が子供であるか否か及び顔及び／又は人体検出の結果をそれぞれ決定するステップと、を実行するために用いられることを特徴とする請求項２２−３１のいずれか一項に記載の装置。
【請求項３４】
前記画像検出ユニットは、ニューラルネットワークの特徴抽出ブランチによって、前記ビデオストリーム内の少なくとも１フレームの画像に対して顔特徴抽出を行うステップと、前記ニューラルネットワークにおいて前記特徴抽出ブランチに接続される分類ブランチによって、前記特徴抽出ブランチで抽出した顔特徴に基づいて、前記画像内の人が子供であるか否かを決定し、又は、前記ニューラルネットワークにおいて前記特徴抽出ブランチに接続される認識ブランチによって、前記画像内の乗客の年齢を決定し、前記年齢が所定年齢以下の乗客を子供とするステップと、を実行するために用いられることを特徴とする請求項２２−３１のいずれか一項に記載の装置。
【請求項３５】
前記画像内の人が子供であるか否かを決定する前記分類ブランチは、性別を区分する子供アノテーションデータに基づいて、予め訓練されたものであることを特徴とする請求項３３又は３４に記載の装置。
【請求項３６】
子供アノテーション情報を有するサンプル画像を用いて、前記ニューラルネットワークを訓練するためのネットワーク訓練ユニットを更に含むことを特徴とする請求項３３−３５のいずれか一項に記載の装置。
【請求項３７】
前記子供アノテーション情報は前記サンプル画像内の人が子供であるか否かを示すものであり、前記サンプル画像内の人の年齢又は推定年齢が基準画像内の人の年齢又は推定年齢より大きいことに応じて、前記サンプル画像の子供アノテーション情報は子供でないことを示し、前記サンプル画像内の人の年齢又は推定年齢が基準画像内の人の年齢又は推定年齢以下であることに応じて、前記サンプル画像の子供アノテーション情報は子供であることを示すことを特徴とする請求項３６に記載の装置。
【請求項３８】
前記基準画像は、男児基準画像と女児基準画像を含むことを特徴とする請求項３７に記載の装置。
【請求項３９】
前記ビデオ収集ユニットは、前記車両内に設置された車両内部の少なくとも１つのカメラによって、前記後部座席領域のビデオストリームを収集して取得するために用いられることを特徴とする請求項２２−３８のいずれか一項に記載の装置。
【請求項４０】
前記情報通知ユニットは、前記乗客の状態情報が所定条件を満たしたことに応じて、運転者視線範囲内の装置及び／又は所定の装置に通知情報を出力するために用いられることを特徴とする請求項２２−３９のいずれか一項に記載の装置。
【請求項４１】
運転者視線範囲内の装置によって、前記取得されたビデオストリームの少なくとも１フレームの画像、前記検出結果の中の少なくとも１種の情報を表示するための表示ユニットを更に含むことを特徴とする請求項３９又は４０に記載の装置。
【請求項４２】
車載装置によって監視コマンドを受信するためのコマンド受信ユニットを更に含む装置であり、
前記ビデオ収集ユニットは、前記監視コマンドに基づいて、車両内の後部座席領域のビデオストリームを取得するために用いられることを特徴とする請求項２２−４１のいずれか一項に記載の装置。
【請求項４３】
所定の装置によって、前記取得されたビデオストリームの少なくとも１フレームの画像、前記検出結果の中の少なくとも１種の情報を表示するための表示ユニットを更に含むことを特徴とする請求項３９−４２に記載の装置。
【請求項４４】
携帯端末によって監視コマンドを受信するためのコマンド受信ユニットを更に含む装置であり、
前記ビデオ収集ユニットは、前記監視コマンドに基づいて、車両内の後部座席領域のビデオストリームを取得するために用いられることを特徴とする請求項２２−４２のいずれか一項に記載の装置。
【請求項４５】
請求項２２−４２のいずれか一項に記載の乗客状態分析装置を含むことを特徴とする車両。
【請求項４６】
車両内の後部座席領域のビデオを収集するための少なくとも１つの第１カメラが設置されていることを特徴とする請求項４５に記載の車両。
【請求項４７】
前記第１カメラがフロントシートの背部における後部座席領域に向く一側の、車両内部後部座席の上方の位置に設置されることを特徴とする請求項４６に記載の車両。
【請求項４８】
運転者視線範囲の領域内に前記カメラと通信可能に接続される車載装置が設置されていることを特徴とする請求項４５−４７のいずれか一項に記載の車両。
【請求項４９】
前記車載装置は、更に、前記運転者の状態情報を分析し、運転者の状態分析結果が所定の疲労運転又は不注意運転又は危険運転の所定条件を満たした時に、通知情報を出力するために用いられることを特徴とする請求項４８に記載の車両。
【請求項５０】
請求項２２−４４のいずれか一項に記載の乗客状態分析装置を備えるプロセッサを含むことを特徴とする電子機器。
【請求項５１】
実行可能コマンドを記憶するためのメモリと、
前記メモリと通信して前記実行可能なコマンドを実行して請求項１−２１のいずれか一項に記載の乗客状態分析方法の操作を実行するためのプロセッサと、を含むことを特徴とする電子機器。
【請求項５２】
コンピュータ読取可能コマンドを記憶するためのコンピュータ読取可能記憶媒体であって、前記コマンドが実行されると、請求項１−２１のいずれか一項に記載の乗客状態分析方法の操作を実行することを特徴とするコンピュータ読取可能記憶媒体。
【請求項５３】
コンピュータ読取可能コードを含むコンピュータプログラムであって、前記コンピュータ読取可能コードがデバイス上で動作すると、前記デバイス中のプロセッサが請求項１−２１のいずれか一項に記載の乗客状態分析方法を実現するためのコマンドを実行することを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、２０１８年１０月１９日に中国特許局に提出された、出願番号がＣＮ２０１８１１２２４２５７．Ｘであり、発明の名称が「乗客状態分析方法及び装置、車両、電子機器並びに記憶媒体」である中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
【０００２】
本願は、コンピュータビジョン技術に関し、特に、乗客状態分析方法及び装置、車両、電子機器並びに記憶媒体に関する。
【背景技術】
【０００３】
実生活では、運転者が車両を運転している時に、その運転状態が運転安全問題に影響する重要な要素となっている。運転中の運転安全を保障するために、運転者の運転状態を監視し、且つその監視結果に基づいて車両の運転状態を制御する必要がある。
【発明の概要】
【０００４】
本願の実施例は、乗客状態分析の技術的解決手段を提供する。
【０００５】
本願の実施例の一態様によれば、
車両内の後部座席領域のビデオストリームを取得するステップと、
前記ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行うステップと、
顔及び／又は人体検出の結果に基づいて、前記後部座席領域の乗客の状態情報を決定するステップと、
前記乗客の状態情報が所定条件を満たしたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するステップと、を含む乗客状態分析方法を提供する。
【０００６】
本願の実施例の別の態様によれば、
車両内の後部座席領域のビデオストリームを取得するためのビデオ収集ユニットと、
前記ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行うための画像検出ユニットと、
顔及び／又は人体検出の結果に基づいて、前記後部座席領域の乗客の状態情報を決定するための状態決定ユニットと、
前記乗客の状態情報が所定条件を満たしたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するための情報通知ユニットと、を含む乗客状態分析装置を提供する。
【０００７】
本願の実施例のまた１つの態様よれば、上記のいずれか１つの実施例に記載の乗客状態分析装置を含む車両を提供する。
【０００８】
本願の実施例の更に別の態様によれば、上記のいずれか一項に記載の乗客状態分析装置を備えるプロセッサを含む電子機器を提供する。
【０００９】
本願の実施例の更にまた１つの態様によれば、
実行可能コマンドを記憶するためのメモリと、
前記メモリと通信して前記実行可能なコマンドを実行して上記のいずれか一項に記載の乗客状態分析方法の操作を実行するためのプロセッサと、を含む電子機器を提供する。
【００１０】
本願の実施例のまた１つの態様よれば、コンピュータ読取可能コマンドを記憶するためのコンピュータ読取可能記憶媒体であって、前記コマンドが実行されると、上記のいずれか一項に記載の乗客状態分析方法の操作を実行するコンピュータ読取可能記憶媒体を提供する。
【００１１】
本願の実施例の更に別の態様によれば、コンピュータ読取可能コードを含むコンピュータプログラム製品であって、前記コンピュータ読取可能コードがデバイス上で動作すると、前記デバイス中のプロセッサが上記のいずれか一項に記載の乗客状態分析方法を実現するためのコマンドを実行するコンピュータプログラム製品を提供する。
【００１２】
本願の上記実施例で提供された乗客状態分析方法及び装置、車両、電子機器並びに記憶媒体によれば、車両内の後部座席領域のビデオストリームを取得し、ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行い、顔及び／又は人体検出の結果に基づいて後部座席領域の乗客の状態情報を決定し、乗客の状態情報が所定条件を満たしたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するようになっており、乗客の状態を分析し、通知情報を基礎とすることによって、事故の発生を減少でき、乗客が車両に乗る時の安全性及び快適性が高くなった。
【００１３】
以下、図面及び実施例を通じて本願の技術的手段をさらに詳しく説明する。
【図面の簡単な説明】
【００１４】
【図１】本願の実施例で提供される乗客状態分析方法の１つのフローチャートである。
【図２】本願の実施例で提供される乗客状態分析方法のまた１つのフローチャートである。
【図３】本願の実施例で提供される乗客状態分析方法の選択可能な一例のフローチャートである。
【図４】本願の実施例で提供される乗客状態分析方法の選択可能な別の例のフローチャートである。
【図５】本願の実施例で提供される乗客状態分析方法の選択可能な更に別の例のフローチャートである。
【図６】本願の実施例で提供される乗客状態分析方法の選択可能なまた１つの例のフローチャートである。
【図７】本願の実施例で提供される乗客状態分析装置の一構造模式図である。
【図８】本願の実施例の端末装置又はサーバを実現するのに適切な電子機器の構造模式図である。
【発明を実施するための形態】
【００１５】
明細書の一部を構成する図面は、本願の実施例を説明し、その説明と共に本願の原理を解釈することに用いられる。
【００１６】
図面を参照し、以下の詳細な説明により本願をより明瞭に理解することができる。
【００１７】
ここで、図面を参照しながら本願の様々な例示的な実施例を詳細に説明する。なお、特に断らない限り、これらの実施例で記述した部材及びステップの相対的配置、数式及び値は本願の範囲を限定するものではないことに注意すべきである。
【００１８】
同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。
【００１９】
以下の少なくとも一つの例示的な実施例に対する説明は実際に説明的なものに過ぎず、本願及びその適用または使用へのなんらの制限にもならない。
【００２０】
関連分野の当業者に既知の技術、方法及び機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法及び機器は明細書の一部と見なすべきである。
【００２１】
なお、類似する符号及び英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。
【００２２】
本願の実施例はコンピュータシステム／サーバに適用可能であり、それは他の様々な共通または専用計算システム環境または構成と共に動作可能である。コンピュータシステム／サーバとの併用に適する公知の計算システム、環境及び／または構成の例は、車載装置、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステム及び前記の任意のシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。
【００２３】
コンピュータシステム／サーバはコンピュータシステムにより実行されるコンピュータシステム実行可能コマンド（例えば、プログラムモジュール）の一般的な言語環境において記述できる。通常、プログラムモジュールはルーチン、プログラム、目的プログラム、コンポーネント、ロジック、データ構造などを含んでよく、それらは特定のタスクを実行するかまたは特定の抽象データ型を実現する。コンピュータシステム／サーバは分散型クラウドコンピューティング環境において実施でき、分散型クラウドコンピューティング環境において、タスクは通信ネットワークにわたってリンクされた遠隔処理機器により実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してよい。
【００２４】
図１は本願の実施例で提供される乗客状態分析方法の１つのフローチャートである。この方法は、例えば、端末装置、サーバ、携帯装置、車載装置等のような任意の電子機器によって実行されてよく、本願の実施例はそれについて限定しない。図１に示すように、この実施例方法は、以下のステップを含む。
【００２５】
ステップ１１０において、車両内の後部座席領域のビデオストリームを取得する。
【００２６】
本願の実施例における車両は、例えば、小型自動車、小型バス、大型バス等の様々なタイプの乗用型車両を含んでもよい。これらの車両において運転者以外に、少なくとも１人の乗客がいてもよく、本実施例における乗客とは車内における運転席領域以外の人員のことを指し、乗客の位置は運転者の位置に対して明らかに区別されたところであり、本願の実施例では乗客用座席領域を後部座席領域と呼び、即ち、車内における車両内運転領域の後の座席領域を後部座席領域と呼び、それは最後の列の座席に限られなく、中央の列の座席であってもよく、後部座席領域に対して乗客を含むビデオストリームを収集して取得することによって、車両内乗客の状態分析を実現する。
【００２７】
選択可能な一例では、このステップ１１０は、プロセッサによってメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサによって動作するビデオ収集ユニット７１によって実現されてもよい。
【００２８】
ステップ１２０において、ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行う。
【００２９】
選択可能に、乗客の車両内での状態は顔部表情によって決定される状態を含むだけでなく、肢体動作に基づいて決定される状態を更に含んでもよく、従って、本願の実施例では顔及び／又は人体を検出して乗客状態の分析を実現することによって、乗客状態検出の精度が高くなり、状態検出の漏れによる事故が少なくなり、例えば、乗客顔部が正常状態であるが、手を車窓から出した時に顔検出のみを実施するとした場合、危険行為の警告を漏れることになり、更に例えば、乗客の体が動いていないが、顔部に嘔吐している症状又は苦痛している症状等が発生した時に人体検出のみを実施するとした場合、乗客異常状態の警告を漏れることになり、従って、本願の実施例では、顔及び／又は人体の検出において、具体的に、顔又は人体を検出するか、それとも顔と人体を共に検出するかは、取得された乗客画像のどの部分に異常があるかに応じて決定することが可能である。選択可能に、本願の各実施例におけるニューラルネットワークは、それぞれ１つの多層ニューラルネットワーク（即ち、深度ニューラルネットワーク）であってよく、そのうちのニューラルネットワークは、多層畳み込みニューラルネットワーク、例えば、ＬｅＮｅｔ、ＡｌｅｘＮｅｔ、ＧｏｏｇＬｅＮｅｔ、ＶＧＧ、ＲｅｓＮｅｔ等の任意のニューラルネットワークモデルであってよい。それぞれのニューラルネットワークとしては同じタイプと構造のニューラルネットワークを用いてもよく、異なるタイプ及び／又は構造のニューラルネットワークを用いてもよい。本願の実施例はそれを限定するものではない。
【００３０】
選択可能に、１つ又は２つの訓練済みのニューラルネットワークによって顔及び／又は人体の検出を実現して乗客の顔及び／又は人体の検出結果を取得してよく、本願の実施例では具体的な検出過程が限定されない。
【００３１】
選択可能な一例では、このステップ１２０は、プロセッサによってメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサによって動作する画像検出ユニット７２によって実現されてもよい。
【００３２】
ステップ１３０において、顔及び／又は人体検出の結果に基づいて後部座席領域の乗客の状態情報を決定する。
【００３３】
１つ又は複数の選択可能な実施例では、顔及び／又は人体検出の結果を分析又は統計することによって乗客の状態情報を取得し、例えば、検出結果中の閉目時間を統計し、閉目時間が設定時間に達し、又は、閉目合計時間の統計時間窓で占めた比率が設定閾値を超えた時に、この乗客の状態が睡眠状態であると考えられる。
【００３４】
選択可能な一例では、このステップ１３０は、プロセッサによってメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサによって動作する状態決定ユニット７３によって実現されてもよい。
【００３５】
ステップ１４０において、乗客の状態情報が所定条件を満たしたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力する。
【００３６】
選択可能に、通知情報は、音声通知情報（例えば、警告音、人間音声通知等）、振動通知情報（例えば、運転者席を振動させるように制御し、又は他の装置を振動させるように制御する等）、通知情報表示（例えば、ビデオストリームにおける通知内容と関連する画像フレーム、表示文字又は符号通知情報を表示する等）、匂い通知情報（例えば、運転者位置へ刺激臭を発生する等）等の少なくとも１種の表現形態を含んでもよいが、それらに限定されない。以上の通知情報は、受信者が通知情報を正確且つタイムリーに受信する確率を高めるように、単独して用いてもよく、組み合わせて用いてもよい。
【００３７】
選択可能に、乗客のリアルタイムな安全性を高めるために、車両内の運転者領域における運転者視線範囲内に表示装置を設置してよく、そのように運転者がリアルタイムに通知情報を取得し、乗客状態をリアルタイムに処理して、乗客の安全性を高めることができる。
【００３８】
選択可能な一例では、このステップ１４０は、プロセッサによってメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサによって動作する情報通知ユニット７４によって実現されてもよい。
【００３９】
本願の上記実施例で提供された乗客状態分析方法によれば、車両内の後部座席領域のビデオストリームを取得し、ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行い、顔及び／又は人体検出の結果に基づいて後部座席領域の乗客の状態情報を決定し、乗客の状態情報が所定条件を満たしたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するようになっており、乗客の状態を分析し、通知情報を基礎とすることによって、事故の発生を減少でき、乗客が車両に乗る時の安全性及び快適性が高くなった。後部座席領域が運転者視線範囲以外の領域となるので、この領域の人員の状態分析によって、有効情報又は運転者が気にする情報をリアルタイムに運転者に通知することができ、そのように運転者が通常の状況下で運転に注意力を集中することができ、運転に集中できない要因が少なくなり、運転安全性が高くなり、更に、異常情報又は運転者が気にする情報を適時に検知でき、そのように運転者が処理措置をリアルタイムに取って、ユーザ体験を高めることができる。
【００４０】
図２は本願の実施例で提供される乗客状態分析方法の別のフローチャートである。図２に示すように、本実施例の方法は、以下のステップを含む。
【００４１】
ステップ２１０において、車両内の後部座席領域のビデオストリームを取得する。
【００４２】
ステップ２２０において、ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行う。
【００４３】
本願の実施例におけるステップ２１０及びステップ２２０は上記実施例のステップ１１０及びステップ１２０と類似するものであり、上記実施例を参照しながらこのステップを理解してもよく、ここで詳しい説明を省略する。
【００４４】
ステップ２３０において、顔及び／又は人体検出の結果に基づいて、乗客が異常状態にあるか否か及び／又は乗客が危険行為をしているか否かを決定する。
【００４５】
本願の実施例では、乗客が異常状態にあり及び／又は危険行為をした場合に、乗客の安全や車両の安全が脅かされることがあり、この時に、乗客の状態をリアルタイムに処理できなければ、深刻な結果に繋がることがある。
【００４６】
１つ又は複数の選択可能な実施例では、異常状態は、暴れる状態、嘔吐している状態、むせている状態、咳をしている状態、苦痛状態、泣いている状態、眠っている状態、目覚めた状態等の中の少なくとも一項を含んでもよいが、それらに限定されない。
【００４７】
選択可能に、一般的には１フレームの画像の検出結果のみに基づいて異常状態を決定できないので、乗客が異常状態にあるか否かを決定するために、顔及び／又は人体検出の結果を統計又は分析してよく、例えば、検出結果中の閉目時間を統計し、閉目時間が設定時間に達した場合に、この乗客の状態が睡眠状態であると考えられ、又は、訓練済みの分類ニューラルネットワークに基づいて実現してもよく、この訓練済みの分類ニューラルネットワークに基づいて、顔及び／又は人体検出の結果によって異常状態にあるか否かの分類結果を直接取得でき、本願の実施例では乗客が異常状態にあるか否かを決定する具体的な手段は限定されるものではない。
【００４８】
選択可能に、子供が特別な乗客であり、子供の状態が不安定で且つ外界の影響を受けて事故状態が発生しやすく、更に乗客が子供である時に、子供の状態が運転者の状態に影響を及ぼすことがあり、例えば、子供が泣いている時に、運転者に気を散らせることを招き、安全運転が不可能になることがあり、又は、子供が座席上でむやみに動かしているが、運転者がそれをリアルタイムに知れない場合に、子供に危険が発生することがある。
【００４９】
１つ又は複数の選択可能な実施例では、危険行為は、車両ドアを開くこと、器械を手に持つこと、シートベルトを外すこと、車窓から体の一部を出すこと、指定領域から離れること、タバコを吸うこと等の中の少なくとも１種を含んでもよいが、それらに限定されない。
【００５０】
選択可能に、車両の走行中に、乗客が自分や他の乗客、運転者の安全を脅す行為をした時に、この乗客が危険行為をしたと考えられ、これらの危険行為が発生した時に、事故発生を防止するために、運転者又は他の乗客又は他の関係者がリアルタイムに阻止する必要があり、例えば、禁煙装置を設けた車両内でタバコを吸えば禁煙装置（例えば、煙警報器等）がトリガされることになり、また、乗客が危険行為をしたか否かを決定するために、顔及び／又は人体検出の結果を統計又は分析してよく、例えば、検出結果中の手が車両ドアを開くためのハンドルにあるかを統計し、手が車両ドアを開くためのハンドルにある時間が設定時間に達した場合に、この乗客が車両ドアを開く危険行為をしたと考えられ、又は、訓練済みの分類ニューラルネットワークに基づいて実現してよく、この訓練済みの分類ニューラルネットワークに基づいて、顔及び／又は人体検出の結果によって乗客が危険行為をしたか否かの分類結果を直接取得してよく、本願の実施例では乗客が危険行為をしたか否かを決定する具体的な手段は限定されるものではない。
【００５１】
選択可能に、子供の特殊性のために、子供が指定領域から離れた異常状態とはチャイルドシートから離れたことを指してよく、子供がチャイルドシートから離れた場合にその乗車時の安全性が保障できなくなり、子供が車両に乗る時にチャイルドシートがその安全性を保障でき、中国基準の『自動車児童乗客用制限システム』によれば、子供が車両に乗る時に、チャイルドシートに座らなければならなく、また、大人が指定領域（例えば、大型バスの固定席等）から離れたことは、立つ、又は他の座席へ移動することを指してよく、他の乗客の利益を害する可能性があって、同様にリアルタイムに阻止する必要がある。
【００５２】
ステップ２４０において、乗客に異常状態が現れたこと、乗客が危険行為をしたこと、乗客が異常状態にある時間が所定時間に達したこと、又は、乗客が危険行為状態にある時間が所定時間に達したことに応じて、車両内の運転者領域又は指定装置に通知情報を出力する。
【００５３】
本願の実施例では、乗客のそれぞれの異常状態及び危険行為は緊急度が異なり、一部の異常状態や危険行為が発生すると、すぐに対処しなければ、深刻な結果を招くことがある。例えば、食べ物がのどにつかえた状態で、リアルタイムに処理しなければ乗客の生命を脅すことになり、リアルタイムに対処しなければならない。又は、車両走行中に、いつでも他の車両と擦れ違う可能性があるので、乗客が車窓から体の一部を出すと、危険に陥ることになり、この乗客の危険行為をリアルタイムに阻止しなければならない。更に、緊急度が高くない異常状態や危険行為の場合に、発生したら所定の時間経った後処理してもよく、例えば、乗客が咳をしているが、病気又は他の原因で引き起こされた可能性があり、短時間の咳が乗客の正常挙動又は慢性疾患である可能性もあり、処理担当者が介入しても明らかな効果が発生せず、そしてその危険性が小さく、もし咳の持続時間が設定時間に達したら、特別な状況であることを示し、乗客の安全を保障するために処理担当者が正しく介入しなければならない。乗客が子供であるような特別な場合に、子供の緊急度が大人より高く、処理担当者が緊急度に応じて同時に発生した複数種の状態に順に対処でき、通知情報が同時に受信されて混雑中に間違いが起こることがなく、例えば、車窓から体の一部を出している乗客と咳をしている乗客が同時に車両内に存在する場合に、先に車窓から体の一部を出している乗客に対して通知情報を出し、咳をしている状態が所定時間に達すると、通知情報を出す。
【００５４】
１つ又は複数の選択可能な実施例では、乗客は、大人、子供の少なくとも一項を含む。
【００５５】
即ち、乗客が子供又は大人であり、本願の実施例における子供は、児童、嬰児、幼児等を含んでもよいが、それらに限定されなく、画像内の人が子供であるか否かを決定するには、一般に視覚的に子供と公認される人を子供としてもよく、基準年齢又は定義年齢以下の人を子供としてもよく、例えば、法律で規定された子供の年齢（例えば、１２歳）を基準年齢としてもよく、３歳、６歳又は８歳等を子供の年齢として定義してもよく、本願の実施例では子供の具体的な年齢が限定されるものではなく、具体的な状況に応じて様々な年齢層を子供として定義してもよく、例えば、幼稚園では６歳以下のものを子供としているが、乗車時に１２歳以下のものを子供と定義している。また、大人は、子供でない未成年者、成人を含んでもよいが、それらに限定されなく、そのうち、成人を年齢層に応じて、例えば、少年、青年、中年、老人等に分けてもよい。
【００５６】
本願の実施例における乗客は、一般的な意味の乗客であってもよく、老人、病人、妊婦、身体障害者、体の不自由な人等の特別の注意を必要とする人であってもよい。ここで、乗客と運転者は、例えば、家族関係のような特定関係を有してもよく、特定関係がなくてもよく、例えば、公共交通機関の車両における運転者と乗客となる。
【００５７】
１つ又は複数の選択可能な実施例では、顔及び／又は人体検出の結果は、顔があるか否か、人体があるか否か、開目、閉目、表情、年齢、開口、閉口、肢体動作の中の少なくとも一項を含んでもよいが、それらに限定されない。
【００５８】
乗客の状態が顔及び／又は人体検出の結果に依存するものであるので、本願の実施例における顔及び／又は人体検出の結果が人の状態に関連する検出結果であり、以上の少なくとも１つの検出結果に基づいて人の状態を決定でき、例えば、閉目状態に基づいて乗客が眠っている状態にあるか否かを決定し、閉目及び開目状態に基づいて乗客が目覚めた状態にあるか否かを決定し、指定領域に人体があるか否か又は顔があるか否かに基づいて、乗客が指定領域から離れたか否かを決定する。
【００５９】
図３は本願の実施例で提供される乗客状態分析方法の選択可能な一例のフローチャートである。この選択可能な例では、乗客は、子供を含み、後部座席領域は、チャイルドシート領域を含み、図３に示すように、本実施例の方法は、以下のステップを含む。
【００６０】
ステップ３１０において、車両内の後部座席領域のビデオストリームを取得する。
【００６１】
ステップ３２０において、ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行って、画像に顔があるか否か及び／又は人体があるか否かを決定する。
【００６２】
本願の実施例におけるステップ３１０及びステップ３２０は上記実施例のステップ１１０及びステップ１２０と類似するものであり、上記実施例を参照しながらこのステップを理解してもよく、ここで詳しい説明を省略する。
【００６３】
ステップ３２０は、上記ステップ１２０と比べると、取得された検出結果は顔があるか否か、人体があるか否かのうちの少なくとも一項を含むことのみを相違点とし、検出結果を制限して子供の１種の状況の状態を取得することによって、子供の状態の処理効率を高める。
【００６４】
ステップ３３０において、顔及び／又は人体検出の結果に基づいて子供がチャイルドシートに位置しているか否かを決定する。
【００６５】
選択可能に、チャイルドシート領域に顔があるか否か及び／又は人体があるか否かに応じて、子供がチャイルドシートに位置しているか否かを決定してよく、特に、子供がチャイルドシートに位置している時に、他の物体（例えば、キルト、毛布等）がその体の部位を遮っていることがあるので、体が遮られている場合に、検出結果の正確率を高くするために、顔があるか否かに応じて子供がチャイルドシートに位置しているか否かを判断してもよく、又は顔があるか否か及び人体があるか否かに応じて子供がチャイルドシートに位置しているか否かを判断してもよい。
【００６６】
ステップ３４０において、子供がチャイルドシートから離れたこと、又は、チャイルドシートに子供がいない状態が所定時間を超えたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力する。
【００６７】
子供の安全性を高めるために、チャイルドシートが一般に車両の座席に固定されており、固定された後、チャイルドシートの位置が一定になり、子供がチャイルドシートから離れたこと、又は、チャイルドシートに子供がいない状態が所定時間を超えた場合に、子供がチャイルドシートに座っていないことを示し、車両走行中に、子供がチャイルドシートに座っていなければ非常に危険であるので、子供が車両に乗る時の安全性を高めるために、本願の実施例で提供される通知情報によって子供を管理する必要がある。
【００６８】
図４は本願の実施例で提供される乗客状態分析方法の選択可能な別の例のフローチャートである。この選択可能な例では、乗客は子供を含み、図４に示すように、本実施例の方法は、以下のステップを含む。
【００６９】
ステップ４１０において、車両内の後部座席領域のビデオストリームを取得する。
【００７０】
ステップ４２０において、ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行う。
【００７１】
本願の実施例におけるステップ４１０及びステップ４２０は上記実施例のステップ１１０及びステップ１２０と類似するものであり、上記実施例を参照しながらこのステップを理解してもよく、ここで詳しい説明を省略する。
【００７２】
ステップ４３０において、顔及び／又は人体検出の結果に基づいて子供が泣いているか否かを決定する。
【００７３】
本実施例では、子供が泣いている状態にあるか否かを判断するために、訓練されたニューラルネットワークによって実現してもよいし、他の形態で子供が泣いているか否かを決定してもよく、本願の実施例では子供が泣いているか否かを決定する具体的な手段は限定されるものではなく、例えば、訓練された分類ネットワークを用いて子供が泣いているか否かを判断してよく、この分類ネットワークは、２つのカテゴリー（泣いているカテゴリー、泣いていないカテゴリー）を含んでもよく、この分類ネットワークは直接顔画像を処理してもよく、顔画像に対して特徴抽出を行って取得された顔画像に対応する顔特徴を処理してもよい。
【００７４】
ステップ４４０において、子供が泣き出したこと、又は子供が泣いている状態が所定時間に達したことに応じて、車両内の運転者領域又は指定装置に通知情報を出力する。
【００７５】
子供の気持ちや体調が不安定で、いつでも変化可能なので、子供の不快感を軽減し、又は安全運転に影響を及ぼすことを回避するために、子供のそれぞれの状態に対して、合理的な操作が必要であり、例えば、子供が泣いている状態の時に、異常状態による子供への傷害を低減するために、リアルタイムに処理する必要がある（例えば、子供をリアルタイムに落ち着かせる等）。
【００７６】
図５は本願の実施例で提供される乗客状態分析方法の選択可能な更に別の例のフローチャートである。この選択可能な例では、乗客は子供を含み、図５に示すように、本実施例の方法は、以下のステップを含む。
【００７７】
ステップ５１０において、車両内の後部座席領域のビデオストリームを取得する。
【００７８】
本願の実施例におけるステップ５１０は上記実施例のステップ１１０と類似するものであり、上記実施例を参照しながらこのステップを理解してもよく、ここで詳しい説明を省略する。
【００７９】
ステップ５２０において、ビデオストリーム内の少なくとも１フレームの画像に対して顔検出を行って、画像内の乗客が目を開いているか否か及び／又は目を閉じているか否かを決定する。
【００８０】
選択可能に、目が顔にあるので、本願の実施例は乗客の開目及び／又は閉目状態を決定するために、画像に対して顔検出を行えば、乗客が目を開いているか否か及び／又は目を閉じているか否かを決定することができ、ビデオストリームに対して乗客の目状態を決定することは、少なくとも１フレームの画像における開目又は閉目状態に基づいて決定してよい。
【００８１】
ステップ５３０において、所定時間窓内の子供の開目及び／又は閉目の状態統計分析結果に基づいて、子供が眠っている状態にあるか否か又は目覚めた状態にあるか否かを決定する。
【００８２】
選択可能に、子供の目状態は一般に開目及び閉目の２種の状態を含み、閉目状態が所定時間持続した場合に、子供が眠っている状態にあると考えられ、本願の実施例はビデオストリームに基づいて子供の状態を分析し、ビデオストリーム内の連続フレームに基づいて子供の開目又は閉目状態を統計することで、子供の開目又は閉目の持続時間を決定でき、持続閉目状態から開目状態に変わり、又は持続閉目状態から開目状態と閉目状態を複数回切り替えるように変わった場合に、子供が目覚めた状態にあると考えられる。
【００８３】
ステップ５４０において、子供が眠っている状態にあること、眠っている状態にある時間が所定時間に達したこと、目覚めた状態にあること、又は、目覚めた状態が所定時間に達したことに応じて、車両内の運転者領域又は指定装置に通知情報を出力する。
【００８４】
子供が眠っている状態と目覚めた状態にある時に緊急度が低く、タイムリーに通知情報を出してよく、又は子供が眠っている状態にある時間が所定時間に達するか、子供が目覚めた状態にある時間が所定時間に達すると、通知情報を出してよく、ここで眠っている状態に対応する所定時間と目覚めた状態に対応する所定時間は同じであってもよいし、異なっていてもよい。
【００８５】
１つ又は複数の選択可能な実施例では、顔及び／又は人体検出の結果は、乗客が子供であるか否かの分類結果を含み、
ステップ１２０は、
ビデオストリーム内の少なくとも１フレームの画像における顔及び／又は人体特徴を抽出するステップと、抽出された特徴に基づいて乗客が子供であるか否かの分類処理を行うステップと、を含む。
【００８６】
選択可能に、子供が特別なグループに属しているものであり、例えば、子供が車両に乗る時にチャイルドシートに座らなければならない。従って、乗客状態を分析する時に、乗客が子供と大人を示す非子供に分類され、子供であるか否かを決定するために、訓練済みの分類ネットワークの出力した子供か否かの結果に基づいて決定してもよく、又は訓練済みのニューラルネットワークによる乗客年齢の認識に基づいて決定してもよく、この乗客の年齢が所定年齢以下である時に、この乗客を子供とし、この乗客の年齢が所定年齢より大きい時に、この乗客を非子供とし、本実施例では所定年齢を実際の状況に応じて設定可能である。また、子供の年齢を複数の異なる年齢層に分割するように、必要に応じて複数の所定年齢を設定してもよく、例えば、幼稚園の通学バスに関しては７歳以下の子供を、例えば、０−３歳と３歳以上のような少なくとも２つの年齢層に分けてもよく、０−３歳の子供はチャイルドシート以外に、大人の世話も必要があり、３−７歳の子供が活発で、その座席位置を監視する必要があり、この時に、所定年齢は３歳の第１所定年齢と７歳の第２所定年齢を含んでよい。
【００８７】
１つ又は複数の選択可能な実施例では、ステップ１２０は、ニューラルネットワークの特徴抽出ブランチによってビデオストリーム内の少なくとも１フレームの画像に対して顔特徴抽出及び／又は人体特徴抽出を行うステップと、
ニューラルネットワークにおいて特徴抽出ブランチに接続される少なくとも１つの検出ブランチによって、特徴抽出ブランチで抽出した顔特徴及び／又は人体特徴に基づいて、顔及び／又は人体検出の結果を決定するステップと、を含む。
【００８８】
本願の実施例では、それぞれの検出ブランチによって顔検出と人体検出を実現してよく、即ち、１つの検出ブランチによって顔検出結果を取得し、また１つの検出ブランチによって人体検出結果を取得し、少なくとも１つの検出ブランチを特徴抽出ブランチに接続することによって、特徴抽出ブランチの取得した特徴を共用して顔検出及び人体検出結果を取得して、検出過程を速くして、検出時間を節約した。
【００８９】
１つ又は複数の選択可能な実施例では、ステップ１２０は、ニューラルネットワークの特徴抽出ブランチによってビデオストリーム内の少なくとも１フレームの画像に対して顔特徴抽出及び／又は人体特徴抽出を行うステップと、
ニューラルネットワークにおいて特徴抽出ブランチに接続される分類ブランチ及び少なくとも１つの検出ブランチによって、特徴抽出ブランチで抽出した顔特徴及び／又は人体特徴に基づいて、画像内の人が子供であるか否か及び顔及び／又は人体検出の結果をそれぞれ決定するステップと、を含む。
【００９０】
本願の実施例では、乗客が子供であるか否かの判断が追加され、選択可能に、本実施例では顔特徴を分類ブランチに入力することによって、乗客が子供であるか否かの分類結果（２種の分類結果）を決定し、即ち乗客が子供であるかどうかを決定し、また、顔特徴及び／又は人体特徴を共用して、子供であるか否か及び顔及び／又は人体検出の結果を決定することは、１つの特徴抽出過程しかなく、検出及び分類効率が高くなった。
【００９１】
１つ又は複数の選択可能な実施例では、ステップ１２０は、ニューラルネットワークの特徴抽出ブランチによってビデオストリーム内の少なくとも１フレームの画像に対して顔特徴抽出を行うステップと、
ニューラルネットワークにおいて特徴抽出ブランチに接続される分類ブランチによって、特徴抽出ブランチで抽出した顔特徴に基づいて画像内の人が子供であるか否かを決定し、又は、
ニューラルネットワークにおいて特徴抽出ブランチに接続される認識ブランチによって画像内の乗客の年齢を決定し、年齢が所定年齢以下の乗客を子供とするステップと、を含む。
【００９２】
本願の実施例では、単独したニューラルネットワークによって乗客が子供であるか否かを判断するようになっており、選択可能に、１つの分類ブランチによって顔特徴に基づいて子供であるか否かの分類結果を決定してもよく、認識ブランチによって顔特徴に基づいて乗客の年齢を決定して、年齢が所定年齢以下の乗客を子供としてもよい。
【００９３】
選択可能に、画像内の人が子供であるか否かを決定する分類ブランチは、性別を区分する子供アノテーションデータに基づいて、予め訓練されたものである。
【００９４】
本願の実施例では、画像内の人が子供であるか否かはサンプル画像によって訓練された分類ブランチによって実現される。顔部特徴の表現が性別によって異なり、即ち、同じ年齢の男児と女児の年齢を認識する時に、異なる結果が得られることがあり、従って、この分類ブランチの分類正確率を高めるために、この分類ブランチを訓練する時にサンプル画像を子供の性別に基づいて区別してよい。
【００９５】
選択可能に、ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行うステップの前に、
子供アノテーション情報を有するサンプル画像を用いてニューラルネットワークを訓練するステップを更に含む。
【００９６】
選択可能に、ニューラルネットワークが特徴抽出ブランチ、特徴抽出ブランチに接続される分類ブランチ及び少なくとも１つの検出ブランチを含む時に、サンプル画像は、子供アノテーション情報以外に、更に検出アノテーション情報を含み、この時にニューラルネットワークの取得した子供か否かの予測結果と子供アノテーション情報に基づいて第１損失を決定し、ニューラルネットワークの取得した検出予測情報と検出アノテーション情報に基づいて第２損失を決定し、第１損失と第２損失を共に利用してニューラルネットワークを訓練し、例えば、第１損失と第２損失の加重和を求めてからニューラルネットワークを訓練するようにしてよい。
【００９７】
選択可能に、ニューラルネットワークが特徴抽出ブランチと分類ブランチ又は特徴抽出ブランチと認識ブランチを含む時に、サンプル画像には子供アノテーション情報を含めばよく、サンプル画像から特徴抽出ブランチと分類ブランチを含むニューラルネットワークによって子供分類予測結果を取得し、子供分類予測結果と子供アノテーション情報に基づいてネットワーク損失を決定し、ニューラルネットワークを訓練し、また、サンプル画像から特徴抽出ブランチと認識ブランチを含むニューラルネットワークによって年齢予測結果を取得し、年齢予測結果に基づいて子供か否かの予測結果を決定し、子供か否かの予測結果と子供アノテーション情報に基づいてネットワーク損失を決定し、ニューラルネットワークを訓練する。
【００９８】
選択可能に、子供アノテーション情報はサンプル画像内の人が子供であるか否かを示すものであり、サンプル画像内の人の年齢又は推定年齢が基準画像内の人の年齢又は推定年齢より大きいことに応じて、サンプル画像の子供アノテーション情報は子供でないことを示し、サンプル画像内の人の年齢又は推定年齢が基準画像内の人の年齢又は推定年齢以下であることに応じて、サンプル画像の子供アノテーション情報は子供であることを示す。
【００９９】
人間で判断して推定した年齢であっても、ネットワークで判断して取得した年齢であっても、誤差が存在する可能性があり、従って、サンプル画像内の人の年齢は提供された生年月日で計算された年齢、又は人間判断又はネットワーク判断に基づいて取得された推定年齢であってよく、基準画像内の人に対しても年齢又は推定年齢を用いてもよい。
【０１００】
子供に対する判断基準が人によっては異なるので、同一画像が異なる人によってアノテーションして得られたアノテーション結果が異なることがあり、そのため、本実施例では、サンプル画像を基準画像と比較してこのサンプル画像内の人が子供であるか否かを決定することによって、人間のアノテーションによって判断基準が異なることが少なくなり、サンプル画像の子供アノテーション情報の正確率が高くなり、更にネットワークの訓練の正確率が高くなり、選択可能に、本実施例ではサンプル画像内の人の年齢又は推定年齢が基準画像内の人の年齢又は推定年齢より大きいか否かを判断することは人間によって実現されてもよく、訓練済みのニューラルネットワークによって実現されてもよい。
【０１０１】
選択可能に、基準画像は、男児基準画像と女児基準画像を含む。
【０１０２】
子供に対する判断基準が性別によっては異なり、人間の視覚感覚が一般に大きく相違している。従って、性別によるアノテーション情報の誤差を減少するために、本実施例では男性と女性に対してそれぞれ男児基準画像と女児基準画像が設置されており、それによってアノテーション情報の信頼性を高める。それぞれ２枚の異なる男児基準画像と女児基準画像を基準とし、この基準画像内の人の年齢又は推定年齢より大きければ、子供ではないと判断し、この基準画像内の人の年齢又は推定年齢より小さければ、子供であると判断する。男性、女性を分けて画像内の人が子供であるか否かを判断することによって、子供データ集合のノイズが低くなり、子供データ集合の精確度が高くなった。
【０１０３】
１つ又は複数の選択可能な実施例では、ステップ１１０は、車両内に設置された車両内部の少なくとも１つのカメラによって後部座席領域のビデオストリームを収集して取得するステップを含む。
【０１０４】
乗客の状態を決定するために単独した画像を分析基礎とすれば、画像が不鮮明であり、又は表情が変化する等の不正確な状況が発生することがあり、状態分析の精度を高めるために、本実施例は車両内部のカメラによって車両内の乗客画像を収集し、ビデオストリームを取得し、このビデオストリーム内の少なくとも１フレームの画像を画像とし、取得された画像で車両内の乗客状態の監視を実現する。
【０１０５】
選択可能に、本実施例の監視カメラが車両座席の前方に設置されてよく、例えば、カメラをそれぞれの車両座席に一対一に対応するように設置して、各車両座席の画像をそれぞれ収集して、精確な位置認識を実現するようにするか、全ての車両座席の前方に１つ又は複数のカメラを設置して、車両内部全体の画像を取得して（各車両座席の位置を予め設定することが必要）、各座席における乗客の認識を実現する。
【０１０６】
１つ又は複数の選択可能な実施例では、ステップ１４０は、
乗客の状態情報が所定条件を満たしたことに応じて、運転者視線範囲内の装置及び／又は所定の装置に通知情報を出力するステップを含む。
【０１０７】
選択可能に、通知情報は少なくとも１種の通知情報を含んでもよく、運転者視線範囲内の装置によって情報を表示する時に、運転者又は車両内の他の人員が車両内の状況をリアルタイムに確認することができ、所定の装置は設定された後見人の携帯電話、運転者の携帯電話、警告装置、他の端末装置等を含んでもよく、車両外の他の位置で車両内の状況を監視することを可能にするものであり、例えば、運転者が車両を一時的に離れた時に、端末装置（例えば、携帯電話等）によって車両内の乗客、特に子供の状態を確認でき、通知情報が受信されると、リアルタイムに車両内に戻って予期しない状況に対応することができる。例えば、高速道路のサービスエリアでトイレに行きたいが、車内の子供のことを心配する場合は、携帯電話のＡＰＰによって後部座席知能化監視機能をオンにできる。
【０１０８】
１つ又は複数の選択可能な実施例では、本願の実施例方法は、
運転者視線範囲内の装置及び／又は予め設置された装置によって、取得されたビデオストリームの少なくとも１フレームの画像、検出結果の中の少なくとも１種の情報を表示するステップを更に含み、前記情報はそれらに限定されない。
【０１０９】
通知情報以外に、取得されたビデオストリームの少なくとも１フレームの画像、検出結果等の情報を運転者視線範囲内の装置及び／又は所定の装置に表示してよく、運転者又は他の人員はこれらの情報に基づいて自分で分析して必要な情報を取得して、乗客の状態を確認することができる。
【０１１０】
１つ又は複数の選択可能な実施例では、車両内の後部座席領域のビデオストリームを取得するステップの前、本願の実施例の方法は、
携帯端末又は車載装置によって監視コマンドを受信するステップを更に含み、
車両内の後部座席領域のビデオストリームを取得するステップは、監視コマンドに基づいて、車両内の後部座席領域のビデオストリームを取得するステップを含む。
【０１１１】
選択可能に、本実施例における携帯端末は上記実施例における所定の装置であってもよく、即ち、所定の装置によって監視コマンドを受信し、次に所定の装置によって通知情報、及び／又は収集されたビデオストリームの少なくとも１フレームの画像、及び／又は検出結果等の情報を受信することで、監視情報を請求者にフィードバックすることを可能にし、携帯端末は携帯電話、タブレットコンピュータ等の装置を含んでもよい。本実施例における車載装置は上記のフィードバックを受信する運転者視線範囲内の装置であってもよく、運転者が請求した場合に、監視情報を運転者にフィードバックするものであり、又は、この車載装置は他の乗客位置の車載装置（タッチパネル等）であり、他の乗客の請求に基づいて監視情報を運転者にフィードバックする。
【０１１２】
図６は本願の実施例で提供される乗客状態分析方法の選択可能なまた１つの例のフローチャートである。図６に示すように、本実施例では、監視コマンドを受信する携帯端末として携帯電話ＡＰＰとし、又は車載装置として前部ヒューマンマシンインターフェー（ＨＭＩ、Ｈｕｍａｎ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｒｆａｃｅ）タッチスクリーンとし、前部ヒューマンマシンインターフェー（ＨＭＩ，Ｈｕｍａｎ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｒｆａｃｅ）タッチスクリーン又は携帯電話ＡＰＰによって後部座席監視機能をオンにし、そしてから監視画面を確認するか否かを選択可能である。後部座席監視機能がオンにされた後、ソフトウェアシステムはカメラの送信したビデオデータに基づいて後部座席に座っている人の年齢が設定年齢（例えば、１２歳）より大きいか否かを判断し、年齢が設定年齢より小さければ、子供状態監視とチャイルドシート関連通知を行い、子供がチャイルドシートに座っていなければ、チャイルドシートに座るように勧め、チャイルドシートに座っていれば、子供が眠っているか否か、泣いているか否か、目覚めたか否か、途中でチャイルドシートから離れたか否かの監視と警告を行い（前部ＨＭＩ又は携帯電話ＡＰＰにフィードバック）、また、大人状態の監視において、年齢が設定年齢より大きい時に、前部ＨＭＩ又は携帯電話ＡＰＰに大人の年齢、性別等の監視情報が表示される。
【０１１３】
当業者であれば、上記方法の実施例の全てまたは一部のステップを実現するにはプログラムによって関連ハードウェアに命令を出すことにより完成できることを理解でき、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記方法の実施例のステップを実行する。
【０１１４】
図７は本願の実施例で提供される乗客状態分析装置の一構造模式図である。この実施例の装置は本願の上記の各方法の実施例を実現することに利用可能である。図７に示すように、この実施例の装置は、
車両内の後部座席領域のビデオストリームを取得するためのビデオ収集ユニット７１と、
ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行うための画像検出ユニット７２と、
顔及び／又は人体検出の結果に基づいて後部座席領域の乗客の状態情報を決定するための状態決定ユニット７３と、
乗客の状態情報が所定条件を満たしたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するための情報通知ユニット７４と、を含む。
【０１１５】
本願の上記実施例で提供された乗客状態分析装置によれば、車両内の後部座席領域のビデオストリームを取得し、ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行い、顔及び／又は人体検出の結果に基づいて後部座席領域の乗客の状態情報を決定し、乗客の状態情報が所定条件を満たしたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するようになっており、乗客の状態を分析し、通知情報を基礎とすることによって、事故の発生を減少でき、乗客が車両に乗る時の安全性及び快適性が高くなった。後部座席領域が運転者視線範囲以外の領域となるので、この領域の人員の状態分析によって、有効情報又は運転者が気にする情報をリアルタイムに運転者に通知することができ、そのように運転者が通常の状況下で運転に注意力を集中することができ、運転に集中できない要因が少なくなり、運転安全性が高くなり、更に、異常情報又は運転者が気にする情報を適時に検知でき、そのように運転者が処理措置をリアルタイムに取って、ユーザ体験を高めることができる。
【０１１６】
１つ又は複数の選択可能な実施例では、状態決定ユニット７３は、顔及び／又は人体検出の結果に基づいて、乗客が異常状態にあるか否か及び／又は乗客が危険行為をしているか否かを決定するために用いられる。
【０１１７】
情報通知ユニット７４は、乗客に異常状態が現れたこと、乗客が危険行為をしたこと、乗客が異常状態にある時間が所定時間に達したこと、又は、乗客が危険行為状態にある時間が所定時間に達したことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するために用いられる。
【０１１８】
本願の実施例では、乗客のそれぞれの異常状態及び危険行為は緊急度が異なり、一部の異常状態や危険行為が発生すると、すぐに対処しなければ、深刻な結果を招くことがある。例えば、食べ物がのどにつかえた状態で、リアルタイムに処理しなければ乗客の生命を脅すことになり、リアルタイムに対処しなければならない。又は、車両走行中に、いつでも他の車両と擦れ違う可能性があるので、乗客が車窓から体の一部を出すと、危険に陥ることになり、この乗客の危険行為をリアルタイムに阻止しなければならない。更に、緊急度が高くない異常状態や危険行為の場合に、発生したら所定の時間経った後処理してもよい。
【０１１９】
選択可能に、異常状態は、暴れる状態、嘔吐している状態、むせている状態、咳をしている状態、苦痛状態、泣いている状態、眠っている状態、目覚めた状態等の少なくとも一項を含むが、それらに限定されない。
【０１２０】
選択可能に、危険行為は、車両ドアを開くこと、器械を手に持つこと、シートベルトを外すこと、車窓から体の一部を出すこと、指定領域から離れること、タバコを吸うこと等の少なくとも一項を含むが、それらに限定されない。
【０１２１】
選択可能に、乗客は、大人、子供の少なくとも一項を含む。
【０１２２】
選択可能に、顔及び／又は人体検出の結果は、顔があるか否か、人体があるか否か、開目、閉目、表情、年齢、開口、閉口、肢体動作のうちの少なくとも一つを含む。
【０１２３】
１つ又は複数の選択可能な実施例では、乗客は、子供を含み、後部座席領域は、チャイルドシート領域を含み、顔及び／又は人体検出の結果は、顔があるか否か、人体があるか否かのうちの少なくとも一つを含み、
状態決定ユニット７３は、顔及び／又は人体検出の結果に基づいて子供がチャイルドシートに位置しているか否かを決定するために用いられ、
情報通知ユニット７４は、子供がチャイルドシートから離れたこと、又は、チャイルドシートに子供がいない状態が所定時間を超えたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するために用いられる。
【０１２４】
子供の安全性を高めるために、チャイルドシートが一般に車両の座席に固定されており、固定された後、チャイルドシートの位置が一定になり、子供がチャイルドシートから離れたこと、又は、チャイルドシートに子供がいない状態が所定時間を超えた場合に、子供がチャイルドシートに座っていないことを示し、車両走行中に、子供がチャイルドシートに座っていなければ非常に危険であるので、子供が車両に乗る時の安全性を高めるために、本願の実施例で提供される通知情報によって子供を管理する必要がある。
【０１２５】
１つ又は複数の選択可能な実施例では、乗客は、子供を含み、
状態決定ユニット７３は、顔及び／又は人体検出の結果に基づいて子供が泣いているか否かを決定するために用いられ、
情報通知ユニット７４は、子供が泣き出したこと、又は子供が泣いている状態が所定時間に達したことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するために用いられる。
【０１２６】
子供の気持ちや体調が不安定で、いつでも変化可能なので、子供の不快感を軽減し、又は安全運転に影響を及ぼすことを回避するために、子供のそれぞれの状態に対して、合理的な操作が必要であり、例えば、子供が泣いている状態の時に、異常状態による子供への傷害を低減するために、リアルタイムに処理する必要がある（例えば、子供をリアルタイムに落ち着かせる等）。
【０１２７】
１つ又は複数の選択可能な実施例では、乗客は、子供を含み、
顔及び／又は人体検出の結果は、開目、閉目を含み、
状態決定ユニット７３は、所定時間窓内の子供の開目及び／又は閉目の状態統計分析結果に基づいて、子供が眠っている状態にあるか否か又は目覚めた状態にあるか否かを決定するために用いられ、
情報通知ユニット７４は、子供が眠っている状態にあること、眠っている状態にある時間が所定時間に達したこと、目覚めた状態にあること、又は、目覚めた状態が所定時間に達したことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するために用いられる。
【０１２８】
子供が眠っている状態と目覚めた状態にある時に緊急度が低く、タイムリーに通知情報を出してよく、又は子供が眠っている状態にある時間が所定時間に達するか、子供が目覚めた状態にある時間が所定時間に達すると通知情報を出してよく、ここで眠っている状態に対応する所定時間と目覚めた状態に対応する所定時間は同じであってもよいし、異なっていてもよい。
【０１２９】
１つ又は複数の選択可能な実施例では、顔及び／又は人体検出の結果は、乗客が子供であるか否かの分類結果を含み、
画像検出ユニット７２は、ビデオストリーム内の少なくとも１フレームの画像における顔及び／又は人体特徴を抽出するステップと、抽出された特徴に基づいて乗客が子供であるか否かの分類処理を行うために用いられる。
【０１３０】
１つ又は複数の選択可能な実施例では、画像検出ユニット７２は、ニューラルネットワークの特徴抽出ブランチによってビデオストリーム内の少なくとも１フレームの画像に対して顔特徴抽出及び／又は人体特徴抽出を行うステップと、ニューラルネットワークにおいて特徴抽出ブランチに接続される少なくとも１つの検出ブランチによって、特徴抽出ブランチで抽出した顔特徴及び／又は人体特徴に基づいて、顔及び／又は人体検出の結果を決定するステップと、を実行するために用いられる。
【０１３１】
本願の実施例では、それぞれの検出ブランチによって顔検出と人体検出を実現してよく、即ち、１つの検出ブランチによって顔検出結果を取得し、また１つの検出ブランチによって人体検出結果を取得し、少なくとも１つの検出ブランチを特徴抽出ブランチに接続することによって、特徴抽出ブランチの取得した特徴を共用して顔検出及び人体検出結果を取得して、検出過程を速くして、検出時間を節約した。
【０１３２】
１つ又は複数の選択可能な実施例では、画像検出ユニット７２は、ニューラルネットワークの特徴抽出ブランチによってビデオストリーム内の少なくとも１フレームの画像に対して顔特徴抽出及び／又は人体特徴抽出を行うステップと、ニューラルネットワークにおいて特徴抽出ブランチに接続される分類ブランチ及び少なくとも１つの検出ブランチによって、特徴抽出ブランチで抽出した顔特徴／又は人体特徴に基づいて、画像内の人が子供であるか否か及び顔及び／又は人体検出の結果をそれぞれ決定するステップと、を実行するために用いられる。
【０１３３】
本願の実施例では、乗客が子供であるか否かの判断が追加され、選択可能に、本実施例では顔特徴を分類ブランチに入力することによって、乗客が子供であるか否かの分類結果（２種の分類結果）を決定し、即ち乗客が子供であるかどうかを決定し、また、顔特徴及び／又は人体特徴を共用して、子供であるか否か及び顔及び／又は人体検出の結果を決定するのは、１つの特徴抽出過程しかなく、検出及び分類効率が高くなった。
【０１３４】
１つ又は複数の選択可能な実施例では、画像検出ユニット７２は、ニューラルネットワークの特徴抽出ブランチによってビデオストリーム内の少なくとも１フレームの画像に対して顔特徴抽出を行うステップと、ニューラルネットワークにおいて特徴抽出ブランチに接続される分類ブランチによって、特徴抽出ブランチで抽出した顔特徴に基づいて画像内の人が子供であるか否かを決定し、又は、ニューラルネットワークにおいて特徴抽出ブランチに接続される認識ブランチによって画像内の乗客の年齢を決定し、年齢が所定年齢以下の乗客を子供とするステップと、を実行するために用いられる。
【０１３５】
本願の実施例では、単独したニューラルネットワークによって乗客が子供であるか否かを判断するようになっており、選択可能に、１つの分類ブランチによって顔特徴に基づいて子供であるか否かの分類結果を決定してもよく、認識ブランチによって顔特徴に基づいて乗客の年齢を決定して、年齢が所定年齢以下の乗客を子供としてもよい。
【０１３６】
選択可能に、画像内の人が子供であるか否かを決定する分類ブランチは、性別を区分する子供アノテーションデータに基づいて、予め訓練されたものである。
【０１３７】
選択可能に、本願の実施例の装置は、
子供アノテーション情報を有するサンプル画像を用いてニューラルネットワークを訓練するためのネットワーク訓練ユニットを更に含む。
【０１３８】
選択可能に、子供アノテーション情報はサンプル画像内の人が子供であるか否かを示すものであり、サンプル画像内の人の年齢又は推定年齢が基準画像内の人の年齢又は推定年齢より大きいことに応じて、サンプル画像の子供アノテーション情報は子供でないことを示し、サンプル画像内の人の年齢又は推定年齢が基準画像内の人の年齢又は推定年齢以下であることに応じて、サンプル画像の子供アノテーション情報は子供であることを示す。
【０１３９】
選択可能に、基準画像は、男児基準画像と女児基準画像を含む。
【０１４０】
１つ又は複数の選択可能な実施例では、ビデオ収集ユニット７１は、車両内に設置された車両内部の少なくとも１つのカメラによって後部座席領域のビデオストリームを収集して取得するために用いられる。
【０１４１】
乗客の状態を決定するために単独した画像を分析基礎とすれば、画像が不鮮明であり、又は表情が変化する等の不正確な状況が発生することがあり、状態分析の精度を高めるために、本実施例は車両内部のカメラによって車両内の乗客画像を収集し、ビデオストリームを取得し、このビデオストリーム内の少なくとも１フレームの画像を画像とし、取得された画像で車両内の乗客状態の監視を実現する。
【０１４２】
１つ又は複数の選択可能な実施例では、情報通知ユニット７４は、乗客の状態情報が所定条件を満たしたことに応じて、運転者視線範囲内の装置及び／又は所定の装置に通知情報を出力するために用いられる。
【０１４３】
選択可能に、本願の実施例の装置は、
運転者視線範囲内の装置及び／又は所定の装置によって、取得されたビデオストリームの少なくとも１フレームの画像、検出結果の中の少なくとも１種の情報を表示するための表示ユニットを更に含む。
【０１４４】
選択可能に、本願の実施例の装置は、
車載装置及び／又は携帯端末によって監視コマンドを受信するためのコマンド受信ユニットを更に含み、
ビデオ収集ユニットは、監視コマンドに基づいて、車両内の後部座席領域のビデオストリームを取得するために用いられる。
【０１４５】
本開示の実施例で提供された乗客状態分析装置のいずれか１つの実施例の動作過程、設置形態及び対応する技術的効果については、いずれも本開示の上記の対応する方法実施例の具体的な説明を参照してもよく、ページ数に限りがあるので、ここで詳しい説明を省略する。
【０１４６】
本願の実施例の別の態様によれば、上記のいずれか１つの実施例で提供された乗客状態分析装置を含む車両を提供する。
【０１４７】
本願の実施例で提供された車両によれば、車両内の後部座席における乗客を監視でき、運転者の視覚の死角という欠点が克服され、そのように乗客に緊急状況が発生した時に運転者又は他の関係者がリアルタイムに確認でき、事故の発生を減少し、乗客が車両に乗る時の安全性及び快適性を高くすることができる。
【０１４８】
上記乗客状態分析装置における携帯端末及び所定の装置が車両に設置されていなければ、本願の実施例の保護する車両の部分にならないことが当業者に理解されるべきである。
【０１４９】
１つ又は複数の選択可能な実施例では、車両には、車両内の後部座席領域のビデオを収集するための少なくとも１つの第１カメラが設置されている。
【０１５０】
本願の実施例における第１カメラは、単独したカメラ又は他の車載装置（例えば、車載タブレット、車載表示スクリーン等）におけるカメラであってもよいし、従来技術における他の形態のカメラであってもよく、後部座席領域のビデオを収集できるものであればよく、本願の実施例ではカメラの具体的な形態が限定されない。
【０１５１】
選択可能に、第１カメラがフロントシートの背部における後部座席領域に向く一側の、車両内部後部座席の上方の位置に設置される。
【０１５２】
第１カメラをフロントシートの背部における後部座席領域に向く一側に設置することで第１カメラが後部座席領域を取得しやすく、更に後部座席の上方位置にカメラを設置して後部座席における乗客の画像を効果的に収集でき、カメラの位置が不適切なので有効画像を収集できない問題を低減した。
【０１５３】
１つ又は複数の選択可能な実施例では、車両において運転者視線範囲の領域内にカメラと通信可能に接続され車載装置が設置されている。
【０１５４】
選択可能に、車載装置が車両走行中の運転者の視線範囲内に設置されてよく、例えば、コンソール、ダッシュボード、フロントガラスの上方等の位置に設置されてよく、なお、運転者の視線を遮断しなく、安全運転に影響しなく、運転者が車両を運転しながら車両の後部座席の乗客のことをリアルタイムに確認できるようにこの車載装置が設置されるべきである。
【０１５５】
選択可能に、車載装置は、更に、運転者の状態情報を分析し、運転者の状態分析結果が特定の疲労運転又は不注意運転又は危険運転の所定条件を満たした時に、通知情報を出力するために用いられる。
【０１５６】
本願の実施例は更に運転者の状態情報を取得してこの状態情報を分析してよく、状態情報は行為挙動、顔情報等を含んでもよいが、それらに限定されなく、状態分析結果が特定の疲労運転又は不注意運転又は危険運転の所定条件を満たした時に、通知情報を出力して疲労運転又は不注意運転による危険を防止する。疲労運転又は不注意運転又は危険運転を判断する所定条件は、例えば、状態分析結果によって運転者が電話をかけていることを決定した場合に、不注意運転状態にあることを示し、状態分析結果によって運転者の閉目時間が設定時間を超えたこと又は運転者があくびをしていることを決定した場合に、運転者が疲労運転状態にあることを示し、状態分析結果によって運転者が片手でハンドルを握っている時間が所定時間を超えたことを決定した場合に、運転者が危険運転状態にあることを示すような従来の一般の様々な疲労運転又は不注意運転又は危険運転等を含むが、それらに限定されなく、以上の例は当業者に容易に理解させるために提供されたものに過ぎず、本願を限定するものでなく、他の様々な疲労運転又は不注意運転又は危険運転が全て本願の実施例の保護する範囲に含まれることが当業者に自明である。
【０１５７】
本願の各実施例におけるニューラルネットワークは、それぞれ１つの多層ニューラルネットワーク（即ち、深度ニューラルネットワーク）、例えば、多層畳み込みニューラルネットワークであってよく、例えば、ＬｅＮｅｔ、ＡｌｅｘＮｅｔ、ＧｏｏｇＬｅＮｅｔ、ＶＧＧ、ＲｅｓＮｅｔ等の任意のニューラルネットワークモデルであってよい。それぞれのニューラルネットワークは、同じタイプと構造のニューラルネットワークを用いてもよく、異なるタイプと構造のニューラルネットワークを用いてもよい。本願の実施例はそれを限定するものではない。
【０１５８】
本願の実施例のまた１つの態様よれば、上記のいずれか１つの実施例で提供された乗客状態分析装置を備えるプロセッサを含む電子機器を提供する。
【０１５９】
本願の実施例の更に別の態様によれば、実行可能コマンドを記憶するためのメモリと、
メモリと通信して実行可能コマンドを実行して上記のいずれか１つの実施例で提供された乗客状態分析方法の操作を実行するためのプロセッサと、を含む電子機器を提供する。
【０１６０】
本願の実施例の更にまた１つの態様によれば、コンピュータ読取可能コマンドを記憶するためのコンピュータ読取可能記憶媒体であって、コマンドが実行されると、上記のいずれか１つの実施例で提供された乗客状態分析方法の操作を実行するコンピュータ読取可能記憶媒体を提供する。
【０１６１】
本願の実施例のまた１つの態様よれば、コンピュータ読取可能コードを含むコンピュータプログラム製品であって、コンピュータ読取可能コードが装置上で動作すると、装置中のプロセッサが上記のいずれか１つの実施例で提供された乗客状態分析方法を実現するためのコマンドを実行するコンピュータプログラム製品を提供する。
【０１６２】
本願の実施例は、例えば、携帯端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、サーバなどであってよい電子機器を更に提供する。以下、本願の実施例の端末装置又はサーバを実現するのに適する電子機器８００の構造模式図を示す図８を参照し、図８に示すように、電子機器８００は１つ又は複数のプロセッサ、通信部などを含み、前記１つ又は複数のプロセッサは、例えば、１つ又は複数の中央処理装置（ＣＰＵ）８０１、及び／又は１つ又は複数の画像プロセッサ（加速ユニット）８１３などであり、プロセッサは、読み取り専用メモリ（ＲＯＭ）８０２に記憶された実行可能コマンド又は記憶部８０８からランダムアクセスメモリ（ＲＡＭ）８０３にロードされた実行可能コマンドによって各種の適切な動作及び処理を実現することができる。通信部８１２はネットワークカードを含んでよいが、それに限定されなく、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含んでよいが、それに限定されない。
【０１６３】
プロセッサは読み取り専用メモリ８０２及び／又はランダムアクセスメモリ８０３と通信して実行可能コマンドを実行し、通信バス８０４を介して通信部８１２に接続され、通信部８１２を介して他のターゲットデバイスと通信してよく、それにより本願の実施例で提供されるいずれか一項の方法に対応する操作を完成し、例えば、車両内の後部座席領域のビデオストリームを取得し、ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行い、顔及び／又は人体検出の結果に基づいて後部座席領域の乗客の状態情報を決定し、乗客の状態情報が所定条件を満たしたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力する。
【０１６４】
また、ＲＡＭ８０３には、装置の動作に必要な各種のプログラムやデータが格納されていてもよい。ＣＰＵ８０１、ＲＯＭ８０２及びＲＡＭ８０３はバス８０４を介して相互に接続される。ＲＡＭ８０３を有する場合に、ＲＯＭ８０２は選択可能なモジュールである。ＲＡＭ８０３は実行可能コマンドを格納するか、または動作時に実行可能コマンドをＲＯＭ８０２に書き込み、実行可能コマンドによって中央処理装置８０１に上記通信方法に対応する操作を実行させる。入力／出力（Ｉ／Ｏ）インターフェイス８０５もバス８０４に接続される。通信部８１２は、統合的に設置されてもよく、複数のサブモジュール（例えば複数のＩＢネットワークカード）を有し、通信バスのリンク上にあるように設置されてもよい。
【０１６５】
キーボード、マウスなどを含む入力部８０６と、陰極線管（ＣＲＴ）、液晶ディスプレイー（ＬＣＤ）など及びスピーカなどを含む出力部８０７と、ハードディスクなどを含む記憶部８０８と、ＬＡＮカード、モデムなどのネットワークインターフェイスカードを含む通信部８０９とがＩ／Ｏインターフェイス８０５に接続されている。通信部８０９は例えばインターネットのようなネットワークを介して通信処理を行う。ドライブ８１０も必要に応じてＩ／Ｏインターフェイス８０５に接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル媒体８１１は、必要に応じてドライブ８１０上に装着され、そこから読み出されたコンピュータプログラムを必要に応じて記憶部８０８にインストールする。
【０１６６】
なお、図８に示す構造は選択可能な一実施形態に過ぎず、具体的な実践過程では、実際の必要に応じて上記図８の部品の数及び種類を選択、削除、追加、または置換することができ、異なる機能部品の設置上でも、分離設置または統合設置などの実施形態を採用でき、例えば加速ユニット８１３とＣＰＵ８０１は分離設置するかまたは加速ユニット８１３をＣＰＵ８０１に統合するようにしてよく、通信部は分離設置するか、またはＣＰＵ８０１又は加速ユニット８１３に統合設置することなども可能であることを説明する必要がある。これらの置換可能な実施形態はいずれも本願の保護範囲に属する。
【０１６７】
特に、本願の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本願の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本願の実施例により提供される方法のステップを対応して実行する対応のコマンドを含んでよく、例えば、車両内の後部座席領域のビデオストリームを取得し、ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行い、顔及び／又は人体検出の結果に基づいて後部座席領域の乗客の状態情報を決定し、乗客の状態情報が所定条件を満たしたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力する。このような実施例では、該コンピュータプログラムは通信部８０９によってネットワークからダウンロード及びインストールされ、及び／又はリムーバブル媒体８１１からインストールされ得る。中央処理ユニット（ＣＰＵ）８０１によって該コンピュータプログラムを実行する時に、本願の方法で限定された上記機能を実行する。
【０１６８】
本明細書における様々な実施例は漸進的に説明され、各実施例は他の実施例との相違点に集中して説明したが、各実施例間の同一または類似の部分については相互に参照すればよい。システム実施例については、それは基本的に方法実施例に対応するので、説明は比較的簡単であり、関連部分は方法実施例の説明の一部を参照すればよい。
【０１６９】
本願の方法及び装置は、様々な形態で実現され得る。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組合わせによって本願の方法及び装置を実現することができる。前記方法のステップのための上記順序は説明することのみを目的とし、本願の方法のステップは、特に断らない限り、以上で具体的に説明した順序に限定されない。また、いくつかの実施例では、本願は記録媒体に記憶されたプログラムとしてもよく、これらのプログラムは本願の方法を実現するための機械可読コマンドを含む。従って、本願は本願の方法を実行するためのプログラムが記憶された記録媒体も含む。
【０１７０】
本願の説明は、例示及び説明のために提示されたものであり、網羅的なものでありもしくは開示された形式に本願を限定するというわけでない。当業者にとっては多くの修正及び変形を加えることができるのは明らかであろう。実施例は本願の原理及び実際応用をより明瞭に説明するため、かつ当業者が本願を理解して特定用途に適した各種の修正を加えた各種の実施例を設計可能にするように選択され説明されたものである。
【図１】
2021504814.tif 000003
【図２】
2021504814.tif 000004
【図３】
2021504814.tif 000005
【図４】
2021504814.tif 000006
【図５】
2021504814.tif 000007
【図６】
2021504814.tif 000008
【図７】
2021504814.tif 000009
【図８】
2021504814.tif 000010
【国際調査報告】
2021504814.tif 000011
2021504814.tif 000012
2021504814.tif 000013
2021504814.tif 000014