【手続補正書】
【提出日】令和2年5月22日(2020.5.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両内の後部座席領域のビデオストリームを取得するステップと、
前記ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行うステップと、
顔及び／又は人体検出の結果に基づいて、前記後部座席領域の乗客の状態情報を決定するステップと、
前記乗客の状態情報が所定条件を満たしたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するステップと、を含むことを特徴とする乗客状態分析方法。
【請求項２】
顔及び／又は人体検出の結果に基づいて、前記後部座席領域の乗客の状態情報を決定する前記ステップは、顔及び／又は人体検出の結果に基づいて、前記乗客が異常状態にあるか否か及び／又は前記乗客が危険行為をしているか否かを決定するステップを含み、
前記乗客の状態情報が所定条件を満たしたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力する前記ステップは、前記乗客に異常状態が現れたこと、乗客が危険行為をしたこと、乗客が異常状態にある時間が所定時間に達したこと、又は、乗客が危険行為状態にある時間が所定時間に達したことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するステップを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記異常状態は、暴れる状態、嘔吐している状態、むせている状態、咳をしている状態、苦痛状態、泣いている状態、眠っている状態、目覚めた状態のうちの少なくとも一つを含み、
前記危険行為は、車両ドアを開くこと、器械を手に持つこと、シートベルトを外すこと、車窓から体の一部を出すこと、指定領域から離れること、タバコを吸うことのうちの少なくとも一つを含み、
前記乗客は、大人、子供の少なくとも一項を含み、
前記顔及び／又は人体検出の結果は、顔があるか否か、人体があるか否か、開目、閉目、表情、年齢、開口、閉口、肢体動作のうちの少なくとも一つを含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記乗客は、子供を含み、
前記後部座席領域は、チャイルドシート領域を含み、
前記顔及び／又は人体検出の結果は、顔があるか否か、人体があるか否かのうちの少なくとも一つを含み、
顔及び／又は人体検出の結果に基づいて、前記後部座席領域の乗客の状態情報を決定する前記ステップは、顔及び／又は人体検出の結果に基づいて、前記子供が前記チャイルドシートに位置しているか否かを決定するステップを含み、
前記乗客の状態情報が所定条件を満たしたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するステップは、前記子供が前記チャイルドシートから離れたこと、又は、前記チャイルドシートに子供がいない状態が所定時間を超えたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するステップを含むことを特徴とする請求項１−３のいずれか一項に記載の方法。
【請求項５】
前記乗客は、子供を含み、
顔及び／又は人体検出の結果に基づいて、前記後部座席領域の乗客の状態情報を決定する前記ステップは、顔及び／又は人体検出の結果に基づいて、前記子供が泣いているか否かを決定するステップを含み、
前記乗客の状態情報が所定条件を満たしたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力する前記ステップは、前記子供が泣き出したこと、又は前記子供が泣いている状態が所定時間に達したことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するステップを含むことを特徴とする請求項１−４のいずれか一項に記載の方法。
【請求項６】
前記乗客は、子供を含み、
前記顔及び／又は人体検出の結果は、開目、閉目を含み、
顔及び／又は人体検出の結果に基づいて、前記後部座席領域の乗客の状態情報を決定する前記ステップは、所定時間窓内の前記子供の開目及び／又は閉目の状態統計分析結果に基づいて、前記子供が眠っている状態にあるか否か又は目覚めた状態にあるか否かを決定するステップを含み、
前記乗客の状態情報が所定条件を満たしたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力する前記ステップは、前記子供が眠っている状態にあること、眠っている状態が所定時間に達したこと、目覚めた状態にあること、又は、目覚めた状態が所定時間に達したことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するステップを含むことを特徴とする請求項１−５のいずれか一項に記載の方法。
【請求項７】
前記顔及び／又は人体検出の結果は、前記乗客が子供であるか否かの分類結果を含み、
前記ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行う前記ステップは、
前記ビデオストリーム内の少なくとも１フレームの画像における顔及び／又は人体特徴を抽出するステップと、
抽出された特徴に基づいて前記乗客が子供であるか否かの分類処理を行うステップと、を含むことを特徴とする請求項１−６のいずれか一項に記載の方法。
【請求項８】
前記ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行う前記ステップは、
ニューラルネットワークの特徴抽出ブランチによって、前記ビデオストリーム内の少なくとも１フレームの画像に対して、顔特徴抽出及び／又は人体特徴抽出を行うステップと、
前記ニューラルネットワークにおいて前記特徴抽出ブランチに接続される少なくとも１つの検出ブランチによって、前記特徴抽出ブランチで抽出した顔特徴及び／又は人体特徴に基づいて、前記顔及び／又は人体検出の結果を決定するステップと、を含むことを特徴とする請求項１−７のいずれか一項に記載の方法。
【請求項９】
前記ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行う前記ステップは、
ニューラルネットワークの特徴抽出ブランチによって、前記ビデオストリーム内の少なくとも１フレームの画像に対して、顔特徴抽出及び／又は人体特徴抽出を行うステップと、
前記ニューラルネットワークにおいて前記特徴抽出ブランチに接続される分類ブランチ及び少なくとも１つの検出ブランチによって、前記特徴抽出ブランチで抽出した顔特徴／又は人体特徴に基づいて、前記画像内の人が子供であるか否か及び顔及び／又は人体検出の結果をそれぞれ決定するステップと、を含むことを特徴とする請求項１−７のいずれか一項に記載の方法。
【請求項１０】
前記ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行う前記ステップは、
ニューラルネットワークの特徴抽出ブランチによって、前記ビデオストリーム内の少なくとも１フレームの画像に対して顔特徴抽出を行うステップと、
前記ニューラルネットワークにおいて前記特徴抽出ブランチに接続される分類ブランチによって、前記特徴抽出ブランチで抽出した顔特徴に基づいて、前記画像内の人が子供であるか否かを決定し、又は、
前記ニューラルネットワークにおいて前記特徴抽出ブランチに接続される認識ブランチによって、前記画像内の乗客の年齢を決定し、前記年齢が所定年齢以下の乗客を子供とするステップと、を含むことを特徴とする請求項１−７のいずれか一項に記載の方法。
【請求項１１】
前記画像内の人が子供であるか否かを決定する前記分類ブランチは、性別を区分する子供アノテーションデータに基づいて、予め訓練されたものであることを特徴とする請求項９又は１０に記載の方法。
【請求項１２】
前記ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行う前記ステップの前に、
子供アノテーション情報を有するサンプル画像を用いて、前記ニューラルネットワークを訓練するステップを更に含み、
前記子供アノテーション情報は前記サンプル画像内の人が子供であるか否かを示すものであり、前記サンプル画像内の人の年齢又は推定年齢が基準画像内の人の年齢又は推定年齢より大きいことに応じて、前記サンプル画像の子供アノテーション情報は子供でないことを示し、前記サンプル画像内の人の年齢又は推定年齢が基準画像内の人の年齢又は推定年齢以下であることに応じて、前記サンプル画像の子供アノテーション情報は子供であることを示すことを特徴とする請求項９−１１のいずれか一項に記載の方法。
【請求項１３】
前記基準画像は、男児基準画像と女児基準画像を含むことを特徴とする請求項１２に記載の方法。
【請求項１４】
車両内の後部座席領域のビデオストリームを取得する前記ステップは、
前記車両内に設置された車両内部の少なくとも１つのカメラによって、前記後部座席領域のビデオストリームを収集して取得するステップを含むことを特徴とする請求項１−１３のいずれか一項に記載の方法。
【請求項１５】
前記乗客の状態情報が所定条件を満たしたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力する前記ステップは、
前記乗客の状態情報が所定条件を満たしたことに応じて、運転者視線範囲内の装置及び／又は所定の装置に通知情報を出力するステップを含むことを特徴とする請求項１−１４のいずれか一項に記載の方法。
【請求項１６】
運転者視線範囲内の装置及び／又は所定の装置によって、前記取得されたビデオストリームの少なくとも１フレームの画像、前記検出結果の中の少なくとも１種の情報を表示するステップを更に含むことを特徴とする請求項１４又は１５に記載の方法。
【請求項１７】
車両内の後部座席領域のビデオストリームを取得する前記ステップの前に、
携帯端末又は車載装置によって監視コマンドを受信するステップを更に含み、
車両内の後部座席領域のビデオストリームを取得する前記ステップは、
前記監視コマンドに基づいて、車両内の後部座席領域のビデオストリームを取得するステップを含むことを特徴とする請求項１−１６のいずれか一項に記載の方法。
【請求項１８】
車両内の後部座席領域のビデオストリームを取得するためのビデオ収集ユニットと、
前記ビデオストリーム内の少なくとも１フレームの画像に対して顔及び／又は人体検出を行うための画像検出ユニットと、
顔及び／又は人体検出の結果に基づいて、前記後部座席領域の乗客の状態情報を決定するための状態決定ユニットと、
前記乗客の状態情報が所定条件を満たしたことに応じて、車両内の運転者領域又は指定装置に通知情報を出力するための情報通知ユニットと、を含むことを特徴とする乗客状態分析装置。
【請求項１９】
電子機器であって、
前記電子機器が、請求項１８に記載の乗客状態分析装置を含み、又は、
前記電子機器が、
実行可能コマンドを記憶するためのメモリと、
前記メモリと通信して前記実行可能なコマンドを実行して請求項１−１７のいずれか一項に記載の乗客状態分析方法の操作を実行するためのプロセッサと、を含むことを特徴とする電子機器。
【請求項２０】
コンピュータ読取可能コードを含むコンピュータプログラムであって、前記コンピュータ読取可能コードがデバイス上で動作すると、前記デバイス中のプロセッサが請求項１−１７のいずれか一項に記載の乗客状態分析方法を実現するためのコマンドを実行することを特徴とするコンピュータプログラム。