(57)【要約】本開示は衝突制御方法及び装置、電子機器並びに記憶媒体に関し、前記方法は、現在対象物が撮像した画像中の目標対象物を検出することと、前記目標対象物の危険レベルを特定することと、前記危険レベルに対応する衝突制御を実行することとを含む。
2021508902.tif 000002
【特許請求の範囲】
【請求項１】
現在対象物が撮像した画像中の目標対象物を検出することと、
前記目標対象物の危険レベルを特定することと、
前記危険レベルに対応する衝突制御を実行することと、を含むことを特徴とする衝突制御方法。
【請求項２】
前記現在対象物が撮像した画像中の目標対象物を検出することは、
ニューラルネットワークによって、現在対象物が撮像した画像中の目標対象物を検出することを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記現在対象物が撮像した画像中の目標対象物を検出することは、
現在対象物が撮像した画像中の目標対象物の状態を検出することを含み、
前記目標対象物の危険レベルを特定することは、
前記目標対象物の状態に基づいて、前記目標対象物の危険レベルを特定することを含む、ことを特徴とする請求項１または２に記載の方法。
【請求項４】
前記現在対象物は走行対象物を含み、
前記危険レベルに対応する衝突制御を実行することは、
前記危険レベルに対応する衝突警告を実行すること、および／または
前記危険レベルに対応する、走行方向の変更、走行速度の変更及び停止の少なくとも一つを含む運転制御を実行することを含むことを特徴とする請求項１〜３のいずれか１項に記載の方法。
【請求項５】
前記現在対象物は静止対象物を含み、
前記危険レベルに対応する衝突制御を実行することは、
前記危険レベルに対応する衝突警告を実行することを含むことを特徴とする請求項１〜３のいずれか１項に記載の方法。
【請求項６】
前記目標対象物の危険レベルを特定することは、
前記目標対象物と前記現在対象物との間の距離を決定することと、
前記目標対象物の状態および前記距離に基づいて、前記目標対象物の危険レベルを特定することと、を含むことを特徴とする請求項３〜５のいずれか１項に記載の方法。
【請求項７】
前記目標対象物の状態は正常状態を含み、
前記危険レベルは第１の危険レベルおよび第２の危険レベルを含み、
前記目標対象物の状態および前記距離に基づいて前記目標対象物の危険レベルを特定することは、
前記目標対象物の状態が正常状態であり、且つ前記距離が第１の距離閾値以下である場合、前記目標対象物の危険レベルを第１の危険レベルとして特定すること、または
前記目標対象物の状態が正常状態であり、且つ前記距離が第１の距離閾値よりも大きい場合、前記目標対象物の危険レベルを第２の危険レベルとして特定することを含むことを特徴とする請求項６に記載の方法。
【請求項８】
前記目標対象物の状態は異常状態を含み、
前記危険レベルは第３の危険レベルおよび第４の危険レベルを含み、
前記目標対象物の状態および前記距離に基づいて前記目標対象物の危険レベルを特定することは、
前記目標対象物の状態が異常状態であり、且つ前記距離が第２の距離閾値以下である場合、前記目標対象物の危険レベルを第３の危険レベルとして特定すること、または
前記目標対象物の状態が異常状態であり、且つ前記距離が第２の距離閾値よりも大きい場合、前記目標対象物の危険レベルを第４の危険レベルとして特定することを含むことを特徴とする請求項６に記載の方法。
【請求項９】
前記目標対象物の危険レベルを特定することは、
前記目標対象物と前記現在対象物との間の衝突時間を予測することと、
前記目標対象物の状態および前記衝突時間に基づいて、前記目標対象物の危険レベルを特定することと、を含むことを特徴とする請求項３〜５のいずれか１項に記載の方法。
【請求項１０】
前記目標対象物の状態は正常状態を含み、
前記危険レベルは第５の危険レベルおよび第６の危険レベルを含み、
前記目標対象物の状態および前記衝突時間に基づいて前記目標対象物の危険レベルを特定することは、
前記目標対象物の状態が正常状態であり、且つ前記衝突時間が第１の時間閾値以下である場合、前記目標対象物の危険レベルを第５の危険レベルとして特定すること、または
前記目標対象物の状態が正常状態であり、且つ前記衝突時間が第１の時間閾値よりも大きい場合、前記目標対象物の危険レベルを第６の危険レベルとして特定することを含むことを特徴とする請求項９に記載の方法。
【請求項１１】
前記目標対象物の状態は異常状態を含み、
前記危険レベルは第７の危険レベルおよび第８の危険レベルを含み、
前記目標対象物の状態および前記衝突時間に基づいて前記目標対象物の危険レベルを特定することは、
前記目標対象物の状態が異常状態であり、且つ前記衝突時間が第２の時間閾値以下である場合、前記目標対象物の危険レベルを第７の危険レベルとして特定すること、または
前記目標対象物の状態が異常状態であり、且つ前記衝突時間が第２の時間閾値よりも大きい場合、前記目標対象物の危険レベルを第８の危険レベルとして特定することを含むことを特徴とする請求項９に記載の方法。
【請求項１２】
前記目標対象物は、歩行者、車両、動物、植物、障害物、ロボット及び建築物の少なくとも１つを含むことを特徴とする請求項１〜１１のいずれか１項に記載の方法。
【請求項１３】
前記目標対象物が歩行者である場合、前記目標対象物の状態は、
位置、速度、加速度及び移動方向の１つまたは任意の組み合わせを含む運動状態と、
物を拾うこと、及びうつむくことの１つまたは任意の組み合わせを含む肢体状態と、
年齢状態及び身体状態の１つまたは任意の組み合わせを含む属性状態と、の１つまたは任意の組み合わせを含む、ことを特徴とする請求項１〜１２のいずれか１項に記載の方法。
【請求項１４】
前記目標対象物が車両である場合、前記目標対象物の状態は、
位置、速度、加速度及び方向の１つまたは任意の組み合わせを含む運動状態と、
危険運転状態の１つまたは任意の組み合わせを含む行動状態と、
自動車、非自動車及び車種の１つまたは任意の組み合わせを含む属性状態と、の１つまたは任意の組み合わせを含む、ことを特徴とする請求項１〜１２のいずれか１項に記載の方法。
【請求項１５】
現在対象物が撮像した画像中の目標対象物を検出するための検出モジュールと、
前記目標対象物の危険レベルを特定するための特定モジュールと、
前記危険レベルに対応する衝突制御を実行するための実行モジュールと、を含むことを特徴とする衝突制御装置。
【請求項１６】
前記検出モジュールは、ニューラルネットワークによって、現在対象物が撮像した画像中の目標対象物を検出するために用いられることを特徴とする請求項１５に記載の装置。
【請求項１７】
前記検出モジュールは、現在対象物が撮像した画像中の目標対象物の状態を検出するために用いられて、
前記特定モジュールは、前記目標対象物の状態に基づいて前記目標対象物の危険レベルを特定するために用いられることを特徴とする請求項１５または１６に記載の装置。
【請求項１８】
前記現在対象物は走行対象物を含み、
前記実行モジュールは、
前記危険レベルに対応する衝突警告を実行すること、および／または
前記危険レベルに対応する、走行方向の変更、走行速度の変更及び停止の少なくとも１つを含む運転制御を実行することに用いられることを特徴とする請求項１５〜１７のいずれか１項に記載の装置。
【請求項１９】
前記現在対象物は静止対象物を含み、
前記実行モジュールは、前記危険レベルに対応する衝突警告を実行するために用いられることを特徴とする請求項１５〜１７のいずれか１項に記載の装置。
【請求項２０】
前記特定モジュールは、
前記目標対象物と前記現在対象物との間の距離を決定することと、
前記目標対象物の状態および前記距離に基づいて前記目標対象物の危険レベルを特定することに用いられることを特徴とする請求項１７〜１９のいずれか１項に記載の装置。
【請求項２１】
前記目標対象物の状態は正常状態を含み、
前記危険レベルは第１の危険レベルおよび第２の危険レベルを含み、
前記目標対象物の状態および前記距離に基づいて前記目標対象物の危険レベルを特定することは、
前記目標対象物の状態が正常状態であり、且つ前記距離が第１の距離閾値以下である場合、前記目標対象物の危険レベルを第１の危険レベルとして特定すること、または
前記目標対象物の状態が正常状態であり、且つ前記距離が第１の距離閾値よりも大きい場合、前記目標対象物の危険レベルを第２の危険レベルとして特定することを含むことを特徴とする請求項２０に記載の装置。
【請求項２２】
前記目標対象物の状態は異常状態を含み、
前記危険レベルは第３の危険レベルおよび第４の危険レベルを含み、
前記目標対象物の状態および前記距離に基づいて前記目標対象物の危険レベルを特定することは、
前記目標対象物の状態が異常状態であり、且つ前記距離が第２の距離閾値以下である場合、前記目標対象物の危険レベルを第３の危険レベルとして特定すること、または
前記目標対象物の状態が異常状態であり、且つ前記距離が第２の距離閾値よりも大きい場合、前記目標対象物の危険レベルを第４の危険レベルとして特定することを含むことを特徴とする請求項２０に記載の装置。
【請求項２３】
前記特定モジュールは、
前記目標対象物と前記現在対象物との間の衝突時間を予測することと、
前記目標対象物の状態および前記衝突時間に基づいて前記目標対象物の危険レベルを特定することに用いられることを特徴とする請求項１７〜１９のいずれか１項に記載の装置。
【請求項２４】
前記目標対象物の状態は正常状態を含み、
前記危険レベルは第５の危険レベルおよび第６の危険レベルを含み、
前記目標対象物の状態および前記衝突時間に基づいて前記目標対象物の危険レベルを特定することは、
前記目標対象物の状態が正常状態であり、且つ前記衝突時間が第１の時間閾値以下である場合、前記目標対象物の危険レベルを第５の危険レベルとして特定すること、または
前記目標対象物の状態が正常状態であり、且つ前記衝突時間が第１の時間閾値よりも大きい場合、前記目標対象物の危険レベルを第６の危険レベルとして特定することを含むことを特徴とする請求項２３に記載の装置。
【請求項２５】
前記目標対象物の状態は異常状態を含み、
前記危険レベルは第７の危険レベルおよび第８の危険レベルを含み、
前記目標対象物の状態および前記衝突時間に基づいて前記目標対象物の危険レベルを特定することは、
前記目標対象物の状態が異常状態であり、且つ前記衝突時間が第２の時間閾値以下である場合、前記目標対象物の危険レベルを第７の危険レベルとして特定すること、または
前記目標対象物の状態が異常状態であり、且つ前記衝突時間が第２の時間閾値よりも大きい場合、前記目標対象物の危険レベルを第８の危険レベルとして特定することを含むことを特徴とする請求項２３に記載の装置。
【請求項２６】
前記目標対象物は、歩行者、車両、動物、植物、障害物、ロボット及び建築物の少なくとも１つを含むことを特徴とする請求項１５〜２５のいずれか１項に記載の装置。
【請求項２７】
前記目標対象物が歩行者である場合、
前記目標対象物の状態は、
位置、速度、加速度及び移動方向の１つまたは任意の組み合わせを含む運動状態と、
物を拾うこと、及びうつむくことの１つまたは任意の組み合わせを含む肢体状態と、
年齢状態及び身体状態の１つまたは任意の組み合わせを含む属性状態と、の１つまたは任意の組み合わせを含む、ことを特徴とする請求項１５〜２６のいずれか１項に記載の装置。
【請求項２８】
前記目標対象物が車両である場合、
前記目標対象物の状態は、
位置、速度、加速度及び方向の１つまたは任意の組み合わせを含む運動状態と、
危険運転状態の１つまたは任意の組み合わせを含む行動状態と、
自動車、非自動車及び車種の１つまたは任意の組み合わせを含む属性状態と、の１つまたは任意の組み合わせを含む、ことを特徴とする請求項１５〜２６のいずれか１項に記載の装置。
【請求項２９】
プロセッサと、
プロセッサにより実行可能なコマンドを記憶するためのメモリとを含み、
前記プロセッサは、前記実行可能なコマンドを直接的または間接的に呼び出すことによって請求項１〜１４のいずれか１項に記載の方法を実行することを特徴とする電子機器。
【請求項３０】
コンピュータプログラム命令が記憶されているコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラム命令は、プロセッサによって実行されると、請求項１〜１４のいずれか１項に記載の方法を実現させることを特徴とするコンピュータ読取可能な記憶媒体。
【請求項３１】
電子機器内で実行されると、前記電子機器のプロセッサに、請求項１〜１４のいずれか１項に記載の方法を実行させるためのコンピュータ読取可能なコードを含むコンピュータプログラム。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本出願は、２０１８年４月２８日に中国特許局に提出された、出願番号２０１８１０４０３４２９．３、発明名称が「衝突制御方法及び装置、電子機器並びに記憶媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
【技術分野】
【０００２】
本開示はコンピュータビジョンの技術分野に関し、特に衝突制御方法及び装置、電子機器並びに記憶媒体に関する。
【背景技術】
【０００３】
車両のインテリジェントドライブの場合、コンピュータビジョン技術を使用して歩行者、他の車両などの目標を検知し、検知した目標を車両のインテリジェントドライブの制御に用いる必要がある。
【発明の概要】
【０００４】
本開示は衝突制御の技術的解決手段を提供する。
【０００５】
本開示の一方面によれば、
現在対象物が撮像した画像中の目標対象物を検出することと、
前記目標対象物の危険レベルを特定することと、
前記危険レベルに対応する衝突制御を実行することと、を含む衝突制御方法を提供する。
【０００６】
本開示の一方面によれば、
現在対象物が撮像した画像中の目標対象物を検出するための検出モジュールと、
前記目標対象物の危険レベルを特定するための特定モジュールと、
前記危険レベルに対応する衝突制御を実行するための実行モジュールと、を含む衝突制御装置を提供する。
【０００７】
本開示の一方面によれば、
プロセッサと、
プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、
前記プロセッサは、前記実行可能なコマンドを直接的または間接的に呼び出すことによって上記衝突制御方法を実行する電子機器を提供する。
【０００８】
本開示の一方面によれば、コンピュータプログラム命令が記憶されているコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラム命令はプロセッサによって実行されると、上記衝突制御方法を実現させるコンピュータ読取可能な記憶媒体を提供する。
【０００９】
本開示の一方面によれば、電子機器内で実行されると、前記電子機器のプロセッサに、上記衝突制御方法を実現させるためのコンピュータ読取可能なコードを含むコンピュータプログラムを提供する。
【００１０】
本開示の実施例では、現在対象物が撮像した画像中の目標対象物を検出し、目標対象物の危険レベルを特定し、対応する衝突制御を行うことによって、目標対象物に対する正確且つ適切な衝突制御を達成する。
【００１１】
本開示の他の特徴及び方面は、以下、図面を参照しながら例示的な実施例について詳細に説明することにより明らかになる。
【図面の簡単な説明】
【００１２】
明細書の一部として明細書に含まれる図面は、明細書と共に本開示の例示的な実施例、特徴及び方面を示し、本開示の原理を解釈するために用いられる。
【図１】本開示の一実施例による衝突制御方法のフローチャートを示す。
【図２】本開示の一実施例による衝突制御方法のフローチャートを示す。
【図３】本開示の一実施例による衝突制御方法のフローチャートを示す。
【図４】本開示の一実施例による衝突制御方法のフローチャートを示す。
【図５】本開示の一実施例による衝突制御方法のフローチャートを示す。
【図６】本開示の一実施例による衝突制御装置のブロック図を示す。
【図７】本開示の一実施例による電子機器のブロック図を示す。
【発明を実施するための形態】
【００１３】
以下に図面を参照しながら本開示の様々な例示的実施例、特徴および方面を詳細に説明する。図面において、同じ符号が同じまたは類似する機能の要素を表す。図面において実施例の様々な方面を示したが、特に断らない限り、比例に従って図面を描く必要がない。
【００１４】
ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例も他の実施例より好ましい又は優れるものであると理解すべきではない。
【００１５】
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、何らかの具体的な詳細がなくても、本開示は同様に実施できるということを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するように、当業者に既知の方法、手段、要素および回路について、詳細な説明を省略する。
【００１６】
図１は本開示の一実施例による衝突制御方法のフローチャートを示す。図１に示すように、前記方法は以下のステップを含む。
【００１７】
ステップＳ１０、現在対象物が撮像した画像中の目標対象物を検出する。
【００１８】
目標対象物は、いかなるタイプの対象物であってもよい。例えば、目標対象物は、歩行者、車両、動物、植物、障害物、ロボット及び建築物の少なくとも１つを含むことができる。目標対象物は、単一の対象物タイプの１つまたは複数の目標対象物であってもよく、複数の対象物タイプの複数の目標対象物であってもよい。例えば、車両だけを目標対象物としてもよく、目標対象物は１つの車両であってもよく、複数の車両であってもよい。また、車両および歩行者をともに目標対象物としてもよい。目標対象物は複数の車両および複数の歩行者である。必要に応じて、設定された対象物タイプを目標対象物としてもよく、設定された対象物個体を目標対象物としてもよい。
【００１９】
現在対象物は、移動可能な対象物を含んでもよく、移動不可能な対象物を含んでもよい。現在対象物は、走行対象物、例えば走行中の車両であってもよく、静止対象物、例えば建築物、路側の監視装置であってもよい。
【００２０】
現在対象物は、人、自動車、非自動車、ロボット及びウェアブルデバイスなどを含んでもよい。現在対象物が車両である場合、本開示の実施例は自動運転、支援運転などの技術分野で応用され得る。現在対象物が路側に配置される監視装置である場合、本開示の実施例は目標対象物の監視装置への衝突を防止することに使用され得る。本開示はこれを限定しない。
【００２１】
現在対象物に撮像装置を配置し、設定方向の画像を撮像することができる。現在対象物は、その前方、後方、側方など任意の１つまたは複数の方向の画像を撮像することができる。本開示はこれを限定しない。
【００２２】
現在対象物が撮像した画像は、撮像装置によって撮像された単一フレームの画像を含んでもよく、撮像装置によって撮像されたビデオストリーム内のフレーム画像を含んでもよい。
【００２３】
現在対象物は、単眼カメラ、ＲＧＢカメラ、赤外線カメラ、双眼カメラなどの様々なビジョンセンサによって画像を撮像することができる。単眼カメラを使用する場合、システムコストが低く、応答が速い。ＲＧＢカメラまたは赤外線カメラを使用する場合、特別な環境で画像を撮像することができる。双眼カメラを使用する場合、目標対象物のより豊かな情報を取得することができる。衝突防止の要求、環境、現在対象物のタイプおよびコストなどに応じて、異なる撮像装置を選択することができる。本開示はこれを限定しない。
【００２４】
現在対象物が撮像した画像中の目標対象物を検出した結果は、目標対象物の特徴を含んでもよく、目標対象物の状態などを含んでもよい。例えば、検出結果として、目標対象物が高齢者であり、目標対象物の状態は、行動速度が遅いこと、うつむいて携帯電話を見ていることなどを含む。本開示はこれを限定しない。
【００２５】
ステップＳ２０、前記目標対象物の危険レベルを特定する。
【００２６】
現在対象物が撮像した画像中の目標対象物は、現在対象物に危険をもたらす可能性があり、例えば、車両の前方カメラによって撮像された目標対象物は車両に衝突される危険がある。例えば、現在対象物に向かって高速に移動する目標対象物は危険レベルが高く、目標対象物の前方に位置し且つ移動速度が遅い目標対象物は危険レベルが高いなど、異なる目標対象物は異なる危険レベルを有する。目標対象物と危険レベルとの間の対応関係、例えば目標対象物の特徴または状態と危険レベルとの対応関係を確立し、該対応関係に基づいて、目標対象物の危険レベルを特定することができる。
【００２７】
一例では、目標対象物の危険レベルは、危険、安全などのように区分けしてもよく、第１の危険レベル、第２の危険レベル、第３の危険レベルなどのように区分けしてもよい。
【００２８】
一枚の画像から検出された目標対象物に基づいて、前記目標対象物の危険レベルを特定してもよく、例えば、検出結果として目標対象物の特徴が高齢者であり、高齢者の危険レベルは高い。複数の画像から検出された目標対象物の状態に基づいて、前記目標対象物の危険レベルを特定してもよく、例えば、検出結果として目標対象物が現在対象物へ高速に近づいている場合、危険レベルは高い。
【００２９】
ステップＳ３０、前記危険レベルに対応する衝突制御を実行する。
【００３０】
危険レベルによって異なる衝突制御を行って、警告するまたは危険を回避するようにしてもよい。危険レベルと衝突制御との間の対応関係を確立し、特定された危険レベルに基づいて、対応する衝突制御を特定することができる。
【００３１】
本開示の実施例では、現在対象物が撮像した画像中の目標対象物を検出し、目標対象物の危険レベルを特定し、対応する衝突制御を行うことによって、目標対象物に対する正確且つ適切な衝突制御を達成する。
【００３２】
可能な実施形態では、現在対象物が撮像した画像中の目標対象物を検出することは、ニューラルネットワークによって、現在対象物が撮像した画像中の目標対象物を検出することを含んでもよい。
【００３３】
様々な目標対象物を含む画像からなるトレーニング画像セットを使ってニューラルネットワークをトレーニングし、トレーニングされたニューラルネットワークによって、撮像された画像中の目標対象物を識別することができる。ニューラルネットワークのトレーニング過程、およびニューラルネットワークによって目標対象物を検出する過程は、関連技術によって実現できる。
【００３４】
ニューラルネットワークは、ＲＦＣＮ（Ｒｅｇｉｏｎ―ｂａｓｅｄ  Ｆｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋｓ、領域ベースの完全畳み込みネットワーク）、ＳＳＤ（Ｓｉｎｇｌｅ  Ｓｈｏｔ  ｍｕｌｔｉｂｏｘ  Ｄｅｔｅｃｔｏｒ、シングルショットマルチボックス検出器）、ＲＣＮＮ（Ｒｅｇｉｏｎｓ  ｗｉｔｈ  ＣＮＮ、領域ベースの畳み込みニューラルネットワーク）、ＦａｓｔＲＣＮＮ（Ｆａｓｔ  ＲＣＮＮ、高速の領域ベースの畳み込みニューラルネットワーク）、ＦａｓｔｅｒＲＣＮＮ（Ｆａｓｔｅｒ  ＲＣＮＮ、より高速の領域ベースの畳み込みニューラルネットワーク）、ＳＰＰＮｅｔ（Ｓｐａｔｉａｌ  Ｐｙｒａｍｉｄ  Ｐｏｏｌｉｎｇ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋｓ、空間ピラミッドプーリング畳み込みネットワーク）、ＤＰＭ  Ｄｅｆｏｒｍａｂｌｅ  Ｐａｒｔｓ  Ｍｏｄｅｌｓ、変形可能パーツモデル）、ＯｖｅｒＦｅａｔ（同じ畳み込みネットワークに基づく複数のタスク）、ＹＯＬＯ（Ｙｏｕ  Ｏｎｌｙ  Ｌｏｏｋ  Ｏｎｃｅ、画像を１度だけ見る）などの構築方式に基づいたものであってもよいが、本開示はこれを限定しない。
【００３５】
例えば、ＢＰ（ｅｒｒｏｒ  ｂａｃｋ  ｐｒｏｐａｇａｔｉｏｎ、エラーバックプロパゲーション）などのタイプのニューラルネットワークに基づく画像追跡技術によって、連続した複数フレームのビデオ画像中の同一の目標対象物を追跡することで、目標対象物の運動状態および行動状態を検出することができ、例えば目標対象物が現在対象物（例えば、車両）の左前方から右前方へ移動し、前方を目視することなどを検出した。
【００３６】
さらなる例として、ＲＣＮＮ（Ｒｅｇｉｏｎｓ  ｗｉｔｈ  ＣＮＮ  ｆｅａｔｕｒｅｓ）などのタイプのニューラルネットワークに基づく双眼測距技術によって、双眼カメラによって撮像された画像を使って目標対象物と現在対象物との距離を決定することができる。
【００３７】
本実施例では、ニューラルネットワークによって目標対象物を検出し、ニューラルネットワークの強力且つ正確な検出機能によって画像から目標対象物を迅速且つ正確に検出することができる。
【００３８】
図２は本開示の一実施例による衝突制御方法のフローチャートを示す。図２に示すように、ステップＳ１０は、
現在対象物が撮像した画像中の目標対象物の状態を検出するステップＳ１１を含んでもよい。
ステップＳ２０は、
前記目標対象物の状態に基づいて、前記目標対象物の危険レベルを特定するステップＳ２１を含んでもよい。
【００３９】
目標対象物の状態は任意のタイプの状態であって、例えば、目標対象物の静的な動作や動的な状態であってもよい。目標対象物自身の属性状態などであってもよい。
【００４０】
可能な実施形態では、撮像された一枚の静止画像から目標対象物の静的状態を検出するようにしてもよい。例えば、一枚の静止画像から、目標対象物である歩行者の静的状態がうつむいて携帯電話を見ている状態であり、または歩行者が高齢者であることを検出した。また、複数の関連している画像から目標対象物の動的状態を検出するようにしてもよい。例えば、ビデオストリーム内の複数のフレーム画像から、目標対象物である車両の状態が高速走行の状態であることを検出した。
【００４１】
可能な実施形態では、前記目標対象物が歩行者である場合、前記目標対象物の状態は、運動状態、肢体状態および属性状態の１つまたは任意の組み合わせを含んでもよい。運動状態は、位置（例えば、目標対象物の現在対象物に対する相対位置）、速度（例えば、目標対象物の現在対象物に対する相対速度）、加速度及び移動方向（例えば、目標対象物の現在対象物に対する移動方向、例えば直進または旋回）の１つまたは任意の組み合わせを含んでもよい。肢体状態は、携帯電話を見ていること、電話すること、うつむくこと、タバコを吸うこと及び物を拾うことなど四肢の協働を必要とする行動の１つまたは任意の組み合わせを含んでもよい。属性状態は、年齢状態及び身体状態の１つまたは任意の組み合わせを含んでもよく、例えば、高齢者または子供であるか否か、動作不自由者であるか否かである。
【００４２】
歩行者の状態に基づいて、歩行者の危険レベルを特定することができる。前記歩行者の危険レベルは、１つの状態によって歩行者の危険レベルを取得すしてもよく、複数の状態の組み合わせによって歩行者の危険レベルを取得してもよい。例えば、歩行者の位置のみによって歩行者の危険レベルを特定してもよい。距離が５メートルよりも小さい歩行者を危険として設定し、距離が５メートルより大きい歩行者を安全として設定する。また、歩行者の速度、および歩行者が電話しているか否かなど様々な状態を統合して、歩行者の危険レベルを取得してもよい。速度がＮメートル／秒より大きく、且つ電話している歩行者を第１の危険レベルとして特定し、速度がＮメートル／秒より小さく、且つ電話している歩行者を第２の危険レベルとして特定し、速度がＮメートル／秒より大きく、且つ電話していない歩行者を第３の危険レベルとして特定し、速度がＮメートル／秒より小さく、且つ電話していない歩行者を第４の危険レベルとして特定する。本開示はこれを限定しない。
【００４３】
可能な実施形態では、前記目標対象物が車両である場合、前記目標対象物の状態は、運動状態、行動状態および属性状態の１つまたは任意の組み合わせを含んでもよい。運動状態は、位置、速度、加速度及び方向の１つまたは任意の組み合わせを含んでもよい。行動状態は、危険運転状態の１つまたは任意の組み合わせを含んでもよい。属性状態は、自動車、非自動車及び車種の１つまたは任意の組み合わせを含んでもよい。
【００４４】
車両の状態に基づいて車両の危険レベルを特定することができる。前記車両の危険レベルは、１つの状態によって車両の危険レベルを取得してもよく、複数の状態の組み合わせによって車両の危険レベルを取得してもよい。例えば、車両の速度に基づいて車両の危険レベルを特定してもよい。車速がＮメートル／秒より低い車両を安全として特定し、車速がＭメートル／秒より高い車両を危険として特定する。また、車両の車種、車両が危険運転状態であるか否かなど様々な状態を統合して、車両の危険レベルを取得してもよい。例えば、車両の速度がＭメートル／秒より高く、車両の車種が古く、車両走行中に左右に揺れるなどの危険運転状態である場合、車両の危険レベルを第１の危険レベルとして特定し、車両の車速がＮメートル／秒より低く、車の走行方向と現在対象物との進行方向が交差する場合、車両の危険レベルを第２の危険レベルとして特定する。本開示はこれを限定しない。
【００４５】
目標対象物の状態はさらに正常状態および異常状態を含んでもよい。一例では、異常状態は、運動状態、肢体状態および属性状態の１つのまたは複数に基づいて特定されてもよい。例えば、歩行者が現在対象物の前方に位置し、且つ速度が閾値よりも小さい場合、異常状態として特定することができる。さらなる例として、歩行者が現在対象物の前方に位置し、且つ移動方向が頻繁に変わる場合、異常状態として特定できるなどが挙げられる。異常状態以外の状態を正常状態として特定することができる。
【００４６】
本実施例では、目標対象物の状態に基づいて目標対象物の危険レベルを特定することによって、目標対象物の豊富な状態を利用して、必要に応じて、異なる危険レベルを設定することができ、衝突制御はより正確になり、柔軟性がより高くなる。
【００４７】
図３は本開示の一実施例による衝突制御方法のフローチャートを示す。図３に示すように、現在対象物は走行対象物（例えば、車両）を含み、ステップＳ３０は、
前記危険レベルに対応する衝突警告を実行する、および／または前記危険レベルに対応する、走行方向の変更、走行速度の変更及び停止の少なくとも１つを含む運転制御を実行するステップＳ３１を含んでもよい。
【００４８】
異なる危険レベルに対して異なる衝突警告、例えば異なる音声または表示内容、異なる音量レベル、異なる振動強度などを設定することができる。特定された危険レベルに基づいて、対応する衝突警告をトリガすることにより、現在対象物の使用者が種々の危険レベルを容易に区別することができる。
【００４９】
例えば、危険レベルが前述の第２の危険レベルであり、すなわち正常状態の目標対象物と現在対象物との距離が第１の閾値よりも大きく、危険度が低いことが検出された場合、第２の危険レベルに対応して実行される衝突警告は「前方３メートル以外に歩行者がいて、避けてください」という音声放送であってもよく、小音量の警報音であってもよい。危険レベルが前述の第３の危険レベルであり、すなわち異常状態の目標対象物と現在対象物との距離が第２の閾値以下であり、危険度が高いことが検出された場合、第３の危険レベルに対応して実行される衝突警告は「前方５メートル以内に動作緩慢の歩行者がいて、直ちに避けてください！」という音声放送であってもよく、大音量の警報音であってもよい。
【００５０】
異なるタイプの衝突警告は、単独で実行されてもよく、組み合わせて実行されてもよい。
【００５１】
また、前記危険レベルに対応する運転制御を実行することもできる。例えば、危険レベルに基づいて、対応する運転制御方式を特定し、該運転制御方式に対応する運転コマンドを車両の制御システムに伝送して、運転制御を実現することができる。
【００５２】
例えば、危険レベルが前述の第２の危険レベルであり、すなわち正常状態の目標対象物と現在対象物との距離が第１の閾値よりも大きく、危険度が低いことが検出された場合、第２の危険レベルに対応して実行される運転制御は、速度低減であって、例えば速度を１０％低下させてもよい。危険レベルが前述の第３の危険レベルであり、すなわち異常状態の目標対象物と現在対象物との距離が第２の閾値以下であり、危険度が高いことが検出された場合、第３の危険レベルに対応して実行される運転制御は、より大幅な速度低減であって、例えば速度を５０％低下させて、またはブレーキしてもよい。
【００５３】
衝突警告と運転制御は、いずれか一つが実行されてもよく、ともに実行されてもよい。
【００５４】
可能な実施形態では、運転制御を実行することにより、自動運転または支援運転の機能を有する車両を制御できる。運転制御は、現在の走行対象物の運動状態および／または運動方向を変えるための制御動作を含んでもよい。例えば、現在の走行対象物に対して、走行方向の変更、走行速度の変更及び停止など現在の走行対象物の運動方向および／または運動状態を変えれる制御動作を行うことを含んでもよい。例えば、一実際の応用シーンでは、自動運転または支援運転の機能を有する現在車両の元の運動方向は、所在車線内で直進し、衝突時間に基づいて、現在車両は前方の疑似衝突対象物と衝突する場合、運転制御によって自動運転または支援運転の機能を有する現在車両の走行方向を変え、自動運転または支援運転の機能を有する現在車両に車線を変更させ、衝突を回避することができる。この途中で、前方の疑似衝突対象物は加速して遠ざかる場合、運転制御によって自動運転または支援運転の機能を有する現在車両の走行方向を変えて、自動運転または支援運転の機能を有する現在車両を元の運動方向に維持させ、そのまま所在車線内で直進させることができる。
【００５５】
本実施例では、危険レベルに基づいて、対応する衝突警告および／または運転制御を特定することにより、衝突制御はより適切で、より正確になる。
【００５６】
可能な実施形態では、前記現在対象物は静止対象物を含み、前記ステップＳ３０は、前記危険レベルに対応する衝突警告を実行することを含む。
【００５７】
現在対象物が静止対象物である場合、上記と類似の方式で危険レベルに対応する衝突警告を実行して、危険を報知することができる。
【００５８】
可能な実施形態では、現在対象物上のコントローラによって上記衝突制御方法を実現することができる。
【００５９】
図４は本開示の一実施例による衝突制御方法のフローチャートを示す。図４に示すように、前記衝突制御方法におけるステップＳ２０は、
前記目標対象物と前記現在対象物との間の距離を決定するステップＳ２１と、
前記目標対象物の状態および前記距離に基づいて、前記目標対象物の危険レベルを特定するステップＳ２２と、を含む。
【００６０】
可能な実施形態では、２つの目標対象物は、現在対象物からの距離が等しいが、２つの目標対象物の状態が異なる場合、２つの目標対象物の危険レベルが異なる。例えば、現在対象物から約１０メートル離れる歩行者である場合、走行状態での歩行者は危険レベルが高く、立ち止まっている状態での歩行者は危険レベルが低い。高齢者は危険レベルが高く、若者は危険レベルが低い。
【００６１】
目標対象物と現在対象物との間の距離、および目標対象物の状態を統合して、目標対象物の危険レベルを特定することができる。
【００６２】
可能な実施形態では、前記目標対象物の状態は正常状態を含み、前記危険レベルは第１の危険レベルおよび第２の危険レベルを含み、前記目標対象物の状態および前記距離に基づいて前記目標対象物の危険レベルを特定することは、前記目標対象物の状態が正常状態であり、且つ前記距離が第１の距離閾値以下である場合、前記目標対象物の危険レベルを第１の危険レベルとして特定すること、または、前記目標対象物の状態が正常状態であり、且つ前記距離が第１の距離閾値よりも大きい場合、前記目標対象物の危険レベルを第２の危険レベルとして特定することを含むようにしてもよい。
【００６３】
ここで、第１の危険レベルは第２の危険レベルよりも危険度が高いようにしてもよい。
【００６４】
可能な実施形態では、前記目標対象物の状態は異常状態を含み、前記危険レベルは第３の危険レベルおよび第４の危険レベルを含み、前記目標対象物の状態および前記距離に基づいて前記目標対象物の危険レベルを特定することは、前記目標対象物の状態が異常状態であり、且つ前記距離が第２の距離閾値以下である場合、前記目標対象物の危険レベルを第３の危険レベルとして特定すること、または、前記目標対象物の状態が異常状態であり、且つ前記距離が第２の距離閾値よりも大きい場合、前記目標対象物の危険レベルを第４の危険レベルとして特定することを含むようにしてもよい。
【００６５】
ここで、第３の危険レベルは第４の危険レベルよりも危険度が高いようにしてもよい。
【００６６】
第１の距離閾値は第２の距離閾値よりも小さいようにしてもよい。例えば、正常状態での歩行者について、その危険性が低いので、小さい距離閾値（第１の距離閾値）、例えば５メートルを設定することができる。異常状態での歩行者（例えば、動作緩慢、酔っ払い、身障者、高齢者など）について、なるべく早く衝突制御を行うように、大きい距離閾値（第２の距離閾値）、例えば１０メートルを設定することができる。
【００６７】
本実施例では、目標対象物の状態および距離を組み合わせて危険レベルを特定することによって、危険レベルの特定はより正確になる。
【００６８】
図５は本開示の一実施例による衝突制御方法のフローチャートを示す。図５に示すように、前記衝突制御方法におけるステップＳ２０は、
前記目標対象物と前記現在対象物との間の衝突時間を予測するステップＳ２３と、
前記目標対象物の状態および前記衝突時間に基づいて、前記目標対象物の危険レベルを特定するステップＳ２４と、を含む。
【００６９】
可能な実施形態では、目標対象物と現在対象物との間の相対移動方向、相対移動方向における距離Ｓ、および相対速度Ｖに基づいて、目標対象物と現在対象物との間の衝突時間Ｔを決定することができる。目標対象物と現在対象物が互いに向かって移動する場合、Ｔ＝Ｓ／Ｖ。
【００７０】
可能な実施形態では、前記目標対象物の状態は正常状態を含み、前記危険レベルは第５の危険レベルおよび第６の危険レベルを含み、前記目標対象物の状態および前記衝突時間に基づいて前記目標対象物の危険レベルを特定することは、前記目標対象物の状態が正常状態であり、且つ前記衝突時間が第１の時間閾値以下である場合、前記目標対象物の危険レベルを第５の危険レベルとして特定すること、または、前記目標対象物の状態が正常状態であり、且つ前記衝突時間が第１の時間閾値よりも大きい場合、前記目標対象物の危険レベルを第６の危険レベルとして特定することを含むようにしてもよい。
【００７１】
ここで、第６の危険レベルは第５の危険レベルよりも危険度が小さいようにしてもよい。
【００７２】
可能な実施形態では、前記目標対象物の状態は異常状態を含み、前記危険レベルは第７の危険レベルおよび第８の危険レベルを含み、前記目標対象物の状態および前記衝突時間に基づいて前記目標対象物の危険レベルを特定することは、前記目標対象物の状態が異常状態であり、且つ前記衝突時間が第２の時間閾値以下である場合、前記目標対象物の危険レベルを第７の危険レベルとして特定すること、または、前記目標対象物の状態が異常状態であり、且つ前記衝突時間が第２の時間閾値よりも大きい場合、前記目標対象物の危険レベルを第８の危険レベルとして特定することを含むようにしてもよい。
【００７３】
ここで、第８の危険レベルは第７の危険レベルよりも危険度が小さいようにしてもよい。
【００７４】
第１の時間閾値は第２の時間閾値よりも小さいようにしてもよい。例えば、正常状態での歩行者について、その危険性が低いので、小さい時間閾値（第１の時間閾値）、例えば１分を設定することができる。異常状態での歩行者（例えば、動作緩慢、酔っ払い、身障者、高齢者など）について、なるべく早く衝突制御を行うように、大きい時間閾値（第２の時間閾値）、例えば３分を設定することができる。
【００７５】
本実施例では、目標対象物の状態および衝突時間を組み合わせて危険レベルを特定することによって、危険レベルの特定はより正確になる。
【００７６】
本開示で言及された上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解され、紙数に限りがあるので、本願では詳細な説明を省略する。
【００７７】
また、本開示は画像処理装置、電子機器、コンピュータ読取可能な記憶媒体およびプログラムをさらに提供し、それらはいずれも本開示で提供される画像処理方法のいずれか１つを実現するために利用可能であり、それに対応する技術的解決手段及び説明は、方法部分の対応する記載を参照すればよく、ここで省略する。
【００７８】
図６は本開示の一実施例による衝突制御装置のブロック図を示す。図６に示すように、前記衝突制御装置は、
現在対象物が撮像した画像中の目標対象物を検出するための検出モジュール１０と、
前記目標対象物の危険レベルを特定するための特定モジュール２０と、
前記危険レベルに対応する衝突制御を実行するための実行モジュール３０と、を含む。
【００７９】
本開示の実施例では、現在対象物が撮像した画像中の目標対象物を検出し、目標対象物の危険レベルを特定し、対応する衝突制御を行うことによって、目標対象物に対する正確且つ適切な衝突制御を達成する。
【００８０】
可能な実施形態では、前記検出モジュールは、ニューラルネットワークによって、現在対象物が撮像した画像中の目標対象物を検出するために用いられる。
【００８１】
本実施例では、ニューラルネットワークによって目標対象物を検出し、ニューラルネットワークの強力且つ正確な検出機能によって画像から目標対象物を迅速且つ正確に検出することができる。
【００８２】
可能な実施形態では、前記検出モジュールは、現在対象物が撮像した画像中の目標対象物の状態を検出するために用いられる。
【００８３】
前記特定モジュールは、前記目標対象物の状態に基づいて、前記目標対象物の危険レベルを特定するために用いられる。
【００８４】
本実施例では、目標対象物の状態に基づいて目標対象物の危険レベルを特定することにより、目標対象物の豊富な状態を利用して、必要に応じて、異なる危険レベルを設定することができ、衝突制御はより正確になり、柔軟性がより高くなる。
【００８５】
可能な実施形態では、前記現在対象物は走行対象物を含み、前記実行モジュールは、
前記危険レベルに対応する衝突警告を実行すること、および／または前記危険レベルに対応する、走行方向の変更、走行速度の変更及び停止の少なくとも１つを含む運転制御を実行することに用いられる。
【００８６】
可能な実施形態では、前記現在対象物は静止対象物を含み、前記実行モジュールは、前記危険レベルに対応する衝突警告を実行するために用いられる。
【００８７】
本実施例では、危険レベルに基づいて、対応する衝突警告および／または運転制御を特定することにより、衝突制御はより適切で、より正確になる。
【００８８】
可能な実施形態では、前記特定モジュールは、
前記目標対象物と前記現在対象物との間の距離を決定することと、
前記目標対象物の状態および前記距離に基づいて、前記目標対象物の危険レベルを特定することに用いられる。
【００８９】
本実施例では、目標対象物の状態および距離を組み合わせて危険レベルを特定することにより、危険レベルの特定はより正確になる。
【００９０】
可能な実施形態では、前記目標対象物の状態は正常状態を含み、前記危険レベルは第１の危険レベルおよび第２の危険レベルを含み、前記目標対象物の状態および前記距離に基づいて前記目標対象物の危険レベルを特定することは、
前記目標対象物の状態が正常状態であり、且つ前記距離が第１の距離閾値以下である場合、前記目標対象物の危険レベルを第１の危険レベルとして特定すること、または
前記目標対象物の状態が正常状態であり、且つ前記距離が第１の距離閾値よりも大きい場合、前記目標対象物の危険レベルを第２の危険レベルとして特定することを含む。
【００９１】
可能な実施形態では、前記目標対象物の状態は異常状態を含み、前記危険レベルは第３の危険レベルおよび第４の危険レベルを含み、前記目標対象物の状態および前記距離に基づいて前記目標対象物の危険レベルを特定することは、
前記目標対象物の状態が異常状態であり、且つ前記距離が第２の距離閾値以下である場合、前記目標対象物の危険レベルを第３の危険レベルとして特定すること、または
前記目標対象物の状態が異常状態であり、且つ前記距離が第２の距離閾値よりも大きい場合、前記目標対象物の危険レベルを第４の危険レベルとして特定することを含む。
【００９２】
可能な実施形態では、前記特定モジュールは、
前記目標対象物と前記現在対象物との間の衝突時間を予測することと、
前記目標対象物の状態および前記衝突時間に基づいて、前記目標対象物の危険レベルを特定することに用いられる。
【００９３】
可能な実施形態では、前記目標対象物の状態は正常状態を含み、前記危険レベルは第５の危険レベルおよび第６の危険レベルを含み、前記目標対象物の状態および前記衝突時間に基づいて前記目標対象物の危険レベルを特定することは、
前記目標対象物の状態が正常状態であり、且つ前記衝突時間が第１の時間閾値以下である場合、前記目標対象物の危険レベルを第５の危険レベルとして特定すること、または
前記目標対象物の状態が正常状態であり、且つ前記衝突時間が第１の時間閾値よりも大きい場合、前記目標対象物の危険レベルを第６の危険レベルとして特定することを含む。
【００９４】
可能な実施形態では、前記目標対象物の状態は異常状態を含み、前記危険レベルは第７の危険レベルおよび第８の危険レベルを含み、前記目標対象物の状態および前記衝突時間に基づいて前記目標対象物の危険レベルを特定することは、
前記目標対象物の状態が異常状態であり、且つ前記衝突時間が第２の時間閾値以下である場合、前記目標対象物の危険レベルを第７の危険レベルとして特定すること、または
前記目標対象物の状態が異常状態であり、且つ前記衝突時間が第２の時間閾値よりも大きい場合、前記目標対象物の危険レベルを第８の危険レベルとして特定することを含む。
【００９５】
可能な実施形態では、前記目標対象物は、歩行者、車両、動物、植物、障害物、ロボット及び建築物の少なくとも１つを含む。
【００９６】
可能な実施形態では、前記目標対象物が歩行者である場合、前記目標対象物の状態は、運動状態、肢体状態および属性状態の１つまたは任意の組み合わせを含む。
ここで、前記運動状態は、位置、速度、加速度及び移動方向の１つまたは任意の組み合わせを含む。
前記肢体状態は、物を拾うこと、及びうつむくことの１つまたは任意の組み合わせを含む。
前記属性状態は、年齢状態及び身体状態の１つまたは任意の組み合わせを含む。
【００９７】
可能な実施形態では、前記目標対象物が車両である場合、前記目標対象物の状態は、運動状態、行動状態および属性状態の１つまたは任意の組み合わせを含む。
ここで、前記運動状態は、位置、速度、加速度及び方向の１つまたは任意の組み合わせを含む。
前記行動状態は、危険運転状態の１つまたは任意の組み合わせを含む。
前記属性状態は、自動車、非自動車及び車種の１つまたは任意の組み合わせを含む。
【００９８】
本開示の実施例では、現在対象物が撮像した画像中の目標対象物を検出し、目標対象物の危険レベルを特定し、対応する衝突制御を行うことによって、目標対象物に対する正確且つ適切な衝突制御を達成する。
【００９９】
本開示の実施例は、プロセッサにより実行されると、上記衝突制御方法を実現させるコンピュータプログラム命令が記憶されているコンピュータ読取可能な記憶媒体をさらに提供する。コンピュータ読取可能な記憶媒体は非揮発性コンピュータ読み取り可能な記憶媒体であってもよい。
【０１００】
本開示の実施例は、電子機器内で実行されると、前記電子機器のプロセッサに上記衝突制御方法を実現させるためのコンピュータ読取可能なコードを含むコンピュータプログラムをさらに提供する。
【０１０１】
本開示の実施例は、プロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリとを含み、前記プロセッサは前記実行可能コマンドを直接的または間接的に呼び出すことによって上記衝突制御方法を実行する、電子機器をさらに提供する。
【０１０２】
図７は本開示の一実施例による電子機器のブロック図を示す。電子機器は端末、サーバ又は他の形態の装置として提供されてもよい。前記電子機器は衝突制御のための装置８００を含む。例えば、装置８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレット装置、医療機器、フィットネス器具、パーソナル・デジタル・アシスタント、車載装置などの端末であってもよい。
【０１０３】
図７に示すように、装置８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つ以上を含んでもよい。
【０１０４】
処理コンポーネント８０２は通常、装置８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、命令を実行して上記方法の全てまたは一部のステップを実行するための一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。
【０１０５】
メモリ８０４は、装置８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、装置８００において操作されるあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどのあらゆるタイプの揮発性または非揮発性記憶装置またはそれらの組み合わせによって実現できる。
【０１０６】
電源コンポーネント８０６は装置８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および装置８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。
【０１０７】
マルチメディアコンポーネント８０８は前記装置８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するために、タッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャを検知するために、一つ以上のタッチセンサを含む。前記タッチセンサは、タッチまたはスライド動作の境界のみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または後面カメラを含む。装置８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または後面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび後面カメラは固定された光学レンズ系、または焦点距離および光学ズーム機能を有するものであってもよい。
【０１０８】
オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、マイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は装置８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
【０１０９】
Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。
【０１１０】
センサコンポーネント８１４は装置８００の各面の状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント８１４は装置８００のオン／オフ状態、例えば装置８００の表示装置およびキーパッドであるコンポーネントの相対的位置決めを検出することができる。センサコンポーネント８１４はさらに、装置８００または装置８００のあるコンポーネントの位置の変化、ユーザと装置８００との接触の有無、装置８００の方位または加減速および装置８００の温度変化を検出することができる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成された近接センサを含んでもよい。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用される光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４は加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。
【０１１１】
通信コンポーネント８１６は装置８００と他の装置との間の有線または無線通信を実現するように構成される。装置８００は通信規格に基づく無線ネットワーク、例えばＷｉ-Ｆｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネル経由で外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６は近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールをさらに含む。例えば、ＮＦＣモジュールでは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。
【０１１２】
例示的な実施例では、装置８００は、一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。
【０１１３】
例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能な記憶媒体、例えば、コンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は装置８００のプロセッサ８２０によって実行されると、上記方法を実行させることができる。
【０１１４】
本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品はプロセッサに本開示の各方面を実現させるためのコンピュータ読み取り可能なプログラム命令を有しているコンピュータ読み取り可能な記憶媒体を含んでもよい。
【０１１５】
コンピュータ読み取り可能な記憶媒体は命令実行装置において使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ読み取り可能な記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のさらに具体的な例（非包括的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造ような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能な記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。
【０１１６】
ここで記述したコンピュータ読み取り可能なプログラム命令はコンピュータ読み取り可能な記憶媒体から各計算／処理機器にダウンロードされてもよいし、または、ネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークを介して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ読み取り可能プログラム命令を受信して転送して、各計算／処理機器内のコンピュータ読み取り可能な記憶媒体に記憶させる。
【０１１７】
本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ読み取り可能なプログラム命令を実行することにより、本開示の各方面を実現するようにしてもよい。
【０１１８】
ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明したが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能プログラム命令によって実現できることを理解すべきである。
【０１１９】
これらのコンピュータ読み取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されて、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現するように機械を製造してもよい。また、これらのコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体に記憶し、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。命令を記憶しているコンピュータ読み取り可能な記憶媒体には、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現するための命令を有する製品を含む
【０１２０】
コンピュータ読み取り可能なプログラムはコンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードし、コンピュータ、他のプログラマブルデータ処理装置または他の機器において一連の動作ステップを実行させることにより、コンピュータにより実現されるプロセスを生成し、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令によりフローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。
【０１２１】
図面のうち、フローチャートおよびブロック図は本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は図面に付した順序と異なって実現してもよい。例えば、二つの連続的なブロックは実質的に同時に実行してもよく、また、係る機能によって、逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現されてもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現されてもよい。
【０１２２】
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ開示された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または市場における技術への技術的改善を好適に解釈するか、または他の当業者に本文に開示された各実施例を理解させるためのものである。
【図１】
2021508902.tif 000003
【図２】
2021508902.tif 000004
【図３】
2021508902.tif 000005
【図４】
2021508902.tif 000006
【図５】
2021508902.tif 000007
【図６】
2021508902.tif 000008
【図７】
2021508902.tif 000009
【手続補正書】
【提出日】令和2年6月30日(2020.6.30)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本出願は、２０１８年４月２８日に中国特許局に提出された、出願番号２０１８１０４０３４２９．３、発明名称が「衝突制御方法及び装置、電子機器並びに記憶媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
【技術分野】
【０００２】
本開示はコンピュータビジョンの技術分野に関し、特に衝突制御方法及び装置、電子機器並びに記憶媒体に関する。
【背景技術】
【０００３】
車両のインテリジェントドライブの場合、コンピュータビジョン技術を使用して歩行者、他の車両などの目標を検知し、検知した目標を車両のインテリジェントドライブの制御に用いる必要がある。
【発明の概要】
【０００４】
本開示は衝突制御の技術的解決手段を提供する。
【０００５】
本開示の一方面によれば、
現在対象物が撮像した画像中の目標対象物を検出することと、
前記目標対象物の危険レベルを特定することと、
前記危険レベルに対応する衝突制御を実行することと、を含む衝突制御方法を提供する。
【０００６】
本開示の一方面によれば、
現在対象物が撮像した画像中の目標対象物を検出するための検出モジュールと、
前記目標対象物の危険レベルを特定するための特定モジュールと、
前記危険レベルに対応する衝突制御を実行するための実行モジュールと、を含む衝突制御装置を提供する。
【０００７】
本開示の一方面によれば、
プロセッサと、
プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、
前記プロセッサは、前記実行可能なコマンドを直接的または間接的に呼び出すことによって上記衝突制御方法を実行する電子機器を提供する。
【０００８】
本開示の一方面によれば、コンピュータプログラム命令が記憶されているコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラム命令はプロセッサによって実行されると、上記衝突制御方法を実現させるコンピュータ読取可能な記憶媒体を提供する。
【０００９】
本開示の一方面によれば、電子機器内で実行されると、前記電子機器のプロセッサに、上記衝突制御方法を実現させるためのコンピュータ読取可能なコードを含むコンピュータプログラムを提供する。
【００１０】
本開示の実施例では、現在対象物が撮像した画像中の目標対象物を検出し、目標対象物の危険レベルを特定し、対応する衝突制御を行うことによって、目標対象物に対する正確且つ適切な衝突制御を達成する。
【００１１】
本開示の他の特徴及び方面は、以下、図面を参照しながら例示的な実施例について詳細に説明することにより明らかになる。
【図面の簡単な説明】
【００１２】
明細書の一部として明細書に含まれる図面は、明細書と共に本開示の例示的な実施例、特徴及び方面を示し、本開示の原理を解釈するために用いられる。
【図１】本開示の一実施例による衝突制御方法のフローチャートを示す。
【図２】本開示の一実施例による衝突制御方法のフローチャートを示す。
【図３】本開示の一実施例による衝突制御方法のフローチャートを示す。
【図４】本開示の一実施例による衝突制御方法のフローチャートを示す。
【図５】本開示の一実施例による衝突制御方法のフローチャートを示す。
【図６】本開示の一実施例による衝突制御装置のブロック図を示す。
【図７】本開示の一実施例による電子機器のブロック図を示す。
【発明を実施するための形態】
【００１３】
以下に図面を参照しながら本開示の様々な例示的実施例、特徴および方面を詳細に説明する。図面において、同じ符号が同じまたは類似する機能の要素を表す。図面において実施例の様々な方面を示したが、特に断らない限り、比例に従って図面を描く必要がない。
【００１４】
ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例も他の実施例より好ましい又は優れるものであると理解すべきではない。
【００１５】
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、何らかの具体的な詳細がなくても、本開示は同様に実施できるということを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するように、当業者に既知の方法、手段、要素および回路について、詳細な説明を省略する。
【００１６】
図１は本開示の一実施例による衝突制御方法のフローチャートを示す。図１に示すように、前記方法は以下のステップを含む。
【００１７】
ステップＳ１０、現在対象物が撮像した画像中の目標対象物を検出する。
【００１８】
目標対象物は、いかなるタイプの対象物であってもよい。例えば、目標対象物は、歩行者、車両、動物、植物、障害物、ロボット及び建築物の少なくとも１つを含むことができる。目標対象物は、単一の対象物タイプの１つまたは複数の目標対象物であってもよく、複数の対象物タイプの複数の目標対象物であってもよい。例えば、車両だけを目標対象物としてもよく、目標対象物は１つの車両であってもよく、複数の車両であってもよい。また、車両および歩行者をともに目標対象物としてもよい。目標対象物は複数の車両および複数の歩行者である。必要に応じて、設定された対象物タイプを目標対象物としてもよく、設定された対象物個体を目標対象物としてもよい。
【００１９】
現在対象物は、移動可能な対象物を含んでもよく、移動不可能な対象物を含んでもよい。現在対象物は、走行対象物、例えば走行中の車両であってもよく、静止対象物、例えば建築物、路側の監視装置であってもよい。
【００２０】
現在対象物は、人、自動車、非自動車、ロボット及びウェアブルデバイスなどを含んでもよい。現在対象物が車両である場合、本開示の実施例は自動運転、支援運転などの技術分野で応用され得る。現在対象物が路側に配置される監視装置である場合、本開示の実施例は目標対象物の監視装置への衝突を防止することに使用され得る。本開示はこれを限定しない。
【００２１】
現在対象物に撮像装置を配置し、設定方向の画像を撮像することができる。現在対象物は、その前方、後方、側方など任意の１つまたは複数の方向の画像を撮像することができる。本開示はこれを限定しない。
【００２２】
現在対象物が撮像した画像は、撮像装置によって撮像された単一フレームの画像を含んでもよく、撮像装置によって撮像されたビデオストリーム内のフレーム画像を含んでもよい。
【００２３】
現在対象物は、単眼カメラ、ＲＧＢカメラ、赤外線カメラ、双眼カメラなどの様々なビジョンセンサによって画像を撮像することができる。単眼カメラを使用する場合、システムコストが低く、応答が速い。ＲＧＢカメラまたは赤外線カメラを使用する場合、特別な環境で画像を撮像することができる。双眼カメラを使用する場合、目標対象物のより豊かな情報を取得することができる。衝突防止の要求、環境、現在対象物のタイプおよびコストなどに応じて、異なる撮像装置を選択することができる。本開示はこれを限定しない。
【００２４】
現在対象物が撮像した画像中の目標対象物を検出した結果は、目標対象物の特徴を含んでもよく、目標対象物の状態などを含んでもよい。例えば、検出結果として、目標対象物が高齢者であり、目標対象物の状態は、行動速度が遅いこと、うつむいて携帯電話を見ていることなどを含む。本開示はこれを限定しない。
【００２５】
ステップＳ２０、前記目標対象物の危険レベルを特定する。
【００２６】
現在対象物が撮像した画像中の目標対象物は、現在対象物に危険をもたらす可能性があり、例えば、車両の前方カメラによって撮像された目標対象物は車両に衝突される危険がある。例えば、現在対象物に向かって高速に移動する目標対象物は危険レベルが高く、目標対象物の前方に位置し且つ移動速度が遅い目標対象物は危険レベルが高いなど、異なる目標対象物は異なる危険レベルを有する。目標対象物と危険レベルとの間の対応関係、例えば目標対象物の特徴または状態と危険レベルとの対応関係を確立し、該対応関係に基づいて、目標対象物の危険レベルを特定することができる。
【００２７】
一例では、目標対象物の危険レベルは、危険、安全などのように区分けしてもよく、第１の危険レベル、第２の危険レベル、第３の危険レベルなどのように区分けしてもよい。
【００２８】
一枚の画像から検出された目標対象物に基づいて、前記目標対象物の危険レベルを特定してもよく、例えば、検出結果として目標対象物の特徴が高齢者であり、高齢者の危険レベルは高い。複数の画像から検出された目標対象物の状態に基づいて、前記目標対象物の危険レベルを特定してもよく、例えば、検出結果として目標対象物が現在対象物へ高速に近づいている場合、危険レベルは高い。
【００２９】
ステップＳ３０、前記危険レベルに対応する衝突制御を実行する。
【００３０】
危険レベルによって異なる衝突制御を行って、警告するまたは危険を回避するようにしてもよい。危険レベルと衝突制御との間の対応関係を確立し、特定された危険レベルに基づいて、対応する衝突制御を特定することができる。
【００３１】
本開示の実施例では、現在対象物が撮像した画像中の目標対象物を検出し、目標対象物の危険レベルを特定し、対応する衝突制御を行うことによって、目標対象物に対する正確且つ適切な衝突制御を達成する。
【００３２】
可能な実施形態では、現在対象物が撮像した画像中の目標対象物を検出することは、ニューラルネットワークによって、現在対象物が撮像した画像中の目標対象物を検出することを含んでもよい。
【００３３】
様々な目標対象物を含む画像からなるトレーニング画像セットを使ってニューラルネットワークをトレーニングし、トレーニングされたニューラルネットワークによって、撮像された画像中の目標対象物を識別することができる。ニューラルネットワークのトレーニング過程、およびニューラルネットワークによって目標対象物を検出する過程は、関連技術によって実現できる。
【００３４】
ニューラルネットワークは、ＲＦＣＮ（Ｒｅｇｉｏｎ―ｂａｓｅｄ  Ｆｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋｓ、領域ベースの完全畳み込みネットワーク）、ＳＳＤ（Ｓｉｎｇｌｅ  Ｓｈｏｔ  ｍｕｌｔｉｂｏｘ  Ｄｅｔｅｃｔｏｒ、シングルショットマルチボックス検出器）、ＲＣＮＮ（Ｒｅｇｉｏｎｓ  ｗｉｔｈ  ＣＮＮ、領域ベースの畳み込みニューラルネットワーク）、ＦａｓｔＲＣＮＮ（Ｆａｓｔ  ＲＣＮＮ、高速の領域ベースの畳み込みニューラルネットワーク）、ＦａｓｔｅｒＲＣＮＮ（Ｆａｓｔｅｒ  ＲＣＮＮ、より高速の領域ベースの畳み込みニューラルネットワーク）、ＳＰＰＮｅｔ（Ｓｐａｔｉａｌ  Ｐｙｒａｍｉｄ  Ｐｏｏｌｉｎｇ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋｓ、空間ピラミッドプーリング畳み込みネットワーク）、ＤＰＭ  Ｄｅｆｏｒｍａｂｌｅ  Ｐａｒｔｓ  Ｍｏｄｅｌｓ、変形可能パーツモデル）、ＯｖｅｒＦｅａｔ（同じ畳み込みネットワークに基づく複数のタスク）、ＹＯＬＯ（Ｙｏｕ  Ｏｎｌｙ  Ｌｏｏｋ  Ｏｎｃｅ、画像を１度だけ見る）などの構築方式に基づいたものであってもよいが、本開示はこれを限定しない。
【００３５】
例えば、ＢＰ（ｅｒｒｏｒ  ｂａｃｋ  ｐｒｏｐａｇａｔｉｏｎ、エラーバックプロパゲーション）などのタイプのニューラルネットワークに基づく画像追跡技術によって、連続した複数フレームのビデオ画像中の同一の目標対象物を追跡することで、目標対象物の運動状態および行動状態を検出することができ、例えば目標対象物が現在対象物（例えば、車両）の左前方から右前方へ移動し、前方を目視することなどを検出した。
【００３６】
さらなる例として、ＲＣＮＮ（Ｒｅｇｉｏｎｓ  ｗｉｔｈ  ＣＮＮ  ｆｅａｔｕｒｅｓ）などのタイプのニューラルネットワークに基づく双眼測距技術によって、双眼カメラによって撮像された画像を使って目標対象物と現在対象物との距離を決定することができる。
【００３７】
本実施例では、ニューラルネットワークによって目標対象物を検出し、ニューラルネットワークの強力且つ正確な検出機能によって画像から目標対象物を迅速且つ正確に検出することができる。
【００３８】
図２は本開示の一実施例による衝突制御方法のフローチャートを示す。図２に示すように、ステップＳ１０は、
現在対象物が撮像した画像中の目標対象物の状態を検出するステップＳ１１を含んでもよい。
ステップＳ２０は、
前記目標対象物の状態に基づいて、前記目標対象物の危険レベルを特定するステップＳ２１を含んでもよい。
【００３９】
目標対象物の状態は任意のタイプの状態であって、例えば、目標対象物の静的な動作や動的な状態であってもよい。目標対象物自身の属性状態などであってもよい。
【００４０】
可能な実施形態では、撮像された一枚の静止画像から目標対象物の静的状態を検出するようにしてもよい。例えば、一枚の静止画像から、目標対象物である歩行者の静的状態がうつむいて携帯電話を見ている状態であり、または歩行者が高齢者であることを検出した。また、複数の関連している画像から目標対象物の動的状態を検出するようにしてもよい。例えば、ビデオストリーム内の複数のフレーム画像から、目標対象物である車両の状態が高速走行の状態であることを検出した。
【００４１】
可能な実施形態では、前記目標対象物が歩行者である場合、前記目標対象物の状態は、運動状態、肢体状態および属性状態の１つまたは任意の組み合わせを含んでもよい。運動状態は、位置（例えば、目標対象物の現在対象物に対する相対位置）、速度（例えば、目標対象物の現在対象物に対する相対速度）、加速度及び移動方向（例えば、目標対象物の現在対象物に対する移動方向、例えば直進または旋回）の１つまたは任意の組み合わせを含んでもよい。肢体状態は、携帯電話を見ていること、電話すること、うつむくこと、タバコを吸うこと及び物を拾うことなど四肢の協働を必要とする行動の１つまたは任意の組み合わせを含んでもよい。属性状態は、年齢状態及び身体状態の１つまたは任意の組み合わせを含んでもよく、例えば、高齢者または子供であるか否か、動作不自由者であるか否かである。
【００４２】
歩行者の状態に基づいて、歩行者の危険レベルを特定することができる。前記歩行者の危険レベルは、１つの状態によって歩行者の危険レベルを取得すしてもよく、複数の状態の組み合わせによって歩行者の危険レベルを取得してもよい。例えば、歩行者の位置のみによって歩行者の危険レベルを特定してもよい。距離が５メートルよりも小さい歩行者を危険として設定し、距離が５メートルより大きい歩行者を安全として設定する。また、歩行者の速度、および歩行者が電話しているか否かなど様々な状態を統合して、歩行者の危険レベルを取得してもよい。速度がＮメートル／秒より大きく、且つ電話している歩行者を第１の危険レベルとして特定し、速度がＮメートル／秒より小さく、且つ電話している歩行者を第２の危険レベルとして特定し、速度がＮメートル／秒より大きく、且つ電話していない歩行者を第３の危険レベルとして特定し、速度がＮメートル／秒より小さく、且つ電話していない歩行者を第４の危険レベルとして特定する。本開示はこれを限定しない。
【００４３】
可能な実施形態では、前記目標対象物が車両である場合、前記目標対象物の状態は、運動状態、行動状態および属性状態の１つまたは任意の組み合わせを含んでもよい。運動状態は、位置、速度、加速度及び方向の１つまたは任意の組み合わせを含んでもよい。行動状態は、危険運転状態の１つまたは任意の組み合わせを含んでもよい。属性状態は、自動車、非自動車及び車種の１つまたは任意の組み合わせを含んでもよい。
【００４４】
車両の状態に基づいて車両の危険レベルを特定することができる。前記車両の危険レベルは、１つの状態によって車両の危険レベルを取得してもよく、複数の状態の組み合わせによって車両の危険レベルを取得してもよい。例えば、車両の速度に基づいて車両の危険レベルを特定してもよい。車速がＮメートル／秒より低い車両を安全として特定し、車速がＭメートル／秒より高い車両を危険として特定する。また、車両の車種、車両が危険運転状態であるか否かなど様々な状態を統合して、車両の危険レベルを取得してもよい。例えば、車両の速度がＭメートル／秒より高く、車両の車種が古く、車両走行中に左右に揺れるなどの危険運転状態である場合、車両の危険レベルを第１の危険レベルとして特定し、車両の車速がＮメートル／秒より低く、車の走行方向と現在対象物との進行方向が交差する場合、車両の危険レベルを第２の危険レベルとして特定する。本開示はこれを限定しない。
【００４５】
目標対象物の状態はさらに正常状態および異常状態を含んでもよい。一例では、異常状態は、運動状態、肢体状態および属性状態の１つまたは複数に基づいて特定されてもよい。例えば、歩行者が現在対象物の前方に位置し、且つ速度が閾値よりも小さい場合、異常状態として特定することができる。さらなる例として、歩行者が現在対象物の前方に位置し、且つ移動方向が頻繁に変わる場合、異常状態として特定できるなどが挙げられる。異常状態以外の状態を正常状態として特定することができる。
【００４６】
本実施例では、目標対象物の状態に基づいて目標対象物の危険レベルを特定することによって、目標対象物の豊富な状態を利用して、必要に応じて、異なる危険レベルを設定することができ、衝突制御はより正確になり、柔軟性がより高くなる。
【００４７】
図３は本開示の一実施例による衝突制御方法のフローチャートを示す。図３に示すように、現在対象物は走行対象物（例えば、車両）を含み、ステップＳ３０は、
前記危険レベルに対応する衝突警告を実行する、および／または前記危険レベルに対応する、走行方向の変更、走行速度の変更及び停止の少なくとも１つを含む運転制御を実行するステップＳ３１を含んでもよい。
【００４８】
異なる危険レベルに対して異なる衝突警告、例えば異なる音声または表示内容、異なる音量レベル、異なる振動強度などを設定することができる。特定された危険レベルに基づいて、対応する衝突警告をトリガすることにより、現在対象物の使用者が種々の危険レベルを容易に区別することができる。
【００４９】
例えば、危険レベルが前述の第２の危険レベルであり、すなわち正常状態の目標対象物と現在対象物との距離が第１の閾値よりも大きく、危険度が低いことが検出された場合、第２の危険レベルに対応して実行される衝突警告は「前方３メートル以外に歩行者がいて、避けてください」という音声放送であってもよく、小音量の警報音であってもよい。危険レベルが前述の第３の危険レベルであり、すなわち異常状態の目標対象物と現在対象物との距離が第２の閾値以下であり、危険度が高いことが検出された場合、第３の危険レベルに対応して実行される衝突警告は「前方５メートル以内に動作緩慢の歩行者がいて、直ちに避けてください！」という音声放送であってもよく、大音量の警報音であってもよい。
【００５０】
異なるタイプの衝突警告は、単独で実行されてもよく、組み合わせて実行されてもよい。
【００５１】
また、前記危険レベルに対応する運転制御を実行することもできる。例えば、危険レベルに基づいて、対応する運転制御方式を特定し、該運転制御方式に対応する運転コマンドを車両の制御システムに伝送して、運転制御を実現することができる。
【００５２】
例えば、危険レベルが前述の第２の危険レベルであり、すなわち正常状態の目標対象物と現在対象物との距離が第１の閾値よりも大きく、危険度が低いことが検出された場合、第２の危険レベルに対応して実行される運転制御は、速度低減であって、例えば速度を１０％低下させてもよい。危険レベルが前述の第３の危険レベルであり、すなわち異常状態の目標対象物と現在対象物との距離が第２の閾値以下であり、危険度が高いことが検出された場合、第３の危険レベルに対応して実行される運転制御は、より大幅な速度低減であって、例えば速度を５０％低下させて、またはブレーキしてもよい。
【００５３】
衝突警告と運転制御は、いずれか一つが実行されてもよく、ともに実行されてもよい。
【００５４】
可能な実施形態では、運転制御を実行することにより、自動運転または支援運転の機能を有する車両を制御できる。運転制御は、現在の走行対象物の運動状態および／または運動方向を変えるための制御動作を含んでもよい。例えば、現在の走行対象物に対して、走行方向の変更、走行速度の変更及び停止など現在の走行対象物の運動方向および／または運動状態を変えれる制御動作を行うことを含んでもよい。例えば、一実際の応用シーンでは、自動運転または支援運転の機能を有する現在車両の元の運動方向は、所在車線内で直進し、衝突時間に基づいて、現在車両は前方の疑似衝突対象物と衝突する場合、運転制御によって自動運転または支援運転の機能を有する現在車両の走行方向を変え、自動運転または支援運転の機能を有する現在車両に車線を変更させ、衝突を回避することができる。この途中で、前方の疑似衝突対象物は加速して遠ざかる場合、運転制御によって自動運転または支援運転の機能を有する現在車両の走行方向を変えて、自動運転または支援運転の機能を有する現在車両を元の運動方向に維持させ、そのまま所在車線内で直進させることができる。
【００５５】
本実施例では、危険レベルに基づいて、対応する衝突警告および／または運転制御を特定することにより、衝突制御はより適切で、より正確になる。
【００５６】
可能な実施形態では、前記現在対象物は静止対象物を含み、前記ステップＳ３０は、前記危険レベルに対応する衝突警告を実行することを含む。
【００５７】
現在対象物が静止対象物である場合、上記と類似の方式で危険レベルに対応する衝突警告を実行して、危険を報知することができる。
【００５８】
可能な実施形態では、現在対象物上のコントローラによって上記衝突制御方法を実現することができる。
【００５９】
図４は本開示の一実施例による衝突制御方法のフローチャートを示す。図４に示すように、前記衝突制御方法におけるステップＳ２０は、
前記目標対象物と前記現在対象物との間の距離を決定するステップＳ２１と、
前記目標対象物の状態および前記距離に基づいて、前記目標対象物の危険レベルを特定するステップＳ２２と、を含む。
【００６０】
可能な実施形態では、２つの目標対象物は、現在対象物からの距離が等しいが、２つの目標対象物の状態が異なる場合、２つの目標対象物の危険レベルが異なる。例えば、現在対象物から約１０メートル離れる歩行者である場合、走行状態での歩行者は危険レベルが高く、立ち止まっている状態での歩行者は危険レベルが低い。高齢者は危険レベルが高く、若者は危険レベルが低い。
【００６１】
目標対象物と現在対象物との間の距離、および目標対象物の状態を統合して、目標対象物の危険レベルを特定することができる。
【００６２】
可能な実施形態では、前記目標対象物の状態は正常状態を含み、前記危険レベルは第１の危険レベルおよび第２の危険レベルを含み、前記目標対象物の状態および前記距離に基づいて前記目標対象物の危険レベルを特定することは、前記目標対象物の状態が正常状態であり、且つ前記距離が第１の距離閾値以下である場合、前記目標対象物の危険レベルを第１の危険レベルとして特定すること、または、前記目標対象物の状態が正常状態であり、且つ前記距離が第１の距離閾値よりも大きい場合、前記目標対象物の危険レベルを第２の危険レベルとして特定することを含むようにしてもよい。
【００６３】
ここで、第１の危険レベルは第２の危険レベルよりも危険度が高いようにしてもよい。
【００６４】
可能な実施形態では、前記目標対象物の状態は異常状態を含み、前記危険レベルは第３の危険レベルおよび第４の危険レベルを含み、前記目標対象物の状態および前記距離に基づいて前記目標対象物の危険レベルを特定することは、前記目標対象物の状態が異常状態であり、且つ前記距離が第２の距離閾値以下である場合、前記目標対象物の危険レベルを第３の危険レベルとして特定すること、または、前記目標対象物の状態が異常状態であり、且つ前記距離が第２の距離閾値よりも大きい場合、前記目標対象物の危険レベルを第４の危険レベルとして特定することを含むようにしてもよい。
【００６５】
ここで、第３の危険レベルは第４の危険レベルよりも危険度が高いようにしてもよい。
【００６６】
第１の距離閾値は第２の距離閾値よりも小さいようにしてもよい。例えば、正常状態での歩行者について、その危険性が低いので、小さい距離閾値（第１の距離閾値）、例えば５メートルを設定することができる。異常状態での歩行者（例えば、動作緩慢、酔っ払い、身障者、高齢者など）について、なるべく早く衝突制御を行うように、大きい距離閾値（第２の距離閾値）、例えば１０メートルを設定することができる。
【００６７】
本実施例では、目標対象物の状態および距離を組み合わせて危険レベルを特定することによって、危険レベルの特定はより正確になる。
【００６８】
図５は本開示の一実施例による衝突制御方法のフローチャートを示す。図５に示すように、前記衝突制御方法におけるステップＳ２０は、
前記目標対象物と前記現在対象物との間の衝突時間を予測するステップＳ２３と、
前記目標対象物の状態および前記衝突時間に基づいて、前記目標対象物の危険レベルを特定するステップＳ２４と、を含む。
【００６９】
可能な実施形態では、目標対象物と現在対象物との間の相対移動方向、相対移動方向における距離Ｓ、および相対速度Ｖに基づいて、目標対象物と現在対象物との間の衝突時間Ｔを決定することができる。目標対象物と現在対象物が互いに向かって移動する場合、Ｔ＝Ｓ／Ｖ。
【００７０】
可能な実施形態では、前記目標対象物の状態は正常状態を含み、前記危険レベルは第５の危険レベルおよび第６の危険レベルを含み、前記目標対象物の状態および前記衝突時間に基づいて前記目標対象物の危険レベルを特定することは、前記目標対象物の状態が正常状態であり、且つ前記衝突時間が第１の時間閾値以下である場合、前記目標対象物の危険レベルを第５の危険レベルとして特定すること、または、前記目標対象物の状態が正常状態であり、且つ前記衝突時間が第１の時間閾値よりも大きい場合、前記目標対象物の危険レベルを第６の危険レベルとして特定することを含むようにしてもよい。
【００７１】
ここで、第６の危険レベルは第５の危険レベルよりも危険度が小さいようにしてもよい。
【００７２】
可能な実施形態では、前記目標対象物の状態は異常状態を含み、前記危険レベルは第７の危険レベルおよび第８の危険レベルを含み、前記目標対象物の状態および前記衝突時間に基づいて前記目標対象物の危険レベルを特定することは、前記目標対象物の状態が異常状態であり、且つ前記衝突時間が第２の時間閾値以下である場合、前記目標対象物の危険レベルを第７の危険レベルとして特定すること、または、前記目標対象物の状態が異常状態であり、且つ前記衝突時間が第２の時間閾値よりも大きい場合、前記目標対象物の危険レベルを第８の危険レベルとして特定することを含むようにしてもよい。
【００７３】
ここで、第８の危険レベルは第７の危険レベルよりも危険度が小さいようにしてもよい。
【００７４】
第１の時間閾値は第２の時間閾値よりも小さいようにしてもよい。例えば、正常状態での歩行者について、その危険性が低いので、小さい時間閾値（第１の時間閾値）、例えば１分を設定することができる。異常状態での歩行者（例えば、動作緩慢、酔っ払い、身障者、高齢者など）について、なるべく早く衝突制御を行うように、大きい時間閾値（第２の時間閾値）、例えば３分を設定することができる。
【００７５】
本実施例では、目標対象物の状態および衝突時間を組み合わせて危険レベルを特定することによって、危険レベルの特定はより正確になる。
【００７６】
本開示で言及された上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解され、紙数に限りがあるので、本願では詳細な説明を省略する。
【００７７】
また、本開示は衝突制御装置、電子機器、コンピュータ読取可能な記憶媒体およびプログラムをさらに提供し、それらはいずれも本開示で提供される衝突制御方法のいずれか１つを実現するために利用可能であり、それに対応する技術的解決手段及び説明は、方法部分の対応する記載を参照すればよく、ここで省略する。
【００７８】
図６は本開示の一実施例による衝突制御装置のブロック図を示す。図６に示すように、前記衝突制御装置は、
現在対象物が撮像した画像中の目標対象物を検出するための検出モジュール１０と、
前記目標対象物の危険レベルを特定するための特定モジュール２０と、
前記危険レベルに対応する衝突制御を実行するための実行モジュール３０と、を含む。
【００７９】
本開示の実施例では、現在対象物が撮像した画像中の目標対象物を検出し、目標対象物の危険レベルを特定し、対応する衝突制御を行うことによって、目標対象物に対する正確且つ適切な衝突制御を達成する。
【００８０】
可能な実施形態では、前記検出モジュールは、ニューラルネットワークによって、現在対象物が撮像した画像中の目標対象物を検出するために用いられる。
【００８１】
本実施例では、ニューラルネットワークによって目標対象物を検出し、ニューラルネットワークの強力且つ正確な検出機能によって画像から目標対象物を迅速且つ正確に検出することができる。
【００８２】
可能な実施形態では、前記検出モジュールは、現在対象物が撮像した画像中の目標対象物の状態を検出するために用いられる。
【００８３】
前記特定モジュールは、前記目標対象物の状態に基づいて、前記目標対象物の危険レベルを特定するために用いられる。
【００８４】
本実施例では、目標対象物の状態に基づいて目標対象物の危険レベルを特定することにより、目標対象物の豊富な状態を利用して、必要に応じて、異なる危険レベルを設定することができ、衝突制御はより正確になり、柔軟性がより高くなる。
【００８５】
可能な実施形態では、前記現在対象物は走行対象物を含み、前記実行モジュールは、
前記危険レベルに対応する衝突警告を実行すること、および／または前記危険レベルに対応する、走行方向の変更、走行速度の変更及び停止の少なくとも１つを含む運転制御を実行することに用いられる。
【００８６】
可能な実施形態では、前記現在対象物は静止対象物を含み、前記実行モジュールは、前記危険レベルに対応する衝突警告を実行するために用いられる。
【００８７】
本実施例では、危険レベルに基づいて、対応する衝突警告および／または運転制御を特定することにより、衝突制御はより適切で、より正確になる。
【００８８】
可能な実施形態では、前記特定モジュールは、
前記目標対象物と前記現在対象物との間の距離を決定することと、
前記目標対象物の状態および前記距離に基づいて、前記目標対象物の危険レベルを特定することに用いられる。
【００８９】
本実施例では、目標対象物の状態および距離を組み合わせて危険レベルを特定することにより、危険レベルの特定はより正確になる。
【００９０】
可能な実施形態では、前記目標対象物の状態は正常状態を含み、前記危険レベルは第１の危険レベルおよび第２の危険レベルを含み、前記目標対象物の状態および前記距離に基づいて前記目標対象物の危険レベルを特定することは、
前記目標対象物の状態が正常状態であり、且つ前記距離が第１の距離閾値以下である場合、前記目標対象物の危険レベルを第１の危険レベルとして特定すること、または
前記目標対象物の状態が正常状態であり、且つ前記距離が第１の距離閾値よりも大きい場合、前記目標対象物の危険レベルを第２の危険レベルとして特定することを含む。
【００９１】
可能な実施形態では、前記目標対象物の状態は異常状態を含み、前記危険レベルは第３の危険レベルおよび第４の危険レベルを含み、前記目標対象物の状態および前記距離に基づいて前記目標対象物の危険レベルを特定することは、
前記目標対象物の状態が異常状態であり、且つ前記距離が第２の距離閾値以下である場合、前記目標対象物の危険レベルを第３の危険レベルとして特定すること、または
前記目標対象物の状態が異常状態であり、且つ前記距離が第２の距離閾値よりも大きい場合、前記目標対象物の危険レベルを第４の危険レベルとして特定することを含む。
【００９２】
可能な実施形態では、前記特定モジュールは、
前記目標対象物と前記現在対象物との間の衝突時間を予測することと、
前記目標対象物の状態および前記衝突時間に基づいて、前記目標対象物の危険レベルを特定することに用いられる。
【００９３】
可能な実施形態では、前記目標対象物の状態は正常状態を含み、前記危険レベルは第５の危険レベルおよび第６の危険レベルを含み、前記目標対象物の状態および前記衝突時間に基づいて前記目標対象物の危険レベルを特定することは、
前記目標対象物の状態が正常状態であり、且つ前記衝突時間が第１の時間閾値以下である場合、前記目標対象物の危険レベルを第５の危険レベルとして特定すること、または
前記目標対象物の状態が正常状態であり、且つ前記衝突時間が第１の時間閾値よりも大きい場合、前記目標対象物の危険レベルを第６の危険レベルとして特定することを含む。
【００９４】
可能な実施形態では、前記目標対象物の状態は異常状態を含み、前記危険レベルは第７の危険レベルおよび第８の危険レベルを含み、前記目標対象物の状態および前記衝突時間に基づいて前記目標対象物の危険レベルを特定することは、
前記目標対象物の状態が異常状態であり、且つ前記衝突時間が第２の時間閾値以下である場合、前記目標対象物の危険レベルを第７の危険レベルとして特定すること、または
前記目標対象物の状態が異常状態であり、且つ前記衝突時間が第２の時間閾値よりも大きい場合、前記目標対象物の危険レベルを第８の危険レベルとして特定することを含む。
【００９５】
可能な実施形態では、前記目標対象物は、歩行者、車両、動物、植物、障害物、ロボット及び建築物の少なくとも１つを含む。
【００９６】
可能な実施形態では、前記目標対象物が歩行者である場合、前記目標対象物の状態は、運動状態、肢体状態および属性状態の１つまたは任意の組み合わせを含む。
ここで、前記運動状態は、位置、速度、加速度及び移動方向の１つまたは任意の組み合わせを含む。
前記肢体状態は、物を拾うこと、及びうつむくことの１つまたは任意の組み合わせを含む。
前記属性状態は、年齢状態及び身体状態の１つまたは任意の組み合わせを含む。
【００９７】
可能な実施形態では、前記目標対象物が車両である場合、前記目標対象物の状態は、運動状態、行動状態および属性状態の１つまたは任意の組み合わせを含む。
ここで、前記運動状態は、位置、速度、加速度及び方向の１つまたは任意の組み合わせを含む。
前記行動状態は、危険運転状態の１つまたは任意の組み合わせを含む。
前記属性状態は、自動車、非自動車及び車種の１つまたは任意の組み合わせを含む。
【００９８】
本開示の実施例では、現在対象物が撮像した画像中の目標対象物を検出し、目標対象物の危険レベルを特定し、対応する衝突制御を行うことによって、目標対象物に対する正確且つ適切な衝突制御を達成する。
【００９９】
本開示の実施例は、プロセッサにより実行されると、上記衝突制御方法を実現させるコンピュータプログラム命令が記憶されているコンピュータ読取可能な記憶媒体をさらに提供する。コンピュータ読取可能な記憶媒体は非揮発性コンピュータ読み取り可能な記憶媒体であってもよい。
【０１００】
本開示の実施例は、電子機器内で実行されると、前記電子機器のプロセッサに上記衝突制御方法を実現させるためのコンピュータ読取可能なコードを含むコンピュータプログラムをさらに提供する。
【０１０１】
本開示の実施例は、プロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリとを含み、前記プロセッサは前記実行可能コマンドを直接的または間接的に呼び出すことによって上記衝突制御方法を実行する、電子機器をさらに提供する。
【０１０２】
図７は本開示の一実施例による電子機器のブロック図を示す。電子機器は端末、サーバ又は他の形態の装置として提供されてもよい。前記電子機器は衝突制御のための装置８００を含む。例えば、装置８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレット装置、医療機器、フィットネス器具、パーソナル・デジタル・アシスタント、車載装置などの端末であってもよい。
【０１０３】
図７に示すように、装置８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つ以上を含んでもよい。
【０１０４】
処理コンポーネント８０２は通常、装置８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、命令を実行して上記方法の全てまたは一部のステップを実行するための一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。
【０１０５】
メモリ８０４は、装置８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、装置８００において操作されるあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどのあらゆるタイプの揮発性または非揮発性記憶装置またはそれらの組み合わせによって実現できる。
【０１０６】
電源コンポーネント８０６は装置８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および装置８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。
【０１０７】
マルチメディアコンポーネント８０８は前記装置８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するために、タッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャを検知するために、一つ以上のタッチセンサを含む。前記タッチセンサは、タッチまたはスライド動作の境界のみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または後面カメラを含む。装置８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または後面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび後面カメラは固定された光学レンズ系、または焦点距離および光学ズーム機能を有するものであってもよい。
【０１０８】
オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、マイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は装置８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
【０１０９】
Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。
【０１１０】
センサコンポーネント８１４は装置８００の各面の状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント８１４は装置８００のオン／オフ状態、例えば装置８００の表示装置およびキーパッドであるコンポーネントの相対的位置決めを検出することができる。センサコンポーネント８１４はさらに、装置８００または装置８００のあるコンポーネントの位置の変化、ユーザと装置８００との接触の有無、装置８００の方位または加減速および装置８００の温度変化を検出することができる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成された近接センサを含んでもよい。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用される光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４は加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。
【０１１１】
通信コンポーネント８１６は装置８００と他の装置との間の有線または無線通信を実現するように構成される。装置８００は通信規格に基づく無線ネットワーク、例えばＷｉ-Ｆｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネル経由で外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６は近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールをさらに含む。例えば、ＮＦＣモジュールでは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。
【０１１２】
例示的な実施例では、装置８００は、一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。
【０１１３】
例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能な記憶媒体、例えば、コンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は装置８００のプロセッサ８２０によって実行されると、上記方法を実行させることができる。
【０１１４】
本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品はプロセッサに本開示の各方面を実現させるためのコンピュータ読み取り可能なプログラム命令を有しているコンピュータ読み取り可能な記憶媒体を含んでもよい。
【０１１５】
コンピュータ読み取り可能な記憶媒体は命令実行装置において使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ読み取り可能な記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のさらに具体的な例（非包括的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造ような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能な記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。
【０１１６】
ここで記述したコンピュータ読み取り可能なプログラム命令はコンピュータ読み取り可能な記憶媒体から各計算／処理機器にダウンロードされてもよいし、または、ネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークを介して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ読み取り可能プログラム命令を受信して転送して、各計算／処理機器内のコンピュータ読み取り可能な記憶媒体に記憶させる。
【０１１７】
本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ読み取り可能なプログラム命令を実行することにより、本開示の各方面を実現するようにしてもよい。
【０１１８】
ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明したが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能プログラム命令によって実現できることを理解すべきである。
【０１１９】
これらのコンピュータ読み取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されて、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現するように機械を製造してもよい。また、これらのコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体に記憶し、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。命令を記憶しているコンピュータ読み取り可能な記憶媒体には、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現するための命令を有する製品を含む
【０１２０】
コンピュータ読み取り可能なプログラムはコンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードし、コンピュータ、他のプログラマブルデータ処理装置または他の機器において一連の動作ステップを実行させることにより、コンピュータにより実現されるプロセスを生成し、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令によりフローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。
【０１２１】
図面のうち、フローチャートおよびブロック図は本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は図面に付した順序と異なって実現してもよい。例えば、二つの連続的なブロックは実質的に同時に実行してもよく、また、係る機能によって、逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現されてもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現されてもよい。
【０１２２】
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ開示された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または市場における技術への技術的改善を好適に解釈するか、または他の当業者に本文に開示された各実施例を理解させるためのものである。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
現在対象物が撮像した画像中の目標対象物を検出することと、
前記目標対象物の危険レベルを特定することと、
前記危険レベルに対応する衝突制御を実行することと、を含むことを特徴とする衝突制御方法。
【請求項２】
前記現在対象物が撮像した画像中の目標対象物を検出することは、
現在対象物が撮像した画像中の目標対象物の状態を検出することを含み、
前記目標対象物の危険レベルを特定することは、
前記目標対象物の状態に基づいて、前記目標対象物の危険レベルを特定することを含む、及び/又は、
前記現在対象物は走行対象物を含み、
前記危険レベルに対応する衝突制御を実行することは、
前記危険レベルに対応する衝突警告を実行すること、および／または
前記危険レベルに対応する、走行方向の変更、走行速度の変更及び停止の少なくとも一つを含む運転制御を実行することを含む、及び/又は、
前記現在対象物は静止対象物を含み、
前記危険レベルに対応する衝突制御を実行することは、
前記危険レベルに対応する衝突警告を実行することを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記目標対象物の危険レベルを特定することは、
前記目標対象物と前記現在対象物との間の距離を決定し、前記目標対象物の状態および前記距離に基づいて、前記目標対象物の危険レベルを特定すること、及び/又は、
前記目標対象物と前記現在対象物との間の衝突時間を予測し、前記目標対象物の状態および前記衝突時間に基づいて、前記目標対象物の危険レベルを特定すること、を含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記目標対象物の状態は正常状態を含み、
前記危険レベルは第１の危険レベルおよび第２の危険レベルを含み、
前記目標対象物の状態および前記距離に基づいて前記目標対象物の危険レベルを特定することは、
前記目標対象物の状態が正常状態であり、且つ前記距離が第１の距離閾値以下である場合、前記目標対象物の危険レベルを第１の危険レベルとして特定すること、または
前記目標対象物の状態が正常状態であり、且つ前記距離が第１の距離閾値よりも大きい場合、前記目標対象物の危険レベルを第２の危険レベルとして特定することを含む、及び/又は、
前記目標対象物の状態は異常状態を含み、
前記危険レベルは第３の危険レベルおよび第４の危険レベルを含み、
前記目標対象物の状態および前記距離に基づいて前記目標対象物の危険レベルを特定することは、
前記目標対象物の状態が異常状態であり、且つ前記距離が第２の距離閾値以下である場合、前記目標対象物の危険レベルを第３の危険レベルとして特定すること、または
前記目標対象物の状態が異常状態であり、且つ前記距離が第２の距離閾値よりも大きい場合、前記目標対象物の危険レベルを第４の危険レベルとして特定することを含む、及び/又は、
前記目標対象物の状態は正常状態を含み、
前記危険レベルは第５の危険レベルおよび第６の危険レベルを含み、
前記目標対象物の状態および前記衝突時間に基づいて前記目標対象物の危険レベルを特定することは、
前記目標対象物の状態が正常状態であり、且つ前記衝突時間が第１の時間閾値以下である場合、前記目標対象物の危険レベルを第５の危険レベルとして特定すること、または
前記目標対象物の状態が正常状態であり、且つ前記衝突時間が第１の時間閾値よりも大きい場合、前記目標対象物の危険レベルを第６の危険レベルとして特定することを含む、及び/又は、
前記目標対象物の状態は異常状態を含み、
前記危険レベルは第７の危険レベルおよび第８の危険レベルを含み、
前記目標対象物の状態および前記衝突時間に基づいて前記目標対象物の危険レベルを特定することは、
前記目標対象物の状態が異常状態であり、且つ前記衝突時間が第２の時間閾値以下である場合、前記目標対象物の危険レベルを第７の危険レベルとして特定すること、または
前記目標対象物の状態が異常状態であり、且つ前記衝突時間が第２の時間閾値よりも大きい場合、前記目標対象物の危険レベルを第８の危険レベルとして特定することを含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記目標対象物は、歩行者、車両、動物、植物、障害物、ロボット及び建築物の少なくとも１つを含み、
前記目標対象物が歩行者である場合、前記目標対象物の状態は、
位置、速度、加速度及び移動方向の１つまたは任意の組み合わせを含む運動状態と、
物を拾うこと、うつむくこと、携帯電話を見ていること、電話すること、およびタバコを吸うことの１つまたは任意の組み合わせを含む肢体状態と、
年齢状態及び身体状態の１つまたは任意の組み合わせを含む属性状態と、の１つまたは任意の組み合わせを含み、
前記目標対象物の状態は、異常状態を含み、前記異常状態は、運動状態、肢体状態および属性状態の１つまたは複数に基づいて特定されてる、及び/又は、
前記目標対象物が車両である場合、前記目標対象物の状態は、
位置、速度、加速度及び方向の１つまたは任意の組み合わせを含む運動状態と、
車両走行中に左右に揺れることが含まれる危険運転状態の１つまたは任意の組み合わせを含む行動状態と、
自動車、非自動車及び車種の１つまたは任意の組み合わせを含む属性状態と、の１つまたは任意の組み合わせを含む、ことを特徴とする請求項１〜４のいずれか１項に記載の方法。
【請求項６】
現在対象物が撮像した画像中の目標対象物を検出するための検出モジュールと、
前記目標対象物の危険レベルを特定するための特定モジュールと、
前記危険レベルに対応する衝突制御を実行するための実行モジュールと、を含むことを特徴とする衝突制御装置。
【請求項７】
プロセッサと、
プロセッサにより実行可能なコマンドを記憶するためのメモリとを含み、
前記プロセッサは、前記実行可能なコマンドを直接的または間接的に呼び出すことによって請求項１〜５のいずれか１項に記載の方法を実行することを特徴とする電子機器。
【請求項８】
コンピュータプログラム命令が記憶されているコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラム命令は、プロセッサによって実行されると、請求項１〜５のいずれか１項に記載の方法を実現させることを特徴とするコンピュータ読取可能な記憶媒体。
【請求項９】
電子機器内で実行されると、前記電子機器のプロセッサに、請求項１〜５のいずれか１項に記載の方法を実行させるためのコンピュータ読取可能なコードを含むコンピュータプログラム。
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2021508902.tif 000010
【図２】
2021508902.tif 000011
【図３】
2021508902.tif 000012
【図４】
2021508902.tif 000013
【図５】
2021508902.tif 000014
【図６】
2021508902.tif 000015
【図７】
2021508902.tif 000016
【国際調査報告】
2021508902.tif 000017
2021508902.tif 000018
2021508902.tif 000019
2021508902.tif 000020
2021508902.tif 000021
2021508902.tif 000022