(57)【要約】【課題】スマートフォンを利用する歩行者を保護するための先端歩行者補助システムの提供方法及び装置。【解決手段】スマートフォンが、位置追跡ユニットをもって、歩行者の位置情報及び速度情報と、スマートフォンの位置情報及び速度情報とを含む第１情報を取得するようにする段階；検出ユニットをもって、スマートフォンに連動されたスマートフォンカメラによって取得されたイメージ及び第１情報を参照にして、歩行者に隣接した危険領域の危険状態と、危険物体の位置情報及び速度情報とを含む第２情報を取得するようにする段階；及び制御ユニットをもって、第１情報及び第２情報を参照にして、歩行者の歩行安全度を計算した後、歩行者に危険通知をスマートフォンによって伝送するようにする段階；を含む。【選択図】図１
2020126612.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一つのスマートフォンを利用する少なくとも一人の歩行者を保護するための先端歩行者補助システム（Ａｄｖａｎｃｅｄ  Ｐｅｄｅｓｔｒｉａｎ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）を提供する方法において、
（ａ）前記スマートフォンが、少なくとも一つの位置追跡ユニットをもって、少なくとも一つの高精度地図（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍａｐ、ＨＤ Ｍａｐ）と、少なくとも一つのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）と、少なくとも一つのＩＭＵ（ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）に含まれた少なくとも一つの加速度センサ及び少なくとも一つのジャイロセンサから取得された情報との中の少なくとも一部を参照にして、前記歩行者の位置情報及び速度情報と、前記スマートフォンの位置情報及び速度情報の中の少なくとも一部とを含む第１情報を取得するようにする段階；
（ｂ）前記スマートフォンが、少なくとも一つの検出ユニットをもって、前記スマートフォンに連動された一つ以上のスマートフォンカメラによって取得されたイメージのうち少なくとも一部及び前記第１情報を参照にして、前記歩行者に隣接した危険領域それぞれの危険状態と、危険物体の位置情報及び速度情報とを含む第２情報を取得するようにする段階；及び
（ｃ）前記スマートフォンが、少なくとも一つの制御ユニットをもって、前記第１情報及び前記第２情報を参照にして、前記歩行者の少なくとも一つの歩行安全度を計算した後、前記歩行者に危険通知を前記スマートフォンによって伝送するようにする段階；
を含むことを特徴とする方法。
【請求項２】
（ｄ）前記スマートフォンが、前記制御ユニットをもって、前記第１情報及び前記第２情報の中の少なくとも一部を、前記歩行者に隣接した少なくとも一つの車両と、少なくとも一つのＣＣＴＶと、少なくとも一人の他の歩行者の少なくとも一つの他のスマートフォンと、少なくとも一つの交通信号機とを含む、前記歩行者に隣接したコネクテッドデバイス（ｃｏｎｎｅｃｔｅｄ ｄｅｖｉｃｅ）のうち、少なくとも一部に転送し、前記コネクテッドデバイスのうち、少なくとも一部は、前記危険物体の中の少なくとも一部である段階；
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記（ｄ）段階において、
前記スマートフォンが、前記制御ユニットをもって、前記第１情報及び前記第２情報の中の少なくとも一部を前記歩行者に隣接した前記コネクテッドデバイスのうち少なくとも一部に転送するようにすることで、前記コネクテッドデバイスをもって、前記第１情報及び前記第２情報の中の少なくとも一部を参照にして前記危険物体と、前記歩行者との間で衝突する危険度を下げる方向で動作することを特徴とする請求項２に記載の方法。
【請求項４】
前記（ｃ）段階で、
前記スマートフォンが、前記制御ユニットをもって、第３情報を追加的に参照にして、前記歩行安全度を判断するようにし、
前記第３情報は、前記スマートフォンが前記制御ユニットをもって、前記歩行者に隣接した少なくとも一つの車両と、少なくとも一つのＣＣＴＶと、少なくとも一人の他の歩行者の少なくとも一つの他のスマートフォンと、少なくとも一つの交通信号機とを含む、前記歩行者に隣接したコネクテッドデバイスの中の少なくとも一部と通信するようにして生成された前記歩行者周辺の事項に関する情報を含み、前記コネクテッドデバイスの中の少なくとも一部は、前記危険物体の中の少なくとも一部であることを特徴とする請求項１に記載の方法。
【請求項５】
前記第３情報は、第３−１情報及び第３−２情報のうち、少なくとも一部を含み、
前記第３−１情報は、前記スマートフォンに連動された前記スマートフォンカメラの少なくとも一つの仮想ビューイングフラスタム（Ｖｉｒｔｕａｌ Ｖｉｅｗｉｎｇ Ｆｒｕｓｔｕｍ）及び前記コネクテッドデバイスに連動された少なくとも一つの外部カメラの少なくとも一つの仮想ビューイングフラスタムに同時に含まれている第１特定危険物体の位置情報及び速度情報を含み、
前記第３−２情報は、前記スマートフォンに連動された前記スマートフォンカメラの前記仮想ビューイングフラスタムには含まれていないが、前記コネクテッドデバイスに連動された前記外部カメラの前記仮想ビューイングフラスタムには含まれている第２特定危険物体の位置情報及び速度情報を含み、
前記スマートフォンが、前記制御ユニットをもって、前記第３−１情報を参照にして前記第２情報の信頼性を検証し、前記第３−２情報を参照にして少なくとも一つの未検出危険物体に対する情報を取得するようにすることを特徴とする請求項４に記載の方法。
【請求項６】
前記（ｃ）段階で、
前記スマートフォンが、前記制御ユニットをもって（ｉ）前記第３情報に含まれた、前記歩行者に隣接した交通信号機の位置情報及び信号状態情報と（ｉｉ）前記第１情報に含まれた、前記歩行者の前記位置情報及び前記速度情報を参照にして、前記歩行者の関心交通信号機情報を生成し、前記関心交通信号機情報を参照にして、前記歩行者に前記スマートフォンによって追加交通信号機通知を前記歩行者に送信するようにすることを特徴とする請求項４に記載の方法。
【請求項７】
前記第３情報は、（ｉ）前記歩行者に隣接した前記車両の位置と速度、（ｉｉ）前記歩行者に隣接した前記ＣＣＴＶを参照して取得された、前記歩行者に隣接した前記危険物体の位置と速度、（ｉｉｉ）前記少なくとも一人の歩行者の位置と速度、及び（ｉｖ）前記歩行者に隣接した交通信号機の位置情報及び信号状態情報を含むことを特徴とする請求項４に記載の方法。
【請求項８】
前記スマートフォンが、前記制御ユニットを利用して、前記スマートフォンカメラにより取得された前記イメージに対応する、前記高精度地図上の少なくとも一つの領域の広さが閾値以下であることを感知した場合、前記制御ユニットをもって、前記スマートフォンによって前記歩行者に感知不能通知を伝送させることを特徴とする請求項１に記載の方法。
【請求項９】
前記スマートフォンが、少なくとも一つのセグメンティングユニットによって取得された、前記スマートフォンカメラの少なくとも一つのレンズを隠している、少なくとも一つの妨害物体によるブラインド情報、及び前記歩行者を中心とした３次元空間において前記歩行者の移動面を定義する法線ベクトルと、前記スマートフォンカメラの少なくとも一つの仮想ビューイングフラスタムの中心軸との間の角度に対する角度情報のうち、少なくとも一部を参照にして、前記領域の広さが前記限界値以下である少なくとも一つの原因を判断し、前記スマートフォンによって、前記原因それぞれに応じて前記歩行者にそれぞれ異なった警告通知を伝送することを特徴とする請求項８に記載の方法。
【請求項１０】
前記（ｃ）段階で、
前記スマートフォンが、前記制御ユニットをもって、前記第１情報及び前記第２情報を参照にして、前記歩行者と、それに隣接した前記危険物体とが時間閾値内に衝突する危険度の確率を判断することにより、前記歩行安全度を生成するようにすることを特徴とする請求項１に記載の方法。
【請求項１１】
前記スマートフォンが、前記制御ユニットをもって、前記歩行安全度を向上させるため、前記歩行者に行動指針を与える通知を前記スマートフォンによって追加的に伝送するようにすることを特徴とする請求項１０に記載の方法。
【請求項１２】
前記スマートフォンが、前記制御ユニットをもって、（ｉ）前記第１情報に含まれた加速度センサ情報を参照にして、前記歩行者の移動速度変化を予測できる歩行者移動予測モデルを生成し、（ｉｉ）前記歩行者移動予測モデルを参照にして、前記歩行者が前記時間閾値内に前記歩行者に隣接したそれぞれの領域に移動する確率である歩行者移動確率を計算した後、（ｉｉｉ）前記第２情報の中の少なくとも一部を参照にして、前記危険物体の移動速度変化を予測できる危険物体移動予測モデルを生成し、（ｉｖ）前記危険物体移動予測モデルを参照にして、前記危険物体が前記時間閾値内に前記危険物体に隣接したそれぞれの領域に移動する確率である危険物体移動確率を計算した後、（ｖ）前記歩行者移動確率及び前記危険物体移動確率を参照にして、前記歩行安全度を生成させることを特徴とする請求項１０に記載の方法。
【請求項１３】
前記（ｃ）段階で、
前記スマートフォンが、前記制御ユニットをもって、前記第１情報及び前記第２情報に含まれた、前記歩行者の前記位置情報及び前記速度情報と、前記危険領域に対する情報とを参照にして、前記歩行者が前記危険領域の中の一つに移動するか否かを判断するようにすることで、前記歩行安全度を生成することを特徴とする請求項１に記載の方法。
【請求項１４】
前記スマートフォンが、前記制御ユニットをもって、（ｉ）前記歩行者の移動速度変化を予測できる歩行者移動予測モデルを生成し、（ｉｉ）前記歩行者移動予測モデルを参照にして、前記歩行者が前記歩行者に隣接したそれぞれの隣接領域に移動する歩行者移動確率を計算した後、（ｉｉｉ）前記歩行者移動確率及びそれぞれの前記隣接領域がそれぞれの前記危険領域に対応するかを参照にして、前記歩行安全度を生成するようにすることを特徴とする請求項１３に記載の方法。
【請求項１５】
前記（ｂ）段階で、
前記スマートフォンが、前記検出ユニットをもって、（ｉ）前記検出ユニットに含まれている少なくとも一つのコンボリューションレイヤと、少なくとも一つのＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）と、少なくとも一つのＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）レイヤとを利用して、それぞれの前記イメージに含まれた、前記歩行者に隣接した前記危険物体を検出するようにし、（ｉｉ）スマートフォンカメラの少なくとも一つの焦点距離と関連したキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）情報及び前記第１情報を参照にして、前記検出された危険物体に関する前記第２情報を取得するようにすることを特徴とする請求項１に記載の方法。
【請求項１６】
スマートフォンを利用する少なくとも一人の歩行者を保護するための先端歩行者補助システムを提供する前記スマートフォンにおいて、
各インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）少なくとも一つの位置追跡ユニットをもって、少なくとも一つの高精度地図（ＨＤ Ｍａｐ）と、少なくとも一つのＧＰＳと、少なくとも一つのＩＭＵに含まれている少なくとも一つの加速度センサ及び少なくとも一つのジャイロセンサから取得された情報との中の少なくとも一部を参照にして、前記歩行者の位置情報及び速度情報と、前記スマートフォンの位置情報及び速度情報の中の少なくとも一部とを含む第１情報を取得するようにするプロセス、（ＩＩ）少なくとも一つの検出ユニットをもって、前記スマートフォンに連動された一つ以上のスマートフォンカメラによって取得されたイメージのうち少なくとも一部及び前記第１情報を参照にして、前記歩行者に隣接した危険領域それぞれの危険状態と、危険物体の位置情報及び速度情報とを含む第２情報を取得するようにするプロセス、及び（ＩＩＩ）少なくとも一つの制御ユニットをもって、前記第１情報及び前記第２情報を参照にして、前記歩行者の少なくとも一つの歩行安全度を計算した後、前記歩行者に危険通知を前記スマートフォンによって伝送するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とするスマートフォン。
【請求項１７】
前記プロセッサが、
（ＩＶ）前記制御ユニットをもって、前記第１情報及び前記第２情報の中の少なくとも一部を、前記歩行者に隣接した少なくとも一つの車両と、少なくとも一つのＣＣＴＶと、少なくとも一人の他の歩行者の少なくとも一つの他のスマートフォンと、少なくとも一つの交通信号機とを含む、前記歩行者に隣接したコネクテッドデバイスのうち、少なくとも一部に転送し、前記コネクテッドデバイスのうち、少なくとも一部は、前記危険物体の中の少なくとも一部であるプロセス；
をさらに遂行することを特徴とする請求項１６に記載のスマートフォン。
【請求項１８】
前記（ＩＶ）プロセスで、
前記プロセッサが、前記制御ユニットをもって、前記第１情報及び前記第２情報の中の少なくとも一部を前記歩行者に隣接した前記コネクテッドデバイスのうち少なくとも一部に転送するようにすることで、前記コネクテッドデバイスをもって、前記第１情報及び前記第２情報の中の少なくとも一部を参照にして前記危険物体と、前記歩行者との間で衝突する危険度を下げる方向で動作するようにすることを特徴とする請求項１７に記載のスマートフォン。
【請求項１９】
前記（ＩＩＩ）プロセスで、
前記プロセッサが、前記制御ユニットをもって、第３情報を追加的に参照にして、前記歩行安全度を判断するようにし、
前記第３情報は、前記プロセッサが前記制御ユニットをもって、前記歩行者に隣接した少なくとも一つの車両と、少なくとも一つのＣＣＴＶと、少なくとも一人の他の歩行者の少なくとも一つの他のスマートフォンと、少なくとも一つの交通信号機とを含む、前記歩行者に隣接したコネクテッドデバイスの中の少なくとも一部と通信するようにして生成された前記歩行者周辺の事項に関する情報を含み、前記コネクテッドデバイスの中の少なくとも一部は、前記危険物体の中の少なくとも一部であることを特徴とする請求項１６に記載のスマートフォン。
【請求項２０】
前記第３情報は、第３−１情報及び第３−２情報のうち、少なくとも一部を含み、
前記第３−１情報は、前記スマートフォンに連動された前記スマートフォンカメラの少なくとも一つの仮想ビューイングフラスタム及び前記コネクテッドデバイスに連動された少なくとも一つの外部カメラの少なくとも一つの仮想ビューイングフラスタムに同時に含まれている第１特定危険物体の位置情報及び速度情報を含み、
前記第３−２情報は、前記スマートフォンに連動された前記スマートフォンカメラの前記仮想ビューイングフラスタムには含まれていないが、前記コネクテッドデバイスに連動された前記外部カメラの前記仮想ビューイングフラスタムには含まれている第２特定危険物体の位置情報及び速度情報を含み、
前記プロセッサが、前記制御ユニットをもって、前記第３−１情報を参照にして前記第２情報の信頼性を検証し、前記第３−２情報を参照にして少なくとも一つの未検出危険物体に対する情報を取得するようにすることを特徴とする請求項１９に記載のスマートフォン。
【請求項２１】
前記（ＩＩＩ）プロセスで、
前記プロセッサが、前記制御ユニットをもって、（ｉ）前記第３情報に含まれた、前記歩行者に隣接した交通信号機の位置情報及び交通信号機状態情報と（ｉｉ）前記第１情報に含まれた、前記歩行者の前記位置情報及び前記速度情報を参照にして、前記歩行者の関心交通信号機情報を生成し、前記関心交通信号機情報を参照にして、前記歩行者に前記スマートフォンによって追加交通信号機通知を前記歩行者に送信するようにすることを特徴とする請求項１９に記載のスマートフォン。
【請求項２２】
前記第３情報は、（ｉ）前記歩行者に隣接した前記車両の位置と速度、（ｉｉ）前記歩行者に隣接した前記ＣＣＴＶを参照して取得された、前記歩行者に隣接した前記危険物体の位置と速度、（ｉｉｉ）前記少なくとも一人の歩行者の位置と速度、及び（ｉｖ）前記歩行者に隣接した交通信号機の位置情報及び信号状態情報を含むことを特徴とする請求項１９に記載のスマートフォン。
【請求項２３】
前記プロセッサが、前記制御ユニットを利用して、前記スマートフォンカメラにより取得された前記イメージに対応する、前記高精度地図上の少なくとも一つの領域の広さが閾値以下であることを感知した場合、前記制御ユニットをもって、前記スマートフォンによって前記歩行者に感知不能通知を伝送させることを特徴とする請求項１６に記載のスマートフォン。
【請求項２４】
前記プロセッサが、少なくとも一つのセグメンティングユニットによって取得された、前記スマートフォンカメラの少なくとも一つのレンズを隠している、少なくとも一つの妨害物体に対するブラインド情報、及び前記歩行者を中心とした３次元空間において前記歩行者の移動面を定義する法線ベクトルと、前記スマートフォンカメラの少なくとも一つの仮想ビューイングフラスタムの中心軸との間の角度に対する角度情報のうち、少なくとも一部を参照にして、前記領域の広さが前記限界値以下である少なくとも一つの原因を判断して、前記スマートフォンによって、前記原因それぞれに応じて前記歩行者にそれぞれ異なった警告通知を伝送することを特徴とする請求項２３に記載のスマートフォン。
【請求項２５】
前記（ＩＩＩ）プロセスで、
前記プロセッサが、前記制御ユニットをもって、前記第１情報及び前記第２情報を参照にして、前記歩行者と、前記歩行者に隣接した前記危険物体とが時間閾値内に衝突する危険度の確率を判断することにより、前記歩行安全度を生成するようにすることを特徴とする請求項１６に記載のスマートフォン。
【請求項２６】
前記プロセッサが、前記制御ユニットをもって、前記歩行安全度を向上させるため、前記歩行者に行動指針を与える通知を前記スマートフォンによって追加的に伝送するようにすることを特徴とする請求項２５に記載のスマートフォン。
【請求項２７】
前記プロセッサが、前記制御ユニットをもって、（ｉ）前記第１情報に含まれた加速度センサ情報を参照にして、前記歩行者の移動速度変化を予測できる歩行者移動予測モデルを生成し、（ｉｉ）前記歩行者移動予測モデルを参照にして、前記歩行者が前記時間閾値内に前記歩行者に隣接したそれぞれの領域に移動する確率である歩行者移動確率を計算した後、（ｉｉｉ）前記第２情報の中の少なくとも一部を参照にして、前記危険物体の移動速度変化を予測できる危険物体移動予測モデルを生成し、（ｉｖ）前記危険物体移動予測モデルを参照にして、前記危険物体が前記時間閾値内に前記危険物体に隣接したそれぞれの領域に移動する確率である危険物体移動確率を計算した後、（ｖ）前記歩行者移動確率及び前記危険物体移動確率を参照にして、前記歩行安全度を計算するようにすることを特徴とする請求項２５に記載のスマートフォン。
【請求項２８】
前記（ＩＩＩ）プロセスで、
前記プロセッサが、前記制御ユニットをもって、前記第１情報及び前記第２情報に含まれた、前記歩行者の前記位置情報及び前記速度情報と、前記危険領域に対する情報とを参照にして、前記歩行者が前記危険領域の中の一つに移動するか否かを判断するようにすることで、前記歩行安全度を生成することを特徴とする請求項１６に記載のスマートフォン。
【請求項２９】
前記プロセッサが、前記制御ユニットをもって、（ｉ）前記歩行者の移動速度変化を予測できる歩行者移動予測モデルを生成し、（ｉｉ）前記歩行者移動予測モデルを参照にして、前記歩行者が前記歩行者に隣接したそれぞれの隣接領域に移動する歩行者移動確率を計算した後、（ｉｉｉ）前記歩行者移動確率及びそれぞれの前記隣接領域がそれぞれの前記危険領域に対応するかを参照にして、前記歩行安全度を生成するようにすることを特徴とする請求項２８に記載のスマートフォン。
【請求項３０】
前記（ＩＩ）プロセスで、
前記プロセッサが、前記検出ユニットをもって、（ｉ）前記検出ユニットに含まれている少なくとも一つのコンボリューションレイヤと、少なくとも一つのＲＰＮと、少なくとも一つのＦＣレイヤを利用して、それぞれの前記イメージに含まれた、前記歩行者に隣接した前記危険物体を検出するようにし、（ｉｉ）前記スマートフォンカメラの少なくとも一つの焦点距離と関連したキャリブレーション情報及び前記第１情報を参照にして、前記検出された危険物体に関する前記第２情報を取得するようにすることを特徴とする請求項１６に記載のスマートフォン。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、少なくとも一つのスマートフォンを利用する少なくとも一人の歩行者を保護するための先端歩行者補助システム（Ａｄｖａｎｃｅｄ  Ｐｅｄｅｓｔｒｉａｎ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）を提供する方法及び、これを利用したスマートフォンに関する。
【背景技術】
【０００２】
最近、「歩きスマホ」を意味する「スモンビ（Ｓｍｏｍｂｉｅ）」、すなわちスマートフォン・ゾンビという言葉が流行るほど、スマートフォンに集中したあまり、周辺をよく察することができず、危険にさらされる歩行者が多い。このようなスモンビは、自分自身を危険に陥らせるだけでなく、他人にも危険を与える恐れがあるため、社会的に大きな問題になり得る。
【０００３】
スモンビを保護するため、スモンビが歩行中、長い間画面を見つめている場合など、スモンビに単に警告を与えるスマートフォンアプリケーションがあるが、前記アプリケーションは単純すぎてスモンビに生じ得る多くの危険状況については警告できないという弱点がある。
【０００４】
つまり、スモンビの安全とスモンビ周辺の人々のための包括的で精巧な警告システムは皆無であることが現実だ。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、前述した問題点を解決することを目的とする。
【０００６】
本発明は、少なくとも一つのスマートフォンを利用する少なくとも一人の歩行者を保護するための先端歩行者補助システム（Ａｄｖａｎｃｅｄ  Ｐｅｄｅｓｔｒｉａｎ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）を提供することで、その周辺及び他の歩行者を保護することを目的とする。
【課題を解決するための手段】
【０００７】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は次の通りである。
【０００８】
本発明の一態様によれば、少なくとも一つのスマートフォンを利用する少なくとも一人の歩行者を保護するための先端歩行者補助システム（Ａｄｖａｎｃｅｄ  Ｐｅｄｅｓｔｒｉａｎ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）を提供する方法において、（ａ）前記スマートフォンが、少なくとも一つの位置追跡ユニットをもって、少なくとも一つの高精度地図（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍａｐ、ＨＤ Ｍａｐ）と、少なくとも一つのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）と、少なくとも一つのＩＭＵ（ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）に含まれた少なくとも一つの加速度センサ及び少なくとも一つのジャイロセンサから取得された情報との中の少なくとも一部を参照にして、前記歩行者の位置情報及び速度情報と、前記スマートフォンの位置情報及び速度情報の中の少なくとも一部とを含む第１情報を取得するようにする段階；（ｂ）前記スマートフォンが、少なくとも一つの検出ユニットをもって、前記スマートフォンに連動された一つ以上のスマートフォンカメラによって取得されたイメージのうち少なくとも一部及び前記第１情報を参照にして、前記歩行者に隣接した危険領域それぞれの危険状態と、危険物体の位置情報及び速度情報とを含む第２情報を取得するようにする段階；及び（ｃ）前記スマートフォンが、少なくとも一つの制御ユニットをもって、前記第１情報及び前記第２情報を参照にして、前記歩行者の少なくとも一つの歩行安全度を計算した後、前記歩行者に危険通知を前記スマートフォンによって伝送するようにする段階；を含むことを特徴とする方法が開示される。
【０００９】
一例として、（ｄ）前記スマートフォンが、前記制御ユニットをもって、前記第１情報及び前記第２情報の中の少なくとも一部を、前記歩行者に隣接した少なくとも一つの車両と、少なくとも一つのＣＣＴＶと、少なくとも一人の他の歩行者の少なくとも一つの他のスマートフォンと、少なくとも一つの交通信号機とを含む、前記歩行者に隣接したコネクテッドデバイス（ｃｏｎｎｅｃｔｅｄ ｄｅｖｉｃｅ）のうち、少なくとも一部に転送し、前記コネクテッドデバイスのうち、少なくとも一部は、前記危険物体の中の少なくとも一部である段階；をさらに含むことを特徴とする。
【００１０】
一例として、前記（ｄ）段階において、前記スマートフォンが、前記制御ユニットをもって、前記第１情報及び前記第２情報の中の少なくとも一部を前記歩行者に隣接した前記コネクテッドデバイスのうち少なくとも一部に転送するようにすることで、前記コネクテッドデバイスをもって、前記第１情報及び前記第２情報の中の少なくとも一部を参照にして前記危険物体と、前記歩行者との間で衝突する危険度を下げる方向で動作することを特徴とする。
【００１１】
一例として、前記（ｃ）段階で、前記スマートフォンが、前記制御ユニットをもって、第３情報を追加的に参照にして、前記歩行安全度を判断するようにし、前記第３情報は、前記スマートフォンが前記制御ユニットをもって、前記歩行者に隣接した少なくとも一つの車両と、少なくとも一つのＣＣＴＶと、少なくとも一人の他の歩行者の少なくとも一つの他のスマートフォンと、少なくとも一つの交通信号機とを含む、前記歩行者に隣接したコネクテッドデバイスの中の少なくとも一部と通信するようにして生成された前記歩行者周辺の事項に関する情報を含み、前記コネクテッドデバイスの中の少なくとも一部は、前記危険物体の中の少なくとも一部であることを特徴とする。
【００１２】
一例として、前記第３情報は、第３−１情報及び第３−２情報のうち、少なくとも一部を含み、前記第３−１情報は、前記スマートフォンに連動された前記スマートフォンカメラの少なくとも一つの仮想ビューイングフラスタム（Ｖｉｒｔｕａｌ Ｖｉｅｗｉｎｇ Ｆｒｕｓｔｕｍ）及び前記コネクテッドデバイスに連動された少なくとも一つの外部カメラの少なくとも一つの仮想ビューイングフラスタムに同時に含まれている第１特定危険物体の位置情報及び速度情報を含み、前記第３−２情報は、前記スマートフォンに連動された前記スマートフォンカメラの前記仮想ビューイングフラスタムには含まれていないが、前記コネクテッドデバイスに連動された前記外部カメラの前記仮想ビューイングフラスタムには含まれている第２特定危険物体の位置情報及び速度情報を含み、前記スマートフォンが、前記制御ユニットをもって、前記第３−１情報を参照にして前記第２情報の信頼性を検証し、前記第３−２情報を参照にして少なくとも一つの未検出危険物体に対する情報を取得するようにすることを特徴とする。
【００１３】
一例として、前記（ｃ）段階で、前記スマートフォンが、前記制御ユニットをもって、（ｉ）前記第３情報に含まれた、前記歩行者に隣接した交通信号機の位置情報及び信号状態情報と（ｉｉ）前記第１情報に含まれた、前記歩行者の前記位置情報及び前記速度情報を参照にして、前記歩行者の関心交通信号機情報を生成し、前記関心交通信号機情報を参照にして、前記歩行者に前記スマートフォンによって追加交通信号機通知を前記歩行者に送信するようにすることを特徴とする。
【００１４】
一例として、前記第３情報は、（ｉ）前記歩行者に隣接した前記車両の位置と速度、（ｉｉ）前記歩行者に隣接した前記ＣＣＴＶを参照して取得された、前記歩行者に隣接した前記危険物体の位置と速度、（ｉｉｉ）前記少なくとも一人の歩行者の位置と速度、及び（ｉｖ）前記歩行者に隣接した交通信号機の位置情報及び信号状態情報を含むことを特徴とする。
【００１５】
一例として、前記スマートフォンが、前記制御ユニットを利用して、前記スマートフォンカメラにより取得された前記イメージに対応する、前記高精度地図上の少なくとも一つの領域の広さが閾値以下であることを感知した場合、前記制御ユニットをもって、前記スマートフォンによって前記歩行者に感知不能通知を伝送させることを特徴とする。
【００１６】
一例として、前記スマートフォンが、少なくとも一つのセグメンティングユニットによって取得された、前記スマートフォンカメラの少なくとも一つのレンズを隠している、少なくとも一つの妨害物体によるブラインド情報、及び前記歩行者を中心とした３次元空間において前記歩行者の移動面を定義する法線ベクトルと、前記スマートフォンカメラの少なくとも一つの仮想ビューイングフラスタムの中心軸との間の角度に対する角度情報のうち、少なくとも一部を参照にして、前記領域の広さが前記限界値以下である少なくとも一つの原因を判断し、前記スマートフォンによって、前記原因それぞれに応じて前記歩行者にそれぞれ異なった警告通知を伝送することを特徴とする。
【００１７】
一例として、前記（ｃ）段階で、前記スマートフォンが、前記制御ユニットをもって、前記第１情報及び前記第２情報を参照にして、前記歩行者と、それに隣接した前記危険物体とが時間閾値内に衝突する危険度の確率を判断することにより、前記歩行安全度を生成するようにすることを特徴とする。
【００１８】
一例として、前記スマートフォンが、前記制御ユニットをもって、前記歩行安全度を向上させるため、前記歩行者に行動指針を与える通知を前記スマートフォンによって追加的に伝送するようにすることを特徴とする。
【００１９】
一例として、前記スマートフォンが、前記制御ユニットをもって、（ｉ）前記第１情報に含まれた加速度センサ情報を参照にして、前記歩行者の移動速度変化を予測できる歩行者移動予測モデルを生成し、（ｉｉ）前記歩行者移動予測モデルを参照にして、前記歩行者が前記時間閾値内に前記歩行者に隣接したそれぞれの領域に移動する確率である歩行者移動確率を計算した後、（ｉｉｉ）前記第２情報の中の少なくとも一部を参照にして、前記危険物体の移動速度変化を予測できる危険物体移動予測モデルを生成し、（ｉｖ）前記危険物体移動予測モデルを参照にして、前記危険物体が前記時間閾値内に前記危険物体に隣接したそれぞれの領域に移動する確率である危険物体移動確率を計算した後、（ｖ）前記歩行者移動確率及び前記危険物体移動確率を参照にして、前記歩行安全度を生成させることを特徴とする。
【００２０】
一例として、前記（ｃ）段階で、前記スマートフォンが、前記制御ユニットをもって、前記第１情報及び前記第２情報に含まれた、前記歩行者の前記位置情報及び前記速度情報と、前記危険領域に対する情報とを参照にして、前記歩行者が前記危険領域の中の一つに移動するか否かを判断するようにすることで、前記歩行安全度を生成することを特徴とする。
【００２１】
一例として、前記スマートフォンが、前記制御ユニットをもって、（ｉ）前記歩行者の移動速度変化を予測できる歩行者移動予測モデルを生成し、（ｉｉ）前記歩行者移動予測モデルを参照にして、前記歩行者が前記歩行者に隣接したそれぞれの隣接領域に移動する歩行者移動確率を計算した後、（ｉｉｉ）前記歩行者移動確率及びそれぞれの前記隣接領域がそれぞれの前記危険領域に対応するかを参照にして、前記歩行安全度を生成するようにすることを特徴とする。
【００２２】
一例として、前記（ｂ）段階で、前記スマートフォンが、前記検出ユニットをもって、（ｉ）前記検出ユニットに含まれている少なくとも一つのコンボリューションレイヤと、少なくとも一つのＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）と、少なくとも一つのＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）レイヤとを利用して、それぞれの前記イメージに含まれた、前記歩行者に隣接した前記危険物体を検出するようにし、（ｉｉ）スマートフォンカメラの少なくとも一つの焦点距離と関連したキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）情報及び前記第１情報を参照にして、前記検出された危険物体に関する前記第２情報を取得するようにすることを特徴とする。
【００２３】
本発明の他の態様によれば、スマートフォンを利用する少なくとも一人の歩行者を保護するための先端歩行者補助システムを提供する前記スマートフォンにおいて、各インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）少なくとも一つの位置追跡ユニットをもって、少なくとも一つの高精度地図（ＨＤ Ｍａｐ）と、少なくとも一つのＧＰＳと、少なくとも一つのＩＭＵに含まれている少なくとも一つの加速度センサ及び少なくとも一つのジャイロセンサから取得された情報との中の少なくとも一部を参照にして、前記歩行者の位置情報及び速度情報と、前記スマートフォンの位置情報及び速度情報の中の少なくとも一部とを含む第１情報を取得するようにするプロセス、（ＩＩ）少なくとも一つの検出ユニットをもって、前記スマートフォンに連動された一つ以上のスマートフォンカメラによって取得されたイメージのうち少なくとも一部及び前記第１情報を参照にして、前記歩行者に隣接した危険領域それぞれの危険状態と、危険物体の位置情報及び速度情報とを含む第２情報を取得するようにするプロセス、及び（ＩＩＩ）少なくとも一つの制御ユニットをもって、前記第１情報及び前記第２情報を参照にして、前記歩行者の少なくとも一つの歩行安全度を計算した後、前記歩行者に危険通知を前記スマートフォンによって伝送するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするスマートフォンが開示される。
【００２４】
一例として、前記プロセッサが、（ＩＶ）前記制御ユニットをもって、前記第１情報及び前記第２情報の中の少なくとも一部を、前記歩行者に隣接した少なくとも一つの車両と、少なくとも一つのＣＣＴＶと、少なくとも一人の他の歩行者の少なくとも一つの他のスマートフォンと、少なくとも一つの交通信号機とを含む、前記歩行者に隣接したコネクテッドデバイスのうち、少なくとも一部に転送し、前記コネクテッドデバイスのうち、少なくとも一部は、前記危険物体の中の少なくとも一部であるプロセス；をさらに遂行することを特徴とする。
【００２５】
一例として、前記（ＩＶ）プロセスで、前記プロセッサが、前記制御ユニットをもって、前記第１情報及び前記第２情報の中の少なくとも一部を前記歩行者に隣接した前記コネクテッドデバイスのうち少なくとも一部に転送するようにすることで、前記コネクテッドデバイスをもって、前記第１情報及び前記第２情報の中の少なくとも一部を参照にして前記危険物体と、前記歩行者との間で衝突する危険度を下げる方向で動作するようにすることを特徴とする。
【００２６】
一例として、前記（ＩＩＩ）プロセスで、前記プロセッサが、前記制御ユニットをもって、第３情報を追加的に参照にして、前記歩行安全度を判断するようにし、前記第３情報は、前記プロセッサが前記制御ユニットをもって、前記歩行者に隣接した少なくとも一つの車両と、少なくとも一つのＣＣＴＶと、少なくとも一人の他の歩行者の少なくとも一つの他のスマートフォンと、少なくとも一つの交通信号機とを含む、前記歩行者に隣接したコネクテッドデバイスの中の少なくとも一部と通信するようにして生成された前記歩行者周辺の事項に関する情報を含み、前記コネクテッドデバイスの中の少なくとも一部は、前記危険物体の中の少なくとも一部であることを特徴とする。
【００２７】
一例として、前記第３情報は、第３−１情報及び第３−２情報のうち、少なくとも一部を含み、前記第３−１情報は、前記スマートフォンに連動された前記スマートフォンカメラの少なくとも一つの仮想ビューイングフラスタム及び前記コネクテッドデバイスに連動された少なくとも一つの外部カメラの少なくとも一つの仮想ビューイングフラスタムに同時に含まれている第１特定危険物体の位置情報及び速度情報を含み、前記第３−２情報は、前記スマートフォンに連動された前記スマートフォンカメラの前記仮想ビューイングフラスタムには含まれていないが、前記コネクテッドデバイスに連動された前記外部カメラの前記仮想ビューイングフラスタムには含まれている第２特定危険物体の位置情報及び速度情報を含み、前記プロセッサが、前記制御ユニットをもって、前記第３−１情報を参照にして前記第２情報の信頼性を検証し、前記第３−２情報を参照にして少なくとも一つの未検出危険物体に対する情報を取得するようにすることを特徴とする。
【００２８】
一例として、前記（ＩＩＩ）プロセスで、前記プロセッサが、前記制御ユニットをもって、（ｉ）前記第３情報に含まれた、前記歩行者に隣接した交通信号機の位置情報及び交通信号機状態情報と（ｉｉ）前記第１情報に含まれた、前記歩行者の前記位置情報及び前記速度情報を参照にして、前記歩行者の関心交通信号機情報を生成し、前記関心交通信号機情報を参照にして、前記歩行者に前記スマートフォンによって追加交通信号機通知を前記歩行者に送信するようにすることを特徴とする。
【００２９】
一例として、前記第３情報は、（ｉ）前記歩行者に隣接した前記車両の位置と速度、（ｉｉ）前記歩行者に隣接した前記ＣＣＴＶを参照して取得された、前記歩行者に隣接した前記危険物体の位置と速度、（ｉｉｉ）前記少なくとも一人の歩行者の位置と速度、及び（ｉｖ）前記歩行者に隣接した交通信号機の位置情報及び信号状態情報を含むことを特徴とする。
【００３０】
一例として、前記プロセッサが、前記制御ユニットを利用して、前記スマートフォンカメラにより取得された前記イメージに対応する、前記高精度地図上の少なくとも一つの領域の広さが閾値以下であることを感知した場合、前記制御ユニットをもって、前記スマートフォンによって前記歩行者に感知不能通知を伝送させることを特徴とする。
【００３１】
一例として、前記プロセッサが、少なくとも一つのセグメンティングユニットによって取得された、前記スマートフォンカメラの少なくとも一つのレンズを隠している、少なくとも一つの妨害物体に対するブラインド情報、及び前記歩行者を中心とした３次元空間において前記歩行者の移動面を定義する法線ベクトルと、前記スマートフォンカメラの少なくとも一つの仮想ビューイングフラスタムの中心軸との間の角度に対する角度情報のうち、少なくとも一部を参照にして、前記領域の広さが前記限界値以下である少なくとも一つの原因を判断して、前記スマートフォンによって、前記原因それぞれに応じて前記歩行者にそれぞれ異なった警告通知を伝送することを特徴とする。
【００３２】
一例として、前記（ＩＩＩ）プロセスで、前記プロセッサが、前記制御ユニットをもって、前記第１情報及び前記第２情報を参照にして、前記歩行者と、前記歩行者に隣接した前記危険物体とが時間閾値内に衝突する危険度の確率を判断することにより、前記歩行安全度を生成するようにすることを特徴とする。
【００３３】
一例として、前記プロセッサが、前記制御ユニットをもって、前記歩行安全度を向上させるため、前記歩行者に行動指針を与える通知を前記スマートフォンによって追加的に伝送するようにすることを特徴とする。
【００３４】
一例として、前記プロセッサが、前記制御ユニットをもって、（ｉ）前記第１情報に含まれた加速度センサ情報を参照にして、前記歩行者の移動速度変化を予測できる歩行者移動予測モデルを生成し、（ｉｉ）前記歩行者移動予測モデルを参照にして、前記歩行者が前記時間閾値内に前記歩行者に隣接したそれぞれの領域に移動する確率である歩行者移動確率を計算した後、（ｉｉｉ）前記第２情報の中の少なくとも一部を参照にして、前記危険物体の移動速度変化を予測できる危険物体移動予測モデルを生成し、（ｉｖ）前記危険物体移動予測モデルを参照にして、前記危険物体が前記時間閾値内に前記危険物体に隣接したそれぞれの領域に移動する確率である危険物体移動確率を計算した後、（ｖ）前記歩行者移動確率及び前記危険物体移動確率を参照にして、前記歩行安全度を計算するようにすることを特徴とする。
【００３５】
一例として、前記（ＩＩＩ）プロセスで、前記プロセッサが、前記制御ユニットをもって、前記第１情報及び前記第２情報に含まれた、前記歩行者の前記位置情報及び前記速度情報と、前記危険領域に対する情報とを参照にして、前記歩行者が前記危険領域の中の一つに移動するか否かを判断するようにすることで、前記歩行安全度を生成することを特徴とする。
【００３６】
一例として、前記プロセッサが、前記制御ユニットをもって、（ｉ）前記歩行者の移動速度変化を予測できる歩行者移動予測モデルを生成し、（ｉｉ）前記歩行者移動予測モデルを参照にして、前記歩行者が前記歩行者に隣接したそれぞれの隣接領域に移動する歩行者移動確率を計算した後、（ｉｉｉ）前記歩行者移動確率及びそれぞれの前記隣接領域がそれぞれの前記危険領域に対応するかを参照にして、前記歩行安全度を生成するようにすることを特徴とする。
【００３７】
一例として、前記（ＩＩ）プロセスで、前記プロセッサが、前記検出ユニットをもって、（ｉ）前記検出ユニットに含まれている少なくとも一つのコンボリューションレイヤと、少なくとも一つのＲＰＮと、少なくとも一つのＦＣレイヤを利用して、それぞれの前記イメージに含まれた、前記歩行者に隣接した前記危険物体を検出するようにし、（ｉｉ）前記スマートフォンカメラの少なくとも一つの焦点距離と関連したキャリブレーション情報及び前記第１情報を参照にして、前記検出された危険物体に関する前記第２情報を取得するようにすることを特徴とする。
【発明の効果】
【００３８】
本発明は、少なくとも一つのスマートフォンを利用する少なくとも一人の歩行者を保護するための先端歩行者補助システム（Ａｄｖａｎｃｅｄ  Ｐｅｄｅｓｔｒｉａｎ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）を提供することで、その周辺及び他の歩行者を保護し得る効果がある。
【００３９】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
【図面の簡単な説明】
【００４０】
【図１】本発明の一例に係る少なくとも一つのスマートフォンを利用する少なくとも一人の歩行者を保護するための先端歩行者補助システム（Ａｄｖａｎｃｅｄ  Ｐｅｄｅｓｔｒｉａｎ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）を提供するための前記スマートフォンの構成を概略的に示した図面である。
【図２】本発明の一例に係る前記スマートフォンを利用する前記歩行者を保護するための前記先端歩行者補助システムの構成を概略的に示した図面である。
【図３】本発明の一例に係る前記スマートフォンを利用する前記歩行者を保護するための前記先端歩行者補助システムが、前記歩行者がそれぞれの隣接領域に移動する確率を参照にして、少なくとも一つの歩行安全度を計算する過程を概略的に示した図面である。
【図４】本発明の一例に係る前記スマートフォンを利用する前記歩行者を保護するための前記先端歩行者補助システムが、前記歩行者と一つ以上の危険物体が衝突する危険度確率を参照にして歩行安全度を計算する過程を概略的に示した図面である。
【図５ａ】本発明の一例に係る前記スマートフォンを使用する前記歩行者を保護するための前記先端歩行者補助システムが取得する第３−１情報と関連した状況を概略的に示した図面である。
【図５ｂ】本発明の一例に係る前記スマートフォンを使用する前記歩行者を保護するための前記先端歩行者補助システムが取得する第３−２情報と関連した状況を概略的に示した図面である。
【図６】本発明の一例に係る前記スマートフォンを使用する前記歩行者を保護するための前記先端歩行者補助システムが利用する、スマートフォンカメラのビューイングフラスタム（ｖｉｅｗｉｎｇ ｆｒｕｓｔｕｍ）の中心軸それぞれと、地面との間の角度情報を概略的に示した図面である。
【発明を実施するための形態】
【００４１】
後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決方法及び長所を明確にするために、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように充分詳細に説明される。
【００４２】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００４３】
さらに、本発明は、本明細書に示された実施例のあらゆる可能な組合せを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
【００４４】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００４５】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。
【００４６】
図１は、本発明の一例に係る少なくとも一つのスマートフォンを利用する少なくとも一人の歩行者を保護するための先端歩行者補助システムを提供するための前記スマートフォンの構成を概略的に示した図面である。
【００４７】
図１を参照すれば、前記スマートフォン１００は、後に詳しく説明される要素である前記先端歩行者補助システム２００及び少なくとも一つのデータベース（ＤＢ）３００を含み得る。前記先端歩行者補助システム（Ａｄｖａｎｃｅｄ Ｐｅｄｅｓｔｒｉａｎ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）２００は以下ＡＰＡＳ２００と呼ぶことにする。前記ＡＰＡＳ２００及び前記ＤＢ３００の入出力過程及び演算過程はそれぞれ通信部１１０及びプロセッサ１２０によって行われ得る。ただし、図１では、前記通信部１１０と、前記プロセッサ１２０との間の具体的な連結関係を省略した。この際、メモリ１１５は、後述されるいくつかのインストラクションを格納した状態でもあり得、前記プロセッサ１２０は、前記メモリ１１５に格納された前記インストラクションを実行するように設定され、後から説明されるインストラクションを実行することで本発明のプロセスを遂行することができる。このように前記スマートフォン１００が描写されたからといって、前記スマートフォン１００が本発明を実施するための媒体、プロセッサ、メモリ、または他のコンピューティング構成要素が統合された形態である統合プロセッサを含む場合を排除するものではない。
【００４８】
また、前記スマートフォン１００は、一つ以上のスマートフォンカメラ４００及び一つ以上のコネクテッドデバイス５００とデータを交換することができるのだが、このような過程は、後から前記ＡＰＡＳ２００に対するより具体的な説明とともに説明することにする。
【００４９】
図２は、本発明の一例に係る前記スマートフォンを利用する前記歩行者を保護するための前記先端歩行者補助システムの構成を概略的に示した図面である。
【００５０】
前記ＡＰＡＳ２００は、少なくとも一つの位置追跡ユニット２１０と、少なくとも一つの検出ユニット２２０と、少なくとも一つの制御ユニット２３０と、少なくとも一つのセグメンティングユニット２４０と、少なくとも一つのＩＭＵ（Ｉｎｅｒｔｉａｌ  Ｍｅａｓｕｒｅｍｅｎｔ  Ｕｎｉｔ２５０と、少なくとも一つのＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）２６０とを含み得る。後から詳しく説明されるが、基本的に前記ＩＭＵ２５０が、前記それぞれのユニットに入力され得るセンサ情報を生成することができ、前記位置追跡ユニット２１０と、前記検出ユニット２２０と、前記制御ユニット２３０とは、前記センサ情報だけでなく、前記ＧＰＳ２６０によって取得された情報と、前記スマートフォンカメラ４００で取得された一つ以上のイメージと、前記コネクテッドデバイス５００で取得された情報とを利用して、前記スマートフォン１００を使用する前記歩行者を保護することができる。前記セグメンティングユニット２４０は、後に詳しく説明されるが、物体が前記スマートフォンカメラ４００のビューを妨げているかを検出するために利用することができる。
【００５１】
以上、前記スマートフォン１００と、これに含まれている前記ＡＰＡＳ２００との構成を概括的に説明したので、以下、前記ＡＰＡＳ２００がどう動作するかについて具体的に説明する。
【００５２】
まず、前記スマートフォン１００が、前記位置追跡ユニット２１０をもって、前記ＤＢ３００に含まれている高精度地図（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍａｐ）情報と、前記ＧＰＳ２６０からの位置情報と、前記ＩＭＵ２５０からのセンサデータとを取得するようにすることができる。前記ＩＭＵ２５０から取得された前記センサデータは、少なくとも一つの加速度センサ、又は少なくとも一つのジャイロセンサなど前記スマートフォン１００の慣性を測定できるセンサによって生成された情報を含むことができる。このような情報が取得されると、前記スマートフォン１００は、前記位置追跡ユニット２１０をもって、前記高精度地図と、前記ＧＰＳと、前記ＩＭＵに含まれている前記加速度センサ及び前記ジャイロセンサから取得された前記情報との中の少なくとも一部を参照にして、前記スマートフォン１００を使用している歩行者の位置情報及び速度情報と、前記スマートフォン１００の位置情報及び速度情報の中の少なくとも一部とを含む第１情報を取得するようにし得る。
【００５３】
多くの場合に、前記歩行者の位置情報は、前記スマートフォン１００の位置情報と類似し、前記歩行者の速度情報は、前記スマートフォンの速度情報と類似するはずだが、前記スマートフォンと、前記歩行者との間の移動速度の差が大きく、これを補正しなければならない場合もあり得る。以下では、このような場合について説明する。
【００５４】
まず、前記スマートフォン１００が、前記位置追跡ユニット２１０をもって、前記スマートフォンカメラ４００によって取得された前記イメージを利用して、前記歩行者の両目を繋いだ横線と、鼻を通る縦線との交点から前記歩行者の両目それぞれの距離を計算して、それぞれの前記距離の比率を参照にして、前記スマートフォンが前記歩行者の体を基準にどの程度に傾いているかを示す角度を計算することができる。これは、前記角度と、前記比率の関係を示すガウシアン分布モデル（Ｇａｕｓｓｉａｎ ｄｉｓｔｒｉｂｕｔｉｏｎ ｍｏｄｅｌ）とを参照として計算され得る。以降、前記スマートフォンの速度情報と、前記角度に対応するベクトルとを統合することにより前記歩行者の速度情報を計算することができる。
【００５５】
その後、前記スマートフォン１００が、前記検出ユニット２２０をもって、前記スマートフォン１００に連動された前記スマートフォンカメラ４００によって取得されたイメージのうち少なくとも一部及び前記第１情報を参照にして、前記歩行者に隣接した危険領域それぞれの危険状態と、危険物体の位置情報及び速度情報とを含む第２情報を取得するようにできる。前記危険領域とは、前記歩行者が位置する場合に危険である可能性がある領域を意味するが、例えば車道、又は工事現場周辺であり得る。前記危険物体とは、歩行者の周辺にある、前記歩行者と衝突し得る全ての物体を言う。これは、車、街灯、電柱などの物体だけでなく、他の歩行者を含む概念である。このような前記第２情報を取得するために、前記イメージの中の少なくとも一部及び前記第１情報にどのような演算を加えるかを説明する。
【００５６】
まず、前記検出ユニット２２０は、ＣＮＮで構成され得、少なくとも一つのニューラルネットワーク演算によって前記第２情報を取得し得る。つまり、前記検出ユニット２２０は、少なくとも一つのコンボリューションレイヤ、少なくとも一つのＲＰＮ、少なくとも一つのＦＣレイヤを利用して、前記スマートフォンカメラ４００から取得された個々の前記イメージに含まれた前記歩行者周辺の物体を検出できる。その後、前記スマートフォンカメラ４００の焦点距離（ｆｏｃａｌ  ｌｅｎｇｔｈ）と関連したキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）情報及び前記第１情報に含まれた前記スマートフォン１００の位置情報及び速度情報を参照にして、前記危険物体の位置情報及び速度情報を利用することで、前記第２情報を取得できる。
【００５７】
前記危険物体の位置情報を取得する過程を詳しく見てみると、前記検出ユニット２２０は、上記スマートフォン１００の位置情報を参照にして、上記スマートフォン１００に連動された上記スマートフォンカメラ４００の位置情報を取得できる。具体的に、前記スマートフォン１００の類型または機種を把握して、その設計図を参照に、前記スマートフォン１００の中心から前記スマートフォンカメラ４００がどのくらい離れて位置するかに対する情報を取得した後、前記スマートフォンの位置情報及び前記スマートフォンカメラ４００がどのくらい離れて位置するかに対する前記取得された情報を参照にして、前記スマートフォンカメラ４００の位置情報を計算することができる。このように前記スマートフォンカメラ４００の位置情報が取得されると、それぞれの前記イメージの中心それぞれからそれぞれの前記危険物体の２次元距離それぞれが計算され、前記焦点距離を追加的に参照して前記スマートフォンカメラ４００からそれぞれの前記危険物体の３次元距離それぞれが計算され、前記３次元距離と、前記スマートフォンカメラ４００の位置情報とを参照にして、それぞれの前記危険物体の位置情報が取得され得る。
【００５８】
前記スマートフォンカメラ４００から連続的に取得された前記多数のイメージを参照にして、前記スマートフォンカメラ４００と、前記危険物体との間の相対速度がそれぞれ計算された後、それぞれの前記計算された相対速度と、前記スマートフォンの前記速度情報とを利用して計算された前記スマートフォンカメラ４００に関する速度情報をそれぞれ参照にして、前記危険物体の速度情報が計算され得る。
【００５９】
前記危険物体の位置情報及び速度情報が取得されると、前記スマートフォン１００が、前記制御ユニット２３０をもって、前記第１情報及び前記第２情報を参照にして前記歩行者の少なくとも一つの歩行安全度を算出した後、前記歩行安全度を参照にして、危険通知を前記スマートフォン１００によって前記歩行者に伝送するようにすることができる。
【００６０】
前記歩行安全度を生成する際には、前記危険領域及び前記危険物体を考慮し得るが、まず前記危険領域を考慮する方式について説明する。
【００６１】
前記スマートフォン１００が、前記制御ユニット２３０をもって、前記第１情報及び前記第２情報に含まれた、前記歩行者の前記位置情報及び前記速度情報と、前記危険領域に対する情報とを参照にして、前記歩行者が前記危険領域の中の一つに移動するか否かを判断するようにすることで、前記歩行安全度を生成することができる。具体的には、前記スマートフォン１００が、前記制御ユニット２３０をもって、（ｉ）前記歩行者の移動速度変化を予測できる歩行者移動予測モデルを生成し、（ｉｉ）前記歩行者移動予測モデルを参照にして、前記歩行者がそれぞれの隣接した領域に移動する確率である一つ以上の歩行者移動確率を計算した後、（ｉｉｉ）それぞれの前記隣接した領域がそれぞれの前記危険領域に対応するかと、前記歩行者移動確率とを参照にして前記歩行安全度を生成するようにすることができる。
【００６２】
前記歩行者移動予測モデルは、二つの詳細モデルを含み得るが、一つは前記歩行者の移動速力を、もう一つは前記歩行者の移動方向を予測する。前記歩行者の前記移動速力を予測する細部モデルは、前記ＩＭＵ２５０に含まれている前記加速度センサによって取得された前記歩行者の加速度の絶対値を基準点として、０の加速度変化量の平均値と予め設定された分散とを有する特定第１分布であるカウシアン分布モデルであり得る。また、前記歩行者の前記移動方向を予測するための細部のモデルは、前記歩行者の加速度に含まれた前記移動方向に対する情報を基準点として、０の移動方向変化量の平均値と予め設定された分散とを有する特定第２分布のモデルであり得る。図３を参照に、本方式の例示を説明するようにする。
【００６３】
図３は、本発明の一例に係る前記スマートフォンを利用する前記歩行者を保護するための前記先端歩行者補助システムが、前記歩行者がそれぞれの隣接領域に移動する確率を参照にして、前記歩行安全度を計算する過程を概略的に示した図面である。
【００６４】
図３を参照にすると、前記説明したような方法に従って、前記歩行者が自分に隣接した領域に移動する確率が計算されたことが分かる。前記分布モデルによれば、前記歩行者が初期速力と初期方向に移動する確率が最も高く計算されるので、正面の領域に移動する確率が０．８で、左側と右側の領域に移動する確率がそれぞれ０．１５と０．０５に計算されたことを確認することができる。図３のＳは、当該領域が安全領域であることを、Ｄは、当該領域が危険領域であることを意味するのだが、図３の例では前記歩行者が前記危険領域に移動する確率が０．２で相対的に低く、前記ＡＰＡＳ２００は、前記歩行安全度をやや高く評価し得る。
【００６５】
以上、前記危険領域を参照して、前記歩行安全度を計算する方式について説明したので、次に、前記危険物体を参照して前記歩行安全度を計算する方式について説明する。
【００６６】
前記スマートフォン１００が、前記制御ユニット２３０をもって、前記第１情報及び前記第２情報を参照にして,前記歩行者と、それに隣接した前記危険物体とが時間閾値内に衝突する危険度の確率を判断することにより前記歩行安全度を生成するようにすることができる。具体的には、前記スマートフォン１００が、前記制御ユニット２３０をもって、前述したような前記歩行者移動予測モデルと、前記危険物体の移動速度変化を予測し得る危険物体移動予測モデルとを生成するようにすることができる。そして、前記歩行者移動予測モデルを参照にして、前記歩行者が前記時間閾値内に前記歩行者に隣接したそれぞれの領域に移動する確率である歩行者移動確率を計算し、前記危険物体移動予測モデルを参照にして前記危険物体が前記時間閾値内に前記危険物体に隣接するそれぞれの領域に移動する確率である危険物体移動確率を計算するようにすることができる。その後、前記歩行者移動確率及び前記危険物体移動確率を参照にして前記歩行安全度を生成するようにすることができる。
【００６７】
前記危険物体移動予測モデルは、前記第２情報に含まれた前記危険物体の位置情報及び速度情報を参照にして、前記歩行者移動予測モデルと類似した方式で生成され得る。
【００６８】
前記歩行者移動確率及び前記危険物体移動確率はそれぞれ、時間ごとにそれぞれの位置に前記歩行者及び前記危険物体が存在する確率を示す関数であり得、前記制御ユニット２３０は、前記二つの確率を乗じた値を前記時間閾値で積分した結果を参照にして前記歩行安全度を生成することができる。このような場合の例示を探すために、図４を参照することにする。
【００６９】
図４は、本発明の一例に係る前記スマートフォンを利用する前記歩行者を保護するための前記先端歩行者補助システムが、前記歩行者と前記危険物体が衝突する危険度確率を参照にして歩行安全度を計算する過程を概略的に示した図面である。
【００７０】
図４を参照にすれば、前記歩行者移動確率がそれぞれｐ１（ｔ）、ｐ２（ｔ）、及びｐ３（ｔ）であり、これにそれぞれ対応する前記危険物体移動確率がそれぞれｑ１（ｔ）、ｑ２（ｔ）、及びｑ３（ｔ）であることが分かる。この際、前記制御ユニット２３０は、それぞれの確率を乗じた後、積分できる。その数式は、次のとおりである。
【００７１】
【数１】
2020126612.tif 000003
【００７２】
前記積分式において、Ｔは、前記時間閾値であり得る。
【００７３】
前記積分の結果は、前記危険物体と、前記歩行者とが衝突する前記危険度を示し、前記制御ユニット２３０は、前記危険度を参照にして前記歩行安全度を計算し得るであろう。
【００７４】
この際、前記危険物体のために前記歩行安全度が低く計算される場合、前記歩行者に通知以外にも、前記歩行安全度を向上させ得る行動が提示されることがある。つまり、前記スマートフォン１００が、前記制御ユニット２３０をもって、前記歩行者が前記危険物体を避けることができるように前記歩行者に行動指針を与える通知を追加的に伝送することができる。例えば、前記危険物体の一つが第１特定方向に移動している場合、前記歩行者がこれを避けられるように、第２特定方向に移動するようにする前記行動指針が提示されることがある。
【００７５】
このように、前記スマートフォン１００は、前記制御ユニット２３０をもって、前記歩行安全度を計算するようにすることで、前記歩行者の安全を提供する。しかし、前記説明した内容は、前記スマートフォン１００と、これに連動された前記スマートフォンカメラ４００とによって取得された情報のみを利用して前記歩行安全度を計算するので、前記歩行者に隣接した前記コネクテッドデバイス５００から取得された情報を追加的で利用して前記歩行安全度を計算すると、前記歩行者がより安全になるものと予想される。従って、以下では、前記コネクテッドデバイス５００から取得された情報を利用する方式について説明する。
【００７６】
つまり、前記スマートフォン１００は、前記制御ユニット２３０をもって、第３情報を参照にして前記歩行安全度を計算させることができる。この際、前記第３情報は、前記スマートフォン１００が前記制御ユニット２３０をもって、前記歩行者に隣接した少なくとも一つの車両と、少なくとも一つのＣＣＴＶと、少なくとも一人の他の歩行者の少なくとも一つの他のスマートフォンと、少なくとも一つの交通信号機とを含む、前記歩行者に隣接したコネクテッドデバイスの中の少なくとも一部と通信するようにして生成された前記歩行者周辺の事項に関する情報を含み、前記コネクテッドデバイスの中の少なくとも一部は、前記危険物体の中の少なくとも一部であり得る。例えば、前記第３情報は、前記ＣＣＴＶによって生成される映像から見られる前記危険物体の位置情報及び速度情報を含み得る。
【００７７】
前記第３情報は、少なくとも二つの詳細情報を含み得るのだが、これは第３−１情報及び第３−２情報である。
【００７８】
前記第３−１情報は、前記スマートフォン１００に連動された前記スマートフォンカメラ４００の少なくとも一つの仮想ビューイングフラスタム（Ｖｉｒｔｕａｌ Ｖｉｅｗｉｎｇ Ｆｒｕｓｔｕｍ）及び前記コネクテッドデバイス５００に連動された少なくとも一つの外部カメラの少なくとも一つの仮想ビューイングフラスタムに同時に含まれている第１特定危険物体の位置情報及び速度情報を含み得、前記第３−２情報は、前記スマートフォン１００に連動された前記スマートフォンカメラ４００の前記仮想ビューイングフラスタムには含まれていないが、前記コネクテッドデバイス５００に連動された前記外部カメラの前記仮想ビューイングフラスタムには含まれている第２特定危険物体の位置情報及び速度情報を含み得る。
【００７９】
前記３−１情報及び前記第３−２情報は、それぞれ異なる役割を遂行し得るのだが、具体的には、前記スマートフォン１００が、前記制御ユニット２３０をもって、前記１００が生成した前記第２情報の信頼性を、前記第３−１情報を参照して検証し、自身が検出できなかった少なくとも一つの未検出危険物体に対する情報を、前記第３−２情報を参照にして取得するようにすることができる。前記第３−１情報を利用することで、前記歩行安全度はさらに正確になり得、前記第３−２情報を利用することで、前記歩行安全度にさらに多くの情報が反映され得る。図５ａ及び図５ｂを参照して前記第３−１情報及び前記第３−２情報の例を説明する。
【００８０】
図５ａ及び図５ｂは、本発明の一例に係る前記スマートフォンを使用する前記歩行者を保護するための前記先端歩行者補助システムが取得する前記第３−１情報及び前記第３−２情報と関連した状況を概略的に示した図面である。
【００８１】
図５ａは、前記第３−１情報と関連した状況の例であるが、前記第１特定危険物体は、前記スマートフォン１００に連動された前記スマートフォンカメラ４００と、前記ＣＣＴＶに連動されたカメラとの両方によって検出されたことが分かる。この場合には、前記スマートフォン１００が前記検出ユニット２２０によって取得した前記第２情報を、前記第１特定危険物体に対する前記第３情報を利用して検証し得る。
【００８２】
図５ｂは、前記第３−２情報と関連した状況の例であるが、前記第２特定危険物体は、前記スマートフォン１００に連動された前記スマートフォンカメラ４００によっては検出されなかったが、前記ＣＣＴＶに連動されたカメラによって検出されたことが分かる。この際、前記第２情報は、前記第２特定危険物体に対する情報を含んでいないため、前記スマートフォン１００は、前記第３−２情報を参照にして、前記第２特定危険物体に対する情報を追加で取得し得る。
【００８３】
また、前記スマートフォン１００は、前記制御ユニット２３０をもって、前記歩行安全度を参照にして、前記危険通知を伝送するだけでなく、交通信号機に対する情報も提供し得るため、これについて説明する。
【００８４】
つまり、前記スマートフォン１００が、前記制御ユニット２３０をもって、（ｉ）前記第３情報に含まれた、前記歩行者に隣接した交通信号機の位置情報及び信号状態情報と（ｉｉ）前記第１情報に含まれた、前記歩行者の前記位置情報及び前記速度情報を参照にして、前記歩行者の関心交通信号機情報を生成し、前記関心交通信号機情報を参照にして、前記歩行者に前記スマートフォン１００によって追加交通信号機通知を送信するようにできる。具体的に、前記歩行者の位置情報及び前記速度情報を参照にすれば、前記制御ユニット２３０は、前記歩行者の仮想移動経路を生成し得、前記第３情報を参照にして、前記歩行者の仮想移動経路周辺に位置した前記交通信号機の位置情報及び信号状態情報を取得することができる。
【００８５】
前記スマートフォン１００はこのように、前記コネクテッドデバイス５００から取得した情報を利用することができ、逆に、前記コネクテッドデバイス５００は、前記スマートフォン１００が取得した情報を利用することができる。
【００８６】
つまり、前記スマートフォン１００が、前記制御ユニット２３０をもって、前記第１情報及び前記第２情報の中の少なくとも一部を、前記歩行者に隣接した前記コネクテッドデバイス５００のうち少なくとも一部に転送するようにすることで、前記コネクテッドデバイスをもって、前記取得された第１情報及び前記第２情報の中の少なくとも一部を参照にして、前記危険物体と、前記歩行者との間で衝突する前記危険度を下げる方向で動作させることができる。前記コネクテッドデバイス５００の中の、前記スマートフォン１００と同一又は類似した装置は、前記スマートフォン１００が前記第３情報を活用したものと類似した方式であり、前記第１情報及び前記第２情報の中の少なくとも一部を活用することができる。
【００８７】
一方で、前記スマートフォン１００がこのような前記ＡＰＡＳ２００を前記歩行者に提供するには、前記スマートフォンカメラ４００を利用して十分な情報を取得する必要があるが、前記歩行者の前記スマートフォン１００利用パターンによって十分な情報が取得されていない場合がある。このような場合、前記歩行者にこれらの状況に対する通知を送って、前記歩行者が自らの行動を改めるようにする必要があるのだが、これについて説明する。
【００８８】
つまり、前記スマートフォン１００が、前記制御ユニット２３０を利用して、前記スマートフォンカメラ４００により取得された前記イメージに対応する、前記高精度地図上の少なくとも一つの領域の広さが閾値以下であることを感知した場合、前記制御ユニット２３０をもって、前記スマートフォン１００によって前記歩行者に感知不能通知を伝送させるようにすることができる。これは、前記スマートフォン１００が前記危険物体に対する情報を多く取得できるためには、前記スマートフォンカメラ４００によって取得されたイメージに対応する前記高精度地図上の領域が広くなければならないからである。
【００８９】
しかし、このように前記高精度地図上の前記領域の広さが前記限界値未満となる場合は、前記スマートフォンカメラ４００の少なくとも一つのレンズが少なくとも一つの物体（例えば、指）によって隠れてしまう場合や、前記歩行者が前記スマートフォン１００を地面とほぼ平行に持っている場合が該当し得る。前記２つの場合は解決方法が異なるので、これを区分する方法が必要であり、これについて説明する。
【００９０】
具体的には、前記スマートフォン１００が、少なくとも一つのセグメンティングユニット２４０によって取得された、前記スマートフォンカメラの少なくとも一つのレンズを隠している少なくとも一つの妨害物体によるブラインド情報、及び前記歩行者を中心とした３次元空間において前記歩行者の移動面を定義する法線ベクトルと、前記スマートフォンカメラの少なくとも一つの仮想ビューイングフラスタムの中心軸との間の角度に対する角度情報のうち、少なくとも一部を参照にして、前記領域の広さが前記閾値以下である少なくとも一つの原因を判断できる。その後、前記スマートフォンを通じて前記原因それぞれによって前記歩行者にそれぞれ異なる警告通知を伝送することができる。
【００９１】
前記セグメンティングユニット２４０は、前記スマートフォンカメラ４００によって取得された前記イメージの少なくとも一つの領域をピクセル単位でセグメンティングして、前記レンズ隠している妨害物体があるか否かを判断するユニットである。これは前記ＣＮＮで構成され得るが、前記ＣＮＮは、前記妨害物体のある入力されたイメージと、前記妨害物体がない入力されたイメージと、それらに対応するＧＴとを参照して、一つ以上のロスを計算した後、これをバックプロパゲーションすることにより学習された状態であり得る。
【００９２】
前記角度情報は、前記ＩＭＵ２５０に含まれている前記加速度センサ及び前記ジャイロセンサによって取得された情報を参照にして生成され得る。前記角度情報をどのような方式で利用するかについて、図６を参照に説明する。
【００９３】
図６は、本発明の一例に係る前記スマートフォンを使用する前記歩行者を保護するための前記ＡＰＡＳが利用する、前記スマートフォンカメラのビューイングフラスタムの中心軸それぞれと、前記地面との間の前記角度情報を概略的に示した図面である。
【００９４】
図６を参照すれば、前記歩行者を中心とした３次元空間で、前記歩行者の移動面を定義する法線ベクトルと、前記スマートフォンカメラの前記仮想ビューイングフラスタムの中心軸との間の角度が大きい場合（θ２）、前記仮想ビューイングフラスタムが前記地面の少ない面を照らすようになり、角度が小さい場合（θ１）、前記仮想ビューイングフラスタムが前記地面の広い面を照らすようになることが分かる。
【００９５】
したがって、前記領域が小さく、前記角度（θ２）が角度閾値より大きい場合、これは前記歩行者が前記スマートフォン１００を前記地面とほぼ平行していることを意味するので、前記スマートフォン１００は、前記制御ユニット２３０をもって、前記スマートフォン１００によって、前記スマートフォン１００を傾かせて持つように前記歩行者に知らせる通知を伝送するようにすることができる。逆に、前記領域が小さく、前記角度（θ１）が前記の角度閾値より小さく、前記セグメンティングユニット２４０によって生成された前記ブラインド情報を参考にして、前記妨害物体が前記イメージ上で前記閾値領域以上の領域を占めているものと判断される場合、前記スマートフォン１００は、前記制御ユニット２３０をもって、前記妨害物体を除去するように前記歩行者に知らせを通知することができる。
【００９６】
このように、総合的かつ精巧な方式で前記ＡＰＡＳを提供することで、前記歩行者の安全を図ることができる。
【００９７】
本発明技術分野の通常の技術者に理解され、前記で説明されたイメージ、例えば原本イメージ及び原本レーブル及び追加レーブルといったイメージデータの送受信がスマートフォンの各通信部によって行われ得、特徴マップと演算を遂行するためのデータがスマートフォンのプロセッサ（及び／またはメモリ）によって保有／維持され得、コンボリューション演算、デコンボリューション演算、ロス値の演算過程が主にスマートフォンのプロセッサにより遂行され得るが、本発明はこれに限定されるものではない。
【００９８】
本発明に係る前記方法は、監視用または軍事用に利用され得るであろう。
【００９９】
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で実装されてコンピュータ読取り可能な記録媒体に記録され得る。前記コンピュータで読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ読取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
【０１００】
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
【０１０１】
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020126612.tif 000004
【図２】
2020126612.tif 000005
【図３】
2020126612.tif 000006
【図４】
2020126612.tif 000007
【図５ａ】
2020126612.tif 000008
【図５ｂ】
2020126612.tif 000009
【図６】
2020126612.tif 000010