(57)【要約】      （修正有）【課題】運転者の身体条件に応じて運転席のミラーの位置を自動的に調整することができるようにする方法及び装置を提案する。【解決手段】運転者の状態に応じて運転者補助装置の位置を調整する方法において、位置調整装置１０００は、運転者が車両の運転席に着席して車両のエンジンを始動した後に取得された運転者の上半身イメージと下半身イメージをポーズ予測ネットワークに入力し、身体キーポイントを取得し、身体部位の長さを計算して運転席位置を調整するようにし、車両が運行中に、上半身イメージを顔検出器に入力して顔部分を検出するようにし、顔部分を目検出器に入力して目部分を検出するようにし、調整された運転席位置と目の２Ｄ座標を３Ｄ座標変換器に入力し、２Ｄ座標と運転席の位置を参照して目の３Ｄ座標を生成するようにし、３Ｄ座標を参照して車両のミラーの位置を調整するようにする段階と、を含む。【選択図】図２
2020126638.tif 000002
【特許請求の範囲】
【請求項１】
運転者の状態に応じて運転者補助装置の位置を調整する方法において、
（ａ）運転者が車両の運転席に着席して前記車両のエンジンを始動した後に前記運転者の少なくとも一つの上半身イメージ及び少なくとも一つの下半身イメージが取得されると、前記上半身イメージと前記下半身イメージとをポーズ予測ネットワークに入力するプロセスを遂行することで前記ポーズ予測ネットワークをもって、（ｉ）前記上半身イメージ及び前記下半身イメージに位置する、前記運転者に対応する一つ以上の身体キーポイントを取得するようにし、（ｉｉ）前記身体キーポイントを参照して前記運転者の少なくとも一つの身体部位の長さを計算するようにし、（ｉｉｉ）前記運転者の前記計算された身体部位の長さを参照して前記運転席の位置を調整するようにする段階、及び
（ｂ）前記位置調整装置が、前記運転席の位置が調整された状態で前記車両が運行中に、（ｉ）前記上半身イメージを顔検出器に入力し、前記顔検出器をもって、前記上半身イメージから前記運転者の少なくとも一つの顔部分を検出するようにするプロセス、（ｉｉ）前記顔部分を目検出器に入力し、前記目検出器をもって、前記顔部分から前記運転者の少なくとも一つの目部分を検出するようにするプロセス、（ｉｉｉ）前記検出された目部分で前記運転者の少なくとも一つの目に対応する２Ｄ座標と前記調整された運転席の位置を３Ｄ座標変換器に入力し、前記３Ｄ座標変換器をもって、前記運転席の位置及び前記目の２Ｄ座標を参照して前記運転者の前記目の３Ｄ座標を生成するようにし、前記目の前記３Ｄ座標を参照して前記車両の少なくとも一つのミラーの少なくとも一つの位置を調整するようにする段階、
を含むことを特徴とする方法。
【請求項２】
前記（ａ）段階で、
前記位置調整装置は、前記ポーズ予測ネットワークをもって、（ｉ）特徴抽出器を通じて前記上半身イメージ及び前記下半身イメージ各々から一つ以上の特徴を抽出して一つ以上の特徴テンソル各々を生成するようにし、（ｉｉ）キーポイントヒートマップ（ｋｅｙｐｏｉｎｔ  ｈｅａｔｍａｐ）及びパートアフィニティフィールド（ｐａｒｔ  ａｆｆｉｎｉｔｙ  ｆｉｅｌｄ）抽出器を通じて前記特徴テンソル各々に対応する一つ以上のキーポイントヒートマップ及び一つ以上のパートアフィニティフィールド各々を生成するようにし、（ｉｉｉ）キーポイントグルーピング（ｇｒｏｕｐｉｎｇ）レイヤを通じて前記キーポイントヒートマップ各々から一つ以上のキーポイントを抽出するようにし、前記パートアフィニティフィールド各々を参照して前記抽出されたキーポイント各々をグルーピングして前記運転者に対応する前記身体キーポイントを生成するようにする、請求項１に記載の方法。
【請求項３】
前記位置調整装置は、前記ポーズ予測ネットワークをもって、前記特徴抽出器の少なくとも一つのコンボリューションレイヤを通じて、少なくとも一つのコンボリューション演算を前記上半身イメージ及び前記下半身イメージ各々に適用して前記特徴テンソル各々を生成するようにする、請求項２に記載の方法。
【請求項４】
前記位置調整装置は、前記ポーズ予測ネットワークをもって、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器のフルコンボリューションネットワークまたは少なくとも一つの１×１コンボリューションレイヤを通じて、前記特徴テンソル各々に少なくとも一つの完全コンボリューション演算または少なくとも一つの１×１コンボリューション演算を適用することで前記特徴テンソル各々に対応する前記キーポイントヒートマップ各々及び前記パートアフィニティフィールド各々を生成するようにする、請求項２に記載の方法。
【請求項５】
前記位置調整装置は、前記ポーズ予測ネットワークをもって、前記キーポイントグルーピングレイヤを通じて、前記キーポイントヒートマップ各々で最も高い地点各々を、前記キーポイントヒートマップ各々に対応する前記キーポイント各々として抽出するようにする、請求項２に記載の方法。
【請求項６】
前記位置調整装置は、前記ポーズ予測ネットワークをもって、前記キーポイントグルーピングレイヤを通じて、前記パートアフィニティフィールド各々を参照し、前記抽出されたキーポイントのペアのうち互いに連結され得る確率が最も高いペアを各々連結することで、前記抽出されたキーポイントをグルーピングするようにする、請求項５に記載の方法。
【請求項７】
前記（ｂ）段階で、
前記位置調整装置は、前記顔検出器をもって、（ｉ）コンボリューションレイヤを通じて前記上半身イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの特徴マップを生成するようにし、（ｉｉ）ＲＰＮ（ｒｅｇｉｏｎ  ｐｒｏｐｏｓａｌ  ｎｅｔｗｏｒｋ）を通じて前記特徴マップ上の一つ以上の物体に対応する一つ以上のプロポーザルボックスを生成するようにし、（ｉｉｉ）プーリングレイヤを通じて前記特徴マップ上の前記プロポーザルボックスに対応する一つ以上の領域に少なくとも一つのプーリング演算を適用して少なくとも一つの特徴ベクトルを生成するようにし、（ｉｖ）ＦＣ（ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄ）レイヤを通じて前記特徴ベクトルに少なくとも一つのＦＣ演算を適用して少なくとも一つのＦＣ出力値を生成するようにし、（ｖ）前記ＦＣレイヤの前記ＦＣ出力値にクラシフィケーション演算及びリグレッション演算を適用して各々の前記物体に対するクラス情報及びリグレッション情報を出力するようにした後、クラシフィケーションレイヤ及びリグレッションレイヤを通じて前記上半身イメージ上の前記運転者の前記顔部分を検出するようにし、前記物体各々は前記プロポーザルボックス各々に対応する、請求項１に記載の方法。
【請求項８】
前記（ｂ）段階で、
前記位置調整装置は、前記目検出器をもって、前記顔部分を少なくとも一つのＭＣＴ（Ｍｏｄｉｆｉｅｄ  Ｃｅｎｓｕｓ  Ｔｒａｎｓｆｏｒｍ）イメージに変換するようにし、エイダブースト（Ａｄａｂｏｏｓｔ）アルゴリズムを用いて前記ＭＣＴイメージから取得された目検出用特徴データから前記運転者の前記目部分を検出するようにし、局部部分の明るさの平均と前記顔部分の明るさとの差が前記ＭＣＴイメージにエンコードされる、請求項７に記載の方法。
【請求項９】
前記運転席の前記位置は、前記上半身イメージを取得する少なくとも一つのカメラと前記運転席との間の距離である、請求項１に記載の方法。
【請求項１０】
前記（ａ）段階で、
前記位置調整装置は、前記運転者の前記身体部位の長さを参照して前記車両の運転台の位置をさらに調整するプロセスを遂行する、請求項１に記載の方法。
【請求項１１】
運転者の状態に応じて運転者補助装置の位置を調整する位置調整装置において、
インストラクションを格納する少なくとも一つのメモリ、及び
（Ｉ）運転者が車両の運転席に着席して前記車両のエンジンを始動した後に前記運転者の少なくとも一つの上半身イメージ及び少なくとも一つの下半身イメージが取得されると、前記上半身イメージと前記下半身イメージをポーズ予測ネットワークに入力するプロセスを遂行することで前記ポーズ予測ネットワークをもって、（ｉ）前記上半身イメージ及び前記下半身イメージに位置する、前記運転者に対応する一つ以上の身体キーポイントを取得するようにし、（ｉｉ）前記身体キーポイントを参照して前記運転者の少なくとも一つの身体部位の長さを計算し、（ｉｉｉ）前記運転者の前記計算された身体部位の長さを参照して前記運転席の位置を調整するようにするプロセス、及び（ＩＩ）前記運転席の位置が調整された状態で前記車両が運行中に、（ｉ）前記上半身イメージを顔検出器に入力し、前記顔検出器をもって、前記上半身イメージから前記運転者の少なくとも一つの顔部分を検出するようにするプロセス、（ｉｉ）前記顔部分を目検出器に入力し、前記目検出器をもって、前記顔部分から前記運転者の少なくとも一つの目部分を検出するようにするプロセス、（ｉｉｉ）前記検出された目部分で前記運転者の少なくとも一つの目に対応する２Ｄ座標と前記調整された運転席の位置を３Ｄ座標変換器に入力し、前記３Ｄ座標変換器をもって、前記運転席の位置及び前記目の２Ｄ座標を参照して前記運転者の前記目の３Ｄ座標を生成し、前記目の前記３Ｄ座標を参照して前記車両の少なくとも一つのミラーの少なくとも一つの位置を調整するようにするプロセス、を遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ、
を含むことを特徴とする位置調整装置。
【請求項１２】
前記（Ｉ）プロセスで、
前記プロセッサは、前記ポーズ予測ネットワークをもって、（ｉ）特徴抽出器を通じて前記上半身イメージ及び前記下半身イメージ各々から一つ以上の特徴を抽出して一つ以上の特徴テンソル各々を生成するようにし、（ｉｉ）キーポイントヒートマップ（ｋｅｙｐｏｉｎｔ  ｈｅａｔｍａｐ）及びパートアフィニティフィールド（ｐａｒｔ  ａｆｆｉｎｉｔｙ  ｆｉｅｌｄ）抽出器を通じて前記特徴テンソル各々に対応する一つ以上のキーポイントヒートマップ及び一つ以上のパートアフィニティフィールド各々を生成するようにし、（ｉｉｉ）キーポイントグルーピング（ｇｒｏｕｐｉｎｇ）レイヤを通じて前記キーポイントヒートマップ各々から一つ以上のキーポイントを抽出するようにし、前記パートアフィニティフィールド各々を参照して前記抽出されたキーポイント各々をグルーピングして前記運転者に対応する前記身体キーポイントを生成するようにする、請求項１１に記載の位置調整装置。
【請求項１３】
前記プロセッサは、前記ポーズ予測ネットワークをもって、前記特徴抽出器の少なくとも一つのコンボリューションレイヤを通じて、少なくとも一つのコンボリューション演算を前記上半身イメージ及び前記下半身イメージ各々に適用して前記特徴テンソル各々を生成するようにする、請求項１２に記載の位置調整装置。
【請求項１４】
前記プロセッサは、前記ポーズ予測ネットワークをもって、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器のフルコンボリューションネットワークまたは少なくとも一つの１×１コンボリューションレイヤを通じて、前記特徴テンソル各々に少なくとも一つの完全コンボリューション演算または少なくとも一つの１×１コンボリューション演算を適用することで前記特徴テンソル各々に対応する前記キーポイントヒートマップ各々及び前記パートアフィニティフィールド各々を生成するようにする、請求項１２に記載の位置調整装置。
【請求項１５】
前記プロセッサは、前記ポーズ予測ネットワークをもって、前記キーポイントグルーピングレイヤを通じて、前記キーポイントヒートマップ各々で最も高い地点各々を、前記キーポイントヒートマップ各々に対応する前記キーポイント各々として抽出するようにする、請求項１２に記載の位置調整装置。
【請求項１６】
前記プロセッサは、前記ポーズ予測ネットワークをもって、前記キーポイントグルーピングレイヤを通じて、前記パートアフィニティフィールド各々を参照し、前記抽出されたキーポイントのペアのうち互いに連結され得る確率が最も高いペアを各々連結することで、前記抽出されたキーポイントをグルーピングするようにする、請求項１５に記載の位置調整装置。
【請求項１７】
前記（ＩＩ）プロセスで、
前記プロセッサは、前記顔検出器をもって、（ｉ）コンボリューションレイヤを通じて前記上半身イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの特徴マップを生成するようにし、（ｉｉ）ＲＰＮ（ｒｅｇｉｏｎ  ｐｒｏｐｏｓａｌ  ｎｅｔｗｏｒｋ）を通じて前記特徴マップ上の一つ以上の物体に対応する一つ以上のプロポーザルボックスを生成するようにし、（ｉｉｉ）プーリングレイヤを通じて前記特徴マップ上の前記プロポーザルボックスに対応する一つ以上の領域に少なくとも一つのプーリング演算を適用して少なくとも一つの特徴ベクトルを生成するようにし、（ｉｖ）ＦＣ（ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄ）レイヤを通じて前記特徴ベクトルに少なくとも一つのＦＣ演算を適用して少なくとも一つのＦＣ出力値を生成するようにし、（ｖ）前記ＦＣレイヤの前記ＦＣ出力値にクラシフィケーション演算及びリグレッション演算を適用して各々の前記物体に対するクラス情報及びリグレッション情報を出力するようにした後、クラシフィケーションレイヤ及びリグレッションレイヤを通じて前記上半身イメージ上の前記運転者の前記顔部分を検出するようにし、前記物体各々は前記プロポーザルボックス各々に対応する、請求項１１に記載の位置調整装置。
【請求項１８】
前記（ＩＩ）プロセスで、
前記プロセッサは、前記目検出器をもって、前記顔部分を少なくとも一つのＭＣＴ（Ｍｏｄｉｆｉｅｄ  Ｃｅｎｓｕｓ  Ｔｒａｎｓｆｏｒｍ）イメージに変換するようにし、エイダブースト（Ａｄａｂｏｏｓｔ）アルゴリズムを用いて前記ＭＣＴイメージから取得された目検出用特徴データから前記運転者の前記目部分を検出するようにし、局部部分の明るさの平均と前記顔部分の明るさとの差が前記ＭＣＴイメージにエンコードされる、請求項１７に記載の位置調整装置。
【請求項１９】
前記運転席の前記位置は、前記上半身イメージを取得する少なくとも一つのカメラと前記運転席との間の距離である、請求項１１に記載の位置調整装置。
【請求項２０】
前記（Ｉ）プロセスで、
前記プロセッサは、前記運転者の前記身体部位の長さを参照して前記車両の運転台の位置をさらに調整するプロセスを遂行する、請求項１１に記載の位置調整装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の運転者補助装置に関し、より詳細には運転者の状態に応じて前記運転者補助装置を自動で調整する方法及び装置に関する。
【背景技術】
【０００２】
一般的に、車両を運転する際には常に前方を注視しなければならないと同時に、後方を注視しなければならないので、運転者が前方を見ながら後方を見ることができるようにミラーが車両に装着される。
【０００３】
一方、車両には車両内の前方に１個、車両外の左右フロントドア側に各々１個ずつ、計３個のミラーが配置されるのが一般的である。
【０００４】
車両の左右フロントドア両側にはサイドビューミラー（ｓｉｄｅ−ｖｉｅｗ  ｍｉｒｒｏｒ）が装着されて運転者が車両横の後方視野を確保するのに役立ち、車両内の前方ウインドシールドガラスにはリアビューミラー（ｒｅａｒ−ｖｉｅｗ  ｍｉｒｒｏｒ）が装着されて運転者が車両の後方視野を確保するのに役立つ。
【０００５】
この際、運転者がミラーを通じて後方視野を確保することが困難な場合、リアビューミラーとサイドビューミラーの角度を手動で調節することではじめて視野の確保が可能になる。
【０００６】
また、運転者は自分の身体条件に合わせて運転席の位置を調整しなければならない。
【０００７】
しかし、ある運転者が他の運転者によって運転席の位置とミラーの位置とが調整された車両を運転しようとすると、自身の身体条件に合うように運転席の位置とミラーの位置とを再び調整しなければならない問題点がある。
【０００８】
したがって、本発明では運転者の身体条件に応じて運転席のミラーの位置を自動的に調整することができるようにする方案を提案しようとする。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、上述した問題点をすべて解決することをその目的とする。
【００１０】
本発明は、運転者の状態に応じて運転者補助装置を自動で調整することができるようにすることを他の目的とする。
【００１１】
本発明は、運転者の状態に応じて運転席と一つ以上のミラーの位置を自動で調整することができるようにすることをまた他の目的とする。
【００１２】
本発明は、運転者の視線（ｇａｚｅ）を追跡してミラーの位置をリアルタイム自動で調整することができるようにすることをまた他の目的とする。
【課題を解決するための手段】
【００１３】
上記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は下記の通りである。
【００１４】
本発明の一態様によれば、運転者の状態に応じて運転者補助装置の位置を調整する方法において、（ａ）運転者が車両の運転席に着席して前記車両のエンジンを始動した後に前記運転者の少なくとも一つの上半身イメージ及び少なくとも一つの下半身イメージが取得されると、前記上半身イメージと前記下半身イメージをポーズ予測ネットワークに入力するプロセスを遂行することで前記ポーズ予測ネットワークをもって、（ｉ）前記上半身イメージ及び前記下半身イメージに位置する、前記運転者に対応する一つ以上の身体キーポイントを取得するようにし、（ｉｉ）前記身体キーポイントを参照して前記運転者の少なくとも一つの身体部位の長さを計算するようにし、（ｉｉｉ）前記運転者の前記計算された身体部位の長さを参照して前記運転席の位置を調整するようにする段階、及び（ｂ）前記位置調整装置が、前記運転席の位置が調整された状態で前記車両が運行中に、（ｉ）前記上半身イメージを顔検出器に入力し、前記顔検出器をもって、前記上半身イメージから前記運転者の少なくとも一つの顔部分を検出するようにするプロセス、（ｉｉ）前記顔部分を目検出器に入力し、前記目検出器をもって、前記顔部分から前記運転者の少なくとも一つの目部分を検出するようにするプロセス、（ｉｉｉ）前記検出された目部分で前記運転者の少なくとも一つの目に対応する２Ｄ座標と前記調整された運転席の位置を３Ｄ座標変換器に入力し、前記３Ｄ座標変換器をもって、前記運転席の位置及び前記目の２Ｄ座標を参照して前記運転者の前記目の３Ｄ座標を生成するようにし、前記目の前記３Ｄ座標を参照して前記車両の少なくとも一つのミラーの少なくとも一つの位置を調整するようにする段階、を含むことを特徴とする方法が開示される。
【００１５】
一実施例において、前記（ａ）段階で、前記位置調整装置は、前記ポーズ予測ネットワークをもって、（ｉ）特徴抽出器を通じて前記上半身イメージ及び前記下半身イメージ各々から一つ以上の特徴を抽出して一つ以上の特徴テンソル各々を生成するようにし、（ｉｉ）キーポイントヒートマップ（ｋｅｙｐｏｉｎｔ  ｈｅａｔｍａｐ）及びパートアフィニティフィールド（ｐａｒｔ  ａｆｆｉｎｉｔｙ  ｆｉｅｌｄ）抽出器を通じて前記特徴テンソル各々に対応する一つ以上のキーポイントヒートマップ及び一つ以上のパートアフィニティフィールド各々を生成するようにし、（ｉｉｉ）キーポイントグルーピング（ｇｒｏｕｐｉｎｇ）レイヤを通じて前記キーポイントヒートマップ各々から一つ以上のキーポイントを抽出するようにし、前記パートアフィニティフィールド各々を参照して前記抽出されたキーポイント各々をグルーピングして前記運転者に対応する前記身体キーポイントを生成するようにすることを特徴とする。
【００１６】
一実施例において、前記位置調整装置は、前記ポーズ予測ネットワークをもって、前記特徴抽出器の少なくとも一つのコンボリューションレイヤを通じて、少なくとも一つのコンボリューション演算を前記上半身イメージ及び前記下半身イメージ各々に適用して前記特徴テンソル各々を生成するようにすることを特徴とする。
【００１７】
一実施例において、前記位置調整装置は、前記ポーズ予測ネットワークをもって、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器のフルコンボリューションネットワークまたは少なくとも一つの１×１コンボリューションレイヤを通じて、前記特徴テンソル各々に少なくとも一つの完全コンボリューション演算または少なくとも一つの１×１コンボリューション演算を適用することで前記特徴テンソル各々に対応する前記キーポイントヒートマップ各々及び前記パートアフィニティフィールド各々を生成するようにすることを特徴とする。
【００１８】
一実施例において、前記位置調整装置は、前記ポーズ予測ネットワークをもって、前記キーポイントグルーピングレイヤを通じて、前記キーポイントヒートマップ各々で最も高い地点各々を、前記キーポイントヒートマップ各々に対応する前記キーポイント各々として抽出するようにすることを特徴とする。
【００１９】
一実施例において、前記位置調整装置は、前記ポーズ予測ネットワークをもって、前記キーポイントグルーピングレイヤを通じて、前記パートアフィニティフィールド各々を参照し、前記抽出されたキーポイントのペアのうち互いに連結され得る確率が最も高いペアを各々連結することで、前記抽出されたキーポイントをグルーピングするようにすることを特徴とする。
【００２０】
一実施例において、前記（ｂ）段階で、前記位置調整装置は、前記顔検出器をもって、（ｉ）コンボリューションレイヤを通じて前記上半身イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの特徴マップを生成するようにし、（ｉｉ）ＲＰＮ（ｒｅｇｉｏｎ  ｐｒｏｐｏｓａｌ  ｎｅｔｗｏｒｋ）を通じて前記特徴マップ上の一つ以上の物体に対応する一つ以上のプロポーザルボックスを生成するようにし、（ｉｉｉ）プーリングレイヤを通じて前記特徴マップ上の前記プロポーザルボックスに対応する一つ以上の領域に少なくとも一つのプーリング演算を適用して少なくとも一つの特徴ベクトルを生成するようにし、（ｉｖ）ＦＣ（ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄ）レイヤを通じて前記特徴ベクトルに少なくとも一つのＦＣ演算を適用して少なくとも一つのＦＣ出力値を生成するようにし、（ｖ）前記ＦＣレイヤの前記ＦＣ出力値にクラシフィケーション演算及びリグレッション演算を適用して各々の前記物体に対するクラス情報及びリグレッション情報を出力するようにした後、クラシフィケーションレイヤ及びリグレッションレイヤを通じて前記上半身イメージ上の前記運転者の前記顔部分を検出するようにし、前記物体各々は前記プロポーザルボックス各々に対応することを特徴とする。
【００２１】
一実施例において、前記（ｂ）段階で、前記位置調整装置は、前記目検出器をもって、前記顔部分を少なくとも一つのＭＣＴ（Ｍｏｄｉｆｉｅｄ  Ｃｅｎｓｕｓ  Ｔｒａｎｓｆｏｒｍ）イメージに変換するようにし、エイダブースト（Ａｄａｂｏｏｓｔ）アルゴリズムを用いて前記ＭＣＴイメージから取得された目検出用特徴データから前記運転者の前記目部分を検出するようにし、局部部分の明るさの平均と前記顔部分の明るさとの差が前記ＭＣＴイメージにエンコードされることを特徴とする。
【００２２】
一実施例において、前記運転席の前記位置は、前記上半身イメージを取得する少なくとも一つのカメラと前記運転席との間の距離であることを特徴とする。
【００２３】
一実施例において、前記（ａ）段階で、前記位置調整装置は、前記運転者の前記身体部位の長さを参照して前記車両の運転台の位置をさらに調整するプロセスを遂行することを特徴とする。
【００２４】
本発明の他の態様によれば、運転者の状態に応じて運転者補助装置の位置を調整する位置調整装置において、インストラクションを格納する少なくとも一つのメモリ、及び（Ｉ）運転者が車両の運転席に着席して前記車両のエンジンを始動した後に前記運転者の少なくとも一つの上半身イメージ及び少なくとも一つの下半身イメージが取得されると、前記上半身イメージと前記下半身イメージをポーズ予測ネットワークに入力するプロセスを遂行することで前記ポーズ予測ネットワークをもって、（ｉ）前記上半身イメージ及び前記下半身イメージに位置する、前記運転者に対応する一つ以上の身体キーポイントを取得するようにし、（ｉｉ）前記身体キーポイントを参照して前記運転者の少なくとも一つの身体部位の長さを計算し、（ｉｉｉ）前記運転者の前記計算された身体部位の長さを参照して前記運転席の位置を調整するようにするプロセス、及び（ＩＩ）前記運転席の位置が調整された状態で前記車両が運行中に、（ｉ）前記上半身イメージを顔検出器に入力し、前記顔検出器をもって、前記上半身イメージから前記運転者の少なくとも一つの顔部分を検出するようにするプロセス、（ｉｉ）前記顔部分を目検出器に入力し、前記目検出器をもって、前記顔部分から前記運転者の少なくとも一つの目部分を検出するようにするプロセス、（ｉｉｉ）前記検出された目部分で前記運転者の少なくとも一つの目に対応する２Ｄ座標と前記調整された運転席の位置を３Ｄ座標変換器に入力し、前記３Ｄ座標変換器をもって、前記運転席の位置及び前記目の２Ｄ座標を参照して前記運転者の前記目の３Ｄ座標を生成し、前記目の前記３Ｄ座標を参照して前記車両の少なくとも一つのミラーの少なくとも一つの位置を調整するようにするプロセス、を遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ、を含むことを特徴とする位置調整装置が開示される。
【００２５】
一実施例において、前記（Ｉ）プロセスで、前記プロセッサは、前記ポーズ予測ネットワークをもって、（ｉ）特徴抽出器を通じて前記上半身イメージ及び前記下半身イメージ各々から一つ以上の特徴を抽出して一つ以上の特徴テンソル各々を生成するようにし、（ｉｉ）キーポイントヒートマップ（ｋｅｙｐｏｉｎｔ  ｈｅａｔｍａｐ）及びパートアフィニティフィールド（ｐａｒｔ  ａｆｆｉｎｉｔｙ  ｆｉｅｌｄ）抽出器を通じて前記特徴テンソル各々に対応する一つ以上のキーポイントヒートマップ及び一つ以上のパートアフィニティフィールド各々を生成するようにし、（ｉｉｉ）キーポイントグルーピング（ｇｒｏｕｐｉｎｇ）レイヤを通じて前記キーポイントヒートマップ各々から一つ以上のキーポイントを抽出するようにし、前記パートアフィニティフィールド各々を参照して前記抽出されたキーポイント各々をグルーピングして前記運転者に対応する前記身体キーポイントを生成するようにすることを特徴とする。
【００２６】
一実施例において、前記プロセッサは、前記ポーズ予測ネットワークをもって、前記特徴抽出器の少なくとも一つのコンボリューションレイヤを通じて、少なくとも一つのコンボリューション演算を前記上半身イメージ及び前記下半身イメージ各々に適用して前記特徴テンソル各々を生成するようにすることを特徴とする。
【００２７】
一実施例において、前記プロセッサは、前記ポーズ予測ネットワークをもって、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器のフルコンボリューションネットワークまたは少なくとも一つの１×１コンボリューションレイヤを通じて、前記特徴テンソル各々に少なくとも一つの完全コンボリューション演算または少なくとも一つの１×１コンボリューション演算を適用することで前記特徴テンソル各々に対応する前記キーポイントヒートマップ各々及び前記パートアフィニティフィールド各々を生成するようにすることを特徴とする。
【００２８】
一実施例において、前記プロセッサは、前記ポーズ予測ネットワークをもって、前記キーポイントグルーピングレイヤを通じて、前記キーポイントヒートマップ各々で最も高い地点各々を、前記キーポイントヒートマップ各々に対応する前記キーポイント各々として抽出するようにすることを特徴とする。
【００２９】
一実施例において、前記プロセッサは、前記ポーズ予測ネットワークをもって、前記キーポイントグルーピングレイヤを通じて、前記パートアフィニティフィールド各々を参照し、前記抽出されたキーポイントのペアのうち互いに連結され得る確率が最も高いペアを各々連結することで、前記抽出されたキーポイントをグルーピングするようにすることを特徴とする。
【００３０】
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサは、前記顔検出器をもって、（ｉ）コンボリューションレイヤを通じて前記上半身イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの特徴マップを生成するようにし、（ｉｉ）ＲＰＮ（ｒｅｇｉｏｎ  ｐｒｏｐｏｓａｌ  ｎｅｔｗｏｒｋ）を通じて前記特徴マップ上の一つ以上の物体に対応する一つ以上のプロポーザルボックスを生成するようにし、（ｉｉｉ）プーリングレイヤを通じて前記特徴マップ上の前記プロポーザルボックスに対応する一つ以上の領域に少なくとも一つのプーリング演算を適用して少なくとも一つの特徴ベクトルを生成するようにし、（ｉｖ）ＦＣ（ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄ）レイヤを通じて前記特徴ベクトルに少なくとも一つのＦＣ演算を適用して少なくとも一つのＦＣ出力値を生成するようにし、（ｖ）前記ＦＣレイヤの前記ＦＣ出力値にクラシフィケーション演算及びリグレッション演算を適用して各々の前記物体に対するクラス情報及びリグレッション情報を出力するようにした後、クラシフィケーションレイヤ及びリグレッションレイヤを通じて前記上半身イメージ上の前記運転者の前記顔部分を検出するようにし、前記物体各々は前記プロポーザルボックス各々に対応することを特徴とする。
【００３１】
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサは、前記目検出器をもって、前記顔部分を少なくとも一つのＭＣＴ（Ｍｏｄｉｆｉｅｄ  Ｃｅｎｓｕｓ  Ｔｒａｎｓｆｏｒｍ）イメージに変換するようにし、エイダブースト（Ａｄａｂｏｏｓｔ）アルゴリズムを用いて前記ＭＣＴイメージから取得された目検出用特徴データから前記運転者の前記目部分を検出するようにし、局部部分の明るさの平均と前記顔部分の明るさとの差が前記ＭＣＴイメージにエンコードされることを特徴とする。
【００３２】
一実施例において、前記運転席の前記位置は、前記上半身イメージを取得する少なくとも一つのカメラと前記運転席との間の距離であることを特徴とする。
【００３３】
一実施例において、前記（Ｉ）プロセスで、前記プロセッサは、前記運転者の前記身体部位の長さを参照して前記車両の運転台の位置をさらに調整するプロセスを遂行することを特徴とする。
【００３４】
この他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータで判読可能な記録媒体がさらに提供される。
【発明の効果】
【００３５】
本発明は、運転者の状態に応じて運転者補助装置を自動で調整して運転者の便宜性を向上させることができる効果がある。
【００３６】
本発明は、運転者の状態に応じて運転席の位置を自動で調整して運転者の便宜性を向上させることができる効果がある。
【００３７】
本発明は、運転者の視線（ｇａｚｅ）を追跡してミラーの位置をリアルタイム自動で調整して運転者の便宜性を向上させ、運転者をもってミラーを利用して周辺環境を正確に認識することができるようにして交通事故を防止することができる効果がある。
【図面の簡単な説明】
【００３８】
本発明の実施例の説明に利用されるために添付された以下の図面は、本発明の実施例のうち単に一部に過ぎず、本発明が属する技術分野で通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行なわれることなく本図面に基づいて異なる図面が得られ得る。
【図１】図１は、本発明の一実施例に係る運転者の状態に応じて運転者補助装置の位置を調整する位置調整装置を簡略に示す図面である。
【図２】図２は、本発明の一実施例に係る運転者の状態に応じて運転者補助装置の位置を調整する方法を簡略に示す図面である。
【図３】図３は、本発明の一実施例に係る運転者の状態に応じて運転者補助装置の位置を調整する方法で、運転者の身体キーポイントを検出する過程を簡略に示す図面である。
【図４】図４は、本発明の一実施例に係る運転者の状態に応じて運転者補助装置の位置を調整する方法で、運転者の顔を検出する過程を簡略に示す図面である。
【発明を実施するための形態】
【００３９】
後述する本発明に対する詳細な説明は、本発明の目的、技術的解法及び長所を明らかにするために本発明が実施されることができる特定の実施例を例示として示す添付図面を参照する。これら実施例は通常の技術者が本発明を実施することができるように充分詳細に説明される。
【００４０】
また、本発明の詳細な説明及び請求項にかけて、「含む」という単語及びその変形は、他の技術的特徴、付加物、構成要素または段階を除外するものとして意図されたものではない。通常の技術者にとって本発明の他の目的、長所及び特性が一部は本説明書から、そして一部は本発明の実施から明らかにされる。下記の例示及び図面は実例として提供され、本発明を限定するものとして意図されたものではない。
【００４１】
さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、類似する機能を指す。
【００４２】
本発明で言及する各種イメージは、舗装または未鋪装道路関連イメージを含む場合があり、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、品物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及する各種イメージは、道路と関係のないイメージ（例えば、未鋪装道路、路地、空地、海、湖、川、山、森、砂漠、空、室内と関連するイメージ）の場合もあり、この場合、未鋪装道路、路地、空地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、品物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００４３】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例に関して添付された図面を参照して詳細に説明することにする。
【００４４】
図１は、本発明の一実施例に係る運転者の状態に応じて運転者補助装置の位置を調整する位置調整装置を簡略に示す図面である。図１を参照すると、前記位置調整装置１０００は、前記検出された運転者の状態に応じて前記運転者補助装置の位置を調整するインストラクションを格納するメモリ１１００と、前記運転者の状態に応じて前記運転者補助装置の位置を調整する前記メモリ１１００に格納されたインストラクションに対応するプロセスを遂行するプロセッサ１２００を含み得る。
【００４５】
具体的には、前記位置調整装置１０００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含み得る装置；ルータ、スイッチなどのような電子通信装置；ネットワークアタッチストレージ（ＮＡＳ）及びストレージエリアネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（即ち、前記コンピューティング装置をもって特定の方式で機能するようにするインストラクション）の組み合わせを利用して所望のシステム性能を達成するものが挙げられる。
【００４６】
前記コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ  Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ  Ｂｕｓ）などのハードウェア構成を含み得る。また、コンピューティング装置は、運営体制、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含む場合もある。
【００４７】
しかし、このような前記コンピューティング装置に対する説明が本発明を実施するためのプロセッサ、メモリ、媒体またはその他コンピューティング構成要素が統合された形態である統合プロセッサの場合を排除するものではない。
【００４８】
このように構成された本発明の一実施例に係る前記位置調整装置１０００を利用して前記運転者の状態に応じて前記運転者補助装置の位置を調整する方法を図２を参照して説明すると次の通りである。
【００４９】
まず、運転者が車両の運転席に着席して前記車両のエンジンを始動した後に第１イメージである前記運転者の少なくとも一つの上半身イメージ及び第２イメージである前記運転者の少なくとも一つの下半身イメージが取得されると、前記位置調整装置１０００は、前記上半身イメージと前記下半身イメージとをポーズ予測ネットワークに入力するプロセスを遂行し、前記ポーズ予測ネットワーク１００をもって、前記上半身イメージ及び前記下半身イメージに位置する、前記運転者に対応する一つ以上の身体キーポイントを取得するようにし、前記身体キーポイントを参照して前記運転者の少なくとも一つの身体部位の長さを計算するようにし得る。
【００５０】
この際、前記上半身イメージと前記下半身イメージとは、前記車両の室内に設置された一つ以上のカメラによって取得され得る。そして、前記カメラは、前記車両の室内で前記運転者の上半身を撮影する少なくとも一つのカメラと、前記車両の室内で前記運転者の下半身を撮影する少なくとも一つのカメラとを含み得る。また、前記運転者の前記上半身と前記下半身とは、前記運転者の臍を基準に判断し得るが、本発明の範囲はこれに限定されず、前記運転者の少なくとも一つの顔部分が前記運転者の上半身イメージに含まれるように任意の地点に基づいて判断し得る。
【００５１】
そして、前記ポーズ予測ネットワーク１００は、前記運転者の前記上半身イメージと前記下半身イメージとを身体キーポイント検出器１１０に入力し、前記身体キーポイント検出器１１０をもって、前記上半身イメージ及び前記下半身イメージ各々から前記運転者に対応する前記身体キーポイントを取得するようにし得る。
【００５２】
この際、前記車両内に設置された前記カメラで取得した映像またはイメージは、身体が殆ど隠れた状態の場合もあり、このような場合、従来の物体検出器は殆ど隠れた特定の運転者を検出するのに失敗する可能性があるが、前記身体キーポイント検出器１１０は、見える部分のみを利用して前記運転者がいるか否かを判断し得る。そして、前記運転者はポーズの多様性範囲が広いため、前記身体キーポイント検出器１１０は、前記従来の物体検出器よりもはるかに有用である。
【００５３】
一例として、図３を参照し、身体キーポイント検出器１１０が前記身体キーポイントを検出する過程を説明すると次の通りである。
【００５４】
前記第１イメージである前記運転者の上半身イメージと、前記第２イメージである前記運転者の下半身イメージが取得されると、前記身体キーポイント検出器１１０は、前記特徴抽出器ネットワーク１１１をもって前記上半身イメージ及び前記下半身イメージ各々に少なくとも一つのコンボリューション演算を適用して前記上半身イメージ及び前記下半身イメージ各々に対応する一つ以上の特徴テンソル各々を出力するようにする。この際、前記特徴抽出器ネットワーク１１１は、少なくとも一つのコンボリューション演算を遂行することができる一つ以上のコンボリューションレイヤを含む一つ以上のコンボリューションブロックであり得る。
【００５５】
そして、前記身体キーポイント検出器１１０は、前記特徴テンソル各々を前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器１１２に入力して、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器１１２をもって、（ｉ）前記特徴テンソル各々に対応するキーポイントヒートマップ各々及び（ｉｉ）前記キーポイント間の関係を示すベクトルマップであるパートアフィニティフィールド各々を生成するようにし得る。この際、各々の前記パートアフィニティフィールドは、特定キーポイントと他のキーポイントとの連結性を示すマップであり、各々のキーポイントヒートマップペアに対して互いに連結され得る確率を示すマップでもあり得る。そして、「ヒートマップ」は、熱を意味するヒート（ｈｅａｔ）と地図を意味するマップ（ｍａｐ）とを結合させたもので、色で表現することができる多様な情報を一定のイメージ上に熱分布形態のグラフィックで生成したものである。
【００５６】
この際、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器１１２は、フルコンボリューションネットワークを含み得る。
【００５７】
また、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器１１２は、少なくとも一つの１×１コンボリューション演算を前記特徴テンソルに適用する一つ以上の１×１コンボリューションレイヤを含み得る。
【００５８】
また、前記キーポイントヒートマップ及びパートアフィニティフィールド抽出器１１２は、二部分マッチング（ｂｉｐａｒｔｉｔｅ  ｍａｔｃｈｉｎｇ）を利用して各々のキーポイント間の関係を検出することで前記パートアフィニティフィールドを生成し得る。即ち、前記キーポイント間の関係は、前記二部分マッチングを通じて確認し得る。
【００５９】
その後、前記身体キーポイント検出器１１０は、前記キーポイントグルーピングレイヤ１１３をもって、前記キーポイントヒートマップ各々から前記キーポイントを抽出し、前記抽出された相互連結確率を参照し、連結され得る確率が最も高いキーポイント同士をペア各々として連結するようにし得る。この際、前記身体キーポイント検出器は、各チャンネルに対応する各々の前記キーポイントヒートマップ内の各々の最も高い地点、即ち最も高いヒート値を持つ各々のポイントを、各々の前記キーポイントヒートマップに対応する各々の前記キーポイントとして抽出し、前記パートアフィニティフィールドを参照し、前記抽出されたキーポイントのうち連結され得る確率が最も高いキーポイント同士をペアにして連結することで、前記抽出されたキーポイントをグルーピングし得る。一例として、前記抽出されたキーポイントのうちいずれか一つのキーポイントと連結され得る確率が最も高い他の一つのキーポイントを一つのペアとして連結する過程を抽出されたキーポイントすべてに対して遂行することでキーポイントをグルーピングし得る。
【００６０】
次に、再び図２を参照すると、前記位置調整装置１０００は、前記ポーズ予測ネットワーク１００をもって、前記運転者の前記上半身イメージ及び前記下半身イメージ各々から検出された前記運転者の前記身体キーポイントを参照し、前記運転者の一つ以上の身体部位を生成するようにし、前記身体部位を参照して前記身体部位の長さ情報である前記身体部位の長さに関する情報を生成するようにし得る。一例として、前記身体部位の長さに関する情報は、前記運転者の肩幅、腕の長さ、足の長さ、背丈などが挙げられる。
【００６１】
次に、前記位置調整装置１０００は、前記運転者補助装置を調整し、例えば前記ポーズ予測ネットワーク１００を通じて確認された前記運転者の前記身体部位の長さに関する情報に応じて運転席位置または運転台の位置を調整し得る。
【００６２】
次に、上記のような方法によって、前記運転席の位置が前記運転者の状態に応じて調整された状態で、前記位置調整装置１０００は、前記取得された第１イメージである前記運転者の前記上半身イメージを顔検出器２００に入力し、前記顔検出器２００をもって前記上半身イメージから前記運転者の前記顔部分を検出するようにし得る。この際、前記顔検出器２００は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を基盤とする検出器であるが、本発明の範囲はこれに限定されない。また、前記顔検出器２００は、前記全体身体イメージから前記運転者の前記顔部分を検出するものとして説明されたが、他の例として、前記上半身イメージをクロッピング（ｃｒｏｐｐｉｎｇ）して顔が位置すると予測される前記上半身の特定領域のみを利用して顔検出に利用される場合もある。
【００６３】
一例として、図４を参照すると、前記ＣＮＮ基盤の前記顔検出器２００は、少なくとも一つのコンボリューションレイヤ２０１を通じて前記上半身イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの特徴マップを生成するようにし、ＲＰＮ（ｒｅｇｉｏｎ  ｐｒｏｐｏｓａｌ  ｎｅｔｗｏｒｋ、２０２）を通じて前記特徴マップ上の一つ以上の物体に対応する一つ以上のプロポーザルボックスを生成するプロセスを遂行し得る。そして、前記顔検出器２００は、プーリングレイヤ２０３を通じて前記特徴マップ上の前記プロポーザルボックスに対応する一つ以上の領域に少なくとも一つのプーリング演算を適用して少なくとも一つの特徴ベクトルを生成するプロセス、及びＦＣレイヤ２０４を通じて前記特徴ベクトルに少なくとも一つのＦＣ演算を適用して少なくとも一つのＦＣ出力値を生成するプロセスを遂行し得る。その後、前記顔検出器２００は、クラシフィケーション演算とリグレッション演算とを前記ＦＣレイヤ２０４の前記ＦＣ出力値に適用して前記物体各々に対するクラス情報とリグレッション情報とを出力し、前記物体各々がプロポーザルボックス各々に対応するクラシフィケーションレイヤ２０５及びリグレッションレイヤ２０６を通じて前記室内イメージ上の前記運転者の前記顔部分を検出し得る。再び図２を参照すると、前記位置調整装置１０００は、目検出器３００をもって前記顔検出器２００から検出された前記運転者の前記顔部分で少なくとも一つの目部分を検出することで少なくとも一つの目の２Ｄ座標を生成するようにし得る。
【００６４】
一例として、前記目検出器３００は、前記顔部分を少なくとも一つのＭＣＴ（Ｍｏｄｉｆｉｅｄ  Ｃｅｎｓｕｓ  Ｔｒａｎｓｆｏｒｍ）イメージに変換し、エイダブースト（Ａｄａｂｏｏｓｔ）アルゴリズムを用いて前記ＭＣＴイメージから取得された目検出用特徴データから前記運転者の前記目部分を検出するようにし、局部部分の明るさの平均と前記顔部分の明るさとの差が前記ＭＣＴイメージにエンコードされ得る。
【００６５】
次に、前記位置調整装置１０００は、前記検出された目部分で前記運転者の前記目に対応する２Ｄ座標と前記調整された運転席の位置とを３Ｄ座標変換器４００に入力して、前記３Ｄ座標変換器４００をもって、前記調整された運転席の位置及び前記目の２Ｄ座標を参照して前記運転者の前記目の３Ｄ座標を生成するようにし、前記目の前記３Ｄ座標を参照して前記車両の少なくとも一つのミラーの少なくとも一つの位置を調整するようにし得る。
【００６６】
即ち、前記運転者の前記上半身イメージを取得する前記カメラ及び前記運転席間の距離は、前記身体部位の長さに応じて調整された前記運転席の位置を参照して取得され、前記カメラと前記調整された運転席との距離及び前記目の前記２Ｄ座標を利用して前記目の３Ｄ座標を取得し得る。
【００６７】
そして、前記位置調整装置１０００は、（ｉ）前記目の前記３Ｄ座標を参照して前記運転者の視線方向を予測し、（ｉｉ）前記運転者の前記予測された視線方向によって、前記ミラーの位置、即ち前記ミラーの角度を調整して前記運転者の前記予測された視線方向によって前記ミラーの反射角を自動で調整することで前記運転者をもって前記車両の周辺状況を認識することができるようにし得る。
【００６８】
一方、他の例として、前記運転者の前記上半身イメージと下半身イメージとを用いる場合とは異なり、前記運転者の一つのイメージのみを用いる場合もある。即ち、前記運転者の一つのイメージから前記運転者の前記身体キーポイントと前記顔部分とを検出する場合もある。
【００６９】
上記で説明したように、本発明は、前記カメラから撮影された前記運転者の写真を利用して運転者の状態をモニタリングし、前記運転者の前記身体キーポイントを利用した前記身体部位の長さによって前記運転席の位置を調整し、前記運転者の視線モニタリングを通じて判断された前記運転者の視線によって前記ミラーの角度を調整することで前記運転者補助装置の特化型のオンラインキャリブレーションが可能になり得る。
【００７０】
以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行され得るプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含み得る。前記コンピュータで判読可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ  ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ  ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成されることがあり、その逆も同様である。
【００７１】
以上、本発明が具体的な構成要素などのような特定の事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明が前記実施例に限定されるものではなく、本発明が属する技術分野において通常の知識を有する者であればこのような記載から多様な修正及び変形が行なわれ得る。
【００７２】
したがって、本発明の思想は上記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけではなく、本特許請求の範囲と均等にまたは等価的に変形されたすべてのものは本発明の思想の範疇に属するといえる。
【図１】
2020126638.tif 000003
【図２】
2020126638.tif 000004
【図３】
2020126638.tif 000005
【図４】
2020126638.tif 000006