(57)【要約】      （修正有）【課題】乗客キーポイントを用いて車両占有を検出する方法及び装置を提供する。【解決手段】車両占有を検出する方法は、室内イメージを取得する段階と、車両占有検出装置が室内イメージにコンボリューション演算を適用して特徴テンソルを生成する段階と、特徴テンソルをキーポイントヒートマップ−ＰＡＦ抽出器に入力することにより、キーポイントヒートマップ及びＰＡＦを生成する段階と、キーポイントヒートマップ及びＰＡＦをキーポイント検出装置に入力することにより、キーポイントヒートマップそれぞれからキーポイントを抽出する段階と、ＰＡＦに基づいたキーポイントをグルーピングすることにより、各乗客ごとにキーポイントを検出する段階と、キーポイントを座席占有マッチャーに入力することにより、入力されたキーポイントと、座席の予め設定されたＲＯＩとを参照して、座席に乗客をマッチングするようにして、車両占有を検出する段階と、を含む。【選択図】図３
2020121713.tif 000002
【特許請求の範囲】
【請求項１】
車両の室内イメージ分析に基づいた乗客キーポイントを用いて車両占有（ｖｅｈｉｃｌｅ  ｏｃｃｕｐａｎｃｙ）を検出する方法において、
（ａ）前記車両の前記室内イメージが取得されると、車両占有検出装置が、（ｉ）前記室内イメージを特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、前記室内イメージにコンボリューション演算を適用して一つ以上の特徴テンソルを生成するようにし、（ｉｉ）前記特徴テンソルをキーポイントヒートマップ（ｋｅｙｐｏｉｎｔ ｈｅａｔｍａｐ）−ＰＡＦ（ｐａｒｔ ａｆｆｉｎｉｔｙ ｆｉｅｌｄ）抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、前記特徴テンソルそれぞれに対するキーポイントヒートマップ及びＰＡＦを生成するようにし、（ｉｉｉ）前記キーポイントヒートマップ及び前記ＰＡＦをキーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、前記キーポイントヒートマップそれぞれからキーポイントを抽出するようにし、（ｉｖ）前記ＰＡＦそれぞれを参照して前記抽出されたキーポイントをグルーピング（ｇｒｏｕｐｉｎｇ）することにより、前記室内イメージ内の乗客それぞれに対応する各乗客ごとにキーポイントを検出する段階；及び
（ｂ）前記車両占有検出装置が、前記各乗客別キーポイントを座席占有マッチャー（ｍａｔｃｈｅｒ）に入力することにより、前記座席占有マッチャーをもって、前記車両の座席それぞれの予め設定されたＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）と、前記各乗客別キーポイントとを参照してそれぞれの前記乗客をマッチング（ｍａｔｃｈｉｎｇ）するようにして、前記車両占有を検出する段階；
を含むことを特徴とする方法。
【請求項２】
前記（ａ）段階で、
前記車両占有検出装置は、前記室内イメージを前記特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、多重コンボリューション演算を遂行する一つ以上のコンボリューションレイヤを含むコンボリューションブロックによる前記多重コンボリューション演算を前記室内イメージに適用するようにする請求項１に記載の方法。
【請求項３】
前記（ａ）段階で、
前記車両占有検出装置は、前記特徴テンソルを前記キーポイントヒートマップ−ＰＡＦ抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、ＦＣＮ（ｆｕｌｌｙ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｔｗｏｒｋ）または１ｘ１コンボリューションレイヤによるコンボリューション演算を前記特徴テンソルに適用して、前記特徴テンソルに対する前記キーポイントヒートマップ及び前記ＰＡＦを生成するようにする請求項１に記載の方法。 
【請求項４】
前記（ａ）段階で、
前記車両占有検出装置は、前記キーポイントヒートマップ及び前記ＰＡＦを前記キーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、それぞれの前記キーポイントヒートマップ上の最も高い地点それぞれを、それぞれの前記キーポイントヒートマップに対応するそれぞれの前記キーポイントとして抽出するようにする請求項１に記載の方法。
【請求項５】
前記車両占有検出装置は、前記キーポイント検出装置をもって、前記ＰＡＦを参照して、前記抽出されたキーポイントのうちの連結される確率が最も高いキーポイント同士をペアにしてつなげることにより、前記抽出されたキーポイントをグルーピングする請求項４に記載の方法。
【請求項６】
前記（ｂ）段階で、
前記車両占有検出装置は、前記座席占有マッチャーをもって、前記各乗客別キーポイントの平均ポイントそれぞれ及び前記各乗客別キーポイントの分散それぞれを算出するようにし、各前記座席の前記予め設定されたＲＯＩそれぞれに対して、（ｉ）前記各乗客別キーポイント、（ｉｉ）前記各乗客別キーポイントの前記平均ポイントそれぞれ及び（ｉｉｉ）前記各乗客別キーポイントの分散それぞれが、少なくとも一つの予め設定された条件を満たしているか否かを確認し、それぞれの前記座席にそれぞれの前記乗客をマッチングさせる請求項１に記載の方法。
【請求項７】
前記車両占有検出装置は、前記座席占有マッチャーをもって、特定座席の特定ＲＯＩに対して、（ｉ）特定乗客に対応する特定平均ポイントが前記特定ＲＯＩ内に位置し、（ｉｉ）前記特定乗客に対応する特定分散が予め設定された第１閾値以下であり、（ｉｉｉ）前記特定ＲＯＩ内に位置する前記特定乗客に対応する特定キーポイントの個数が予め設定された第２閾値以上である場合、前記特定座席に前記特定乗客をマッチングするようにする請求項６に記載の方法。
【請求項８】
前記特徴抽出ネットワークと、前記キーポイントヒートマップ−ＰＡＦ抽出器とは、学習装置により学習された状態であり、前記学習装置は、一つ以上の学習用物体を含む少なくとも一つのトレーニングイメージが取得されると、（ｉ）前記トレーニングイメージを前記特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、前記トレーニングイメージにコンボリューション演算を適用して一つ以上の学習用特徴テンソルを生成するようにするプロセス、（ｉｉ）前記学習用特徴テンソルを前記キーポイントヒートマップ−ＰＡＦ抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、前記学習用特徴テンソルそれぞれに対する学習用キーポイントヒートマップ及び学習用ＰＡＦを生成するようにするプロセス、（ｉｉｉ）前記学習用キーポイントヒートマップ及び前記学習用ＰＡＦをキーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、前記学習用キーポイントヒートマップそれぞれから学習用キーポイントを抽出するようにし、前記学習用ＰＡＦそれぞれを参照して前記抽出された学習用キーポイントをグルーピングすることにより、前記トレーニングイメージ内の前記学習用物体それぞれに対応する各学習用物体別キーポイントを検出するプロセス、及び（ｉｖ）ロスレイヤをもって、前記各学習用物体別キーポイント及びこれに対応するＧＴ（ｇｒｏｕｎｄ ｔｒｕｔｈ）を参照して一つ以上のロスを算出させることで、前記ロスを利用したバックプロパーゲーションによって前記ロスが最小化されるように前記特徴抽出ネットワーク及び前記キーポイントヒートマップ−ＰＡＦ抽出器の一つ以上のパラメータを調整するプロセスを遂行した状態である請求項１に記載の方法。
【請求項９】
車両の室内イメージ分析に基づいた乗客キーポイントを利用して車両占有を検出する車両占有検出装置において、
インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）前記車両の前記室内イメージが取得されると、（ｉ）前記室内イメージを特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、前記室内イメージにコンボリューション演算を適用して一つ以上の特徴テンソルを生成するようにし、（ｉｉ）前記特徴テンソルをキーポイントヒートマップ（ｋｅｙｐｏｉｎｔ ｈｅａｔｍａｐ）−ＰＡＦ（ｐａｒｔ ａｆｆｉｎｉｔｙ ｆｉｅｌｄ）抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、前記特徴テンソルそれぞれに対するキーポイントヒートマップ及びＰＡＦを生成するようにし、（ｉｉｉ）前記キーポイントヒートマップ及び前記ＰＡＦをキーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、前記キーポイントヒートマップそれぞれからキーポイントを抽出するようにし、（ｉｖ）前記ＰＡＦそれぞれを参照して前記抽出されたキーポイントをグルーピング（ｇｒｏｕｐｉｎｇ）することにより、前記室内イメージ内の乗客それぞれに対応する各乗客ごとにキーポイントを検出するプロセス、及び（ＩＩ）前記各乗客別キーポイントを座席占有マッチャー（ｍａｔｃｈｅｒ）に入力することにより、前記座席占有マッチャーをもって、前記車両の座席それぞれの予め設定されたＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）と、前記各乗客別キーポイントとを参照してそれぞれの前記乗客をマッチング（ｍａｔｃｈｉｎｇ）するようにして、前記車両占有を検出するプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とする車両点有検出装置。
【請求項１０】
前記（Ｉ）プロセスで、
前記プロセッサは、前記室内イメージを前記特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、多重コンボリューション演算を遂行する一つ以上のコンボリューションレイヤを含むコンボリューションブロックによる前記多重コンボリューション演算を前記室内イメージに適用するようにする請求項９に記載の車両点有検出装置。
【請求項１１】
前記（Ｉ）プロセスで、
前記プロセッサは、前記特徴テンソルを前記キーポイントヒートマップ−ＰＡＦ抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、ＦＣＮ（ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）または１ｘ１コンボリューションレイヤによるコンボリューション演算を前記特徴テンソルに適用して、前記特徴テンソルに対する前記キーポイントヒートマップ及び前記ＰＡＦを生成するようにする請求項９に記載の車両点有検出装置。
【請求項１２】
前記（Ｉ）プロセスで、
前記プロセッサは、前記キーポイントヒートマップ及び前記ＰＡＦを前記キーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、それぞれの前記キーポイントヒートマップ上の最も高い地点それぞれを、それぞれの前記キーポイントヒートマップに対応するそれぞれの前記キーポイントとして抽出するようにする請求項９に記載の車両点有検出装置。
【請求項１３】
前記プロセッサは、前記キーポイント検出装置をもって、前記ＰＡＦを参照して、前記抽出されたキーポイントのうちの連結される確率が最も高いキーポイント同士をペアにしてつなげることにより、前記抽出されたキーポイントをグルーピングする請求項１２に記載の車両点有検出装置。
【請求項１４】
前記（ＩＩ）プロセスで、
前記プロセッサは、前記座席占有マッチャーをもって、前記各乗客別キーポイントの平均ポイントそれぞれ及び前記各乗客別キーポイントの分散それぞれを算出するようにし、各前記座席の前記予め設定されたＲＯＩそれぞれに対して、（ｉ）前記各乗客別キーポイント、（ｉｉ）前記各乗客別キーポイントの前記平均ポイントそれぞれ及び（ｉｉｉ）前記各乗客別キーポイントの分散それぞれが、少なくとも一つの予め設定された条件を満たしているか否かを確認し、それぞれの前記座席にそれぞれの前記乗客をマッチングさせる請求項９に記載の車両点有検出装置。
【請求項１５】
前記プロセッサは、前記座席占有マッチャーをもって、特定座席の特定ＲＯＩに対して、（ｉ）特定乗客に対応する特定平均ポイントが前記特定ＲＯＩ内に位置し、（ｉｉ）前記特定乗客に対応する特定分散が予め設定された第１閾値以下であり、（ｉｉｉ）前記特定ＲＯＩ内に位置する前記特定乗客に対応する特定キーポイントの個数が予め設定された第２閾値以上である場合、前記特定座席に前記特定乗客をマッチングするようにする請求項１４に記載の車両点有検出装置。
【請求項１６】
前記特徴抽出ネットワークと、前記キーポイントヒートマップ−ＰＡＦ抽出器とは、学習装置により学習された状態であり、前記学習装置は、一つ以上の学習用物体を含む少なくとも一つのトレーニングイメージが取得されると、（ｉ）前記トレーニングイメージを前記特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、前記トレーニングイメージにコンボリューション演算を適用して一つ以上の学習用特徴テンソルを生成するようにするプロセス、（ｉｉ）前記学習用特徴テンソルを前記キーポイントヒートマップ−ＰＡＦ抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、前記学習用特徴テンソルそれぞれに対する学習用キーポイントヒートマップ及び学習用ＰＡＦを生成するようにするプロセス、（ｉｉｉ）前記学習用キーポイントヒートマップ及び前記学習用ＰＡＦをキーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、前記学習用キーポイントヒートマップそれぞれから学習用キーポイントを抽出するようにし、前記学習用ＰＡＦそれぞれを参照して前記抽出された学習用キーポイントをグルーピングすることにより、前記トレーニングイメージ内の前記学習用物体それぞれに対応する各学習用物体別キーポイントを検出するプロセス、及び（ｉｖ）ロスレイヤをもって、前記各学習用物体別キーポイント及びこれに対応するＧＴ（ｇｒｏｕｎｄ ｔｒｕｔｈ）を参照して一つ以上のロスを算出させることで、前記ロスを利用したバックプロパーゲーションによって前記ロスが最小化されるように前記特徴抽出ネットワーク及び前記キーポイントヒートマップ−ＰＡＦ抽出器の一つ以上のパラメータを調整するプロセスを遂行した状態である請求項９に記載の車両点有検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人の状態の識別のためのイメージ分析によって検出された少なくとも一人の乗客の一つ以上のポイントを利用して車両占有（ｖｅｈｉｃｌｅ  ｏｃｃｕｐａｎｃｙ）を検出する方法に関し；より詳細には、車両の少なくとも一つの室内イメージを分析し、乗客検出のための人の身体キーポイント検出装置によって前記乗客に対応するキーポイントを検出し、検出された乗客が自動車のどの座席にマッチングされるかを確認することにより、車両占有を検出する前記方法及びこれを用いた前記装置に関するものである。
【背景技術】
【０００２】
一般的に車の車室には、乗客が着席できる座席が設置されている。運転席や助手席にある座席には、乗客が着席すると乗客の類型を区分し、乗客の有無を判断し、シートベルトを着用しているか否かを知らせる機能などを果たす様々な乗客識別装置が含まれている。
【０００３】
そのうち、パターン認識方式、圧力認識方式、重量認識方式が最も多く使われている。パターン認識方式は、自動車の座席内部にセンサマットが取り付けられており、センサマット上にマトリックス状で圧力センサが配列されていて、座席に着席した乗客の重量や骨盤パターンを認識して乗客を識別する。
【０００４】
圧力認識方式は、液体がつまった薄いブラダー（ｂｌａｄｄｅｒ）と圧力センサが座席クッション下側に装着されており、座席に乗客が着席するとブラダーから流出した液体を圧力センサが感知して乗客を識別する。
【０００５】
重量認識方式は、座席の内部に備えられた座席フレームがマウンティングされる位置にストレインゲージセンサが取り付けられており、乗客の重さを感知して座席に着席した乗客を識別する。
【０００６】
しかし、前記のように多様な乗客識別装置を備えても、多様な識別エラーが発生する。例えば、乗客が着席の際に片側に偏ったり、着席状態が不良だったりすると、着席をしていないと識別することがある。また、低体重の成人乗客を子ども乗客として識別することもある。
【０００７】
このような識別エラーによって成人乗客を子ども乗客と誤って識別するようになると、自動車事故が発生した際、エアバッグが子ども乗客の体型に対応するように展開されて成人乗客を安全に保護することができず、２次傷害を負うなどの問題が発生する。
【０００８】
また、座席に乗客が着席してないと識別されると、エアバッグが展開されず、乗客が大きな傷害を負う恐れがあるなど、乗客識別ミスによる多くの問題が発生してしまう。
【０００９】
これに加え、自動車の座席毎にセンサを取り付けなければならないので、コストが増加するだけでなく、処理すべき情報が増えるため、処理速度が低下するという短所がある。
【００１０】
したがって、最近ではカメラによって撮影されたイメージを利用して自動車の乗客を検出したり、乗客数を検出したりする技術が提供されている。
【００１１】
つまり、図１を参照すれば、自動車の外部、つまり、走行中の道路沿い及び周辺構造物上にカメラを設置した後、これにより取得されるイメージを分析して自動車内に搭乗中の乗客数を測定している。これにより、構造物上のカメラによって自動車の前部座席を確認し、道路沿いのカメラによって自動車の後部座席を確認している。
【００１２】
しかし、こうした道路沿い及び構造物上のカメラが利用する場合には、暗さ、雪、雨、自動車ガラスのフィルムなどで自動車内部がよく見えない場合、自動車の乗客数を確認できないという短所がある。
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本発明は、前述した問題点を全て解決することを目的とする。
【００１４】
本発明は、費用の増加なしに車両占有（ｖｅｈｉｃｌｅ  ｏｃｃｕｐａｎｃｙ）を検出できるようにすることを他の目的とする。
【００１５】
本発明は、周辺環境に影響されずに車両占有を検出できるようにすることをまた他の目的とする。
【００１６】
本発明は、処理すべき情報を最小化し、車両占有を検出できるようにすることをまた他の目的とする。
【課題を解決するための手段】
【００１７】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記の通りである。
【００１８】
本発明の一態様によれば、車両の室内イメージ分析に基づいた乗客キーポイントを用いて車両占有（ｖｅｈｉｃｌｅ  ｏｃｃｕｐａｎｃｙ）を検出する方法において、（ａ）前記車両の前記室内イメージが取得されると、車両占有検出装置が、（ｉ）前記室内イメージを特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、前記室内イメージにコンボリューション演算を適用して一つ以上の特徴テンソルを生成するようにし、（ｉｉ）前記特徴テンソルをキーポイントヒートマップ（ｋｅｙｐｏｉｎｔ ｈｅａｔｍａｐ）・ＰＡＦ（ｐａｒｔ ａｆｆｉｎｉｔｙ ｆｉｅｌｄ）抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、前記特徴テンソルそれぞれに対するキーポイントヒートマップ及びＰＡＦを生成するようにし、（ｉｉｉ）前記キーポイントヒートマップ及び前記ＰＡＦをキーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、前記キーポイントヒートマップそれぞれからキーポイントを抽出するようにし、（ｉｖ）前記ＰＡＦそれぞれを参照して前記抽出されたキーポイントをグルーピング（ｇｒｏｕｐｉｎｇ）することにより、前記室内イメージ内の乗客それぞれに対応する各乗客ごとにキーポイントを検出する段階；及び（ｂ）前記車両占有検出装置が、前記各乗客別キーポイントを座席占有マッチャー（ｍａｔｃｈｅｒ）に入力することにより、前記座席占有マッチャーをもって、前記車両の座席それぞれの予め設定されたＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）と、前記各乗客別キーポイントとを参照してそれぞれの前記乗客をマッチング（ｍａｔｃｈｉｎｇ）するようにして、前記車両占有を検出する段階；を含むことを特徴とする方法が提供される。
【００１９】
一実施例として、前記（ａ）段階で、前記車両占有検出装置は、前記室内イメージを前記特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、多重コンボリューション演算を遂行する一つ以上のコンボリューションレイヤを含むコンボリューションブロックによる前記多重コンボリューション演算を前記室内イメージに適用するようにする。
【００２０】
一実施例として、前記（ａ）段階で、前記車両占有検出装置は、前記特徴テンソルを前記キーポイントヒートマップ−ＰＡＦ抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、ＦＣＮ（ｆｕｌｌｙ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｔｗｏｒｋ）または１ｘ１コンボリューションレイヤによるコンボリューション演算を前記特徴テンソルに適用して、前記特徴テンソルに対する前記キーポイントヒートマップ及び前記ＰＡＦを生成するようにする。
【００２１】
一実施例として、前記（ａ）段階で、前記車両占有検出装置は、前記キーポイントヒートマップ及び前記ＰＡＦを前記キーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、それぞれの前記キーポイントヒートマップ上の最も高い地点それぞれを、それぞれの前記キーポイントヒートマップに対応するそれぞれの前記キーポイントとして抽出するようにする。
【００２２】
一実施例として、前記車両占有検出装置は、前記キーポイント検出装置をもって、前記ＰＡＦを参照して、前記抽出されたキーポイントのうちの連結される確率が最も高いキーポイント同士をペアにしてつなげることにより、前記抽出されたキーポイントをグルーピングする。
【００２３】
一実施例として、前記（ｂ）段階で、前記車両占有検出装置は、前記座席占有マッチャーをもって、前記各乗客別キーポイントの平均ポイントそれぞれ及び前記各乗客別キーポイントの分散それぞれを算出するようにし、各前記座席の前記予め設定されたＲＯＩそれぞれに対して、（ｉ）前記各乗客別キーポイント、（ｉｉ）前記各乗客別キーポイントの前記平均ポイントそれぞれ及び（ｉｉｉ）前記各乗客別キーポイントの分散それぞれが、少なくとも一つの予め設定された条件を満たしているか否かを確認し、それぞれの前記座席にそれぞれの前記乗客をマッチングさせる。
【００２４】
一実施例として、前記車両占有検出装置は、前記座席占有マッチャーをもって、特定座席の特定ＲＯＩに対して、（ｉ）特定乗客に対応する特定平均ポイントが前記特定ＲＯＩ内に位置し、（ｉｉ）前記特定乗客に対応する特定分散が予め設定された第１閾値以下であり、（ｉｉｉ）前記特定ＲＯＩ内に位置する前記特定乗客に対応する特定キーポイントの個数が予め設定された第２閾値以上である場合、前記特定座席に前記特定乗客をマッチングするようにする。
【００２５】
一実施例として、前記特徴抽出ネットワークと、前記キーポイントヒートマップ−ＰＡＦ抽出器とは、学習装置により学習された状態であり、前記学習装置は、一つ以上の学習用物体を含む少なくとも一つのトレーニングイメージが取得されると、（ｉ）前記トレーニングイメージを前記特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、前記トレーニングイメージにコンボリューション演算を適用して一つ以上の学習用特徴テンソルを生成するようにするプロセス、（ｉｉ）前記学習用特徴テンソルを前記キーポイントヒートマップ−ＰＡＦ抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、前記学習用特徴テンソルそれぞれに対する学習用キーポイントヒートマップ及び学習用ＰＡＦを生成するようにするプロセス、（ｉｉｉ）前記学習用キーポイントヒートマップ及び前記学習用ＰＡＦをキーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、前記学習用キーポイントヒートマップそれぞれから学習用キーポイントを抽出するようにし、前記学習用ＰＡＦそれぞれを参照して前記抽出された学習用キーポイントをグルーピングすることにより、前記トレーニングイメージ内の前記学習用物体それぞれに対応する各学習用物体別キーポイントを検出するプロセス、及び（ｉｖ）ロスレイヤをもって、前記各学習用物体別キーポイント及びこれに対応するＧＴ（ｇｒｏｕｎｄ ｔｒｕｔｈ）を参照して一つ以上のロスを算出させることで、前記ロスを利用したバックプロパーゲーションによって前記ロスが最小化されるように前記特徴抽出ネットワーク及び前記キーポイントヒートマップ−ＰＡＦ抽出器の一つ以上のパラメータを調整するプロセスを遂行した状態である。
【００２６】
本発明の他の態様によれば、車両の室内イメージ分析に基づいた乗客キーポイントを利用して車両占有を検出する車両占有検出装置において、インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）前記車両の前記室内イメージが取得されると、（ｉ）前記室内イメージを特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、前記室内イメージにコンボリューション演算を適用して一つ以上の特徴テンソルを生成するようにし、（ｉｉ）前記特徴テンソルをキーポイントヒートマップ（ｋｅｙｐｏｉｎｔ ｈｅａｔｍａｐ）−ＰＡＦ（ｐａｒｔ ａｆｆｉｎｉｔｙ ｆｉｅｌｄ）抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、前記特徴テンソルそれぞれに対するキーポイントヒートマップ及びＰＡＦを生成するようにし、（ｉｉｉ）前記キーポイントヒートマップ及び前記ＰＡＦをキーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、前記キーポイントヒートマップそれぞれからキーポイントを抽出するようにし、（ｉｖ）前記ＰＡＦそれぞれを参照して前記抽出されたキーポイントをグルーピング（ｇｒｏｕｐｉｎｇ）することにより、前記室内イメージ内の乗客それぞれに対応する各乗客ごとにキーポイントを検出するプロセス、及び（ＩＩ）前記各乗客別キーポイントを座席占有マッチャー（ｍａｔｃｈｅｒ）に入力することにより、前記座席占有マッチャーをもって、前記車両の座席それぞれの予め設定されたＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）と、前記各乗客別キーポイントとを参照してそれぞれの前記乗客をマッチング（ｍａｔｃｈｉｎｇ）するようにして、前記車両占有を検出するプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とする車両点有検出装置が提供される。
【００２７】
一実施例として、前記（Ｉ）プロセスで、前記プロセッサは、前記室内イメージを前記特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、多重コンボリューション演算を遂行する一つ以上のコンボリューションレイヤを含むコンボリューションブロックによる前記多重コンボリューション演算を前記室内イメージに適用するようにする。
【００２８】
一実施例として、前記（Ｉ）プロセスで、前記プロセッサは、前記特徴テンソルを前記キーポイントヒートマップ−ＰＡＦ抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、ＦＣＮ（ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）または１ｘ１コンボリューションレイヤによるコンボリューション演算を前記特徴テンソルに適用して、前記特徴テンソルに対する前記キーポイントヒートマップ及び前記ＰＡＦを生成するようにする。
【００２９】
一実施例として、前記（Ｉ）プロセスで、前記プロセッサは、前記キーポイントヒートマップ及び前記ＰＡＦを前記キーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、それぞれの前記キーポイントヒートマップ上の最も高い地点それぞれを、それぞれの前記キーポイントヒートマップに対応するそれぞれの前記キーポイントとして抽出するようにする。
【００３０】
一実施例として、前記プロセッサは、前記キーポイント検出装置をもって、前記ＰＡＦを参照して、前記抽出されたキーポイントのうちの連結される確率が最も高いキーポイント同士をペアにしてつなげることにより、前記抽出されたキーポイントをグルーピングする。
【００３１】
一実施例として、前記（ＩＩ）プロセスで、前記プロセッサは、前記座席占有マッチャーをもって、前記各乗客別キーポイントの平均ポイントそれぞれ及び前記各乗客別キーポイントの分散それぞれを算出するようにし、各前記座席の前記予め設定されたＲＯＩそれぞれに対して、（ｉ）前記各乗客別キーポイント、（ｉｉ）前記各乗客別キーポイントの前記平均ポイントそれぞれ及び（ｉｉｉ）前記各乗客別キーポイントの分散それぞれが、少なくとも一つの予め設定された条件を満たしているか否かを確認し、それぞれの前記座席にそれぞれの前記乗客をマッチングさせる。
【００３２】
一実施例として、前記プロセッサは、前記座席占有マッチャーをもって、特定座席の特定ＲＯＩに対して、（ｉ）特定乗客に対応する特定平均ポイントが前記特定ＲＯＩ内に位置し、（ｉｉ）前記特定乗客に対応する特定分散が予め設定された第１閾値以下であり、（ｉｉｉ）前記特定ＲＯＩ内に位置する前記特定乗客に対応する特定キーポイントの個数が予め設定された第２閾値以上である場合、前記特定座席に前記特定乗客をマッチングするようにする。
【００３３】
一実施例として、前記特徴抽出ネットワークと、前記キーポイントヒートマップ−ＰＡＦ抽出器とは、学習装置により学習された状態であり、前記学習装置は、一つ以上の学習用物体を含む少なくとも一つのトレーニングイメージが取得されると、（ｉ）前記トレーニングイメージを前記特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、前記トレーニングイメージにコンボリューション演算を適用して一つ以上の学習用特徴テンソルを生成するようにするプロセス、（ｉｉ）前記学習用特徴テンソルを前記キーポイントヒートマップ−ＰＡＦ抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、前記学習用特徴テンソルそれぞれに対する学習用キーポイントヒートマップ及び学習用ＰＡＦを生成するようにするプロセス、（ｉｉｉ）前記学習用キーポイントヒートマップ及び前記学習用ＰＡＦをキーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、前記学習用キーポイントヒートマップそれぞれから学習用キーポイントを抽出するようにし、前記学習用ＰＡＦそれぞれを参照して前記抽出された学習用キーポイントをグルーピングすることにより、前記トレーニングイメージ内の前記学習用物体それぞれに対応する各学習用物体別キーポイントを検出するプロセス、及び（ｉｖ）ロスレイヤをもって、前記各学習用物体別キーポイント及びこれに対応するＧＴ（ｇｒｏｕｎｄ ｔｒｕｔｈ）を参照して一つ以上のロスを算出させることで、前記ロスを利用したバックプロパーゲーションによって前記ロスが最小化されるように前記特徴抽出ネットワーク及び前記キーポイントヒートマップ−ＰＡＦ抽出器の一つ以上のパラメータを調整するプロセスを遂行した状態である。
【００３４】
この他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取可能な記録媒体がさらに提供される。
【発明の効果】
【００３５】
本発明によると、カメラを用いて撮影された車両の室内イメージを分析し、車両占有（ｖｅｈｉｃｌｅ  ｏｃｃｕｐａｎｃｙ）を検出することにより、従来のセンサ方式に比べてコストを削減できる効果がある。
【００３６】
また、本発明によれば、カメラを用いて撮影された車両の室内イメージを分析して車両占有を検出するので、周辺環境に影響されずに車両占有を検出できる効果がある。
【００３７】
また、本発明によれば、カメラを用いて撮影された車両の室内イメージを分析して、車両占有を検出するので、従来のセンサ方式に比べて処理すべき情報が少ないことから、従来のセンサ方式より処理速度を向上できる効果がある。
【００３８】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
【図面の簡単な説明】
【００３９】
【図１】図１は、車両の外部に設置されたカメラから取得されるイメージが分析され、前記車両内の乗客数を測定する従来技術を概略的に示した図面である。
【図２】図２は、本発明の一実施例に係るイメージ分析によって検出された少なくとも一人の乗客の一つ以上のキーポイントを利用して、車両占有（ｖｅｈｉｃｌｅ  ｏｃｃｕｐａｎｃｙ）を検出する車両占有検出装置を概略的に示した図面である。
【図３】図３は、本発明の一実施例に係る前記イメージ分析によって検出された前記乗客の前記キーポイントを利用して、前記車両占有を検出する方法を概略的に示した図面である。
【図４】図４は、本発明の一実施例に係る前記イメージ分析によって検出された前記乗客の前記キーポイントを利用して前記車両占有を検出する前記方法において、前記乗客の前記キーポイントを検出するプロセスを概略的に示した図面である。
【図５】図５は、本発明の一実施例に係る前記イメージ分析によって検出された前記乗客の前記キーポイントを利用して前記車両占有を検出する前記方法において、前記車両の座席に前記乗客の前記キーポイントをマッチングするプロセスを概略的に示した図面である。
【図６】図６は、本発明の一実施例に係る前記イメージ分析によって検出された前記乗客の前記キーポイントを利用して、前記車両占有を検出するための特徴抽出ネットワークと、キーポイントヒートマップ−ＰＡＦ（Ｐａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄ）抽出器とを学習させるプロセスを概略的に示した図面である。
【発明を実施するための形態】
【００４０】
後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決方法及び長所を明確にするために、本発明が実施され得る特定実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように充分詳細に説明される。
【００４１】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００４２】
さらに、本発明は、本明細書に示された実施例のあらゆる可能な組み合わせを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は、本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
【００４３】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００４４】
本願に提供されている本発明の題名及び要約は、便宜のためのものであり、実施例の範囲を限定したり、実施例の意味を解析したりするものではない。
【００４５】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。
【００４６】
図２は、本発明の一実施例に係るイメージ分析によって検出された少なくとも一人の乗客の一つ以上のキーポイントを利用して、車両占有（ｖｅｈｉｃｌｅ  ｏｃｃｕｐａｎｃｙ）を検出する車両占有検出装置を概略的に示した図面である。図２を参照すれば、前記車両占有検出装置１００は、前記イメージ分析によって検出された前記乗客の前記キーポイントを利用して、前記車両占有を検出するための各インストラクションを格納するメモリ１１０と、前記メモリ１１０に格納された前記各インストラクションに対応するプロセスを遂行するプロセッサ１２０とを含むことができる。
【００４７】
具体的に、前記車両点有検出装置１００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータのプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他の従来のコンピューティング装置の各構成要素；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージエリアネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と、少なくとも一つのコンピュータソフトウェア（つまり、前記コンピューティング装置をもって、特定の方式で機能させる各インストラクション）との組み合わせを利用して希望するシステム性能を達成するものであり得る。
【００４８】
前記コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ  Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ  Ｂｕｓ）などのハードウェア構成を含むことができる。また、前記コンピューティング装置は、オペレーティングシステム（ＯＳ）及び特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。
【００４９】
しかし、前記コンピューティング装置が本発明を行うためのミディアム、プロセッサ、メモリまたはほかのコンピューティング構成要素が統合された形である統合プロセッサを含む場合を排除するものではない。
【００５０】
このように構成された本発明の実施例に係る前記車両占有検出装置１００によって前記イメージ分析で検出された前記乗客の前記キーポイントを利用して、前記車両占有を検出する方法について、図３を参照して説明する。
【００５１】
まず、車両の室内を撮影するカメラによって生成された少なくとも一つの室内イメージが取得されると、前記車両占有検出装置１００が、前記室内イメージを特徴抽出ネットワークに入力することで、前記特徴抽出ネットワークをもって、前記室内イメージにコンボリューション演算を適用して、前記室内イメージに対応する特徴テンソルを生成するようにすることができる。
【００５２】
この際、前記特徴抽出ネットワークは、少なくとも一つのコンボリューション演算を遂行する一つ以上のコンボリューションレイヤを含む一つ以上のコンボリューションブロックをもって、前記室内イメージに多重コンボリューション演算を適用するようにすることができる。
【００５３】
その後、前記車両点有検出装置１００は、前記特徴テンソルをキーポイントヒートマップ（ｋｅｙｐｏｉｎｔ  ｈｅａｔｍａｐ）−ＰＡＦ（ｐａｒｔ  ａｆｆｉｎｉｔｙ  ｆｉｅｌｄ）抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、前記特徴テンソルそれぞれに対するキーポイントヒートマップ及びＰＡＦを生成するようにできる。
【００５４】
その際、前記キーポイントヒートマップ−ＰＡＦ抽出器は、ＦＣＮ（ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）を含み得る。
【００５５】
また、前記キーポイントヒートマップ−ＰＡＦ抽出器は、前記特徴テンソルに少なくとも一つの１ｘ１コンボリューション演算を適用する一つ以上の１ｘ１コンボリューションレイヤを含むことができる。
【００５６】
一方、図４を参照すれば、前記「キーポイントヒットマップ」は、熱を意味するヒート（ｈｅａｔ）と地図を意味するマップ（ｍａｐ）を結合させたもので、色で表現できる多様な情報をイメージの上に熱分布状態でグラフィック的に表すものであり得る。
【００５７】
そして、前記ＰＡＦは、前記キーポイント間の関係を表すベクトルマップの一種であり得る。つまり、前記ＰＡＦは、特定キーポイントの他のキーポイントとのつながりを表現したマップであり得、それぞれのキーポイントヒートマップのペア内でそれぞれの前記キーポイントが互いにつながるそれぞれの確率を示すマップであり得る。
【００５８】
その際、前記キーポイントヒートマップ−ＰＡＦ抽出器は、前記キーポイント間の関係を二分マッチング（ｂｉｐａｒｔｉｔｅ ｍａｔｃｈｉｎｇ）を利用して検出することで、前記ＰＡＦを生成し得る。つまり、キーポイントがそれぞれどのような乗客のものか、前記キーポイント間にどのような関係があるのかを前記二分マッチングによって確認できる。
【００５９】
その後、前記車両占有検出装置１００は、前記キーポイントヒートマップ及び前記ＰＡＦをキーポイント検出装置に入力することで、前記キーポイント検出装置をもって、前記キーポイントヒートマップそれぞれから前記キーポイントを抽出するようにし、前記ＰＡＦを参照して前記抽出されたキーポイントをグルーピング（ｇｒｏｕｐｉｎｇ）することにより前記室内イメージ内の前記乗客それぞれに対応する各乗客別のキーポイントを検出することができる。
【００６０】
この際、前記キーポイント検出装置は、各チャネルに対応するそれぞれの前記キーポイントヒートマップ内それぞれの最も高い地点、すなわち、最も高いヒート値を有するそれぞれのポイントを、それぞれの前記キーポイントヒートマップに対応するそれぞれの前記キーポイントとして抽出でき、前記ＰＡＦを参照して、前記抽出されたキーポイントのうち、連結される確率が最も高いキーポイント同士をペアにしてつなげることで、前記抽出されたキーポイントをグルーピングすることができる。一例として、前記抽出されたキーポイントのいずれか一つのキーポイントと連結される確率が最も高い他の一つのキーポイントを一つのペアとして連結する過程を抽出されたキーポイント全てに対して遂行することで各キーポイントをグルーピングし、これによって、イメージ内に位置する乗客の数に対応するキーポイントグループが形成され得る。
【００６１】
そして、前記検出された乗客別キーポイントは、前記室内イメージ内前記キーポイントの位置に対する座標情報で表現され得る。
【００６２】
一方、前記車両の室内に設置された前記カメラにより撮影された映像またはイメージは、身体の隠れ（ｏｃｃｌｕｓｉｏｎ）が多い。つまり、前部座席の場合、ほとんどの乗客の上半身だけが見え、後部座席の場合、前部座席によって隠れることもある。このような状態で、従来の物体検出装置は、隠れが多いため前記乗客の検出に失敗することもあるが、本発明によれば、前記検出されたキーポイントは、前記乗客の存在可否を決定するには十分であり、前記車両の前記乗客は歩行者よりもポーズ（ｐｏｓｅ）変動が大きいため、本発明によって前記乗客のキーポイントを利用して前記乗客を検出した方が有利であろう。
【００６３】
次に、図５を参照すれば、前記車両占有検出装置１００は、前記キーポイント検出装置から取得された、前記各乗客別キーポイントを座席占有マッチャー（ｍａｔｃｈｅｒ）に入力することにより、前記座席占有マッチャーをもって、前記車両の座席それぞれの予め設定されたＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）と、前記各乗客別キーポイントとを参照してそれぞれの前記乗客をマッチング（ｍａｔｃｈｉｎｇ）するようにして、前記車両占有を検出できる。
【００６４】
一例として、前記車両占有検出装置１００は、前記キーポイント検出装置から取得されたそれぞれの前記乗客に対する前記キーポイント、つまり前記キーポイントの座標を前記座席占有マッチャーに入力することができる。
【００６５】
その後、前記座席占有マッチャーは、それぞれの前記乗客に対応する前記キーポイント、例えば頭部と胴体の前記キーポイントグループそれぞれの、平均ポイントそれぞれ及び分散それぞれを算出することができる。
【００６６】
そして、前記座席占有マッチャーは、各前記座席の前記予め設定されたＲＯＩそれぞれに対して、（ｉ）前記各乗客別キーポイント、（ｉｉ）前記各乗客別キーポイントの前記平均ポイントそれぞれ及び（ｉｉｉ）前記各乗客別キーポイントの分散それぞれが、少なくとも一つの予め設定された条件を満たしているか否かを確認して、それぞれの前記座席にそれぞれの前記乗客をマッチングすることができる。
【００６７】
つまり、それぞれの前記乗客に対する前記キーポイントをそれぞれの前記乗客のキーポイントグループそれぞれに属するものと想定すると、特定座席に対応する予め設定された特定ＲＯＩに対して、特定乗客に対応する特定キーポイントグループの特定平均ポイントが前記特定ＲＯＩ内に位置するかが決定され得る。その際、前記特定平均ポイントが前記特定ＲＯＩ内に位置していないものと決定されると、前記特定乗客は、前記特定座席にマッチングされないものと決定され得る。
【００６８】
また、前記特定キーポイントグループの特定分散が予め設定された第１閾値以下であるか否かが決定され得る。この際、前記予め設定された第１閾値は、誤って検出されたキーポイントを除外するために利用され得、前記特定分散が前記予め設定された第１閾値を超過する場合、前記特定乗客が前記特定座席にマッチングされないものと決定され得る。
【００６９】
そして、前記特定ＲＯＩ内の前記特定キーポイントグループの前記特定キーポイントの数が予め設定された第２閾値以上であるかどうかが決定され得る。この際、前記予め設定された第２閾値は、誤って検出されたキーポイントを除外するために利用され得、前記特定ＲＯＩ内の前記特定キーポイントグループの前記特定キーポイントの数が、前記予め設定された第２閾値未満である場合、前記特定乗客は、前記特定座席にマッチングされないものと決定され得る。
【００７０】
そのため、前記特定平均ポイントが前記特定ＲＯＩ内に位置し、前記特定分散が前記予め設定された第１閾値以下であり、前記特定ＲＯＩ内の前記特定キーポイントグループの前記特定キーポイント数が、前記予め設定された第２閾値以上である場合、前記座席占有マッチャーは、前記特定乗客が前記特定座席にマッチングされるものと決定され得る。
【００７１】
これによって、前記座席占有マッチャーは、前記車両のそれぞれの前記座席にそれぞれの前記乗客をマッチングすることができ、これによって前記車両占有検出装置１００は、前記車両占有を検出できるようになる。
【００７２】
一方で、前記車両占有検出装置１００の前記特徴抽出ネットワークと、前記キーポイントヒットマップ−ＰＡＦ抽出器とは、学習装置によって学習された状態であり得る。
【００７３】
次に、前記特徴抽出ネットワークと、前記キーポイントヒットマップ−ＰＡＦ抽出器とを学習する方法を、図６を参照して簡略的に説明する。以下の説明において、図１ないし図５の説明から容易に理解可能な部分については、詳細な説明を省略する。
【００７４】
まず、少なくとも一つの学習用物体を含む少なくとも一つのトレーニングのイメージが取得されると、前記学習装置２００は、前記トレーニングイメージを前記特徴抽出ネットワークに入力することで、前記特徴抽出ネットワークをもって、これのコンボリューション演算を前記トレーニングイメージに適用して学習用特徴テンソルを生成するようにすることができる。
【００７５】
その後、前記学習装置２００は、前記学習用特徴テンソルを前記キーポイントヒートマップ−ＰＡＦ抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、前記学習用特徴テンソルそれぞれに対する学習用キーポイントヒートマップ及び学習用ＰＡＦを生成するようにできる。
【００７６】
その後、前記学習装置２００は、前記学習用キーポイントヒートマップ及び前記学習用ＰＡＦをキーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、前記学習用キーポイントヒートマップそれぞれから学習用キーポイントを抽出するようにでき、前記学習用ＰＡＦそれぞれを参照して前記抽出された学習用キーポイントをグルーピングすることにより、前記トレーニングイメージ内の前記学習用物体に対応する学習用物体別キーポイントを検出することができる。
【００７７】
次に、前記学習装置２００は、ロスレイヤをもって、前記各学習用物体別キーポイント及びこれに対応するＧＴ（ｇｒｏｕｎｄ ｔｒｕｔｈ）を参照して一つ以上のロスを算出させるようにし、前記ロスを利用したバックプロパーゲーションによって前記ロスが最小化されるように前記特徴抽出ネットワーク及び前記キーポイントヒートマップ−ＰＡＦ抽出器の一つ以上のパラメータを調整できる。
【００７８】
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で実装されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ読取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となって利用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
【００７９】
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
【００８０】
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020121713.tif 000003
【図２】
2020121713.tif 000004
【図３】
2020121713.tif 000005
【図４】
2020121713.tif 000006
【図５】
2020121713.tif 000007
【図６】
2020121713.tif 000008