(57)【要約】    【課題】  画像中に写し出された自動車の姿勢を推定することのできる装置を提供する。    【解決手段】  抽出手段２は、自動車を含む画像中から、セマンティック・セグメンテーションによって、少なくとも、当該自動車の前タイヤ、後タイヤ、左タイヤ、右タイヤ、正面、左側面、右側面、背面、上面を抽出する処理を行う。画像に写し出された自動車の姿勢を推定する際において、学習済みの抽出手段２は、当該画像を受けて、自動車の前タイヤ、後タイヤ、左タイヤ、右タイヤ、正面、左側面、右側面、背面、上面を推定する。通常進行方向判断手段４は、推定した前タイヤ、後タイヤ、左タイヤ、右タイヤ、正面、左側面、右側面、背面、上面の位置に基づいて、画像上における自動車の通常の進行方向（すなわち姿勢）を判断して、その進行方向を出力する。【選択図】  図１
2020021188.tif 000002
【特許請求の範囲】
【請求項１】
自動車を含む画像を受けて、当該画像中の自動車の前後左右のタイヤまたは正面、左側面、右側面、背面、上面を含む部位を抽出する抽出手段と、
前記抽出手段によって抽出された部位に基づいて、当該自動車の通常進行方向を判断する通常進行方向判断手段と、
を備えた自動車の姿勢推定装置。
【請求項２】
コンピュータによって自動車の姿勢推定装置を実現するための姿勢推定プログラムであって、コンピュータを、
自動車を含む画像を受けて、当該画像中の自動車の前後左右のタイヤまたは正面、左側面、右側面、背面、上面を含む部位を抽出する抽出手段と、
前記抽出手段によって抽出された部位に基づいて、当該自動車の通常進行方向を判断する通常進行方向判断手段として機能させるための姿勢推定プログラム。
【請求項３】
請求項１の装置または請求項２のプログラムにおいて、
前記推定手段は、自動車を含む画像と、当該画像中の自動車の前後左右のタイヤまたは正面、左側面、右側面、背面、上面を少なくともラベリングしたラベリング画像とに基づいて学習のなされたディープラーニング・セグメンテーション処理手段を備えていることを特徴とする装置またはプログラム。
【請求項４】
道路における自動車を含む画像を受けて、当該画像中の自動車の前後左右のタイヤまたは正面、左側面、右側面、背面、上面を含む部位を抽出する抽出手段と、
前記抽出手段によって抽出された部位に基づいて、当該自動車の通常進行方向を判断する通常進行方向判断手段と、
前記推定した各自動車の通常進行方向に基づいて当該道路における交通量を判断する交通量判断手段と、
を備えた交差点交通量判断装置。
【請求項５】
コンピュータによって交通量判断装置を実現するための交通量判断プログラムであって、コンピュータを、
道路における自動車を含む画像を受けて、当該画像中の自動車の前後左右のタイヤまたは正面、左側面、右側面、背面、上面を含む部位を抽出する抽出手段と、
前記抽出手段によって抽出された部位に基づいて、当該自動車の通常進行方向を判断する通常進行方向判断手段と、
前記推定した各自動車の通常進行方向に基づいて当該道路における交通量を判断する交通量判断手段として機能させるための交通量判断プログラム。
【請求項６】
請求項４の装置または請求項５のプログラムにおいて、
前記道路は、交差点であることを特徴とする装置またはプログラム。
【請求項７】
請求項６の装置またはプログラムにおいて、
前記交通量判断手段は、前記判断結果に基づいて、交差点の信号機の青赤点灯比率を制御することを特徴とする装置またはプログラム。
【請求項８】
ディープラーニング・セグメンテーション装置の学習に用いるための学習データを生成する装置であって、
道路上を走行する自動車について背景と自動車を含む画像から自動車部分のみを抽出した自動車画像を取得する自動車画像取得手段と、
前記背景中の道路を撮像したアングルと実質的に同一のアングルにて撮像した他の道路を含む複数の背景画像それぞれに、前記自動車画像を貼り付ける自動車画像貼付手段と、
前記背景中の道路を撮像したアングルと実質的に同一のアングルにて撮像した他の道路を含む複数の背景画像それぞれについて、前記自動車画像に対応する位置に部位ラベルをおいてラベル画像を生成するラベル画像生成手段と、
を備えた学習データ生成装置。
【請求項９】
コンピュータによって、ディープラーニング・セグメンテーション装置の学習に用いるための学習データを生成する装置を実現するための学習データ生成プログラムであって、コンピュータを、
道路上を走行する自動車について背景と自動車を含む画像から自動車部分のみを抽出した自動車画像を取得する自動車画像取得手段と、
前記背景中の道路を撮像したアングルと実質的に同一のアングルにて撮像した他の道路を含む複数の背景画像それぞれに、前記自動車画像を貼り付ける自動車画像貼付手段と、
前記背景中の道路を撮像したアングルと実質的に同一のアングルにて撮像した他の道路を含む複数の背景画像それぞれについて、前記自動車画像に対応する位置に部位ラベルをおいてラベル画像を生成するラベル画像生成手段として機能させるための学習データ生成プログラム。
【請求項１０】
自動車を含む画像を受けて、当該画像中の自動車の部位を抽出する処理部を有する抽出装置を生産するための方法であって、コンピュータが、
道路上を走行する自動車について、背景と自動車を含む画像から自動車部分のみを抽出した自動車画像を用意し、
前記背景中の道路を撮像したアングルと実質的に同一のアングルにて撮像した他の道路を含む複数の背景画像それぞれに、前記自動車画像を貼り付けて学習用画像データを生成し、
前記背景中の道路を撮像したアングルと実質的に同一のアングルにて撮像した他の道路を含む複数の背景画像それぞれについて、前記自動車画像に対応する位置に部位ラベルをおいて学習用ラベル画像データを生成し、
上記学習用画像データと学習用ラベル画像データに基づいて、前記抽出のための処理部を学習して抽出装置を生産する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、自動車を含む画像から自動車の各部位を推定する技術に関するものである。
【背景技術】
【０００２】
セマンテック・セグメンテーションなどのディープラーニングによるセグメンテーションによって、複数の対象物を含む画像のそれぞれの画素について、いずれの対象物についての画素であるかを推定することが行われている。たとえば、特許文献１においては、画像から、各画素が道路、空、建物、車、歩行者、道路標識などいずれの対象物に属するものであるかを推定するシステムが開示されている。
【０００３】
このようなシステムによれば、画像中にどのような対象物がどこに写し出されているかを検出することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１６２４５６
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のような従来技術では、画像中に車が写し出されてことは認識できるものの、当該自動車がどのような姿勢（たとえば、その進行方向など）にあるのかを認識することはできなかった。このため、画像中から認識した車について、移動方向による交通量解析や、複数台の車が重なっていることの判定を行ったりすることは難しかった。
【０００６】
この発明は、上記のような問題点を解決して、画像中に写し出された自動車の姿勢を推定することのできる装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この発明の独立して適用可能ないくつかの特徴を以下に列挙する。
【０００８】
(1)(2)この発明に係る姿勢推定装置は、自動車を含む画像を受けて、当該画像中の自動車の前後左右のタイヤまたは正面、左側面、右側面、背面、上面を含む部位を抽出する抽出手段と、前記抽出手段によって抽出された部位に基づいて、当該自動車の通常進行方向を判断する通常進行方向判断手段とを備えている。
【０００９】
したがって、画像から自動車の姿勢を判定することができる。
【００１０】
(3)この発明に係る姿勢推定装置は、推定手段が、自動車を含む画像と、当該画像中の自動車の前後左右のタイヤまたは正面、左側面、右側面、背面、上面を少なくともラベリングしたラベリング画像とに基づいて学習のなされたディープラーニング・セグメンテーション処理手段を備えていることを特徴としている。
【００１１】
したがって、より正確に各部位を推定することができる。
【００１２】
(4)(5)この発明に係る交通量判断装置は、道路における自動車を含む画像を受けて、当該画像中の自動車の前後左右のタイヤまたは正面、左側面、右側面、背面、上面を含む部位を抽出する抽出手段と、前記抽出手段によって抽出された部位に基づいて、当該自動車の通常進行方向を判断する通常進行方向判断手段と、前記推定した各自動車の通常進行方向に基づいて当該道路における交通量を判断する交通量判断手段とを備えている。
【００１３】
したがって、移動方向も含めた交通量を計測することができる。
【００１４】
(6)この発明に係る交通量判断装置は、前記道路が交差点であることを特徴としている。
【００１５】
したがって、車の重なり合うことの多い交差点においても、各自動車を適切に判断し、交通量を計測することができる。
【００１６】
(7)この発明に係る交通量判断装置は、交通量判断手段が、前記判断結果に基づいて、交差点の信号機の青赤点灯比率を制御することを特徴としている。
【００１７】
したがって、交通量に応じた適切な信号制御を行うことができる。
【００１８】
(8)(9)この発明に係るディープラーニング・セグメンテーション装置の学習に用いるための学習データを生成する装置は、道路上を走行する自動車について背景と自動車を含む画像から自動車部分のみを抽出した自動車画像を取得する自動車画像取得手段と、前記背景中の道路を撮像したアングルと実質的に同一のアングルにて撮像した他の道路を含む複数の背景画像それぞれに、前記自動車画像を貼り付ける自動車画像貼付手段と、前記背景中の道路を撮像したアングルと実質的に同一のアングルにて撮像した他の道路を含む複数の背景画像それぞれについて、前記自動車画像に対応する位置に部位ラベルをおいてラベル画像を生成するラベル画像生成手段とを備えている。
【００１９】
したがって、容易に多くの学習データを生成することができる。
【００２０】
(10)この発明に係る抽出装置の生産方法は、自動車を含む画像を受けて、当該画像中の自動車の部位を抽出する処理部を有する抽出装置を生産するための方法であって、コンピュータが、道路上を走行する自動車について、背景と自動車を含む画像から自動車部分のみを抽出した自動車画像を用意し、前記背景中の道路を撮像したアングルと実質的に同一のアングルにて撮像した他の道路を含む複数の背景画像それぞれに、前記自動車画像を貼り付けて学習用画像データを生成し、前記背景中の道路を撮像したアングルと実質的に同一のアングルにて撮像した他の道路を含む複数の背景画像それぞれについて、前記自動車画像に対応する位置に部位ラベルをおいて学習用ラベル画像データを生成し、上記学習用画像データと学習用ラベル画像データに基づいて、前記抽出のための処理部を学習する。
【００２１】
したがって、少ない学習データを準備するだけで効率よく学習を行って抽出装置を生産することができる。
【００２２】
「抽出手段」は、実施形態においては、ステップＳ１２がこれに対応する。
【００２３】
「通常進行方向判断手段」は、実施形態においては、ステップＳ１３がこれに対応する。
【００２４】
「交通量判断手段」は、実施形態においては、ステップＳ２６がこれに対応する。
【００２５】
「自動車画像取得手段」は、実施形態においては、ステップＳ５２がこれに対応する。
【００２６】
「自動車画像貼付手段」は、実施形態においては、ステップＳ５５がこれに対応する。
【００２７】
「ラベル画像生成手段」は、実施形態においては、ステップＳ５６がこれに対応する。
【００２８】
「プログラム」とは、ＣＰＵまたはＧＰＵ（あるいはその双方）により直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
【図面の簡単な説明】
【００２９】
【図１】第１の実施形態による姿勢推定装置の機能ブロック図である。
【図２】姿勢推定装置のハードウエア構成である。
【図３】姿勢推定プログラムのフローチャートである。
【図４】図４Ａはオリジナル画像、図４Ｂはラベル画像である。
【図５】推定処理のフローチャートである。
【図６】図６Ａは取得した画像、図６Ｂは部位推定結果である。
【図７】姿勢推定処理のフローチャートである。
【図８】図８Ａは取得した画像、図８Ｂは部位推定結果である。
【図９】姿勢推定のためのルール例である。
【図１０】自動車が重なり合った場合の部位推定結果を示す図である。
【図１１】動画によって連続して推定することによるご認識の修正を説明する図である。
【図１２】第２の実施形態による交通量判断装置の機能ブロック図である。
【図１３】交通量判断処理のフローチャートである。
【図１４】カメラによる交差点の撮像画像例である。
【図１５】交差点の撮像画像に基づく部位推定例である。
【図１６】交差点における自動車の移動方向分類である。
【図１７】第３の実施形態による学習装置の機能ブロック図である。
【図１８】学習用データ生成処理のフローチャートである。
【図１９】図１９Ａは自動車画像、図１９Ｂはオリジナル画像、図１９Ｃは自動車のラベル画像である。
【図２０】背景画像である。
【図２１】図２１Ａはオリジナル画像の道路端部線、図２１Ｂは背景画像の道路端部線である。
【図２２】図２２Ａは生成された学習用画像データ、図２２Ｂは学習用ラベル画像データである。
【発明を実施するための形態】
【００３０】
１．第１の実施形態
1.1全体構成
図１に、この発明の一実施形態による自動車の姿勢推定装置およびその学習装置の機能ブロック図を示す。抽出手段２は、自動車を含む画像中から、少なくとも、当該自動車の右前タイヤ、左前タイヤ、右後タイヤ、左後タイヤ、正面、左側面、右側面、背面、上面、背景を抽出する処理を行う。
【００３１】
この実施形態では、抽出手段２として、セマンティック・セグメンテーションによって、与えられた画像の各画素について上記いずれの部位に該当するかを判断するようにしている。セマンティックセ・グメンテーションを用いる場合、自動車を含むオリジナル画像に基づいて、左前タイヤ、左後タイヤ、右前タイヤ、右後タイヤ、正面、左側面、右側面、背面、上面、背景を色分けしてラベルを付したラベル画像を生成する。ラベル画像の生成は、ＰＣを利用して画像処理プログラムにより、人が作業することによって行うことができる。
【００３２】
学習処理において、抽出手段２は、自動車を含むオリジナル画像６を受けて、その処理結果（画素ごとに、左前タイヤ、左後タイヤ、右前タイヤ、右後タイヤ、正面、左側面、右側面、背面、上面、背景のいずれに属するか）を出力する。学習手段１０は、オリジナル画像６の処理結果と、オリジナル画像６に対応するラベル画像８とに基づいて、両者が合致するように抽出手段２のパラメータを学習する。この学習を、多数のオリジナル画像６とラベル画像８によって行う。
【００３３】
画像に写し出された自動車の姿勢を推定する際において、学習済みの抽出手段２は、当該画像を受けて、自動車の左前タイヤ、左後タイヤ、右前タイヤ、右後タイヤ、正面、左側面、右側面、背面、上面を推定する。通常進行方向判断手段４は、推定した左前タイヤ、左後タイヤ、右前タイヤ、右後タイヤ、正面、左側面、右側面、背面、上面の位置に基づいて、画像上における自動車の通常の進行方向（すなわち姿勢）を判断して、その進行方向を出力する。
【００３４】
1.2ハードウエア構成
図２に、自動車の姿勢推定装置のハードウエア構成を示す。ＣＰＵ２０には、メモリ２２、キーボード／マウス２４、ディスプレイ２６、ハードディスク２８、ＤＶＤ−ＲＯＭドライブ３０、通信回路３２、カメラ３４が接続されている。通信回路３２は、インターネットと接続するためのものである。カメラ３４は、たとえば道路などに設置され、移動する自動車を撮像するものである。
【００３５】
ハードディスク２８には、オペレーティングシステム３６、姿勢推定プログラム３８が記録されている。姿勢推定プログラム３８は、オペレーティングシステム３６と協働してその機能を発揮するものである。これらプログラムは、ＤＶＤ−ＲＯＭ４０に記録されていたものを、ＤＶＤ−ＲＯＭドライブ３０を介して、ハードディスク２８にインストールしたものである。
【００３６】
1.3学習処理
図３に、姿勢推定プログラム３８の学習処理のフローチャートを示す。この実施形態では、セマンティック・セグメンテーションによる推定処理を行うSegNet（https://qiita.com/uni-3/items/a62daa5a03a02f5fa46dにて入手可能）を、ディープラーニングのエンジンとして用いた。
【００３７】
まず、図４Ａに示すような自動車の含まれる画像データを多数用意して、ハードディスク２８に記録する。できれば、いろいろな車種、いろいろな背景による画像が多数あることが好ましい。
【００３８】
それぞれの画像データ（オリジナル画像データ）を、ディスプレイ２６に表示し、操作者が画像をみながら、マウス２４を操作して、前タイヤ、後タイヤ、左タイヤ、右タイヤ、正面、左側面、右側面、背面、上面および背景（自動車以外の部分）を、それぞれ異なる色でラベル付けする。ラベル画像の例を図４Ｂに示す。生成されたラベル画像データは、オリジナルの画像データに対応付けて、ハードディスク２８に記録される。
【００３９】
以上のようにして、オリジナル画像データとこれに対応するラベル画像データが、多数ハードディスク２８に記録されることとなる。
【００４０】
まず、ＣＰＵ２０は、ハードディスク２８からオリジナル画像データを取得する（ステップＳ２）。たとえば、図４Ａのようなオリジナル画像を読みだす。次に、ＣＰＵ２０は、オリジナル画像について、学習済みのセマンティック・セグメンテーションにより、前タイヤ、後タイヤ、左タイヤ、右タイヤ、正面、左側面、右側面、背面、上面の各部位を推定する（ステップＳ３）。推定結果の画像を、図４Ｃに示す。図４Ｃに示すように、各部位ごとに異なる色が付された画像となっている。
【００４１】
この実施形態では、オリジナル画像に対して、プーリングおよび畳み込みを繰り返し、さらに、アップサンプリングと畳み込みを繰り返すことで推定結果の画像を得るようにしている。
【００４２】
次に、ＣＰＵ２０は、オリジナル画像に対応してハードディスク２８に記録されているラベル画像を読みだす（ステップＳ４）。たとえば、図４Ｂのようなラベル画像が読みだされる。
【００４３】
続いて、ＣＰＵ２０は、図４Ｂのラベル画像を教師データとし、図４Ｃの推定結果画像に基づいて、ステップＳ３における推定のためのパラメータを学習する（ステップＳ５）。
【００４４】
全てのオリジナル画像・ラベル画像に基づいて学習を行うと、ＣＰＵ２０は、学習処理を終了する（ステップＳ１、Ｓ６）。
【００４５】
1.4推定処理
図５に、カメラ３４から取得した画像中の自動車の姿勢を推定する処理のフローチャートを示す。
【００４６】
ＣＰＵ２０は、カメラ３４から画像を取得する（ステップＳ１１）。この画像は、静止画であっても動画であってもよい。カメラ３４は、たとえば、交差点などに設置したカメラである。なお、ＣＰＵ２０は、カメラから動画を取得した場合、それを構成する静止画の連続として処理を行う。たとえば、図６Ａのような画像を取得したものとする。
【００４７】
次に、ＣＰＵ２０は、取得した画像について、セマンティック・セグメンテーションによる推定処理を行う（ステップＳ１２）。これにより、図６Ｂに示すように、自動車の各部位が推定される。この図では、前面ＦＳ、左前タイヤＦＬＴ、右前タイヤＦＲＴ、左側面ＬＳ、右側面ＲＳ、上面ＴＰおよび背景ＢＫが推定されている。
【００４８】
続いて、ＣＰＵ２０は、自動車について推定した各部位に基づいて、車の姿勢を推定する（ステップＳ１３）。
【００４９】
図７に、各部位に基づく車の姿勢の推定のフローチャートを示す。ＣＰＵ２０は、まず、推定した画像中に複数の自動車が含まれているかどうかを判断する（ステップＳ２１）。図６の例では、自動車は１台しか含まれていないが、図８に示すように、複数台の自動車が含まれる可能性があるからである。
【００５０】
複数台の自動車が含まれるかどうかの判断は、たとえば、同一部位が２以上推定されるかどうかによって行うことができる。図８Ｂの推定結果の場合、上面、左前タイヤ１、左後タイヤ１、左側面１、左前タイヤ２、左後タイヤ２、左側面２が推定されている。すなわち、左前タイヤ、左後タイヤ、左側面がそれぞれ２つ推定されている。
【００５１】
ＣＰＵ２０は、上記の各部位が現れる通常の位置関係をルールとして記録している。ルールの例を、図９に示す。左前タイヤは左後タイヤより前方にある、左側面は左前タイヤと左後タイヤの間にある、右前タイヤは右後タイヤより前方にある、右側面は右前タイヤと右後タイヤの間にある等のルールが記録されている。ＣＰＵ２０は、このルールに基づいて、各自動車を特定する。
【００５２】
図８Ｂの場合であれば、上面、左前タイヤ１、左後タイヤ１、左側面１が上記のルール１、２、７を満たす。したがって、これらが自動車Ｃ１の部位であることが特定できる。
【００５３】
これらの部位（上面、左前タイヤ１、左後タイヤ１、左側面１）に対し、左前タイヤ２、左後タイヤ２は、ルール１、２に反している。したがって、左前タイヤ２、左後タイヤ２は、自動車Ｃ１とは別の自動車Ｃ２の部位であると特定できる。左前タイヤ２、左後タイヤ２は、左側面２に対し、ルール２を満たしている。したがって、左前タイヤ２、左後タイヤ２、左側面２は、自動車Ｃ２の要素であると特定することができる。
【００５４】
また、同一部位が２以上推定されない場合であっても、前記のルールによって、１台の自動車の部位であると判定するには矛盾がある場合にも、複数台の自動車が含まれていると判断する。たとえば、進行方向の異なる自動車が重なって撮像された図１０のような推定結果が得られた場合、ＣＰＵ２０は次のように判断を行う。
【００５５】
左前タイヤ、左後タイヤ、左側面は上記のルール２に合致し、その他のルールに矛盾しないので、１台の車の部位であると判断できる。前面、右後タイヤが、この車と同一の車の部位であると仮定すると、ルール３、５に反するので、異なる車の部位であると判断できる。これにより、前面、右側面、右後タイヤは、他の１台の車の部位であると判断できる。
【００５６】
なお、図１１Ａに示すような推定結果が得られた時、左前タイヤ、左側面１、左側面２、左後タイヤが、一つの自動車であるかどうか決定できないことがある（あるいは、誤認識する場合がある）。動画にて連続した画像を取得していれば、このような場合であっても、正しく認識を行うことができる。
【００５７】
たとえば、図１１Ｂのように、何秒か後の画像を認識すると、手前に重なって存在していた自動車がなくなる場合がある。これによれば、左側面１、左後タイヤと、左側面２、左前タイヤ、左後タイヤ２は、異なる自動車であると認識することができる。これにより、遡って、移動方向や時間によって推定すれば、図１１Ａにおける、左側面１、左前タイヤと、左側面２、左後タイヤが異なる自動車であることを特定することが可能となる。
【００５８】
次に、ＣＰＵ２０は、上記にて判断したそれぞれの自動車について、各部位の推定結果に基づいて、自動車の姿勢（通常の進行方向）を推定する。まず、ＣＰＵ２０は、対象となる自動車について、２つ以上の部位が推定できているかどうかを判断する（ステップＳ２３）。１つの部位（たとえば、前面のみ）しか推定できないものについては、姿勢推定ができないので、これを行わない。
【００５９】
２つ以上の部位が推定できている自動車については、これら部位に基づいて自動車の姿勢を推定する（ステップＳ２４）。
【００６０】
自動車の姿勢の推定は、右前（左前）タイヤ、右後（左後）タイヤが特定できていれば、右後（左後）タイヤの重心から、右前（左前）タイヤの重心の方向に向かう線を想定し、その方向が当該自動車の通常の進行方向であると推定できる。
【００６１】
また、右側面（左側面）が特定できていれば、その下端の線の方向が進行方向であると推定できる。なお、いずれの方向が前であるかは、右前（左前）タイヤ、右後（左後）タイヤや前面、後面がいずれの方向にあるかによって決定することができる。
【００６２】
なお、上記のように各自動車の通常の進行方向を推定することができるので、動画を用いることで、当該自動車が前進しているかバックしているかを判断することもできる。すなわち、動画によって判断した移動方向と、上記部位推定によって判断した通常の進行方向が合致していれば前進、合致していなければバックしていると判断することができる。
【００６３】
２．第２の実施形態
2.1全体構成
図１２に、この発明の第２の実施形態による交通量判断装置の機能ブロック図を示す。抽出手段２、通常進行方向判断手段４は、第１の実施形態と同じである。また、学習手段１０によって、オリジナル画像６とラベル画像８を用いて抽出手段２が学習される点も同様である。
【００６４】
交通量判断手段１２は、通常進行方向判断手段４の出力を受けて、交差点などにおける交通量を算出する。
【００６５】
2.2ハードウエア構成
ハードウエア構成は、第１の実施形態における図２と同様である。カメラ３４は、交差点に設置された固定カメラである。また、ハードディスク２８には、交通量判断プログラムが記録されている。
【００６６】
2.3交通量判断処理
交通量判断プログラムにおける交通量判断の部分のフローチャートを示す。学習処理や部位特定処理は、第１の実施形態と同様であるのでフローチャートを省略する。
【００６７】
図１４に、カメラ３４にて撮像した交差点の画像例を示す。ここでは、固定カメラ３４を用いているので、道路方向のベクトルＡＢ、ＣＤが、画像上から固定的に定まる。このベクトル方向は、ハードディスク２８に予め記録されている。
【００６８】
図１５に、図１４の画像について、自動車の各部位を推定した結果を示す。ＦＳが前面、ＢＳが背面、ＵＳが上面、ＲＳが右側面、ＬＳが左側面、ＦＲＴが右前タイヤ、ＦＬＴが左前タイヤ、ＢＲＴが右後タイヤ、ＢＬＴが左後タイヤである。ステップＳ１１の処理によって、自動車Ｃ１〜Ｃ５が認識されている。
【００６９】
ＣＰＵ２０は、それぞれの自動車の推定された部位に基づいて、姿勢の推定を行う（ステップＳ２４）。まず、自動車Ｃ１の姿勢推定を行う。前面ＦＳと左側面ＬＳのみが推定されている。前面ＦＳと左側面ＬＳが見えるのは、ベクトルＡの方向に向かう場合だけである。したがって、自動車Ｃ１は、ベクトルＡの方向に向かっていると判断することができる。
【００７０】
また、自動車Ｃ２については、右前タイヤＦＲＴ、右後タイヤＢＲＴ、右側面ＲＳが推定されている。これらが推定されるのは、ベクトルＤの方向に向かう場合か、あるいはベクトルＢの方向に向かう場合だけである。ＣＰＵ２０は、右前タイヤＦＲＴの中心と右後タイヤＢＲＴの中心を結ぶ直線を想定する。この直線が、ベクトルＤとＢのいずれに近い角度であるかによって、自動車の向きを決定する。ここでは、ベクトルＤの方向であると決定されることになる。したがって、自動車Ｃ２は、ベクトルＤの方向に向かっていると判断することができる。
【００７１】
自動車Ｃ３については、左前タイヤＦＬＴ、左側面ＬＳ、左後タイヤＢＬＴ、後面ＢＳが推定されている。左前タイヤＦＬＴ、左側面ＬＳ、左後タイヤＢＬＴだけが推定されている場合には、ベクトルＣかＡの可能性があり自動車Ｃ２の場合と同じように、タイヤを結ぶ直線に近い角度を選ぶことになる。しかし、ここでは、後面ＢＳが推定されている。このため、ベクトルＣであると直ちに決定することができる。したがって、自動車Ｃ３は、ベクトルＣの方向に向かっていると判断することができる。
【００７２】
自動車Ｃ４については、右前タイヤＦＲＴ、右後タイヤＢＲＴ、右側面ＲＳ、前面ＦＳが推定されている。これらが推定されるのは、ベクトルＤの方向に向かう場合だけである。したがって、自動車Ｃ４は、ベクトルＤの方向に向かっていると判断することができる。
【００７３】
なお、自動車Ｃ５については、右側面ＲＳ、右前タイヤＦＲＴのみが推定されている。これは、ベクトルＢとＤの可能性がある。右後タイヤＢＲＴが推定されていないので、タイヤを結ぶ線によっていずれかを決定することができない。したがって、自動車Ｃ５については、いずれの方向に向かっているかを決定できない。
【００７４】
なお、上記のような場合に、２つのタイヤが推定されていなくとも、右側面ＲＳの底部分の直線（前後のタイヤを結ぶ線とほぼ等しい）が見いだせれば、姿勢を決定することができる。
【００７５】
また、交差点において自動車が曲がったことも動画によって連続して推定すれば判断することができる。たとえば、図１６に示すように、交差点では、左折、直進、右折のルートがある。これが、交差点のそれぞれの道（４つの道）について考えられるので、１２個のルートの移動量を算出することになる（ステップＳ２６）。
【００７６】
このようにして、交差点における、自動車の移動方向を含めた交通量を正確に把握することができる。
【００７７】
2.4その他
第１の実施形態および第２の実施形態についての変形例を以下に示す。
【００７８】
(1)上記実施形態では、自動車の姿勢を推定して交通量を計測する場合を例として示した。しかし、姿勢推定をその他の処理に用いてもよい。たとえば、自動車以外の人間や自転車などは進入を許可するが、自動車は進入を禁止するような場所に設けることで、その方向から進入しようとする自動車を検知して警告などを行うことができる。
【００７９】
(2)上記実施形態では、ディープラーニングを用いて自動車の各部位を推定するようにしている。しかし、機械学習などを用いて推定するようにしてもよい。
【００８０】
(3)上記実施形態では、前タイヤ、後タイヤ、左タイヤ、右タイヤ、正面、左側面、右側面、背面、上面を推定するようにしている。しかし、前タイヤ、後タイヤ、左タイヤ、右タイヤを推定するようにしてもよい。また、正面、左側面、右側面、背面、上面を推定するようにしてもよい。少なくともこれら前タイヤ、後タイヤ、左タイヤ、右タイヤ、正面、左側面、右側面、背面、上面のうちの２つを推定することで、姿勢を推定することができる。
【００８１】
また、前面ナンバプレート、後面ナンバプレート、前面左右ランプ、後面左右ランプ、左右ドアミラーなどを推定部位としてもよい。
【００８２】
(4)上記実施形態では、スタンドアローンのコンピュータによって姿勢推定装置を実現している。しかし、サーバ装置として構築するようにしてもよい。この場合、端末装置からの画像を受信し、推定結果（部位の推定または姿勢の推定またはその双方）を端末装置に返信するようにする。第２の実施形態による交通量判断装置についても同様である。
【００８３】
(5)上記実施形態では、学習処理と推定処理を分離して実行している。しかし、部位の推定処理結果についてその適正度を人が判断し、適正と判断された部位の推定結果に基づいて、リアルタイムに学習を繰り返すようにしてもよい。
【００８４】
(6)上記実施形態では、交差点における交通量を計測するようにしている。しかし、交差点以外の道路（自動車の通行できる場所をいう）における交通量を計測するようにしてもよい。
【００８５】
(7)上記実施形態では、交差点における交通量を計測するようにしている。しかし、これに加えて、計測した交通量に基づいて、当該交差点における青信号、赤信号の比率を変えるようにしてもよい。たとえば、ある方向への交通量が増大し、これに直交する方向の交通量が減少した場合には、交通量が増えた向きの信号の青時間を長くするように制御する。この制御は、図２のＣＰＵ２０から行うことができる。
【００８６】
(8)上記実施形態では、ＣＰＵを用いているが、ＧＰＵ（Graphics Processing Unit）などを用いてもよい。また、ＣＰＵとＧＰＵの双方を用いるようにしてもよい。この場合、セマンティックセグメンテーションの処理はＧＰＵにて、その他の画像の取り込みなどの処理はＣＰＵが行うようにすることができる。
【００８７】
(9)上記実施形態およびその変形例は、その本質に反しない限り、他の実施形態と組み合わせて実施可能である。
【００８８】
３．第３の実施形態
3.1全体構成
第１の実施形態にて示したように、推定のためにセマンティック・セグメンテーションを用いる場合、背景・自動車を含む画像を多数用意して学習を行う必要がある。さらに、これら画像について、ラベル付けを行う必要がある。ラベル付けは、信頼性を持たせるためには、画像処理ソフトにて人がマウスなどを操作して指定することが好ましい。あるいは、コンピュータによって自動生成されたものを、人が修正することが好ましい。このため、学習のためのデータを多数用意することが困難となる。
【００８９】
第３の実施形態では、このような点を解決した学習データ生成装置を提供する。図１７に、この発明の第３の実施形態による学習データ生成装置の機能ブロック図を示す。自動車画像取得手段５０は、自動車のみが写されている自動車画像Ｃを取得する。この自動車画像Ｃは、道路などの背景とともに撮像された画像ＢＣから、自動車の部分のみを抽出したものである。この抽出処理は、コンピュータによって自動的に行ってもよいし、画像処理プログラム・マウスなどを用いて人が手作業によって行うようにしてもよい。
【００９０】
自動車画像貼付手段５２は、上記の車を含む画像ＢＣの道路を撮像したアングルと実質的に同じアングルにて撮像された背景のみの背景画像Ｂ１〜Ｂｎを取得する。続いて、自動車画像貼付手段５２は、それぞれの背景画像Ｂ１〜Ｂｎに対し、自動車画像Ｃを貼り付ける。これにより、学習用画像データ６０を多数得ることができる。
【００９１】
ラベル貼付手段５４は、前記生成した学習用画像データ６０に基づいて、ラベル画像データ６２を生成する。この際、自動車画像Ｃについて各部位をラベルづけした信頼性のあるラベル画像Ｌを用いる。学習用画像データ６０の自動車画像Ｃの部分に、このラベル画像Ｌを対応付ける。また、自動車画像Ｃを貼り付けた部分以外の領域は背景であることが明確であるから、背景としてのラベル付けを行う。これにより、学習用ラベル画像データ６２を多数得ることができる。
【００９２】
以上のようにして、ディープラーニング・セグメンテーションを学習するためのデータを多数得ることができる。
【００９３】
この装置によれば、たとえば、同じアングルにて異なる場所において異なる自動車について撮像した画像データ（およびラベルデータ）および背景画像データがそれぞれ１０００個あれば、約１０００×１０００＝１，０００，０００個の学習用データを得ることができる。
【００９４】
3.2ハードウエア構成
ハードウエア構成は、第１の実施形態における図２と同様である。ただし、ハードディスク２８には、学習用データ生成プログラムが記録されている。
【００９５】
3.3学習用データ生成処理
図１８に、学習用データ生成プログラムのフローチャートを示す。この実施形態では、ハードディスク２８に、自動車を含む画像、当該画像から抽出した自動車画像、自動車のラベル画像（または自動車を含む画像のラベル画像）、自動車を含む画像の道路に関して同じアングルにて撮像された背景画像が予め記録されているものとする。なお、これら画像は、異なる自動車、異なる背景について多数枚記録されていることが好ましい。
【００９６】
ＣＰＵ２０は、まず、自動車画像（図１９Ａ）およびそのラベル画像（図１９Ｃ）を読み出す（ステップＳ５２）。図１９Ａに、自動車画像の例を示す。この自動車画像は、図１９Ｂに示すような自動車付きオリジナル画像から抽出したものである。なお、自動車画像は、矩形画像ではなく、自動車の形状に沿った外形を有する画像である。
【００９７】
次に、ＣＰＵ２０は、背景画像を読み出す（ステップＳ５４）。図２０に背景画像の例を示す。背景画像は、図１９Ｂのオリジナル画像における道路に対する撮像アングル（角度・距離）が、同じになるようにして撮像された他の場所における背景画像である。背景画像においては、自動車が写っていないことが好ましい。
【００９８】
ＣＰＵ２０は、この背景画像上に、上記の自動車画像（図１９Ａ）を貼り付ける（ステップＳ５５）。この際、オリジナル画像における道路に対する自動車の位置を参照して、これと同じ位置関係になるように、背景画像の道路上に自動車画像を貼り付ける。この場合、画像中から道路の端部を検出し、この道路端部線に基づいて配置を決めることができる。
【００９９】
たとえば、図２１Ａはオリジナル画像における道路端部と自動車の重心位置（２次元画像としての重心）ＣＣＧである。重心ＣＣＧから、画像端面に水平に道路端部までの距離比Ａ：Ｂを算出する。ＣＰＵ２０は、図２１Ｂに示す背景画像の道路端部線に基づいて、Ａ：Ｂの比率の位置に重心が来るように自動車画像を貼り付ける。
【０１００】
このようにして、図２２Ａに示すような学習用画像データを生成することができる。なお、オリジナル画像と背景画像における道路端部線が合致するようにしておけば、オリジナル画像における自動車の位置に対応する背景画像の位置に自動車画像を配置すればよい。
【０１０１】
次に、ＣＰＵ２０は、上記学習用画像と自動車画像のラベル画像に基づいて、学習用ラベル画像を生成する（ステップＳ５６）。これは、学習用画像の自動車の位置に自動車画像のラベル画像を貼り付け、その他の領域を背景としてラベルづけすることで生成することができる。なお、この実施形態では、異なる部位を示すために異なる色を用いている。図２２Ｂに生成された学習用ラベルデータを示す。
【０１０２】
以上のようにして、１組の学習用画像データと学習用ラベルデータが生成される。
【０１０３】
次に、ＣＰＵ２０は、同じ自動車画像とラベル画像を用いて、他の背景画像について学習用画像データと学習用ラベルデータを生成する（ステップＳ５３〜Ｓ５７）。これを、対象となる全ての背景画像について行って、学習用画像データと学習用ラベルデータを生成する。
【０１０４】
以上のようにして、一つの自動車画像から多数の学習用データを生成することができる。
【０１０５】
続いて、ＣＰＵ２０は、次の自動車画像についても、上記と同様の処理を繰り返す（ステップＳ５１〜Ｓ５７）。対象となる全ての自動車画像について、処理を行い、多数の学習用データを生成する。
【０１０６】
以上のようにして、少ない学習用データから多数の学習用データを生成することができる。
【０１０７】
2.4その他
(1)上記実施形態では、自動車を含むオリジナル画像（図１９Ｂ）に対応する背景画像（図２０）を、予め、ハードディスク２８に記録するようにしている。しかし、背景画像の道路端部線を抽出して記録しておき、ＣＰＵ２０が、オリジナル画像の道路端部線に類似する道路端部線を有する背景画像を選択して使用するようにしてもよい。
【０１０８】
(2)上記実施形態および変形例は、その本質に反しない限り、他の実施形態や変形例と組み合わせて実施可能である。
【図１】
2020021188.tif 000003
【図２】
2020021188.tif 000004
【図３】
2020021188.tif 000005
【図４】
2020021188.tif 000006
【図５】
2020021188.tif 000007
【図６】
2020021188.tif 000008
【図７】
2020021188.tif 000009
【図８】
2020021188.tif 000010
【図９】
2020021188.tif 000011
【図１０】
2020021188.tif 000012
【図１１】
2020021188.tif 000013
【図１２】
2020021188.tif 000014
【図１３】
2020021188.tif 000015
【図１４】
2020021188.tif 000016
【図１５】
2020021188.tif 000017
【図１６】
2020021188.tif 000018
【図１７】
2020021188.tif 000019
【図１８】
2020021188.tif 000020
【図１９】
2020021188.tif 000021
【図２０】
2020021188.tif 000022
【図２１】
2020021188.tif 000023
【図２２】
2020021188.tif 000024