(57)【要約】      （修正有）【課題】自律走行状況で、障害物検出のためのＣＮＮ学習用イメージデータセットの生成方法及びコンピューティング装置を提供する。【解決手段】学習用データセットを生成する方法は、原本イメージ、原本ラベル及び任意の特定の物体のイメージに対応するバウンディングボックスを利用して生成された初期合成ラベルを獲得する段階及びＣＮＮモジュールをもって原本イメージ及び初期合成ラベルを利用して第１合成イメージ及び第１合成ラベルを生成する段階を含む。第１合成ラベルは、特定の物体のイメージに対応するバウンディンボックスの初期合成ラベル内の位置に対応するように特定の物体のイメージに対応する特定ラベルを原本ラベルに追加することにより生成され、第１合成イメージは、特定の物体のイメージに対応するバウンディンボックスの初期合成ラベル内の位置に対応するように、特定の物体の特定イメージが原本イメージに合成されたイメージである。【選択図】図４
2020038668.tif 000002
【特許請求の範囲】
【請求項１】
自律走行状況で、少なくとも一つの障害物検出のためのＣＮＮ学習のための少なくとも一つのイメージデータセットを生成する方法において、
（ａ）コンピューティング装置が、（ｉ）道路走行状況を示す原本イメージ及び（ｉｉ）前記原本イメージに対応する原本ラベル及び前記原本イメージに対応されない任意の特定の物体のイメージに対応されるバウンディングボックスを利用して生成された初期合成ラベルを獲得する段階：及び
（ｂ）前記コンピューティング装置が、ＣＮＮモジュールをもって前記原本イメージ及び前記初期合成ラベルを利用して第１合成イメージ及び第１合成ラベルを生成するようにする段階；を含むものの、
前記第１合成ラベルは、前記特定の物体のイメージに対応される前記バウンディンボックスの前記初期合成ラベル内の位置に対応するように前記特定の物体のイメージに対応される特定ラベルを前記原本ラベルに追加することにより生成され、前記第１合成イメージは、前記特定の物体のイメージに対応される前記バウンディンボックスの前記初期合成ラベル内の位置に対応するように、前記特定の物体の特定イメージが前記原本イメージに合成されたイメージであることを特徴とする方法。
【請求項２】
前記（ａ）段階で、
前記コンピューティング装置が、（ｉｉｉ）ランダムシード値を追加的に獲得し、
前記（ｂ）段階で、
前記コンピューティング装置が、前記ＣＮＮモジュールをもって前記原本イメージ、前記初期合成ラベル及び前記ランダムシード値を用いて調整された第１合成イメージを複数生成するものの、前記調整された第１合成イメージは、前記ランダムシード値を変化させながら前記第１合成イメージに含まれた前記特定の物体のサイズ、位置、カラーのうち、少なくとも一部を調整して生成されるイメージであることを特徴とする請求項１に記載の方法。
【請求項３】
前記（ａ）段階で、
前記コンピューティング装置が、（ｉｉｉ）ランダムシード値を追加的に獲得し、
（ｃ）コンピューティング装置は、前記ＣＮＮモジュールをもって前記第１合成ラベル、前記第１合成イメージ、及び前記ランダムシード値を前記ＣＮＮモジュールの入力として受けるようにし、繰り返し（ｉ）一つ以上の中間合成ラベル及び一つ以上の中間合成イメージを生成して（ｉｉ）前記生成された中間合成ラベル及び前記生成された中間合成イメージを前記ＣＮＮモジュールの前記入力として受けるようにする段階；
をさらに含み、
前記（ｃ）段階で、
繰り返し前記中間合成ラベル及び前記中間合成イメージを生成することにより、前記初期合成ラベル内前記バウンディンボックスの位置と同一または類似するように、前記特定の物体に対応する前記特定ラベル及び前記特定イメージを各々前記中間合成ラベル及び前記中間合成イメージ内に繰り返し合成して、第２合成ラベル及び第２合成イメージを生成することを特徴とする請求項１に記載の方法。
【請求項４】
前記特定の物体に対応して、前記バウンディングボックスを選択するように提供されるバウンディングボックス候補群の形が所定の確率分布に従うとした場合、前記バウンディングボックスの形は、前記確率分布によって決定されることを特徴とする請求項１に記載の方法。
【請求項５】
前記特定の物体に対応する前記バウンディンボックスの候補群の横の長さと縦の長さが各々第１確率分布と第２確率分布に従うとした場合、前記バウンディンボックスの形は、横の長さと縦の長さが各々前記第１確率分布と、前記第２確率分布によって決められることで決定されることを特徴とする請求項４に記載の方法。
【請求項６】
前記特定の物体に対応する前記バウンディングボックス候補群の位置が、様々なイメージ内の前記特定の物体と類似した種類と大きさを有した様々な物体の位置情報を参照して獲得された所定の確率分布に従うとすれば、前記特定の物体に対応される前記バウンディングボックスの位置は、前記確率分布によって決定されることを特徴とする請求項１に記載の方法。
【請求項７】
（ｄ）前記コンピューティング装置は、前記第１合成イメージと、前記第１合成ラベルを、物体検出及びイメージセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）のうち、少なくとも一部のための学習用データセットを含むデータベースに追加する段階；
をさらに含む請求項１に記載の方法。
【請求項８】
自律走行状況で、少なくとも一つの障害物検出のためのＣＮＮ学習のための少なくとも一つのデータセットを生成するコンピューティング装置において、
（ｉ）道路走行状況を示す原本イメージ及び（ｉｉ）前記原本イメージに対応する原本ラベル及び前記原本イメージに対応されない任意の特定の物体のイメージに対応されるバウンディングボックスを利用して生成された初期合成ラベルを通信部：及び
（Ｉ）ＣＮＮモジュールをもって前記原本イメージ及び前記初期合成ラベルを利用して第１合成イメージ及び第１合成ラベルを生成するようにするプロセスを遂行するプロセッサ；を含むものの、
前記第１合成ラベルは、前記特定の物体のイメージに対応される前記バウンディンボックスの前記初期合成ラベル内の位置に対応するように前記特定の物体のイメージに対応される特定ラベルを前記原本ラベルに追加することにより生成され、前記第１合成イメージは、前記特定の物体のイメージに対応される前記バウンディンボックスの前記初期合成ラベル内の位置に対応するように、前記特定の物体の特定イメージが前記原本イメージに合成されたイメージであることを特徴とするコンピューティング装置。
【請求項９】
前記通信部が、（ｉｉｉ）ランダムシード値を追加的に獲得して、
前記（Ｉ）プロセスで、
前記プロセッサが、前記ＣＮＮモジュールをもって前記原本イメージ、前記初期合成ラベル及び前記ランダムシード値を用いて調整された第１合成イメージを複数生成するものの、前記調整された第１合成イメージは、前記ランダムシード値を変化させながら、前記第１合成イメージに含まれた前記特定の物体のサイズ、位置、カラーのうち、少なくとも一部を調整して生成されるイメージであることを特徴とする請求項８に記載のコンピューティング装置。
【請求項１０】
前記通信部が、（ｉｉｉ）ランダムシード値を追加的に獲得し、
前記プロセッサは、（ＩＩ）前記ＣＮＮモジュールをもって前記第１合成ラベル、前記第１合成イメージ及び、前記ランダムシード値を前記ＣＮＮモジュールの入力として受けるようにし、繰り返し（ｉ）一つ以上の中間合成ラベル及び一つ以上の中間合成イメージを生成して（ｉｉ）前記生成された中間合成ラベル及び前記生成された中間合成イメージを前記ＣＮＮモジュールの前記入力として受けるプロセス；をさらに遂行して、
前記（ＩＩ）プロセスで、
繰り返し前記中間合成ラベル及び前記中間合成イメージを生成することにより、前記初期合成ラベル内前記バウンディンボックスの位置と同一または類似するように、前記特定の物体に対応する前記特定ラベル及び前記特定イメージを各々前記中間合成ラベル及び前記中間合成イメージ内に繰り返し合成して、第２合成ラベル及び第２合成イメージを生成することを特徴とする請求項８に記載のコンピューティング装置。
【請求項１１】
前記特定の物体に対応して、前記バウンディングボックスを選択するように提供されるバウンディングボックス候補群の形が所定の確率分布に従うとした場合、前記バウンディングボックスの形は、前記確率分布によって決定されることを特徴とする請求項８に記載のコンピューティング装置。
【請求項１２】
前記特定の物体に対応する前記バウンディンボックスの候補群の横の長さと縦の長さが各々第１確率分布と第２確率分布に従うとした場合、前記バウンディンボックスの形は、横の長さと特定の縦の長さが各々前記第１確率分布と、前記第２確率分布によって決められることで決定されることを特徴とする請求項１１に記載のコンピューティング装置。
【請求項１３】
前記特定の物体に対応する前記バウンディングボックス候補群の位置が、様々なイメージ内の前記特定の物体と類似した種類と大きさを有した様々な物体の位置情報を参照して獲得された所定の確率分布に従うとすれば、前記特定の物体に対応される前記バウンディングボックスの位置は、前記確率分布によって決定されることを特徴とする請求項８に記載のコンピューティング装置。
【請求項１４】
前記プロセッサは、（ＩＩＩ）前記第１合成イメージと、前記第１合成ラベルを、物体検出及びイメージセグメンテーションのうち、少なくとも一部のための学習用データセットを含むデータベースに追加するプロセス；をさらに遂行することを特徴とする請求項８に記載のコンピューティング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自律走行状況で、少なくとも一つの障害物検出のためのＣＮＮ学習のための少なくとも一つのイメージデータセットを生成する方法に関し、より詳細には；（ａ）コンピューティング装置が、（ｉ）道路走行状況を示す原本イメージ及び（ｉｉ）前記原本イメージに対応する原本ラベル及び前記原本イメージに対応されない任意の特定の物体のイメージに対応されるバウンディングボックスを利用して生成された初期合成ラベルを獲得する段階：及び（ｂ）前記コンピューティング装置が、ＣＮＮモジュールをもって前記原本イメージ及び前記初期合成ラベルを利用して第１合成イメージ及び第１合成ラベルを生成するようにする段階；を含むものの、前記第１合成ラベルは、前記特定の物体のイメージに対応される前記バウンディンボックスの前記初期合成ラベル内の位置に対応するように前記特定の物体のイメージに対応される特定ラベルを前記原本ラベルに追加することにより生成され、前記第１合成イメージは、前記特定の物体のイメージに対応される前記バウンディンボックスの前記初期合成ラベル内の位置に対応するように、前記特定の物体の特定イメージが前記原本イメージに合成されたイメージであることを特徴とする方法及びこれを利用したコンピューティング装置に関する。
【背景技術】
【０００２】
ディープ・コンボリューション・ニューラル・ネットワーク（Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ；ＤｅｅｐＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解くために９０年代にすでに使われたが、現在のように広く使われるようになったのは最近の研究結果のおかげである。このようなディープＣＮＮは２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習（Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ）分野で非常に有用なツールとなった。
【０００３】
一方、イメージセグメンテーション（Ｉｍａｇｅ  ｓｅｇｍｅｎｔａｔｉｏｎ）は、入力としてイメージ（トレーニングイメージまたはテストイメージ）を受けて、出力としてラベル（ｌａｂｅｌ）イメージを作り出す方法である。最近、ディープラーニング（Ｄｅｅｐ  ｌｅａｒｎｉｎｇ）技術が脚光を浴び、セグメンテーションもディープラーニングを多く利用する傾向にある。
【０００４】
一方、自律走行状況で利用される障害物を検出するためにＣＮＮを学習する場合、学習装置は自律走行状況で遭遇する様々な物体を学習しなければならず、そのために学習用イメージは自律走行状況で向き合うことになる様々な物体が存在するイメージである必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、実際の走行状況では、道路上に様々な物体が存在し得るが、このようなデータを収集することは容易ではない。つまり、道路上に頻繁に現れない特異な物体に対する学習イメージは、一般走行映像データでは容易には入手できないだろう。例えば、人や自転車、車両等に対しては、一般走行映像データから容易に得られるイメージであるため、このような物体が含まれる学習イメージでは検出性能を高めるための学習をし得るが、虎やワニ等に対しては、一般走行映像データから容易に入手できず、これにより特異な物体への検出性能を高めるための学習は容易でないという問題点が存在する。
【０００６】
本発明は、前述した問題点を解決することを目的とする。
【０００７】
本発明は、自律走行の際の実際の道路走行状況において、頻繁に接することのない物体を検出し得る性能を高めるために利用される学習用イメージセットを確保することを他の目的とする。
【０００８】
また、バウンディングボックスを含む合成イメージを生成する方法を提供することを他の目的とする。
【０００９】
また、ＣＮＮモジュールをもって原本イメージ、初期合成ラベル及びランダムシード値を前記ＣＮＮモジュールの入力として受けるようにし、繰り返して（ｉ）一つ以上の中間合成ラベル及び一つ以上の中間合成イメージを生成して（ｉｉ）前記生成された中間合成イメージ及び前記生成された中間合成ラベルを前記ＣＮＮモジュールの前記入力イメージとして受けるプロセスを遂行することで、実際のイメージとより似ている合成イメージ及び合成ラベルを生成する方法を提供することを他の目的とする。
【課題を解決するための手段】
【００１０】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は次の通りである。
【００１１】
本発明の一態様によれば、自律走行状況で、少なくとも一つの障害物検出のためのＣＮＮ学習のための少なくとも一つのイメージデータセットを生成する方法において、（ａ）コンピューティング装置が、（ｉ）道路走行状況を示す原本イメージ及び（ｉｉ）前記原本イメージに対応する原本ラベル及び前記原本イメージに対応されない任意の特定の物体のイメージに対応されるバウンディングボックスを利用して生成された初期合成ラベルを獲得する段階：及び（ｂ）前記コンピューティング装置が、ＣＮＮモジュールをもって前記原本イメージ及び前記初期合成ラベルを利用して第１合成イメージ及び第１合成ラベルを生成するようにする段階；を含むものの、前記第１合成ラベルは、前記特定の物体のイメージに対応される前記バウンディンボックスの前記初期合成ラベル内の位置に対応するように前記特定の物体のイメージに対応される特定ラベルを前記原本ラベルに追加することにより生成され、前記第１合成イメージは、前記特定の物体のイメージに対応される前記バウンディンボックスの前記初期合成ラベル内の位置に対応するように、前記特定の物体の特定イメージが前記原本イメージに合成されたイメージであることを特徴とする方法を開示する。
【００１２】
一例として、前記（ａ）段階で、前記コンピューティング装置が、（ｉｉｉ）ランダムシード値を追加的に獲得し、前記（ｂ）段階で、前記コンピューティング装置が、前記ＣＮＮモジュールをもって前記原本イメージ、前記初期合成ラベル及び前記ランダムシード値を用いて調整された第１合成イメージを複数生成するものの、前記調整された第１合成イメージは、前記ランダムシード値を変化させながら前記第１合成イメージに含まれた前記特定の物体のサイズ、位置、カラーのうち、少なくとも一部を調整して生成されるイメージであることを特徴とする。
【００１３】
一例として、前記（ａ）段階で、前記コンピューティング装置が、（ｉｉｉ）ランダムシード値を追加的に獲得し、（ｃ）前記学習装置は、前記ＣＮＮモジュールをもって前記第１合成ラベル、前記第１合成イメージ、及び前記ランダムシード値を前記ＣＮＮモジュールの入力として受けるようにし、繰り返して（ｉ）一つ以上の中間合成ラベル及び一つ以上の中間合成イメージを生成して（ｉｉ）前記生成された中間合成ラベル及び前記生成された中間合成イメージを前記ＣＮＮモジュールの前記入力として受けるようにする段階；をさらに含み、前記（ｃ）段階で、繰り返し前記中間合成ラベル及び前記中間合成イメージを生成することにより、前記初期合成ラベル内前記バウンディンボックスの位置と同一または類似するように、前記特定の物体に対応する前記特定ラベル及び前記特定イメージを各々前記中間合成ラベル及び前記中間合成イメージ内に繰り返し合成して、第２合成ラベル及び第２合成イメージを生成することを特徴とする。
【００１４】
一例として、前記特定の物体に対応して、前記バウンディングボックスを選択するように提供されるバウンディングボックス候補群の形が所定の確率分布に従うとした場合、前記バウンディングボックスの形は、前記確率分布によって決定されることを特徴とする。
【００１５】
一例として、前記特定の物体に対応する前記バウンディンボックスの候補群の横の長さと縦の長さが各々第１確率分布と第２確率分布に従うとした場合、前記バウンディンボックスの形は、横の長さと縦の長さが各々前記第１確率分布と、前記第２確率分布によって決められることで決定されることを特徴とする。
【００１６】
一例として、前記特定の物体に対応する前記バウンディングボックス候補群の位置が、様々なイメージ内の前記特定の物体と類似した種類と大きさを有した様々な物体の位置情報を参照して獲得された所定の確率分布に従うとすれば、前記特定の物体に対応される前記バウンディングボックスの位置は、前記確率分布によって決定されることを特徴とする。
【００１７】
一例として、（ｄ）前記コンピューティング装置は、前記第１合成イメージと、前記第１合成ラベルを、物体検出及びイメージセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）のうち、少なくとも一部のための学習用データセットを含むデータベースに追加する段階；をさらに含む。
【００１８】
本発明の他の態様によれば、自律走行状況で、少なくとも一つの障害物検出のためのＣＮＮ学習のための少なくとも一つのデータセットを生成するコンピューティング装置において、（ｉ）道路走行状況を示す原本イメージ及び（ｉｉ）前記原本イメージに対応する原本ラベル及び前記原本イメージに対応されない任意の特定の物体のイメージに対応されるバウンディングボックスを利用して生成された初期合成ラベルを通信部：及び（Ｉ）ＣＮＮモジュールをもって前記原本イメージ及び前記初期合成ラベルを利用して第１合成イメージ及び第１合成ラベルを生成するようにするプロセスを遂行するプロセッサ；を含むものの、前記第１合成ラベルは、前記特定の物体のイメージに対応される前記バウンディンボックスの前記初期合成ラベル内の位置に対応するように前記特定の物体のイメージに対応される特定ラベルを前記原本ラベルに追加することにより生成され、前記第１合成イメージは、前記特定の物体のイメージに対応される前記バウンディンボックスの前記初期合成ラベル内の位置に対応するように、前記特定の物体の特定イメージが前記原本イメージに合成されたイメージであることを特徴とするコンピューティング装置を開示する。
【００１９】
一例として、前記通信部が、（ｉｉｉ）ランダムシード値を追加的に獲得して、前記（Ｉ）プロセスで、前記プロセッサが、前記ＣＮＮモジュールをもって前記原本イメージ、前記初期合成ラベル及び前記ランダムシード値を用いて調整された第１合成イメージを複数生成するものの、前記調整された第１合成イメージは、前記ランダムシード値を変化させながら、前記第１合成イメージに含まれた前記特定の物体のサイズ、位置、カラーのうち、少なくとも一部を調整して生成されるイメージであることを特徴とする。
【００２０】
一例として、前記通信部が、（ｉｉｉ）ランダムシード値を追加的に獲得し、前記プロセッサは、（ＩＩ）前記ＣＮＮモジュールをもって前記第１合成ラベル、前記第１合成イメージ、及び前記ランダムシード値を前記ＣＮＮモジュールの入力として受けるようにし、繰り返して（ｉ）一つ以上の中間合成ラベル及び一つ以上の中間合成イメージを生成して（ｉｉ）前記生成された中間合成ラベル及び前記生成された中間合成イメージを前記ＣＮＮモジュールの前記入力として受けるプロセス；をさらに遂行して、前記（ＩＩ）プロセスで、繰り返し前記中間合成ラベル及び前記中間合成イメージを生成することにより、前記初期合成ラベル内前記バウンディンボックスの位置と同一または類似するように、前記特定の物体に対応する前記特定ラベル及び前記特定イメージを各々前記中間合成ラベル及び前記中間合成イメージ内に繰り返し合成して、第２合成ラベル及び第２合成イメージを生成することを特徴とする。
【００２１】
一例として、前記特定の物体に対応して、前記バウンディングボックスを選択するように提供されるバウンディングボックス候補群の形が所定の確率分布に従うとした場合、前記バウンディングボックスの形は、前記確率分布によって決定されることを特徴とする。
【００２２】
一例として、前記特定の物体に対応する前記バウンディンボックスの候補群の横の長さと縦の長さが各々第１確率分布と第２確率分布に従うとした場合、前記バウンディンボックスの形は、横の長さと特定の縦の長さが各々前記第１確率分布と、前記第２確率分布によって決められることで決定されることを特徴とする。
【００２３】
一例として、前記特定の物体に対応する前記バウンディングボックス候補群の位置が、様々なイメージ内の前記特定の物体と類似した種類と大きさを有した様々な物体の位置情報を参照して獲得された所定の確率分布に従うとすれば、前記特定の物体に対応される前記バウンディングボックスの位置は、前記確率分布によって決定されることを特徴とする。
【００２４】
一例として、前記プロセッサは、（ＩＩＩ）前記第１合成イメージと、前記第１合成ラベルを、物体検出及びイメージセグメンテーションのうち、少なくとも一部のための学習用データセットを含むデータベースに追加するプロセス；をさらに遂行することを特徴とする。
【発明の効果】
【００２５】
本発明によれば、自律走行の際の実際の道路走行状況において、頻繁に接することのない物体を検出し得る性能を高めるために利用される学習用イメージセットを確保し得る効果がある。
【００２６】
また、本発明によれば、バウンディングボックスを含む合成イメージを生成し得る効果がある。
【００２７】
また、本発明によれば、ＣＮＮモジュールをもって第１合成イメージ、第１合成ラベル及びランダムシード値を前記ＣＮＮモジュールの入力として受けるようにし、繰り返して（ｉ）一つ以上の中間合成ラベル及び一つ以上の中間合成イメージを生成して（ｉｉ）前記生成された中間合成イメージ及び前記生成された中間合成ラベルを前記ＣＮＮモジュールの前記入力イメージとして受けるプロセスを遂行することで、実際のイメージとより似ている合成イメージ及び合成ラベルを生成し得る効果がある。
【図面の簡単な説明】
【００２８】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例の中の一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業がなされることなくこれらの図面に基づいて他の図面が得られ得る。
【図１】図１は、本発明に係るコンピューティング装置の構成を示した図面である。
【図２】図２は、入力に多様な演算を処理するＣＮＮモジュールの構成を示した図面である。
【図３】図３は、本発明の一実施例によって前記ＣＮＮモジュールが第１合成イメージ及び第１合成ラベルを生成する過程を示した図面である。
【図４】図４は、前記ＣＮＮモジュールがランダムシード値を利用して繰り返し第２合成イメージ及び第２合成ラベルを生成する過程を示した図面である。
【発明を実施するための形態】
【００２９】
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一実施例に係る本発明の精神及び範囲を逸脱せずに他の実施例で具現され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されると、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
【００３０】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得て、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００３１】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者に本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるだろう。以下の例示及び図面は、実例として提供され、本発明を限定することを意図したものではない。
【００３２】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。
【００３３】
図１は、本発明に係るコンピューティング装置の構成を示した図面である。
【００３４】
図１を参照すれば、前記コンピューティング装置１００は、ＣＮＮモジュール２００を含み得る。前記ＣＮＮモジュール２００の入出力及び演算過程は、各々通信部１１０及びプロセッサ１２０によって行われ得る。
【００３５】
図２は、本発明に係る前記ＣＮＮモジュール２００が入力値に多様な演算を加える過程を示した図面である。
【００３６】
図２を参照すれば、前記ＣＮＮモジュール２００は、エンコーディングレイヤ２１０、調整レイヤ２２０及びデコーディングレイヤ２３０などを含み得る。
【００３７】
具体的に、前記エンコーディングレイヤ２１０は、原本イメージと初期合成ラベルに一つ以上のコンボリューション演算を加えて一つ以上の特徴マップを生成するプロセスを遂行し、前記調整レイヤ２２０は、前記エンコーディングレイヤから最後に出力された特定の特徴マップ及びランダムシード値を利用して調整された特徴マップを生成するプロセスを遂行し、前記デコーディングレイヤ２３０は、前記調整された特徴マップに一つ以上のデコンボリューション演算を加えて第１合成イメージ及び第１合成ラベルを生成するプロセスを遂行し得る。
【００３８】
前記エンコーディングレイヤで随行される前記コンボリューション演算について具体的に見てみると、前記エンコーディングレイヤ２１０は、前記特徴マップを生成するために前記原本イメージ及び前記初期合成ラベルを獲得する。各々３−チャネル及び１−チャネルデータである前記原本イメージ及び前記初期合成ラベルをチャネルワイズコンカチネーション（Ｃｈａｎｎｅｌ−ｗｉｓｅ  Ｃｏｎｃａｔｅｎａｔｉｏｎ）して４−チャネルデータに変換した後、前記エンコーディングレイヤ２１０は、前記４−チャネルデータに前記コンボリューション演算を加える。
【００３９】
前記コンピューティング装置及び前記ＣＮＮモジュールの構成を見たところ、前記コンピューティング装置１００がどのような方式で本発明の目的である自律走行装置の学習のための学習用データセットを生成し得るかについて図３に基づいて説明する。
【００４０】
図３は、前記ＣＮＮモジュールが前記学習用データセットを生成する過程を示した図面である。
【００４１】
図３を参照すれば、前記コンピューティング装置１００は、前記通信部１１０をもって、（ｉ）道路走行状況を示す前記原本イメージ、及び（ｉｉ）前記初期合成ラベルを獲得し得る。初期合成ラベルとは、前記原本イメージに対応される原本ラベル及び前記原本イメージに対応されない任意の特定の物体のイメージに対応するバウンディングボックスを用いて生成されたラベルを意味する。
【００４２】
そして、前記原本イメージと前記初期合成ラベルが獲得されれば、前記コンピューティング装置１００は、前記ＣＮＮモジュール２００をもって前記原本イメージ及び前記初期合成ラベルを利用して前記第１合成イメージ及び前記第１合成ラベルを生成するようにする。
【００４３】
前記第１合成イメージは、前記特定の物体の前記バウンディンボックスの前記初期合成ラベル内の位置に対応するように前記バウンディンボックスに対応する前記特定の物体の特定イメージを前記の原本イメージに追加することにより生成される。
【００４４】
前記第１合成ラベルは、前記特定の物体の前記バウンディンボックスの前記初期合成ラベル内の位置に対応するように前記特定の物体に対応される特定ラベルを前記原本ラベルに追加することにより生成される。
【００４５】
図３を参照すれば、前記バウンディンボックスに対応するバス（ｂｕｓ）のイメージは、前記原本イメージに合成されるという点、前記バスに対応する前記特定ラベルが前記原本ラベルに合成されるという点がわかる。
【００４６】
前記第１合成イメージ及び前記第１合成ラベルの生成過程は、前記プロセッサ１２０によって遂行され得る。
【００４７】
例えば、図３のように（ｉ）道路を含む前記原本イメージと、（ｉｉ）前記原本イメージに対応する前記原本ラベル及び（ｉｉｉ）合成する大型バスに対応する前記バウンディングボックス（これ以外にも、道路に存在し得るが頻繁に見られない障害物、例えば、牛、キバノロ、落石などがそれに該当し得る）が獲得されれば、前記原本ラベルに前記大型バスに対応する前記バウンディンボックスを合成して前記初期合成ラベルが生成され得る。以降、前記ＣＮＮモジュールが（ｉ）前記大型バスの特定イメージを前記原本イメージ内の前記道路上に位置するように合成することで前記第１合成イメージを生成し、（ｉｉ）前記初期合成ラベル内前記バウンディンボックスを前記大型バスの前記特定イメージに代替することにより前記第１合成ラベルを生成するということである。
【００４８】
ここで、前記初期合成ラベルは、前記コンピューティング装置１００が直接生成してからも獲得され得て、前記コンピューティング装置１００と連動される他の装置（未図示）が生成した後にこれを前記コンピューティング装置１００に伝達してからも獲得され得る。前者の場合、前記原本ラベル及び前記バウンディンボックスは、前記コンピューティング装置１００に入力され得る。
【００４９】
一方、前記第１合成イメージ及び前記第１合成ラベルを合成するには一般的に知られた合成技術が利用され得るが、これは前記バウンディンボックスが前記初期合成ラベルに合成されれば、前記バウンディンボックスの前記初期合成ラベル内の位置に対応するように前記バウンディンボックスに対応する前記特定ラベルを前記原本ラベルに合成して前記第１合成ラベルが生成され、前記バウンディンボックスの前記初期合成ラベル内の位置に対応するように前記バウンディンボックスに含まれた前記特定の物体に対応する前記特定イメージを前記原本イメージに合成して前記第１合成イメージが生成され得る。
【００５０】
また、図２で前記第１合成イメージに表示された丸、図３で前記第１合成イメージに表示された丸及び図４において前記中間合成イメージ及び前記中間合成ラベルに表示された丸は、前記大型バスに対応される前記特定ラベル及び前記大型バスに対応される前記特定イメージが前記第１合成イメージ、前記中間合成ラベルまたは前記合成イメージに合成されたことを強調するための図面上の印に過ぎず、前記中間合成ラベル、前記中間合成イメージまたは前記第１合成イメージに丸自体が含まれているものではないことを明らかにしておく。
【００５１】
図２には、前記ＣＮＮモジュールが前記ランダムシード値も獲得して前記第１合成イメージを生成すると示されているが、前記ランダムシード値は、本発明の実施に必須的な要素ではない。「シード値」とは、関数の入力値の一つであるが、前記シード値が固定されれば、前記関数の出力値のうち少なくとも一部の特性が固定される。従って、前記ランダムシード値が変化し続ける乱数ならば、前記関数の前記出力値が多様に出るようにするために利用され得る。
【００５２】
図３を参照すれば、前記ＣＮＮモジュール２００が固定されていない前記ランダムシード値を追加的に獲得すると、前記コンピューティング装置１００は、前記ＣＮＮモジュール２００をもって前記原本イメージ、前記初期合成ラベル及び前記ランダムシード値を利用して、複数の調整された第１合成イメージ及び調整された第１合成ラベルを各々生成するようにし得る。
【００５３】
しかし、もし前記ＣＮＮモジュールが前記ランダムシード値を追加的に獲得しなかったり、固定シード値を獲得する場合、単に特性が一定した前記大型バスの前記イメージが合成された前記第１合成イメージを作り出すだけなので、学習に必要な様々なケースを反映することが難しくなる。
【００５４】
このような短所を避けるため、前記ランダムシード値が様々な値に変化しながら追加的に入力されるようにすることで、カラー、形状及び位置のうち、少なくとも一つが他のバスを含むように前記調整された第１合成イメージが生成され得るようになる。
【００５５】
次に、図４は実際のイメージとさらに似ている第２合成イメージを得るために遂行する繰り返しプロセスを示す。
【００５６】
図４を参照すれば、初期プロセスで、前記コンピューティング装置１００は、前記ＣＮＮモジュール２００をもって前記原本イメージ、前記初期合成ラベル及び前記ランダムシード値を獲得し、第１合成ラベル及び第１合成イメージを生成するようにする。
【００５７】
前記繰り返しプロセスにおいて、前記コンピューティング装置１００は、前記ＣＮＮモジュール２００をもって、前記第１合成ラベル及び前記第１合成イメージ及び前記ランダムシード値の入力を受けて、繰り返し（ｉ）一つ以上の中間合成ラベル及び一つ以上の中間合成イメージを生成して（ｉｉ）前記生成された中間合成ラベル及び前記生成された中間合成イメージを前記ＣＮＮモジュールの入力として受けるようにする。
【００５８】
ここで、前記中間合成ラベル及び前記中間合成イメージを繰り返し生成する間、前記コンピューティング装置１００は、前記初期合成イメージ内の前記バウンディンボックスの位置と同一または類似するように前記特定の物体に対応する前記特定ラベル及び前記特定イメージを各々前記生成された中間合成ラベル及び前記中間合成イメージ内に合成して充分な結果が出るようにする。前記「充分な結果」とは、入力イメージが合成または実際であることを区別するイメージ判断モジュールがある場合、前記イメージ判断モジュールが任意の入力された中間合成イメージが合成イメージか実際のイメージかを区別できない程度に至った場合を意味する。前記充分な結果が獲得されると、前記コンピューティング装置は、前記ＣＮＮモジュールをもって前記繰り返しプロセスの末端で最後に生成された中間イメージ及び最後に生成された中間ラベルを第２合成ラベル及び第２合成イメージとして出力するようにする。前記ランダムシード値は、前記初期プロセスではランダムに定められ、以降の前記繰り返しプロセスでは同様に維持されるが、この限りではない。
【００５９】
図４の前記繰り返しプロセスを遂行すれば、各々の前記中間合成イメージ及びそれに対応する中間合成ラベル内の同一または類似した位置に、一定の形状とカラーを有する前記特定の物体とそれに対応する特定ラベルが各々合成され得る。上述のように、前記繰り返しプロセスを遂行すれば、実際のイメージとさらに類似したような前記第２合成イメージ及びこれに対応する前記第２合成ラベルを得られ得るようになるだろう。
【００６０】
一方、前記特定の物体に対応される前記バウンディングボックスを、前記原本ラベルに合成する際、前記特定の物体の形態が多様であり得て、前記特定の物体は、前記初期合成イメージの中にどこにでも存在し得るものであることから、前記バウンディングボックスの形及び位置が毎回組み合わせごとに定められるべきである。従って、前記バウンディングボックスの形及び位置を決定する方式を説明する。
【００６１】
前記特定の物体、たとえばキバノロの場合、標準的な体型に基づいたキバノロの身体の比率があるはずで、これによって体長が長いキバノロ、体長が短いキバノロ、脚が長いキバノロや脚が短いキバノロなどの確率が計算され得る。従って、キバノロの例示で分かるように、前記特定の物体に対応して、前記バウンディンボックスを選択するように提供されるバウンディンボックス候補群の形が所定の確率分布に従うと仮定され得て、前記バウンディンボックスの形を前記確率分布によって決定し得る。
【００６２】
前記確率分布が定められた後でも、前記バウンディンボックスの形を決定する方式は様々なものがあり得るが、前記バウンディンボックスの形は長方形で、その横と縦の長さが各々第１確率分布と第２確率分布に従うとした場合、前記バウンディンボックスの形は、前記第１確率分布及び前記第２確率分布によって決定する方式を取ることができる。
【００６３】
また、イメージにおいて遠近法によって近い物体は大きく見え、遠い物体は小さく見える。従って、前記バウンディンボックスに対応する前記特定の物体と同じ種類の物体の基準の大きさがあるなら、前記特定イメージの大きさが前記基準の大きさより小さい場合、前記イメージ上で遠い方に位置する傾向が強いと言えるだろうし、前記特定の物体の大きさが前記基準の大きさより大きい場合、前記イメージ上で近い方に位置する傾向が強いと言えるだろう。結局、前記バウンディンボックス候補群の位置は、前記特定の物体と似ている種類とサイズを有する多様な物体の多様なイメージ内の相対的位置に対する情報を参照にして獲得された所定の確率分布に従うと仮定することができるだろうし、前述の仮定による前記確率分布によって前記バウンディンボックスの位置が決定され得る。
【００６４】
前記方法を通じて、前記第１合成イメージ及び前記第１合成のラベルが生成されれば、前記第１合成イメージ及び前記第１合成イメージ（または前記第２合成イメージ及び前記第２合成ラベル）を物体検出及びイメージセグメンテーションのうち、少なくとも一つ以上の学習のためのトレーニングデータセットを含むデータベースに追加され得るだろう。
【００６５】
本発明技術分野の通常の技術者に理解され、前記で説明されたイメージ、例えば原本イメージ、原本ラベル及び追加ラベルといったイメージデータの送受信が学習装置及びテスト装置の各通信部によって行われ得て、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／またはメモリ）によって保有／維持でき得て、コンボリューション演算、デコンボリューション演算、ロス値の演算過程が主に学習装置及びテスト装置のプロセッサにより遂行され得るが、本発明はこれに限定されるものではない。
【００６６】
以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ判読可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記のハードウェア装置は本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得て、その逆も同様である。
【００６７】
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
【００６８】
従って、本発明の思想は前記説明された実施例に極限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020038668.tif 000003
【図２】
2020038668.tif 000004
【図３】
2020038668.tif 000005
【図４】
2020038668.tif 000006