(57)【要約】      （修正有）【課題】周辺環境を適切に表す地図を作成する地図作成装置、ロボット、地図作成方法及び地図作成プログラムを提供する。【解決手段】地図作成装置１０は、地図を作成する空間を撮影した画像を取得する取得部１１と、画像に含まれる物体の種類を識別する識別部１２と、画像のうち所定の種類の物体を含む領域を所定の色で塗り潰した塗り潰し画像を生成する第１生成部１３と、塗り潰し画像をインペインティング処理によって補完して、所定の種類の物体が除去された補完画像を生成する第２生成部１４と、補完画像に基づいて、空間の地図を作成する作成部１５と、を備える。【選択図】図２
2020064339.tif 000002
【特許請求の範囲】
【請求項１】
地図を作成する空間を撮影した画像を取得する取得部と、
前記画像に含まれる物体の種類を識別する識別部と、
前記画像のうち所定の種類の前記物体を含む領域を所定の色で塗り潰した塗り潰し画像を生成する第１生成部と、
前記塗り潰し画像をインペインティング処理によって補完して、前記所定の種類の前記物体が除去された補完画像を生成する第２生成部と、
前記補完画像に基づいて、前記空間の地図を作成する作成部と、
を備える地図作成装置。
【請求項２】
前記作成部は、前記補完画像に基づいて、前記空間の３次元地図を作成する、
請求項１に記載の地図作成装置。
【請求項３】
前記所定の種類は、前記物体が所定期間内に移動する蓋然性に応じて選択される、
請求項１又は２に記載の地図作成装置。
【請求項４】
前記取得部は、異なる位置又は方向から前記空間を撮影した複数枚の画像を取得し、
前記識別部は、前記複数枚の画像に含まれる物体の種類を識別し、
前記第１生成部は、前記複数枚の画像のうち前記所定の種類の前記物体を含む領域を前記所定の色で塗り潰した複数枚の塗り潰し画像を生成し、
前記第２生成部は、前記複数枚の塗り潰し画像をインペインティング処理によって補完して、前記所定の種類の前記物体が除去された複数枚の補完画像を生成し、
前記作成部は、前記複数枚の補完画像に基づいて、前記空間の地図を作成する、
請求項１から３のいずれか一項に記載の地図作成装置。
【請求項５】
前記作成部により前記地図を作成する場合に、前記地図及び前記複数枚の画像に基づいて、前記複数枚の画像が撮影された位置又は方向を推定する推定部をさらに備える、
請求項４に記載の地図作成装置。
【請求項６】
前記取得部は、前記空間を可視光で撮影した前記画像を取得する、
請求項１から５のいずれか一項に記載の地図作成装置。
【請求項７】
地図を作成する空間の画像を撮影するカメラと、
前記画像を、請求項１から６のいずれか一項に記載の地図作成装置に送信する送信部と、
前記地図作成装置から、前記地図を受信する受信部と、
を備えるロボット。
【請求項８】
移動手段をさらに備え、
前記カメラは、前記移動手段によって移動する間に前記空間の複数枚の画像を撮影する、
請求項７に記載のロボット。
【請求項９】
前記物体の種類に応じて、移動経路を決定する決定部をさらに備える、
請求項８に記載のロボット。
【請求項１０】
前記カメラは、ステレオカメラを含む、
請求項７から９のいずれか一項に記載のロボット。
【請求項１１】
地図を作成する空間を撮影した画像を取得することと、
前記画像に含まれる物体の種類を識別することと、
前記画像のうち所定の種類の前記物体を含む領域を所定の色で塗り潰した塗り潰し画像を生成することと、
前記塗り潰し画像をインペインティング処理によって補完して、前記所定の種類の前記物体が除去された補完画像を生成することと、
前記補完画像に基づいて、前記空間の地図を作成することと、
を含む地図作成方法。
【請求項１２】
情報処理装置に備えられたプロセッサを、
地図を作成する空間を撮影した画像を取得する取得部、
前記画像に含まれる物体の種類を識別する識別部、
前記画像のうち所定の種類の前記物体を含む領域を所定の色で塗り潰した塗り潰し画像を生成する第１生成部、
前記塗り潰し画像をインペインティング処理によって補完して、前記所定の種類の前記物体が除去された補完画像を生成する第２生成部、及び
前記補完画像に基づいて、前記空間の地図を作成する作成部、
として機能させる地図作成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、地図作成装置、ロボット、地図作成方法及び地図作成プログラムに関する。
【背景技術】
【０００２】
従来、レーザセンサ等のセンサによって周辺環境を測定し、地図の作成と自己位置推定を行うＳＬＡＭ（Simultaneous Localization and Mapping）と呼ばれる技術が用いられている。
【０００３】
例えば、下記特許文献１には、光を出力および受信する第１検出部の検出結果を用いて環境地図を作成する地図作成部を含む自律走行装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−１４２１５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来技術では、センサによって周辺環境の形状を測定し、それらを繋ぎ合わせて地図を作成している。しかしながら、センサは、壁等の固定物と、人等の非固定物を区別できず、従来技術によって作成される地図は、固定物の形状と非固定物の形状を区別せずに表すものだった。そのため、従来技術によって作成される地図は適切でない場合があった。
【０００６】
そこで、本発明は、周辺環境を適切に表す地図を作成する地図作成装置、ロボット、地図作成方法及び地図作成プログラムを提供する。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る地図作成装置は、地図を作成する空間を撮影した画像を取得する取得部と、画像に含まれる物体の種類を識別する識別部と、画像のうち所定の種類の物体を含む領域を所定の色で塗り潰した塗り潰し画像を生成する第１生成部と、塗り潰し画像をインペインティング処理によって補完して、所定の種類の物体が除去された補完画像を生成する第２生成部と、補完画像に基づいて、空間の地図を作成する作成部と、を備える。
【０００８】
この態様によれば、所定の種類の物体が除去された補完画像を生成し、補完画像に基づいて空間の地図を作成することで、所定の種類の物体によって空間の本来の形状が捉えられなくなることが防止され、周辺環境を適切に表す地図を作成することができる。
【０００９】
上記態様において、作成部は、補完画像に基づいて、空間の３次元地図を作成してもよい。
【００１０】
この態様によれば、周辺環境の３次元形状を適切に表す地図を作成することができる。
【００１１】
上記態様において、所定の種類は、物体が所定期間内に移動する蓋然性に応じて選択されてもよい。
【００１２】
この態様によれば、非固定物が除去された補完画像を作成し、補完画像に基づいて空間の地図を作成することで、非固定物によって空間の本来の形状が捉えられなくなることが防止され、周辺環境を適切に表す地図を作成することができる。
【００１３】
上記態様において、取得部は、異なる位置又は方向から空間を撮影した複数枚の画像を取得し、識別部は、複数枚の画像に含まれる物体の種類を識別し、第１生成部は、複数枚の画像のうち所定の種類の物体を含む領域を所定の色で塗り潰した複数枚の塗り潰し画像を生成し、第２生成部は、複数枚の塗り潰し画像をインペインティング処理によって補完して、所定の種類の物体が除去された複数枚の補完画像を生成し、作成部は、複数枚の補完画像に基づいて、空間の地図を作成してもよい。
【００１４】
この態様によれば、複数枚の補完画像を繋ぎ合わせて、より広い範囲の周辺環境を適切に表す地図を作成することができる。
【００１５】
上記態様において、作成部により地図を作成する場合に、地図及び複数枚の画像に基づいて、複数枚の画像が撮影された位置又は方向を推定する推定部をさらに備えてもよい。
【００１６】
この態様によれば、作成した周辺環境の地図上での自己の位置又は方向を推定することができる。
【００１７】
上記態様において、取得部は、空間を可視光で撮影した画像を取得してもよい。
【００１８】
この態様によれば、安価に入手可能な一般的なカメラによって撮影された画像を用いることができる。
【００１９】
本発明の他の態様に係るロボットは、地図を作成する空間の画像を撮影するカメラと、画像を、上記態様に記載の地図作成装置に送信する送信部と、地図作成装置から、地図を受信する受信部と、を備える。
【００２０】
この態様によれば、ロボットの周辺環境を適切に表す地図を作成することができる。
【００２１】
上記態様において、移動手段をさらに備え、カメラは、移動手段によって移動する間に空間の複数枚の画像を撮影してもよい。
【００２２】
この態様によれば、ロボットが移動しながら撮影した複数枚の画像を用いて、移動した範囲の周辺環境を適切に表す地図を作成することができる。
【００２３】
上記態様において、物体の種類に応じて、移動経路を決定する決定部をさらに備えてもよい。
【００２４】
この態様によれば、非固定物等の必ずしも避けて通らなくてもよい物体を識別して、より効率的な移動経路を決定することができる。
【００２５】
上記態様において、カメラは、ステレオカメラを含んでもよい。
【００２６】
この態様によれば、ステレオカメラによって撮影した２枚の画像から深度を算出することができ、空間の奥行を反映した地図を効率良く作成することができる。
【００２７】
本発明の他の態様に係る地図作成方法は、地図を作成する空間を撮影した画像を取得することと、画像に含まれる物体の種類を識別することと、画像のうち所定の種類の物体を含む領域を所定の色で塗り潰した塗り潰し画像を生成することと、塗り潰し画像をインペインティング処理によって補完して、所定の種類の物体が除去された補完画像を生成することと、補完画像に基づいて、空間の地図を作成することと、を含む。
【００２８】
この態様によれば、所定の種類の物体が除去された補完画像を生成し、補完画像に基づいて空間の地図を作成することで、所定の種類の物体によって空間の本来の形状が捉えられなくなることが防止され、周辺環境を適切に表す地図を作成することができる。
【００２９】
本発明の他の態様に係る地図作成プログラムは、情報処理装置に備えられたプロセッサを、地図を作成する空間を撮影した画像を取得する取得部、画像に含まれる物体の種類を識別する識別部、画像のうち所定の種類の物体を含む領域を所定の色で塗り潰した塗り潰し画像を生成する第１生成部、塗り潰し画像をインペインティング処理によって補完して、所定の種類の物体が除去された補完画像を生成する第２生成部、及び補完画像に基づいて、空間の地図を作成する作成部、として機能させる。
【００３０】
この態様によれば、所定の種類の物体が除去された補完画像を生成し、補完画像に基づいて空間の地図を作成することで、所定の種類の物体によって空間の本来の形状が捉えられなくなることが防止され、周辺環境を適切に表す地図を作成することができる。
【発明の効果】
【００３１】
本発明によれば、周辺環境を適切に表す地図を作成する地図作成装置、ロボット、地図作成方法及び地図作成プログラムが提供される。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施形態に係る地図作成システムのネットワーク構成を示す図である。
【図２】本実施形態に係る地図作成装置及びロボットの機能ブロックを示す図である。
【図３】本実施形態に係る地図作成装置の物理的構成を示す図である。
【図４】本実施形態に係る地図作成装置により取得された画像を示す図である。
【図５】本実施形態に係る地図作成装置により生成された塗り潰し画像を示す図である。
【図６】本実施形態に係る地図作成装置により生成された補完画像を示す図である。
【図７】本実施形態に係る地図作成装置により生成された深度マップを示す図である。
【図８】第１画像及び第２画像から生成された深度マップを示す図である。
【図９】本実施形態に係る地図作成システムにより実行される処理のフローチャートである。
【発明を実施するための形態】
【００３３】
以下、本発明の一側面に係る実施の形態（以下、「本実施形態」と表記する。）を、図面に基づいて説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
【００３４】
図１は、本発明の実施形態に係る地図作成システム１００のネットワーク構成を示す図である。地図作成システム１００は、地図作成装置１０と、ロボット２０とを備える。本実施形態では、地図作成装置１０とロボット２０は、通信ネットワークＮを介して通信可能に構成される。ここで、通信ネットワークＮは、インターネットやＬＡＮ（Local Area Network）等であってよい。
【００３５】
本実施形態に係る地図作成システム１００では、ロボット２０が移動しながら複数枚の画像を撮影し、通信ネットワークＮを介して地図作成装置１０に送信する。地図作成装置１０は、受信した画像に基づいて、ロボット２０の周辺環境を表す３次元地図を作成し、画像が撮影された位置及び方向を推定する。地図作成装置１０は、３次元地図と、３次元地図上におけるロボット２０の位置及び方向に関する情報とをロボット２０に返送する。ロボット２０は、受信した３次元地図及び自己位置に関する情報に基づいて、移動経路を決定する。
【００３６】
本実施形態では、地図作成装置１０とロボット２０が別体の場合について説明するが、地図作成装置１０とロボット２０は一体であってもよい。その場合、地図作成装置１０とロボット２０の間の情報の送受信は、バスを介した情報の送受信と読み替えてよい。
【００３７】
図２は、本実施形態に係る地図作成装置１０及びロボット２０の機能ブロックを示す図である。地図作成装置１０は、取得部１１、識別部１２、第１生成部１３、第２生成部１４、作成部１５及び推定部１６を備える。ロボット２０は、ステレオカメラ２１、送信部２２、受信部２３、決定部２４及び移動手段２５を備える。
【００３８】
取得部１１は、地図を作成する空間を撮影した画像を取得する。ここで、画像は、ロボット２０のステレオカメラ２１によって撮影された２枚１組の画像であってよい。取得部１１は、異なる位置又は方向から空間を撮影した複数枚の画像を取得してよい。この場合、複数枚の画像は、ロボット２０が移動手段２５によって移動する間に空間を撮影した複数枚の画像であってよい。
【００３９】
識別部１２は、画像に含まれる物体の種類を識別する。また、識別部１２は、複数枚の画像に含まれる物体の種類を識別してよい。識別部１２は、画像をニューラルネットワークに入力し、ニューラルネットワークによって物体の種類及び物体を囲むバウンディングボックスを出力するものであってよい。ニューラルネットワークとしては、例えば、Joseph Redmon, Ali Farhadi, "YOLOv3: An Incremental Improvement", arXiv:1804.02767, 2018により開示されたたモデルを用いてよい。
【００４０】
第１生成部１３は、画像のうち所定の種類の物体を含む領域を所定の色で塗り潰した塗り潰し画像を生成する。また、第１生成部１３は、複数枚の画像のうち所定の種類の物体を含む領域を所定の色で塗り潰した複数枚の塗り潰し画像を生成してよい。ここで、所定の種類は、物体が所定期間内に移動する蓋然性に応じて選択されてよい。所定の種類の物体は、非固定物であってよく、例示すると、人、動物、文房具、食器及びラップトップコンピューター等を含んでよい。所定の種類の物体は、床、壁又は天井等の固定物以外のものであってよい。また、所定の色は、任意の色であってよいが、例えば白であってよい。
【００４１】
第２生成部１４は、塗り潰し画像をインペインティング処理によって補完して、所定の種類の物体が除去された補完画像を生成する。また、第２生成部１４は、複数枚の塗り潰し画像をインペインティング処理によって補完して、所定の種類の物体が除去された複数枚の補完画像を生成してよい。ここで、インペインティング処理とは、欠損のある画像に基づいて、欠損を修復した画像を生成する処理である。第２生成部１４は、塗り潰し画像をニューラルネットワークに入力し、ニューラルネットワークによってインペインティング処理を行い、所定の種類の物体が除去された補完画像を出力するものであってよい。ニューラルネットワークとしては、例えば、JIAHUI Yum, 他５名, "Free-Form Image Inpainting with Gated Convolution", arXiv:1806.03589, 2018により開示されたモデルを用いてよい。
【００４２】
作成部１５は、補完画像に基づいて、空間の地図を作成する。また、作成部１５は、複数枚の補完画像に基づいて、空間の地図を作成してもよい。さらに、推定部１６は、作成部１５により地図を作成する場合に、地図及び複数枚の画像に基づいて、複数枚の画像が撮影された位置又は方向を推定する。作成部１５及び推定部１６の機能は、ＳＬＡＭに関する公知の技術を用いて実現されてよい。
【００４３】
本実施形態に係る地図作成装置１０によれば、所定の種類の物体が除去された補完画像を生成し、補完画像に基づいて空間の地図を作成することで、所定の種類の物体によって空間の本来の形状が捉えられなくなることが防止され、周辺環境を適切に表す地図を作成することができる。また、所定の種類の物体を、所定期間内に移動する蓋然に応じて選択することで、非固定物が除去された補完画像を作成し、補完画像に基づいて空間の地図を作成することで、非固定物によって空間の本来の形状が捉えられなくなることが防止され、周辺環境を適切に表す地図を作成することができる。さらに、複数枚の補完画像を繋ぎ合わせて、より広い範囲の周辺環境を適切に表す地図を作成することができる。また、推定部１６によって、作成した周辺環境の地図上での自己の位置又は方向を推定することができる。
【００４４】
作成部１５は、補完画像に基づいて、空間の３次元地図を作成してよい。地図作成装置１０は、例えば、ステレオカメラ２１により撮影された２枚１組の画像について、それぞれ識別部１２によって物体の種類を識別し、第１生成部１３によって所定の種類の物体を含む領域を所定の色で塗り潰した２枚の塗り潰し画像を生成し、第２生成部１４によって塗り潰し画像をインペインティング処理によって補完して、所定の種類の物体が除去された２枚の補完画像を生成し、２枚の補完画像に基づいて、空間の深度マップを作成してよい。そして、作成部１５は、２枚の補完画像から作成された深度マップに基づいて、空間の３次元地図を作成してよい。このようにして、周辺環境の３次元形状を適切に表す地図を作成することができる。
【００４５】
また、取得部１１は、空間を可視光で撮影した画像を取得してよい。すなわち、ロボット２０が備えるステレオカメラ２１は、空間を可視光で撮影するカメラであってよい。これにより、例えば赤外線等の可視光以外の波長の光で撮影された画像を用いる必要がなくなり、安価に入手可能な一般的なカメラによって撮影された画像を用いることができる。
【００４６】
ロボット２０のステレオカメラ２１は、地図を作成する空間の画像を撮影するカメラである。ロボット２０は、必ずしもステレオカメラ２１を備えなくてもよく、単眼のカメラを備えてもよい。しかし、ステレオカメラ２１を備えることで、ステレオカメラ２１によって撮影した２枚の画像から深度を算出することができ、空間の奥行を反映した地図を効率良く作成することができる。ロボット２０により画像を撮影することで、ロボット２０の周辺環境を適切に表す地図を作成することができる。
【００４７】
送信部２２は、ステレオカメラ２１で撮影した画像を、地図作成装置１０に送信する。また、受信部２３は、地図作成装置１０から、地図を受信する。ここで、受信部２３は、推定部１６により推定された位置及び方向に関する情報と、識別部１２により識別された物体の種類に関する情報とを併せて受信してよい。
【００４８】
決定部２４は、物体の種類に応じて、移動経路を決定する。決定部２４は、固定物により塞がれた経路を避けるように移動経路を決定してよいが、非固定物が置かれた経路を通過する移動経路を決定してもよい。例えば、カーテンや缶等の非固定物が移動経路上に存在している場合、非固定物を避けなくても移動に支障が無いばかりか、避けて通ることで移動が非効率になったり、通過すべき箇所を通過できなくなったりすることがある。決定部２４は、物体の種類に応じて、固定物等の避けるべき物体と、非固定物等の必ずしも避けて通らなくてもよい物体を識別し、移動経路を決定することで、より効率的な移動経路を決定することができる。
【００４９】
移動手段２５は、ロボット２０の位置及び方向を変化させる機構であり、例えばモータ及び車輪で構成されてよい。移動手段２５は、必ずしも平面的な移動を行う手段に限られず、複数のモータ及びプロペラ等の立体的な移動を行う手段を含んでよい。すなわち、ロボット２０は、地上を移動するロボットであってもよいし、空中を移動するドローンであってもよい。ロボット２０が移動手段２５を備えることで、ロボット２０が移動しながら撮影した複数枚の画像を用いて、移動した範囲の周辺環境を適切に表す地図を作成することができる。
【００５０】
図３は、本実施形態に係る地図作成装置１０の物理的構成を示す図である。地図作成装置１０は、演算部に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、測定部１０ｇと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では地図作成装置１０が一台のコンピュータで構成される場合について説明するが、地図作成装置１０は、複数のコンピュータが組み合わされて実現されてもよい。また、図３で示す構成は一例であり、地図作成装置１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。
【００５１】
ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、画像に基づいて地図の作成及び自己位置推定を行うプログラム（地図作成プログラム）を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂやＲＯＭ１０ｃに格納したりする。
【００５２】
ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行する地図作成プログラム、取得した画像及び作成した地図といったデータを記憶してよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。
【００５３】
ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば地図作成プログラムや、書き換えが行われないデータを記憶してよい。
【００５４】
通信部１０ｄは、地図作成装置１０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワークＮに接続されてよい。
【００５５】
入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。
【００５６】
表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆは、解析対象となる画像と、作成された地図とを表示してよい。
【００５７】
地図作成プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークＮを介して提供されてもよい。地図作成装置１０では、ＣＰＵ１０ａが地図作成プログラムを実行することにより、図２を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、地図作成装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。
【００５８】
図４は、本実施形態に係る地図作成装置１０により取得された画像を示す図である。同図では、ロボット２０のステレオカメラ２１により撮影された第１画像ＩＭ１ａ及び第２画像ＩＭ１ｂを示している。
【００５９】
第１画像ＩＭ１ａは、第１非固定物Ｍ１ａと第２非固定物Ｍ２ａを含む。また、第２画像ＩＭ１ｂは、第１非固定物Ｍ１ｂと第２非固定物Ｍ２ｂを含む。第１非固定物Ｍ１ａ、第２非固定物Ｍ２ａ、第１非固定物Ｍ１ｂ及び第２非固定物Ｍ２ｂは、それぞれバウンディングボックスで囲まれている。当該バウンディングボックスは、識別部１２によって画像に上書きされてよい。
【００６０】
図５は、本実施形態に係る地図作成装置１０により生成された塗り潰し画像を示す図である。同図では、識別部１２によってバウンディングボックスが上書きされた第１画像ＩＭ１ａ及び第２画像ＩＭ１ｂを第１生成部１３に入力し、第１生成部１３によって生成された第１塗り潰し画像ＩＭ２ａ及び第２塗り潰し画像ＩＭ２ｂを示している。
【００６１】
第１塗り潰し画像ＩＭ２ａは、第１塗り潰し領域Ｆ１ａと第２塗り潰し領域Ｆ２ａを含む。また、第２塗り潰し画像ＩＭ２ｂは、第１塗り潰し領域Ｆ１ｂと第２塗り潰し領域Ｆ２ｂを含む。第１塗り潰し領域Ｆ１ａ及び第１塗り潰し領域Ｆ１ｂは、それぞれ第１非固定物Ｍ１ａ及び第１非固定物Ｍ１ｂを囲むバウンディングボックスの内側を白色で塗り潰した領域である。同様に、第２塗り潰し領域Ｆ２ａ及び第２塗り潰し領域Ｆ２ｂは、それぞれ第２非固定物Ｍ２ａ及び第２非固定物Ｍ２ｂを囲むバウンディングボックスの内側を白色で塗り潰した領域である。
【００６２】
図６は、本実施形態に係る地図作成装置１０により生成された補完画像を示す図である。同図では、第１生成部１３によって生成された第１塗り潰し画像ＩＭ２ａ及び第２塗り潰し画像ＩＭ２ｂを第２生成部１４に入力し、第２生成部１４によって生成された第１補完画像ＩＭ３ａ及び第２補完画像ＩＭ３ｂを示している。
【００６３】
第１補完画像ＩＭ３ａは、第１塗り潰し領域Ｆ１ａ及び第２塗り潰し領域Ｆ２ａをそれぞれ補完して、第１非固定物Ｍ１ａと第２非固定物Ｍ２ａを除去した画像である。また、第２補完画像ＩＭ３ｂは、第１塗り潰し領域Ｆ１ｂ及び第２塗り潰し領域Ｆ２ｂをそれぞれ補完して、第１非固定物Ｍ１ｂと第２非固定物Ｍ２ｂを除去した画像である。このように、第１画像ＩＭ１ａ及び第２画像ＩＭ１ｂから、第１非固定物Ｍ１ａ、第２非固定物Ｍ２ａ、第１非固定物Ｍ１ｂ及び第２非固定物Ｍ２ｂを除去した第１補完画像ＩＭ３ａ及び第２補完画像ＩＭ３ｂを生成することができる。
【００６４】
図７は、本実施形態に係る地図作成装置１０により生成された深度マップを示す図である。同図では、第１補完画像ＩＭ３ａ及び第２補完画像ＩＭ３ｂの視差に基づいて、深度をグレースケールの諧調で表した画像を示している。
【００６５】
図７に示す深度マップには、第１非固定物Ｍ１ａ及び第２非固定物Ｍ２ａ（第１非固定物Ｍ１ｂ及び第２非固定物Ｍ２ｂ）に相当する深度が描画されておらず、第１非固定物Ｍ１ａ及び第２非固定物Ｍ２ａを除去した深度マップが作成されていることが読み取れる。このようにして、地図作成装置１０は、非固定物を除去して、周辺環境を適切に表す３次元地図を作成することができる。
【００６６】
図８は、第１画像ＩＭ１ａ及び第２画像ＩＭ１ｂから生成された深度マップを示す図である。すなわち、同図では、第１非固定物Ｍ１ａ、第２非固定物Ｍ２ａ、第１非固定物Ｍ１ｂ及び第２非固定物Ｍ２ｂを画像から除去せずに作成した深度マップを示している。
【００６７】
図８に示す深度マップには、第１非固定物Ｍ１ａ及び第２非固定物Ｍ２ａ（第１非固定物Ｍ１ｂ及び第２非固定物Ｍ２ｂ）に相当する深度が描画されており、第１非固定物Ｍ１ａ及び第２非固定物Ｍ２ａを含む深度マップが作成されていることが読み取れる。このように、本実施形態に係る地図作成装置１０のように非固定物を画像から除去する処理を行わなければ、床、壁及び天井等の固定物と、第１非固定物Ｍ１ａ及び第２非固定物Ｍ２ａ等の非固定物が区別されずに深度マップが作成され、固定物と非固定物が区別されずに３次元地図が作成される。そのため、周辺環境を必ずしも適切に表さない地図が作成される。この点、本実施形態に係る地図作成装置１０によれば、非固定物を画像から除去して、周辺環境を適切に表す地図を作成することができる。
【００６８】
図９は、本実施形態に係る地図作成システム１００により実行される処理のフローチャートである。はじめに、ロボット２０のステレオカメラ２１で２枚１組の画像を撮影する（Ｓ１０）。そして、ロボット２０から地図作成装置１０に画像を送り、地図作成装置１０により画像を取得し、画像に写された物体の種類を識別する（Ｓ１１）。ここで、地図作成装置１０は、非固定物を囲むバウンディングボックスを画像に上書きしてよい。
【００６９】
次に、地図作成装置１０は、非固定物を含む領域を所定の色で塗り潰し、塗り潰し画像を生成する（Ｓ１２）。そして、地図作成装置１０は、インペインティング処理によって、塗り潰し画像から補完画像を生成する（Ｓ１３）。また、地図作成装置１０は、補完画像から深度を算出し、空間の３次元地図を作成するとともに、画像が撮影された位置及び方向を推定する（Ｓ１４）。その後、地図作成装置１０は、３次元地図、推定された位置及び方向及び識別された物体の種類をロボット２０に送信する。
【００７０】
ロボット２０は、受信した３次元地図、推定された位置及び方向及び識別された物体の種類に基づいて、移動経路を決定する（Ｓ１５）。そして、ロボット２０は、決定した移動経路に従って移動する（Ｓ１６）。
【００７１】
その後、処理を停止しない場合（Ｓ１７：ＮＯ）、地図作成システム１００は、以上説明した処理を繰り返す。一方、処理を停止する場合（Ｓ１７：ＹＥＳ）地図作成システム１００は、処理を終了する。
【００７２】
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
【符号の説明】
【００７３】
１０…地図作成装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１１…取得部、１２…識別部、１３…第１生成部、１４…第２生成部、１５…作成部、１６…推定部、２０…ロボット、２１…ステレオカメラ、２２…送信部、２３…受信部、２４…決定部、２５…移動手段
【図１】
2020064339.tif 000003
【図２】
2020064339.tif 000004
【図３】
2020064339.tif 000005
【図４】
2020064339.tif 000006
【図５】
2020064339.tif 000007
【図６】
2020064339.tif 000008
【図７】
2020064339.tif 000009
【図８】
2020064339.tif 000010
【図９】
2020064339.tif 000011