(57)【要約】      （修正有）【課題】深度画像において深度を計測できない画素の画素値を精度よく決定する情報処理装置、画像処理プログラム及び画像処理方法を提供する。【解決手段】情報処理装置は、深度画像を取得する深度画像取得部２２と、二次元画像とを取得するＲＧＢ画像取得部２０と、深度画像の一部に深度を計測できない画素を含む欠陥領域を抽出する欠陥領域抽出部２４と、二次元画像から欠陥領域に対応する第１領域と、第１領域との類似度が所定以上の第２領域と、第２領域に対応する深度画像の第３領域を抽出する対応領域抽出部２６と、第２領域に対応する深度画像の第３領域に含まれる画素の画素値に基づいて、欠陥領域に含まれる計測不可画素の画素値を決定して欠陥領域を補完する補完部２８とを備える。【選択図】図３
2020149162.tif 000002
【特許請求の範囲】
【請求項１】
商品が載置された載置場所を撮影した深度画像と二次元画像とを取得する取得部と、
前記深度画像の一部に深度を計測できない画素を含む欠陥領域が存在したときに、前記二次元画像から前記欠陥領域に対応する第１領域を抽出する第１抽出部と、
前記二次元画像から前記第１領域との類似度が所定以上の第２領域を抽出する第２抽出部と、
前記第２領域に対応する前記深度画像の第３領域に含まれる画素の画素値に基づいて、前記深度画像の前記欠陥領域に含まれる深度を計測できない画素の画素値を決定する決定部と、
を備える情報処理装置。
【請求項２】
前記決定部は、前記第３領域に含まれる各画素の画素値を、前記欠陥領域に含まれる各画素の画素値として決定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記決定部は、前記欠陥領域内の深度を計測できた画素を特定し、特定した前記画素の画素値と、特定した前記画素に対応する前記第３領域内の画素の画素値との差、及び前記欠陥領域内の深度を計測できない画素に対応する前記第３領域内の画素の画素値、に基づいて、前記欠陥領域内の深度を計測できない画素の画素値を決定する、ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記決定部は、前記欠陥領域内の深度を計測できた画素のうち、前記商品が載置された載置面以外を撮影した画素を特定する、ことを特徴とする請求項３に記載の情報処理装置。
【請求項５】
商品が載置された載置場所を撮影した深度画像と二次元画像とを取得し、
前記深度画像の一部に深度を計測できない画素を含む欠陥領域が存在したときに、前記二次元画像から前記欠陥領域に対応する第１領域を抽出し、
前記二次元画像から前記第１領域との類似度が所定以上の第２領域を抽出し、
前記第２領域に対応する前記深度画像の第３領域に含まれる画素の画素値に基づいて、前記深度画像の前記欠陥領域に含まれる深度を計測できない画素の画素値を決定する、
処理をコンピュータに実行させるための画像処理プログラム。
【請求項６】
商品が載置された載置場所を撮影した深度画像と二次元画像とを取得し、
前記深度画像の一部に深度を計測できない画素を含む欠陥領域が存在したときに、前記二次元画像から前記欠陥領域に対応する第１領域を抽出し、
前記二次元画像から前記第１領域との類似度が所定以上の第２領域を抽出し、
前記第２領域に対応する前記深度画像の第３領域に含まれる画素の画素値に基づいて、前記深度画像の前記欠陥領域に含まれる深度を計測できない画素の画素値を決定する、
処理をコンピュータが実行することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、画像処理プログラム及び画像処理方法に関する。
【背景技術】
【０００２】
物流倉庫では、メーカにより商品単位で梱包された段ボールケースから小売店舗毎に必要な商品を集めてコンテナへ詰める作業（ピッキング作業）が行われている。現在においては、ピッキング作業は人手中心の作業であるが、人件費削減や人手不足解消のため、ロボットを用いた自動化（ロボットピッキング）の検討が進められている。
【０００３】
ロボットピッキングにおいては、物流倉庫内の商品の情報（形状情報や位置情報など）が必要となるが、物流倉庫内において多種多様な商品を扱う場合には、個々の商品の情報を予め入手しておくことは難しい。このため、商品の形状情報や位置情報は、現場で取得することが必要となる。これに対し、従来においては、反射物体の形状を取得するためにカラー画像や奥行き画像を利用する技術や、対象物体を安定に識別するために撮像手段や距離計測手段を利用する技術が知られている（例えば、特許文献１、２等参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２０１５−５２６６９２号公報
【特許文献２】特開平７−８８７９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ピッキング対象の商品の三次元の位置情報を得るためには、例えばＲＧＢＤカメラを利用することも考えられる。ＲＧＢＤカメラからは、ＲＧＢ画像と、深度画像（Ｄｅｐｔｈ画像）が得られるが、照明光が商品表面で反射することに起因して、深度画像の一部に深度を計測できない画素を含む領域（以下、欠陥領域と呼ぶ）が生じる場合がある。このような欠陥領域が生じると、商品の正確な位置情報を得ることができなくなる。
【０００６】
１つの側面では、本発明は、深度画像において深度を計測できない画素の画素値を精度よく決定することが可能な情報処理装置、画像処理プログラム及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
一つの態様では、情報処理装置は、商品が載置された載置場所を撮影した深度画像と二次元画像とを取得する取得部と、前記深度画像の一部に深度を計測できない画素を含む欠陥領域が存在したときに、前記二次元画像から前記欠陥領域に対応する第１領域を抽出する第１抽出部と、前記二次元画像から前記第１領域との類似度が所定以上の第２領域を抽出する第２抽出部と、前記第２領域に対応する前記深度画像の第３領域に含まれる画素の画素値に基づいて、前記深度画像の前記欠陥領域に含まれる深度を計測できない画素の画素値を決定する決定部と、を備えている。
【発明の効果】
【０００８】
深度画像において深度を計測できない画素の画素値を精度よく決定することができる。
【図面の簡単な説明】
【０００９】
【図１】一実施形態に係るロボットシステムの構成を概略的に示す図である。
【図２】図１の情報処理装置のハードウェア構成を示す図である。
【図３】図１の情報処理装置の機能ブロック図である。
【図４】図１の情報処理装置の処理を示すフローチャートである。
【図５】ＲＧＢ画像の一例を示す図である。
【図６】深度画像の一例を示す図である。
【図７】深度画像において、欠陥領域の１つを示す図である。
【図８】図８（ａ）は、ＲＧＢ画像において、第１領域と第２領域を示す図であり、図８（ｂ）は、深度画像において第３領域と欠陥領域を示す図である。
【図９】第１領域を回転しつつ第２領域を抽出する例について説明するための図である。
【図１０】深度画像において、補正用画素（ｘ，ｙ）と、対応画素（ｘ，ｙ）を示す図である。
【図１１】１つの欠陥領域を補完した後の深度画像を示す図である。
【図１２】全ての欠陥領域を補完した後の深度画像を示す図である。
【発明を実施するための形態】
【００１０】
以下、ロボットシステムの一実施形態について、図１〜図１２に基づいて詳細に説明する。図１には、一実施形態に係るロボットシステム１００の構成が概略的に示されている。ロボットシステム１００は、物流倉庫内において、メーカにより商品単位で梱包された段ボールケースから小売店舗毎に必要な商品を集めてコンテナへ詰める作業（ピッキング作業）を実行するシステムである。なお、本実施形態における商品は、缶詰や箱詰めされた商品などであるものとする。すなわち、同一の商品であれば、形状等に個体差は無く、同一の外観をしているものとする。
【００１１】
ロボットシステム１００は、図１に示すように、情報処理装置１０と、カメラ１２と、ロボット１４と、を備える。情報処理装置１０と、カメラ１２及びロボット１４との間は、無線通信又は有線通信可能に接続されている。なお、カメラ１２及びロボット１４は、情報処理装置１０に対して複数台接続されていてもよいが、説明の便宜上、情報処理装置１０には、１台のカメラ１２と１台のロボット１４が接続されているものとする。
【００１２】
情報処理装置１０は、例えばＰＣ（Personal Computer）などの端末装置であり、図２に示すようなハードウェア構成を有する。具体的には、情報処理装置１０は、図２に示すように、ＣＰＵ（Central Processing Unit）９０、ＲＯＭ（Read Only Memory）９２、ＲＡＭ（Random Access Memory）９４、記憶部（ここではＨＤＤ（Hard Disk Drive））９６、通信インタフェース９７、及び可搬型記憶媒体用ドライブ９９等を備えている。これら情報処理装置１０の構成各部は、バス９８に接続されている。情報処理装置１０では、ＲＯＭ９２あるいはＨＤＤ９６に格納されているプログラム（画像処理プログラムを含む）、或いは可搬型記憶媒体用ドライブ９９が可搬型記憶媒体９１から読み取ったプログラム（画像処理プログラムを含む）をＣＰＵ９０が実行することにより、図３に示す各部の機能が実現される。なお、図３の各部の機能は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。なお、図３の各部の詳細については後述する。
【００１３】
カメラ１２は、ＲＧＢＤ（Red Green Blue Depth）カメラであり、二次元画像としてのＲＧＢ画像（カラー画像）と、深度画像（Ｄｅｐｔｈ画像）と、を撮影することが可能なカメラである。カメラ１２において撮影されたＲＧＢ画像と深度画像は、情報処理装置１０に送信される。カメラ１２は、ピッキング対象である商品が梱包され、上部が開放された段ボールケースの真上に設置されており、ロボット１４が商品をピッキングする直前のタイミングで、段ボールケース内の撮影を実行する。なお、深度画像の画素値は、画像における深度、すなわち撮影した商品の高さを表している。また、カメラ１２は必ずしも段ボールケースの真上に設置されていなくてもよく、段ボールケースの真上からずれた位置に設置されていてもよい。
【００１４】
ロボット１４は、情報処理装置１０からの指示に従って、ピッキング作業を実行する。ロボット１４は、ピッキング作業において、段ボールケース内のピッキング対象の商品をピッキングして、コンテナに積める作業を実行する。なお、段ボールケース内には、同一の商品が少なくとも２つ入っているものとする。
【００１５】
次に、情報処理装置１０の機能について、図３に基づいて説明する。
【００１６】
図３に示すように、情報処理装置１０においては、ＣＰＵ９０がプログラムを実行することにより、ＲＧＢ画像取得部２０、深度画像取得部２２、欠陥領域抽出部２４、対応領域抽出部２６、補完部２８、及びロボット制御部３０、としての機能が実現されている。
【００１７】
ＲＧＢ画像取得部２０は、カメラ２１が撮影したＲＧＢ画像を取得する。ＲＧＢ画像取得部２０が取得するＲＧＢ画像は、一例として、図５に示すような画像であるものとする。図５のＲＧＢ画像は、段ボールケース内の６か所に缶詰が配置されている画像である。なお、図５の例では、６か所それぞれに配置されている缶詰の上面高さはほぼ同一となっているものとする。
【００１８】
深度画像取得部２２は、カメラ２１が撮影した深度画像を取得する。なお、同一のタイミングで同一のカメラ２１が撮影したＲＧＢ画像と深度画像は、同一範囲を撮影した画像であり、共通の識別子が付与されるなどして両者が関連付けられているものとする。図６には、図５のＲＧＢ画像に対応する深度画像の例が示されている。図６の画像においては、段ボールケースの縁部分や、缶詰の上面の高さ（深度）を計測することができる。図６の画像は、高さが高いほど暗く表示される画像である。なお、深度画像は、図６に示すようなグレースケール画像（明暗により高低を表現する画像）でもよいし、カラー画像（色により高低を表現する画像）でもよい。
【００１９】
深度画像には、照明光の反射の影響等により深度（高さ）を計測できない画素（以下「計測不可画素」とも呼ぶ）があり、その画素には、図６において黒塗りにて示すように、欠陥値（例えば明度０の画素値）が割り当てられている。これにより、深度を計測できる画素と、計測不可画素とが明確に区別されている。なお、欠陥値は、カメラ１２ごとに予め定められているものとする。
【００２０】
欠陥領域抽出部２４は、深度画像取得部２２が取得した深度画像に深度を計測できない領域（欠陥領域）が存在している場合に、深度画像から欠陥領域を抽出する。ここで、欠陥領域とは、計測不可画素を含む矩形領域を意味するものとする。欠陥領域抽出部２４は、欠陥領域を抽出すると、対応領域抽出部２６に対して欠陥領域の位置情報を受け渡す。
【００２１】
対応領域抽出部２６は、欠陥領域抽出部２４が抽出した欠陥領域に対応するＲＧＢ画像の領域（第１領域）を抽出するとともに、ＲＧＢ画像において第１領域と類似する（類似度が所定以上の）別の領域（第２領域）を抽出する。また、対応領域抽出部２６は、抽出した第２領域に対応する深度画像の領域（第３領域）を抽出し、第３領域の位置情報を補完部２８に受け渡す。ここで、欠陥領域に対応するＲＧＢ画像の領域（第１領域）とは、ＲＧＢ画像において、深度画像内の欠陥領域が撮影している範囲と同じ範囲を撮影している領域を意味する。また、第２領域に対応する深度画像の領域（第３領域）とは、深度画像において、ＲＧＢ画像内の第２領域が撮影している範囲と同じ範囲を撮影している領域を意味する。
【００２２】
補完部２８は、第３領域内の各画素の画素値に基づいて、欠陥領域に含まれる計測不可画素の画素値を決定し、欠陥領域を補完する。
【００２３】
ロボット制御部３０は、深度画像（欠陥領域が存在する場合には、補完後の深度画像）とＲＧＢ画像とに基づいて、ロボット１４による商品のピッキング作業を制御する。
【００２４】
（情報処理装置１０の処理について）
次に、情報処理装置１０が実行する処理の詳細について、図４のフローチャートに沿って、その他図面を適宜参照しつつ詳細に説明する。なお、図４の処理が行われるタイミングは、カメラ１２において段ボールケース内のＲＧＢ画像と深度画像が撮影されたタイミングである。
【００２５】
図４の処理では、まずステップＳ１０において、ＲＧＢ画像取得部２０がＲＧＢ画像を取得し、深度画像取得部２２が深度画像を取得する。ここでは、例えば、ＲＧＢ画像として図５に示すような画像が取得されたものとし、深度画像として図６に示すような画像が取得されたものとする。
【００２６】
次いで、ステップＳ１２では、欠陥領域抽出部２４が、深度画像の欠陥領域を１つ特定する。ここで、欠陥領域は、前述のように、計測不可画素（画素値が欠陥値の画素）を含む矩形領域である。欠陥領域抽出部２４は、深度画像を、欠陥値と、それ以外の画素値とで二値化し、各画素にラベリングを施すことで、計測不可画素を含む矩形範囲（欠陥領域）を特定する。図７には、深度画像から欠陥領域（太実線で示す矩形の範囲）を１つ特定した状態が示されている。なお、欠陥領域抽出部２４は、ロボット１４によるピッキング作業に影響を与えないような小さな欠陥領域については、特定しないようにしてもよい。すなわち、所定面積未満（所定画素数未満）の欠陥領域については、無視することとしてもよい。
【００２７】
次いで、ステップＳ１４では、対応領域抽出部２６が、欠陥領域が特定されたか否かを判断する。すなわち、深度画像に欠陥領域が残っていたか否かを判断する。このステップＳ１４の判断が否定された場合には、ステップＳ２８に移行するが、肯定された場合には、ステップＳ１６に移行する。
【００２８】
ステップＳ１６に移行すると、対応領域抽出部２６が、特定された欠陥領域に対応するＲＧＢ画像の領域（第１領域）を抽出する。具体的には、対応領域抽出部２６は、深度画像における欠陥領域の座標値を特定し、特定した座標値と一致するＲＧＢ画像の領域を第１領域として抽出する。ここでは、第１領域として、図８（ａ）において太実線枠で示す領域が抽出されたものとする。
【００２９】
次いで、ステップＳ１８では、対応領域抽出部２６が、ＲＧＢ画像の中から、第１領域に類似する第２領域を抽出する。前述のように、段ボールケース内には、同一の商品が複数配置されているため、ＲＧＢ画像内には、第１領域に類似する箇所が存在する可能性が高い。したがって、対応領域抽出部２６は、第１領域の画像をテンプレートとしたテンプレートマッチングを行い、第１領域に類似する（類似度が所定以上である）領域を第２領域として抽出する。ここでは、一例として、図８（ａ）において太破線枠で示す領域が第２領域として抽出されたものとする。なお、対応領域抽出部２６は、ＲＧＢ画像内にテンプレート（第１領域）に類似する領域が無かった場合には、第１領域のテンプレートを所定角度（例えば１０°）ずつ回転させながら、ＲＧＢ画像内において第２領域を探索する処理を繰り返し実行することとしてもよい。これにより、図９に示すように第１領域において撮影されている商品の向きが他の商品と異なっていても、太破線枠で示すように第２領域を抽出することができる。
【００３０】
次いで、ステップＳ２０では、対応領域抽出部２６が、第２領域に対応する深度画像の第３領域を抽出する。この場合、対応領域抽出部２６は、ＲＧＢ画像における第２領域の座標値を特定し、特定した座標値と一致する深度画像の領域を第３領域として抽出する。図８（ｂ）には、図８（ａ）に示す第２領域に対応する第３領域が太破線枠にて示されている。
【００３１】
次いで、ステップＳ２２では、補完部２８が、第３領域内の各画素の画素値に基づいて、欠陥領域内の計測不可画素の画素値を決定する。以下、ステップＳ２２の処理について、詳細に説明する。
【００３２】
まず、補完部２８は、欠陥領域から、深度を計測できた画素のうち、段ボールケースの底（商品が配置されている面）の深度（高さ）を示す画素以外の画素を補正用画素として特定する。なお、段ボールケースの底の深度（高さ）については予め計測されており、補完部２８が記憶しているものとする。
【００３３】
次いで、補完部２８は、欠陥領域内において特定した補正用画素（ｘ，ｙ）それぞれの画素値ＩA(x,y)を取得する。また、補完部２８は、第３領域内において欠陥領域内の補正用画素（ｘ、ｙ）に対応する画素（対応画素（ｘ、ｙ））の画素値ＩB(x,y)を取得する。なお、図１０には、補正用画素（ｘ，ｙ）と対応画素（ｘ，ｙ）の一例が図示されている。図１０では、欠陥領域内のグレーの部分に位置する画素が補正用画素（ｘ，ｙ）となり、第３領域内において、欠陥領域内の補正用画素（ｘ，ｙ）に対応する位置に存在する画素が対応画素（ｘ，ｙ）となる。なお、本実施形態では、補正用画素（ｘ，ｙ）と対応画素（ｘ，ｙ）がｎ個ずつ取得できたものとする。
【００３４】
次いで、補完部２８は、次式（１）に基づいて、補正用画素（ｘ，ｙ）の画素値ＩA(x,y)と、対応画素（ｘ、ｙ）の画素値ＩB(x,y)との差δ(x,y)をそれぞれ求める。
δ(x,y)＝ＩA(x,y)−ＩB(x,y)      …（１）
【００３５】
次いで、補完部２８は、求めた全てのδ(x,y)の平均値を次式（２）から求める。
【００３６】
【数１】
2020149162.tif 000003
【００３７】
次いで、補完部２８は、欠陥領域内の計測不可画素（ｘ，ｙ）それぞれの画素値ＩA’(x,y)を、第３領域内において計測不可画素（ｘ，ｙ）に対応する対応画素（ｘ，ｙ）それぞれの画素値ＩB’(x,y)を用いて、次式（３）より決定する。
【００３８】
【数２】
2020149162.tif 000004
【００３９】
上式（３）を用いて欠陥領域内の計測不可画素（ｘ，ｙ）それぞれの画素値ＩA’(x,y)を求めることで、第３領域と欠陥領域との深度（商品上面の高さ）が大きく異なる場合であっても、計測不可画素（ｘ，ｙ）の画素値ＩA’(x,y)を精度よく決定することができる。
【００４０】
なお、段ボールケース上に配置された各商品の上面の高さがほぼ一致していることが明らかな場合、補完部２８は、上記のような方法で計測不可画素（ｘ，ｙ）の画素値ＩA’(x,y)を決定しなくてもよい。すなわち、補完部２８は、欠陥領域内の計測不可画素（ｘ，ｙ）の画素値ＩA’(x,y)として、第３領域内の対応する画素（ｘ，ｙ）の画素値ＩB’(x,y)をそのまま採用するようにしてもよい。このようにすることで、計測不可画素（ｘ，ｙ）の画素値を簡易に決定することができるため、処理量の低減を図ることが可能となる。
【００４１】
図４に戻り、次のステップＳ２４では、補完部２８が、決定した画素値で深度画像の欠陥領域を補完する。これにより、深度画像取得部２２が取得した深度画像（図６）が、図１１に示すように補完されることになる。
【００４２】
次いで、ステップＳ２６では、欠陥領域抽出部２４が、深度画像の未特定の欠陥領域を１つ特定する。その後は、ステップＳ１４に戻る。以降、ステップＳ１４の判断が否定されるまで、ステップＳ１６〜Ｓ２６の処理を繰り返し、ステップＳ１４の判断が否定された段階で、ステップＳ２８に移行する。なお、ステップＳ２８に移行する段階では、図１２に示すように、深度画像には欠陥領域が存在しない状態となっている。
【００４３】
ステップＳ２８に移行すると、ロボット制御部３０が、深度画像及びＲＧＢ画像に基づいてロボットに指示を出す。この場合、ロボット制御部３０は、深度画像取得部２２が取得した深度画像に欠陥領域が一切なければ、取得した深度画像を用いるが、欠陥領域があった場合には、補完後の深度画像を用いるものとする。ロボット制御部３０は、深度画像とＲＧＢ画像に基づいて、商品（缶詰）の３次元位置と形状を特定し、特定結果に基づいてロボット１４を駆動して、ロボット１４に商品のピックアップ作業を実行させる。
【００４４】
以上のようにしてステップＳ２８までの処理が行われると、図４の全処理が終了する。
【００４５】
これまでの説明からわかるように、本実施形態においては、ＲＧＢ画像取得部２０と、深度画像取得部２２とにより、商品が載置された段ボールケースを撮影した深度画像とＲＧＢ画像とを取得する取得部としての機能が実現されている。また、対応領域抽出部２６により、ＲＧＢ画像から欠陥領域に対応する第１領域を抽出する第１抽出部、及びＲＧＢ画像から第１領域との類似度が所定以上の第２領域を抽出する第２抽出部としての機能が実現されている。
【００４６】
以上、詳細に説明したように、本実施形態によると、深度画像取得部２２とＲＧＢ画像取得部２０が、商品が載置された段ボールケースを撮影した深度画像とＲＧＢ画像とを取得する。また、深度画像の一部に計測不可画素を含む欠陥領域が存在する場合に、対応領域抽出部２６が、ＲＧＢ画像から欠陥領域に対応する第１領域を抽出するとともに、ＲＧＢ画像から第１領域との類似度が所定以上の第２領域を抽出する。そして、補完部２８は、第２領域に対応する深度画像の第３領域に含まれる画素の画素値に基づいて、欠陥領域に含まれる計測不可画素の画素値を決定する。これにより、本実施形態では、深度画像の一部に計測不可画素が存在していても、深度画像内の別の画素の画素値に基づいて、計測不可画素の画素値を精度よく決定することができる。
【００４７】
また、本実施形態によると、補完部２８は、欠陥領域内の深度（高さ）を計測できた画素（補正用画素（ｘ，ｙ））を特定する。そして、補完部２８は、特定した補正用画素の画素値ＩA(x,y)と、補正用画素（ｘ，ｙ）に対応する第３領域内の対応画素（ｘ，ｙ）の画素値ＩB(x,y)との差、及び欠陥領域内の計測不可画素に対応する第３領域内の画素（ｘ，ｙ）の画素値ＩB’(x,y)、に基づいて、欠陥領域内の計測不可画素の画素値ＩA’(x,y)を決定する（上式（３）参照）。これにより、欠陥領域の深度と、第３領域の深度が大きく異なる場合（缶詰の上面の高さが異なる場合）であっても、画素値ＩA’(x,y)として適切な値を決定することができる。
【００４８】
また、本実施形態によると、補完部２８は、補正用画素（ｘ，ｙ）として、欠陥領域内の深度を計測できた画素のうち、商品が載置された載置面（段ボールケースの底面）以外を撮影した画素を特定する。これにより、欠陥領域や第３領域に、段ボールケースの底面を撮影した箇所が含まれている場合でも、精度よく画素値ＩA’(x,y)を決定することができる。
【００４９】
なお、上記実施形態では、第１領域を探索する際に、欠陥領域をテンプレートとしたテンプレートマッチングを行う場合について説明したが、これに限られるものではない。例えば、欠陥領域の局所特徴量を用いて第１領域を特定する方法や、欠陥領域における画像のパターン形状を用いた形状マッチングなどにより第１領域を特定する方法などを用いてもよい。いずれの方法を採用するかは、深度画像の画質や、欠陥領域の広さ（画素数）などに基づいて決定するようにすればよい。
【００５０】
なお、上記実施形態では、１台のカメラ１２からＲＧＢ画像と深度画像を取得する場合について説明したが、これに限られるものではない。例えば、三次元センサから深度画像を取得するとともに、三次元センサから得られる深度画像に対応する領域を別途撮像可能なＲＧＢカメラからＲＧＢ画像を取得することとしてもよい。
【００５１】
なお、上記実施形態では、深度画像が、ロボット１４による商品のピックアップ作業に用いる深度画像である場合について説明したが、これに限らず、その他の深度画像であってもよい。
【００５２】
なお、上記実施形態では、情報処理装置１０がロボット１４の動作を制御する場合について説明したが、これに限られるものではない。すなわち、情報処理装置１０は、ＲＧＢ画像と補完後の深度画像をロボット１４に送信するのみでもよい。この場合、ロボット１４が有する制御装置が、ＲＧＢ画像と補完後の深度画像を用いてロボット１４を制御するようにすればよい。
【００５３】
なお、上記実施形態では、上式（１）〜（３）を用いて、計測不可画素の画素値を求める例について説明したが、これに限らず、その他の方法により、第３領域に含まれる画素値に基づいて、計測不可画素の画素値を求めることとしてもよい。
【００５４】
なお、上記実施形態では、二次元画像としてＲＧＢ画像を用いる場合について説明したが、これに限らず、二次元画像としてはグレイ画像を用いることとしてもよい。この場合、カメラがグレイ画像を撮影可能である場合には、撮影されたグレイ画像を用いることとすればよいし、カメラがＲＧＢ画像を撮影可能である場合には、ＲＧＢ画像から変換されたグレイ画像を用いることとしてもよい。
【００５５】
なお、上記実施形態では、情報処理装置１０が、ロボット制御部３０の機能を有する場合について説明したが、これに限られるものではない。すなわち、ロボット１４を制御するロボット制御装置を情報処理装置１０とは別に用意し、ロボット制御部３０の機能をロボット制御装置に持たせるようにしてもよい。
【００５６】
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記憶媒体（ただし、搬送波は除く）に記録しておくことができる。
【００５７】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記憶媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【００５８】
プログラムを実行するコンピュータは、例えば、可搬型記憶媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記憶媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【００５９】
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
【００６０】
なお、以上の実施形態の説明に関して、更に以下の付記を開示する。
（付記１）  商品が載置された載置場所を撮影した深度画像と二次元画像とを取得する取得部と、
前記深度画像の一部に深度を計測できない画素を含む欠陥領域が存在したときに、前記二次元画像から前記欠陥領域に対応する第１領域を抽出する第１抽出部と、
前記二次元画像から前記第１領域との類似度が所定以上の第２領域を抽出する第２抽出部と、
前記第２領域に対応する前記深度画像の第３領域に含まれる画素の画素値に基づいて、前記深度画像の前記欠陥領域に含まれる深度を計測できない画素の画素値を決定する決定部と、
を備える情報処理装置。
（付記２）  前記決定部は、前記第３領域に含まれる各画素の画素値を、前記欠陥領域に含まれる各画素の画素値として決定することを特徴とする付記１に記載の情報処理装置。
（付記３）  前記決定部は、前記欠陥領域内の深度を計測できた画素を特定し、特定した前記画素の画素値と、特定した前記画素に対応する前記第３領域内の画素の画素値との差、及び前記欠陥領域内の深度を計測できない画素に対応する前記第３領域内の画素の画素値、に基づいて、前記欠陥領域内の深度を計測できない画素の画素値を決定する、ことを特徴とする付記１に記載の情報処理装置。
（付記４）  前記決定部は、前記欠陥領域内の深度を計測できた画素のうち、前記商品が載置された載置面以外を撮影した画素を特定する、ことを特徴とする付記３に記載の情報処理装置。
（付記５）  商品が載置された載置場所を撮影した深度画像と二次元画像とを取得し、
前記深度画像の一部に深度を計測できない画素を含む欠陥領域が存在したときに、前記二次元画像から前記欠陥領域に対応する第１領域を抽出し、
前記二次元画像から前記第１領域との類似度が所定以上の第２領域を抽出し、
前記第２領域に対応する前記深度画像の第３領域に含まれる画素の画素値に基づいて、前記深度画像の前記欠陥領域に含まれる深度を計測できない画素の画素値を決定する、
処理をコンピュータに実行させるための画像処理プログラム。
（付記６）  前記決定する処理では、
前記第３領域に含まれる各画素の画素値を、前記欠陥領域に含まれる各画素の画素値として決定することを特徴とする付記５に記載の画像処理プログラム。
（付記７）  前記決定する処理では、
前記欠陥領域内の深度を計測できた画素を特定し、特定した前記画素の画素値と、特定した前記画素に対応する前記第３領域内の画素の画素値との差、及び前記欠陥領域内の深度を計測できない画素に対応する前記第３領域内の画素の画素値、に基づいて、前記欠陥領域内の深度を計測できない画素の画素値を決定する、ことを特徴とする付記５に記載の画像処理プログラム。
（付記８）  前記決定する処理では、
前記欠陥領域内の深度を計測できた画素のうち、前記商品が載置された載置面以外を撮影した画素を特定する、
ことを特徴とする付記７に記載の画像処理プログラム。
（付記９）  商品が載置された載置場所を撮影した深度画像と二次元画像とを取得し、
前記深度画像の一部に深度を計測できない画素を含む欠陥領域が存在したときに、前記二次元画像から前記欠陥領域に対応する第１領域を抽出し、
前記二次元画像から前記第１領域との類似度が所定以上の第２領域を抽出し、
前記第２領域に対応する前記深度画像の第３領域に含まれる画素の画素値に基づいて、前記深度画像の前記欠陥領域に含まれる深度を計測できない画素の画素値を決定する、
処理をコンピュータが実行することを特徴とする画像処理方法。
【符号の説明】
【００６１】
１０  情報処理装置
２０  ＲＧＢ画像取得部（取得部の一部）
２２  深度画像取得部（取得部の一部）
２６  対応領域抽出部（第１抽出部、第２抽出部）
２８  補完部（決定部）
【図１】
2020149162.tif 000005
【図２】
2020149162.tif 000006
【図３】
2020149162.tif 000007
【図４】
2020149162.tif 000008
【図５】
2020149162.tif 000009
【図６】
2020149162.tif 000010
【図７】
2020149162.tif 000011
【図８】
2020149162.tif 000012
【図９】
2020149162.tif 000013
【図１０】
2020149162.tif 000014
【図１１】
2020149162.tif 000015
【図１２】
2020149162.tif 000016