(57)【要約】  三次元走査装置は、走査対象物が載置される載置面を有し、載置面の裏側から走査対象物を撮像可能な支持台と、載置面の裏側方向に設置され、走査対象物を撮像する下部カメラと、支持部と下部カメラとを相対的に回転する回転部と、を備える。
2020075768.tif 000002
【特許請求の範囲】
【請求項１】
走査対象物が載置される載置面を有し、前記載置面の裏側から前記走査対象物を撮像可能な支持部と、
前記載置面の裏側方向に設置され、前記走査対象物を撮像する第１の画像センサと、
前記支持部と前記第１の画像センサとを相対的に回転する回転部と、
を備える三次元走査装置。
【請求項２】
前記載置面側に設置され、前記走査対象物を撮像する第２の画像センサを備え、
前記回転部は、前記支持部と前記第１の画像センサ及び前記第２の画像センサとを相対的に回転する、
請求項１に記載の三次元走査装置。
【請求項３】
前記第１の画像センサまたは前記第２の画像センサの撮影方向は、前記載置面に対し傾斜している、請求項２に記載の三次元走査装置。
【請求項４】
前記第１の画像センサまたは前記第２の画像センサにより撮像された複数の画像に基づき、前記走査対象物の相対位置の情報を算出する相対位置算出部を備える、請求項２または３に記載の三次元走査装置。
【請求項５】
前記複数の画像と、前記相対位置算出部により算出された前記相対位置の情報とに基づき、前記走査対象物の三次元モデルを生成するモデル生成部を備える、請求項４に記載の三次元走査装置。
【請求項６】
前記走査対象物と前記第１の画像センサ及び前記第２の画像センサとの相対位置に係る相対位置指標部を備え、
前記相対位置算出部は、前記相対位置指標部に基づき前記相対位置の情報を算出する、
請求項４または５に記載の三次元走査装置。
【請求項７】
前記第１の画像センサ及び前記第２の画像センサは、深度カメラを含み、
前記複数の画像は、前記深度カメラにより取得された前記走査対象物までの奥行き情報を含む、
請求項４〜６のいずれか１項に記載の三次元走査装置。
【請求項８】
前記相対位置指標部は、
前記載置面及び前記載置面の裏側の面において、前記走査対象物の載置位置の周囲に配置されるＡＲマーカーを含み、
前記相対位置算出部は、前記第１の画像センサ及び前記第２の画像センサにより撮像された画像内の前記ＡＲマーカーの画像に基づき前記相対位置を算出する、
請求項６に記載の三次元走査装置。
【請求項９】
前記第１の画像センサ及び前記第２の画像センサは、前記載置面に対する傾斜角度が異なる複数の画像センサを含む、
請求項２〜８のいずれか１項に記載の三次元走査装置。
【請求項１０】
前記載置面上の前記走査対象物の載置位置から前記載置面の法線方向の位置に設置される第３の画像センサと、
前記載置面の裏側の面から前記法線方向と反対方向の位置に設置される第４の画像センサと、
を備える、
請求項２〜９のいずれか１項に記載の三次元走査装置。
【請求項１１】
１又は複数のプロセッサによって、走査対象物の三次元モデルを生成する方法であって、
走査対象物が載置面上に載置された支持部と、前記載置面側の裏側に設けられた第１の画像センサとを相対的に回転させながら前記第１の画像センサにより前記走査対象物の複数の画像を撮像する撮像ステップと、
前記撮像ステップにて撮像された前記複数の画像に基づき前記走査対象物の三次元モデルを生成するモデル生成ステップと、
を有する三次元モデルの生成方法。
【請求項１２】
請求項１１に記載の三次元モデルの生成方法により生成された三次元モデルを用いた機械学習向けの訓練用データ。
【請求項１３】
請求項１２に記載の機械学習向けの訓練用データにより訓練された機械学習モデル。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、三次元走査装置、三次元モデルの生成方法、訓練用データ、及び機械学習モデルに関する。
【背景技術】
【０００２】
従来、物体を走査して、この物体の三次元モデルを生成するための三次元走査手法が知られている。例えば特許文献１には、回転テーブルに走査対象物を載置して、回転テーブルを回転させつつカメラで対象物の複数の向きの画像を撮影し、撮影した画像を合成して対象物の三次元モデルを生成する手法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１７−５３２６９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、新規な三次元走査手法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の実施形態の一観点に係る三次元走査装置は、走査対象物が載置される載置面を有し、前記載置面の裏側から前記走査対象物を撮像可能な支持部と、前記載置面の裏側方向に設置され、前記走査対象物を撮像する第１の画像センサと、前記支持部と前記第１の画像センサとを相対的に回転する回転部と、を備える。【０００６】
同様に、本発明の実施形態の一観点に係る三次元モデルの生成方法は、１又は複数のプロセッサによって、走査対象物の三次元モデルを生成する方法であって、走査対象物が載置面上に載置された支持部と、前記載置面側の裏側に設けられた第１の画像センサとを相対的に回転させながら前記第１の画像センサにより前記走査対象物の複数の画像を撮像する撮像ステップと、前記撮像ステップにて撮像された前記複数の画像に基づき前記走査対象物の三次元モデルを生成するモデル生成ステップと、を有する
【発明の効果】
【０００７】
本開示によれば、新規な三次元走査手法を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係る三次元走査装置の概略構成を示す模式図である。
【図２】図１中の支持台の下面側を示す模式図である。
【図３】実施形態に係る三次元走査装置により実施される三次元走査処理の手順を示すフローチャートである。
【図４】三次元走査処理において生成される三次元モデルの一例を示す図である。
【図５】実施形態の変形例に係る三次元走査装置の概略構成を示す図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照しながら実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する。
【００１０】
各図において、ｘ方向、ｙ方向、ｚ方向は互いに垂直な方向である。ｚ方向は支持台２の回転軸の方向であり、典型的には鉛直方向である。ｚ正方向側を上側、ｚ負方向側を下側と表記する。ｘ方向及びｙ方向は支持台２の上面２Ａの延在方向であり、典型的には水平方向である。なお、本実施形態で用いる「垂直方向」、「鉛直方向」、「水平方向」等の用語は、各用語が対応する一方向と、当該一方向を含む所定範囲内の方向とを含む。
【００１１】
図１、図２を参照して、実施形態に係る三次元走査装置１の構成を説明する。図１は、実施形態に係る三次元走査装置１の概略構成を示す模式図である。図２は、図１中の支持台２の下面２Ｂ側を示す模式図である。
【００１２】
三次元走査装置１は、走査対象物１０を走査して、撮像した走査対象物１０の複数の画像データを合成して三次元モデルを生成する装置である。走査対象物１０としては、例えば図１に例示されるコップなどの器状の物体の他、支持台２のＡＲマーカー６の内部に載置可能なサイズの任意の形状の物体を含む。また、走査対象物１０の走査方向は、例えばｚ方向を中心軸とする周方向である。なお、走査対象物１０は、支持台２のＡＲマーカー６の内部に載置可能なサイズに限られない。
【００１３】
図１に示すように、三次元走査装置１は、支持台２（支持部）と、上部カメラ３Ａ，３Ｂ（第２の画像センサ）と、下部カメラ４Ａ，４Ｂ（第１の画像センサ）と、回転部５と、ＡＲマーカー６（相対位置指標部）と、制御装置７と、照明８Ａ、８Ｂと、を備える。
【００１４】
支持台２は、走査対象物１０を載置し、また、載置された走査対象物１０を回転させる台座である。支持台２は、例えばアクリル板などの透明板である。この透明板の上面２Ａは、走査対象物１０が載置される載置面である。また、支持台２は透明板であるので、図２に示すように載置面の裏側となる下面２Ｂからも、上面２Ａに載置された走査対象物１０を撮像（以下、視認とも言う）可能となっている。なお、支持台２は、下面２Ｂ側から走査対象物１０が撮像または走査対象物１０の情報が取得可能であればよく、半透明、または一定程度透過する材料でもよい。
【００１５】
上部カメラ３Ａ，３Ｂは、支持台２の上面２Ａ側に設置され、載置面２Ａに対する斜め上方向から走査対象物１０に向けられて走査対象物１０を撮像可能となっている。上部カメラ３Ａ，３Ｂは、異なる傾斜角度でそれぞれ設置される。なお、本実施形態において「載置面２Ａに対する斜め上方向」とは、載置面２Ａより上側、かつ、支持台２の、走査対象物１０が載置される中央部における垂直な軸より外縁側の方向である。つまり、本実施形態の上部カメラ３Ａ、３Ｂはそれぞれ走査対象物１０の直上または真横以外の方向から情報を取得する。
【００１６】
下部カメラ４Ａ，４Ｂは、支持台２の下面２Ｂ側に設置され、載置面２Ａに対する斜め下方向から走査対象物１０に向けられて走査対象物１０を撮像可能となっている。下部カメラ４Ａ，４Ｂは、異なる傾斜角度でそれぞれ設置される。なお、本実施形態において、「載置面２Ａに対する斜め下方向」とは、支持台２の下面２Ｂより下側、かつ、支持台２の中央部における垂直な軸より外縁側の方向である。つまり、本実施形態の下部カメラ４Ａ、４Ｂはそれぞれ走査対象物１０の直下以外の方向から情報を取得する。
【００１７】
上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂは、走査対象物１０を撮像する画像センサの一例である。上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂは、例えばＲＧＢ−Ｄカメラであり、走査対象物１０のＲＧＢ画像と深度画像とを撮像できる。深度画像は、走査対象物１０までの奥行き情報（深度）を含む。なお、以下では、上部カメラ３Ａ，３Ｂを纏めて「上部カメラ３」、下部カメラ４Ａ，４Ｂを纏めて「下部カメラ４」とも表記する。
【００１８】
本実施形態では、「画像センサ」とは、走査対象物１０のＲＧＢ画像や深度画像を撮像できる要素を意味するものであり、ＲＧＢ―Ｄカメラや深度カメラなどのカメラ装置全体や、カメラ装置に内蔵されるＣＭＯＳセンサや深度センサなどのセンサ類や、単体で用いられるセンサを包含するものである。また、「画像センサ」は、レーザスキャナによる点群情報を取得する構成でもよい。
【００１９】
本実施形態の回転部５は、支持台２の略中央を中心として支持台２を回転させる。回転部５の機構は既存の動力伝達系を用いることができる。例えば回転部５はモータとギヤ機構とを有し、モータの駆動力がギヤ機構を介して支持台２の回転軸に伝達されるように構成されてもよいし、または、支持台２の外縁部に駆動力を付与して支持台２を回転させる構成でもよい。
【００２０】
ＡＲマーカー６は、走査対象物１０と上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂとの相対位置を示す指標の一例である。本実施形態において、ＡＲマーカー６は、支持台２の上面２Ａ及び下面２Ｂの走査対象物１０の載置位置の周囲に配置される。
【００２１】
ＡＲマーカー６は、画像認識型ＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ:拡張現実感）システムにおいて、標識となる決まったパターンの画像をいう。ＡＲマーカー６は、通常は矩形で、白黒２色の二次元ビットパターンになっており、単純な画像認識でマーカーＩＤを認識出来るものである。本実施形態においては、ＡＲマーカー６は平面のものを使用し、カメラに写った時の歪み具合など、その形状からカメラに対する距離、角度などを計算する、また、取得した情報から、マーカーの位置に３ＤＣＧなどを表示するような使い方で用いられる。
【００２２】
本実施形態でも、図１に例示するように、ＡＲマーカー６は矩形状の平面ビットパターンである。走査対象物１０の周囲に配置される複数のＡＲマーカー６は、それぞれ別のビットパターンであり、例えば回転方向の基準位置となる基準マーカー６Ａ，６Ｂからの回転角度の情報が記録されている。基準マーカー６Ａ，６Ｂは、それぞれ上面２Ａ及び下面２Ｂに配置されるＡＲマーカー群の基準位置のマーカーであり、それぞれの周方向の位置は略同一である。
【００２３】
制御装置７は、三次元走査装置１の動作を制御する。本実施形態の制御装置７は、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂによる走査対象物１０の走査を制御する。また、制御装置７は、走査で得られた撮像データに基づき走査対象物１０の三次元モデルを生成する。制御装置７は、これらに関する機能として、撮像制御部７１と、相対位置算出部７２と、モデル生成部７３とを有する。
【００２４】
本実施形態の撮像制御部７１は、回転部５による回転中に上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂにより走査対象物１０を走査して複数の画像（本実施形態ではＲＧＢ画像と深度画像）を撮像するように、回転部５、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂの動作を制御する。
【００２５】
本実施形態の相対位置算出部７２は、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂにより撮像された画像内のＡＲマーカー６の画像に基づき、撮像制御部７１により撮像された複数の画像情報のそれぞれと対応する、走査対象物１０と上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂとの相対位置の情報を算出する。ここで相対位置とは、各カメラの座標情報の他にも各カメラの光軸の傾きなどの姿勢情報も含む。
【００２６】
本実施形態のモデル生成部７３は、撮像制御部７１により撮像された複数の画像情報と、相対位置算出部７２に基づき算出された相対位置の情報とに基づき、走査対象物１０の三次元モデルを生成する。
【００２７】
制御装置７の一部又は全部は、任意のハードウェア、ソフトウェア、或いはそれらの組み合わせにより実現されてよい。制御装置７は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などの１又は複数のプロセッサ、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、補助記憶装置、Ｉ／Ｏ（Ｉｎｐｕｔ−Ｏｕｔｐｕｔ  ｉｎｔｅｒｆａｃｅ）等を含むマイクロコンピュータを中心に構成されてよく、ＲＯＭや補助記憶装置等に格納される各種プログラムをプロセッサ上で実行することにより上記の各種機能が実現される。
【００２８】
制御装置７は、上述の構成要素のうち同じ構成要素を複数備えていてもよい。また、制御装置７は、例えば１台のコンピュータで実現されてもよいし、ソフトウェアが複数台のコンピュータにインストールされて、当該複数台のコンピュータそれぞれがソフトウェアの同一の又は異なる一部の処理を実行してもよい。この場合、コンピュータそれぞれがネットワークインタフェース等を介して通信して処理を実行する分散コンピューティングの形態であってもよい。つまり、制御装置７は、１又は複数の記憶装置に記憶された命令を１台又は複数台のコンピュータが実行することで機能を実現するシステムとして構成されてもよい。また、端末から送信された情報をクラウド上に設けられた１台又は複数台のコンピュータで処理し、この処理結果を端末に送信するような構成であってもよい。
【００２９】
または、制御装置７は、ＣＰＵ又はＧＰＵ等が実行するソフトウェア（プログラム）の情報処理で構成されてもよい。ソフトウェアの情報処理で構成される場合には、前述した実施形態における各装置の少なくとも一部の機能を実現するソフトウェアを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）、又はＵＳＢ（Universal Serial Bus）メモリ等の非一時的な記憶媒体（非一時的なコンピュータ可読媒体）に収納し、コンピュータに読み込ませることにより、ソフトウェアの情報処理を実行してもよい。また、通信ネットワークを介して当該ソフトウェアがダウンロードされてもよい。さらに、ソフトウェアがＡＳＩＣ（Application Specific Integrated Circuit）、又はＦＰＧＡ（Field Programmable Gate Array）等の回路に実装されることにより、情報処理がハードウェアにより実行されてもよい。
【００３０】
ソフトウェアを収納する記憶媒体の種類は限定されるものではない。記憶媒体は、磁気ディスク、又は光ディスク等の着脱可能なものに限定されず、ハードディスク、又はメモリ等の固定型の記憶媒体であってもよい。また、記憶媒体は、コンピュータ内部に備えられてもよいし、コンピュータ外部に備えられてもよい。
【００３１】
本実施形態の照明８Ａ，８Ｂは、それぞれ支持台２の上面２Ａ側、下面２Ｂ側に配置され、走査対象物１０に光をあてる。照明８Ａ，８Ｂは、特に上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂにより撮像された画像内において走査対象物１０の表面の陰影が無くなるように、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂの設置位置に応じて配置される。
【００３２】
次に図３、図４を参照して実施形態に係る三次元走査方法を説明する。図３は、実施形態に係る三次元走査装置１により実施される三次元走査処理の手順を示すフローチャートである。図４は、三次元走査処理において生成される三次元モデルの一例を示す図である。図３のフローチャートの処理は制御装置７により実施される。
【００３３】
ステップＳ１では、まず走査対象物１０が支持台２の上面２Ａに載置される。走査対象物１０の載置位置は、支持台２の回転中心を含むことが好ましい。本実施形態では、図１に示すように上面２Ａは略円形状であり、複数のＡＲマーカー６が所定の間隔で上面２Ａの外縁と略同心円状に並ぶように配置されるので、走査対象物１０の載置位置は上面２Ａの中心位置であるのが好ましい。
【００３４】
ステップＳ２では、制御装置７の撮像制御部７１により、回転部５が駆動されて支持台２の回転動作が開始される。
【００３５】
ステップＳ３（撮像ステップ）では、撮像制御部７１により、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂが作動されて、回転中の走査対象物１０が上下両側から撮像され、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４ＢからＲＧＢ画像と深度画像が取得される。撮像制御部７１は、走査対象物１０が回転しているときに上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂの撮像を同一タイミングで実行させ、これにより例えば図４の上段に示すように、走査対象物１０が任意の回転角度の位置にあるときの各カメラのＲＧＢ画像Ｉ１〜Ｉ４を同時に取得することができる。また、このとき撮像制御部７１は、各カメラの深度画像Ｄ１〜Ｄ４も併せて取得する。深度画像Ｄ１〜Ｄ４は、例えば図４の中段に示すように各画素におけるカメラから走査対象物１０の表面までの距離に応じて色分けされた点群で表現される。図４の例では、深度画像Ｄ１〜Ｄ４は、遠距離であるほど暗く、近距離であるほど明るく表現されている。
【００３６】
撮像制御部７１は、ステップＳ３では回転部５が走査対象物１０を一回転させる間、撮像を継続して画像を取得する。これにより、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂは、載置面２Ａに対してそれぞれ別の角度で傾斜した方向から、回転方向に沿った複数の位置で走査対象物１０を撮像して、各位置のＲＧＢ画像Ｉ１〜Ｉ４及び深度画像Ｄ１〜Ｄ４を取得できる。つまり、撮像制御部７１は、走査対象物１０を複数のカメラを用いて複数の方向から同時に走査することができる。撮像制御部７１は、取得した画像を相対位置算出部７２、モデル生成部７３に出力する。
【００３７】
ステップＳ４では、撮像制御部７１により、回転部５が停止されて支持台２の回転動作が停止される。
【００３８】
ステップＳ５（相対位置算出ステップ）では、制御装置７の相対位置算出部７２により、ＲＧＢ画像Ｉ１〜Ｉ４中のＡＲマーカー６の画像に基づき、走査対象物１０に対する上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂの相対位置が算出される。
【００３９】
上部カメラ３Ａを例としてステップＳ５の相対位置算出過程を説明すると、相対位置算出部７２は、例えば、ＲＧＢ画像Ｉ１に映っている指標であるＡＲマーカー６に記録されている情報を読み取り、当該マーカーに応じた基準マーカー６Ａに対する回転角度を検出する。また、ＡＲマーカー６は本実施形態では矩形状のビットパターンであるので、このＡＲマーカー６の画像中での歪み具合など形状の変化に応じて、このＡＲマーカー６に対する上部カメラ３Ａの距離や角度を算出する。そしてこれらの情報を統合して、走査対象物１０に対する上部カメラ３Ａの相対位置を算出できる。図７に示すように、ＲＧＢ画像Ｉ１に複数のＡＲマーカー６が映っている場合には、各マーカー６ごとに相対位置を算出して、例えば平均をとるなど、これらの算出された複数の相対位置の情報に基づいて最終的な上部カメラ３Ａの相対位置の情報を算出してよい。なお、他の上部カメラ３Ｂ、下部カメラ４Ａ，４Ｂの相対位置の算出手法も上記と同様である。相対位置算出部７２は、算出した相対位置情報をモデル生成部７３に出力する。
【００４０】
ステップＳ６（モデル生成ステップ）では、制御装置７のモデル生成部７３により、ステップＳ５にて算出した、走査対象物１０に対する上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂの相対位置の情報に基づいて、ステップＳ３にて取得された回転方向の各位置の走査対象物１０の深度画像Ｄ１〜Ｄ４が合成され、走査対象物１０の三次元モデルが生成される。例えば図４の下段に示すように、深度画像Ｄ１〜Ｄ４に基づき三次元のメッシュモデルを作成して、その表面にＲＧＢ画像Ｉ１〜Ｉ４に基づいて作成したテクスチャを貼り付けて、模様や色のついた三次元モデルを生成することができる。モデル生成部７３は、生成した三次元モデルの情報を制御装置７のＲＯＭや補助記憶装置等に格納できる。ステップＳ６の処理が完了すると本制御フローは終了する。
【００４１】
なお、ステップＳ５、Ｓ６の各処理は、ステップＳ３にて取得された回転方向の各位置の走査対象物１０のＲＧＢ画像Ｉ１〜Ｉ４及び深度画像Ｄ１〜Ｄ４を用いて纏めて実行してもよい。つまり、制御装置７の相対位置算出部７２とモデル生成部７３の機能を統合してもよい。
【００４２】
次に本実施形態に係る三次元走査装置１の効果を説明する。
【００４３】
例えば特許文献１に記載される従来の三次元スキャナでは、走査対象物の三次元モデルを生成するためには、載置台にさまざまな向きに対象物を置き換えて繰り返し走査を行う必要があった。これに対して、本実施形態の三次元走査装置１は、走査対象物１０が載置される支持台２の上面２Ａ側に設置され、載置面に対する斜め方向から走査対象物１０を撮像する上部カメラ３Ａ，３Ｂと、支持台２の下面２Ｂ側に設置され、載置面に対する斜め方向から走査対象物１０を撮像する下部カメラ４Ａ，４Ｂと、を備える。そして、制御装置７の撮像制御部７１により、支持台２が回転して走査対象物１０が回転している間に、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂを用いて走査対象物１０を別の方向から纏めて走査して複数の画像を撮像する。
【００４４】
この構成により、走査対象物１０を載置面に１回載置して、走査対象物１０を１回転させるだけで、走査対象物１０の上下方向、特に情報量が多く取得できる斜め方向から全周に亘る画像を一度に纏めて撮像できるので、従来の三次元スキャナのように載置台に様々な姿勢で対象物を置き直して走査する作業が不要となり、スキャン時間を大幅に短縮でき、多量の画像情報を短時間で効率良く撮像できる。したがって、本実施形態の三次元走査装置１は、モデル生成に用いる走査対象物１０の画像情報をより高速に取得できるので、より高速で三次元モデルを生成できる。また、走査対象物１０を支持台２の中央付近（少なくともＡＲマーカー６より中心側）に載置するだけで走査可能であり、走査対象物１０の設置位置を厳密に決める必要がなく、また、走査対象物１０を固定する必要もないので、より簡易に走査とモデル生成を実施できる。この結果、本実施形態の三次元走査装置１は、より簡易かつ高速に全方向三次元モデルを生成できる。
【００４５】
また、本実施形態の三次元走査装置１では、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４ＢはＲＧＢ−Ｄカメラであり、すなわち深度カメラを含み、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂにより撮像される画像情報は、深度カメラにより取得された走査対象物１０までの奥行き情報（深度）を含む。これにより、走査画像からモデル生成を行う際に、走査対象物１０の深度を走査画像から直接取得でき、走査画像を用いて走査対象物１０の表面までの深度を算出する処理が不要となるので、モデル生成処理の計算コストを軽減できる。この結果、本実施形態の三次元走査装置１は、三次元モデルの生成をより一層高速化できる。
【００４６】
また、本実施形態の三次元走査装置１では、支持台２の上面２Ａ及び下面２Ｂの走査対象物１０の載置位置の周囲に配置されるＡＲマーカー６を相対位置指標部として用いる。相対位置算出部７２は、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂにより撮像されたＲＧＢ画像Ｉ１〜Ｉ４内のＡＲマーカー６の画像に基づき、走査対象物１０と各カメラとの相対位置を算出する。
【００４７】
走査対象物１０と各カメラとの相対位置は、例えばエンコーダで支持台２の回転角度を計測するなど、走査対象物１０の回転角度を実測する構成要素を用いても取得可能である。ただし、エンコーダなどの何らかの角度検出用のセンサ類を別途設ける必要がある。これに対して本実施形態では上記構成により、撮像画像から走査対象物１０と各カメラとの相対位置を算出できるので、角度検出用のセンサ類を別途設ける必要がなく、簡易な構成で相対位置を求めることができる。
【００４８】
また、本実施形態において、上面２ＡのＡＲマーカー６のうち基準位置となる基準マーカー６Ａと、下面２ＢのＡＲマーカー６のうち基準位置となる基準マーカー６Ｂとが設けられ、これらが図１、図２に示すように周方向の略同一位置に配置される。これにより、上面２Ａ側の上部カメラ３Ａ，３Ｂの画像情報と、下面２Ｂ側の下部カメラ４Ａ，４Ｂの画像情報で基準位置が共通化されるので、相対位置算出部７２により算出される相対位置も、上部カメラ３Ａ，３Ｂの画像から算出されたものと、下部カメラ４Ａ，４Ｂの画像から算出されたもので共通化できる。これにより、上面２Ａ側の画像情報と下面２Ｂ側の画像情報とを、周方向の位置合わせをすることなく、そのまま合成できる。これにより、モデル生成過程の計算コストをさらに軽減でき、三次元モデルの生成をより一層高速化できる。また、カメラ画像にＡＲマーカー６が映っていれば、カメラの設置位置を厳密に決めなくても相対位置を算出可能なので、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂのキャリブレーションが不要となり、装置の移動や設置を容易にできる。
【００４９】
また、本実施形態の三次元走査装置１では、支持台２はアクリル板などの透明板であるので、裏側の下面２Ｂ側からも下部カメラ４Ａ，４Ｂによる走査対象物１０を撮像できる。
【００５０】
また、本実施形態の三次元走査装置１では、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂは、斜め方向の角度が異なる複数のカメラ（図１では２台ずつ）を含むので、より多量の画像情報をモデル生成に用いることができ、三次元モデルの生成精度をより一層向上できる。ここで、「斜め方向の角度が異なる」とは、上部カメラ３Ａ，３Ｂの場合、支持台２の上面２Ａの中央の回転中心から、斜め上方向の各カメラの位置までを結ぶ線分の上面２Ａに対する角度が、上部カメラ３Ａと上部カメラ３Ｂとで異なることを意味する。下部カメラ４Ａ，４Ｂの場合、支持台２の下面２Ｂの中央の回転中心から、斜め下方向の各カメラの位置までを結ぶ線分の下面２Ｂに対する角度が、下部カメラ４Ａと下部カメラ４Ｂとで異なることを意味する。
【００５１】
また、本実施形態の三次元走査装置１では、それぞれ支持台２の上面２Ａ側、下面２Ｂ側に配置され、走査対象物１０に光をあてる照明８Ａ，８Ｂを備えるので、各カメラの撮像画像内において走査対象物１０の表面の陰影を低減でき、また表面の色合いも均一化できる。これにより、生成された三次元モデルの表面性状をより実物に近いものにできる。
【００５２】
図５を参照して変形例を説明する。図５は、実施形態の変形例に係る三次元走査装置１Ａの概略構成を示す図である。図５に示すように、上部カメラ３、下部カメラ４の他に、支持台２の上面２Ａ上の走査対象物１０の載置位置から載置面の法線方向の位置、すなわち鉛直上方（ｚ軸正方向）に設置される真上カメラ１３（第３の画像センサ）と、支持台２の下面２Ｂから法線方向と反対方向、すなわち鉛直下方（ｚ軸負方向）の位置に設置される真下カメラ１４（第４の画像センサ）を備える構成でもよい。真上カメラ１３及び真下カメラ１４も、上部カメラ３及び下部カメラ４と同様にＲＧＢ−Ｄカメラであるのが好ましい。
【００５３】
このように真上カメラ１３及び真下カメラ１４を備える構成とすることで、例えば走査対象物１０がコップなど深い窪みを有する物体など、斜め方向からの画像では内側底面が見えにくい形状であっても、真上や真下からの撮像画像で確実に映すことができる。これにより、走査対象物１０の表面の死角をさらに低減でき、三次元モデルの生成精度を向上できる。
【００５４】
上記実施形態では、走査対象物１０と上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂとの相対位置に係る指標の一例として、走査対象物１０の周囲に周方向位置に応じた複数のＡＲマーカー６を配置する構成を例示したが、例えば二次元バーコードなどの他のパターンを用いてもよい。また、Ｍ系列などの疑似乱数系列を利用して回転角度に応じた環状のパターンを設けてもよい。
【００５５】
上記実施形態では、走査対象物１０の周囲に全周に亘って略均等な間隔で複数のＡＲマーカー６を配置する構成を例示したが、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂの撮像画像に少なくとも１つのＡＲマーカー６が入ればよく、複数のＡＲマーカー６を配置する場合は異なる間隔を空けて配置してもよい。
【００５６】
上記実施形態では、ＲＧＢ画像中のＡＲマーカー６の画像に基づき走査対象物１０と上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂとの相対位置を算出する構成を例示したが、例えば回転部５や支持台２の回転軸にエンコーダを設けて回転角度を計測して、計測した回転角度を相対位置指標部として利用して相対位置を算出してもよい。
【００５７】
上記実施形態では、回転部５が支持台２を回転させる構成を例示したが、回転部５は、支持台２と上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂとを相対的に回転することができればよく、実施形態とは異なり支持台２を固定し、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂを支持台２のまわりで回転させる構成でもよい。その場合の回転中心、回転軸は、カメラを回転させる装置により定められる。
【００５８】
上記実施形態では、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂが２台ずつの構成を例示したが、少なくともそれぞれ１台ずつあればよい。また、３台以上の複数台でもよい。設置台数が増えるほど三次元モデルの精度を向上できる。
【００５９】
上記実施形態では、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４ＢがＲＧＢ−Ｄカメラであり、ＲＧＢ画像と深度画像とを撮像できる構成を例示したが、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４ＢをＲＧＢカメラにして、ＲＧＢ画像のみを撮像する構成でもよい。この場合、モデル生成部７３は、例えば同一のカメラで異なる回転角度で撮像した複数のＲＧＢ画像を用いて、走査対象物の深度情報を算出することができる。
【００６０】
本実施形態には、さらに三次元モデルの生成を補助するレンダラーを備えるレンダリング部を備えてもよい。このようなレンダリング部を備えることで、より精密な三次元モデルを生成することができる。また、レンダラーを用いることで、三次元モデルを構成する際に利用する一部の情報（例えば深度情報）を代替とできる場合がある。また、このレンダラーを、学習済みの機械学習モデルを用いて構成することで、より三次元モデルの精度を向上できる。レンダリング部は、モデル生成部７３が三次元モデルを生成した後に当該三次元モデルを修正してもよく、モデル生成部７３が三次元モデルを生成完了する前にレンダリングを行ってもよい。
【００６１】
上記実施形態では、アクリル板などの透明板からなる支持台２の上面２Ａを載置面とする構成、つまり、載置面の剛性が走査対象物１０のものより高く、載置面が平板状の構成を例示したが、少なくとも載置面の裏側からも走査対象物１０を撮像（視認）可能でかつ載置面がカメラに映りづらいものであればよい。つまり、部材の透明度は走査対象物１０の情報の取得が適切に可能な程度であればよい。その物体を通しては走査対象物１０が撮像が不可能な部材ではあるが、部材の間の隙間から走査対象物１０が撮像が可能な、穴が開けられた板やネット等の部材であってもよい。また、例えばフィルム、ビニール、ネット、液体等の形状が可変な材料が入った袋状の部材など、剛性が走査対象物１０より低いものを載置面としてもよい。つまり、載置された走査対象物１０の形状に応じて載置面が変形可能な構成でもよい。これにより、走査対象物１０が、例えばぬいぐるみなど、柔らかくアクリル板に載せると接触部分が平らに変形するような物体の場合でも、載置面への載置時の走査対象物１０の変形を抑えることができるので、外力による変形が少ない状態の三次元モデルを生成できる。このような三次元モデルができると、例えば走査対象物１０の三次元モデルを走査時とは異なる姿勢でも違和感なく使用することができ、三次元モデルの汎用性を向上できる。また、支持台２が透明板以外の場合には、支持台２は台座以外の他の構成（例えば載置面を有するフィルムを上から懸架する構成など）でもよい。
【００６２】
以上、具体例を参照しつつ本実施形態について説明した。しかし、本開示はこれらの具体例に限定されるものではない。これら具体例に、当業者が適宜設計変更を加えたものも、本開示の特徴を備えている限り、本開示の範囲に包含される。前述した各具体例が備える各要素およびその配置、条件、形状などは、例示したものに限定されるわけではなく適宜変更することができる。前述した各具体例が備える各要素は、技術的な矛盾が生じない限り、適宜組み合わせを変えることができる。
【００６３】
上部カメラ３、下部カメラ４、真上カメラ１３、真下カメラ１４は、カメラ装置以外の要素でもよく、例えばスマートフォン等であってもよい。
【００６４】
上記実施形態では、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂを用いて、支持台２の上面２Ａに載置されている走査対象物１０を同時に撮像する構成を例示したが、下部カメラ４Ａ，４Ｂのみを用いる構成でもよい。また、上部カメラ３Ａ，３Ｂ及び下部カメラ４Ａ，４Ｂを異なるタイミングで撮影してもよい。つまり、上部カメラ３Ａ，３Ｂにて走査対象物１０を撮影した後、下部カメラ４Ａ，４Ｂにて走査対象物１０を撮影してもよく、逆の順番で撮影してもよい。本実施形態のような指標を備えることにより、このような異なるタイミングでの撮像した画像に基づく三次元モデルの生成を容易に行うことができる。また、これにより、複数のカメラを準備することなく、１台のカメラで撮像することができる。
【産業上の利用可能性】
【００６５】
上記実施形態に係る三次元走査装置１，１Ａを用いて、身の回りの物体をスキャンして仮想空間をつくり、この仮想空間をシミュレータとしてロボットのタスク習得などの機械学習に利用できる。つまり、上記実施形態に係る三次元走査装置１，１Ａは、シミュレータ用の三次元モデルをつくるためのスキャナ装置に適用できる。言い換えると、上記実施形態に係る三次元走査方法によって得られたデータを用いて、機械学習用のデータ、または機械学習向けの訓練用データを作成することができる。またこの訓練用データを用いて機械学習モデルを生成することができる。【００６６】
このようなシミュレータ用仮想空間を作るためには、膨大な数の物体を走査して三次元モデルを生成する必要があるため、スキャン時間が膨大になると考えらえる。しかし上記実施形態に係る三次元走査装置１，１Ａは、上述のとおりスキャン時間を短縮化でき、三次元モデルの生成を高速化できるものであるので、シミュレータ用仮想空間を作るのに極めて有利と考えられる。【００６７】
本国際出願は２０１８年１０月１０日に出願された日本国特許出願２０１８−１９１９３５号に基づく優先権を主張するものであり、２０１８−１９１９３５号の全内容をここに本国際出願に援用する。
【符号の説明】
【００６８】
１，１Ａ    三次元走査装置
２    支持台（支持部）
３、３Ａ、３Ｂ    上部カメラ（第２の画像センサ）
４、４Ａ、４Ｂ    下部カメラ（第１の画像センサ）
５    回転部
６    ＡＲマーカー（相対位置指標部）
７    制御装置
７１    撮像制御部
７２    相対位置算出部
７３    モデル生成部
１３    真上カメラ（第３の画像センサ）
１４    真下カメラ（第４の画像センサ）
ステップＳ３    撮像ステップ
ステップＳ５    相対位置算出ステップ
ステップＳ６    モデル生成ステップ
【図１】
2020075768.tif 000003
【図２】
2020075768.tif 000004
【図３】
2020075768.tif 000005
【図４】
2020075768.tif 000006
【図５】
2020075768.tif 000007
【手続補正書】
【提出日】令和3年4月8日(2021.4.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像装置により物体を撮像した画像に基づいた前記物体の三次元モデルに対してレンダリングを行い、前記三次元モデルを修正するステップを、少なくとも１つのプロセッサが実行する三次元モデルの生成方法。
【請求項２】
前記画像は、ＲＧＢ画像である、請求項１に記載の生成方法。
【請求項３】
前記修正するステップを、前記少なくとも１つのプロセッサが、生成途中の前記三次元モデルに対して実行する、請求項１または２に記載の生成方法。
【請求項４】
レンダリングが行われた前記三次元モデルは、前記画像から得た物体の表面の情報を有する、請求項１乃至３のいずれか１項に記載の生成方法。
【請求項５】
前記物体の表面の情報は、表面性状、模様または色のいずれか１つである、請求項４に記載の生成方法。
【請求項６】
前記レンダリングは機械学習モデルを用いて行われる、請求項１乃至５のいずれか１項に記載の生成方法。
【請求項７】
前記物体の撮像の際に深度情報を取得しない、請求項１乃至６のいずれか１項に記載の生成方法。
【請求項８】
請求項１乃至７のいずれか１項に記載の生成方法により生成された三次元モデルに基づいて、機械学習向けの訓練用データを作成する、訓練用データの作成方法。
【請求項９】
請求項８に記載の作成方法により作成された訓練用データを用いて、機械学習モデルを生成する、機械学習モデルの生成方法。
【請求項１０】
前記物体が載置される載置面を有し、前記載置面の裏側から前記物体を撮像可能な支持部と、
前記載置面の裏側方向に設置され、前記物体を撮像する前記撮像装置である第１の撮像装置と、
前記支持部と前記第１の撮像装置とを相対的に回転させる回転部と、
を備える三次元走査装置を用いて前記物体が撮像される、請求項１に記載の生成方法。
【請求項１１】
前記三次元走査装置は、前記載置面の側に設置され、前記物体を撮像する前記撮像装置である第２の撮像装置を備え、
前記回転部は、前記支持部と前記第１の撮像装置及び前記第２の撮像装置とを相対的に回転させる、
請求項１０に記載の生成方法。
【請求項１２】
前記第１の撮像装置または前記第２の撮像装置の撮像方向は、前記載置面に対し傾斜している、請求項１１に記載の生成方法。
【請求項１３】
前記三次元走査装置は、前記第１の撮像装置または前記第２の撮像装置により撮像された複数の画像に基づき、前記物体の相対位置の情報を算出する相対位置算出部を備える、請求項１１または１２に記載の生成方法。
【請求項１４】
前記三次元走査装置は、前記複数の画像と、前記相対位置算出部により算出された前記相対位置の情報とに基づき、前記物体の三次元モデルを生成するモデル生成部を備える、請求項１３に記載の生成方法。
【請求項１５】
前記三次元走査装置は、前記物体と前記第１の撮像装置及び前記第２の撮像装置との相対位置に係る相対位置指標部を備え、
前記相対位置算出部は、前記相対位置指標部に基づき前記相対位置の情報を算出する、
請求項１３または１４に記載の生成方法。
【請求項１６】
前記第１の撮像装置及び前記第２の撮像装置は、深度カメラを含み、
前記複数の画像は、前記深度カメラにより取得された前記物体までの奥行き情報を含む、
請求項１３乃至１５のいずれか１項に記載の生成方法。
【請求項１７】
前記相対位置指標部は、
前記載置面及び前記載置面の裏側の面において、前記物体の載置位置の周囲に配置されるＡＲマーカーを含み、
前記相対位置算出部は、前記第１の撮像装置及び前記第２の撮像装置により撮像された画像内の前記ＡＲマーカーの画像に基づき前記相対位置を算出する、
請求項１５に記載の生成方法。
【請求項１８】
請求項８に記載の作成方法により作成された訓練用データを用いて生成され、少なくとも１つのプロセッサによって実行される機械学習モデル。
【請求項１９】
少なくとも１つのプロセッサと、
少なくとも１つのメモリと、を備え、
前記少なくとも１つのプロセッサは、
撮像装置により物体を撮像した画像に基づいた前記物体の三次元モデルに対してレンダリングを行い、前記三次元モデルを修正すること、
を実行するよう構成される三次元モデルの生成装置。
【国際調査報告】
2020075768.tif 000008
2020075768.tif 000009
2020075768.tif 000010