(57)【要約】【課題】物体を正確に秤量可能な秤量システムを提供する。【解決手段】  物体１０の二次元画像を取得する二次元画像取得装置２０と、二次元画像に基づいて、物体１０の三次元構造を算出する三次元構造算出部３０１と、物体１０の三次元構造と物体１０の密度に基づいて、物体１０の質量を算出する質量算出部３０２と、を備える秤量システム【選択図】図１
2020012649.tif 000002
【特許請求の範囲】
【請求項１】
物体の二次元画像を取得する二次元画像取得装置と、
前記二次元画像に基づいて、前記物体の三次元構造を算出する三次元構造算出部と、
前記物体の三次元構造と前記物体の密度に基づいて、前記物体の質量を算出する質量算出部と、
を備える、秤量システム。
【請求項２】
前記三次元構造算出部が、前記物体の複数の学習用二次元画像と、前記物体の三次元構造と、の関係を、ニューラルネットワークに学習させる、請求項１に記載の秤量システム。
【請求項３】
前記三次元構造算出部が、複数の方向から観察された前記物体の複数の学習用二次元画像と、前記物体の三次元構造と、の関係を、ニューラルネットワークに学習させる、請求項１に記載の秤量システム。
【請求項４】
前記三次元構造算出部が、機械学習により、前記関係を、前記ニューラルネットワークに学習させる、請求項２又は３に記載の秤量システム。
【請求項５】
前記三次元構造算出部が、ディープラーニングにより、前記関係を、前記ニューラルネットワークに学習させる、請求項２又は３に記載の秤量システム。
【請求項６】
予め取得された前記物体の密度を保存する密度記憶装置をさらに備える、請求項１から５のいずれか１項に記載の秤量システム。
【請求項７】
前記算出された物体の質量に基づいて、所定の質量の前記物体を搬送する搬送装置をさらに備える、請求項１から６のいずれか１項に記載の秤量システム。
【請求項８】
前記二次元画像取得装置が、前記物体の二次元画像を複数取得し、
前記三次元構造算出部が、複数の前記二次元画像に基づいて、前記物体の三次元構造を算出する、
請求項１から７のいずれか１項に記載の秤量システム。
【請求項９】
前記二次元画像取得装置が、複数の方向から前記物体を撮像して、前記物体の二次元画像を複数取得する、請求項８に記載の秤量システム。
【請求項１０】
物体の二次元画像を取得することと、
前記二次元画像に基づいて、前記物体の三次元構造を算出することと、
前記物体の三次元構造と前記物体の密度に基づいて、前記物体の質量を算出することと、
を含む、秤量方法。
【請求項１１】
前記物体の複数の学習用二次元画像と、前記物体の三次元構造と、の関係を学習したニューラルネットワークを用いて、前記物体の三次元構造を算出する、請求項１０に記載の秤量方法。
【請求項１２】
複数の方向から観察された前記物体の複数の学習用二次元画像と、前記物体の三次元構造と、の関係を学習したニューラルネットワークを用いて、前記物体の三次元構造を算出する、請求項１０に記載の秤量方法。
【請求項１３】
前記ニューラルネットワークが、機械学習により、前記関係を学習する、請求項１１又は１２に記載の秤量方法。
【請求項１４】
前記ニューラルネットワークが、ディープラーニングにより、前記関係を学習する、請求項１１又は１２に記載の秤量方法。
【請求項１５】
前記算出された物体の質量に基づいて、所定の質量の前記物体を搬送することをさらに含む、請求項１０から１４のいずれか１項に記載の秤量方法。
【請求項１６】
前記物体の二次元画像を複数取得し、
複数の前記二次元画像に基づいて、前記物体の三次元構造を算出する、
請求項１０から１５のいずれか１項に記載の秤量方法。
【請求項１７】
複数の方向から前記物体を撮像して、前記物体の二次元画像を複数取得する、請求項１６に記載の秤量方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、秤量システム及び秤量方法に関する。
【背景技術】
【０００２】
物体の質量を計測する際には、様々な秤量計が用いられている。例えば、物体が微小である場合、電子天秤が用いられる（例えば、特許文献１、２参照。）。電子天秤は、例えば、数μｇの物体を秤量可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第６０４１８８８号公報
【特許文献２】特許第６１６４３８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来の秤量計では、測定限界以下の非常に軽い物体を秤量することはできない。また、測定限界以上の物体であっても、形状や脆さ等を理由として、物体を秤量計に載せることが困難である場合もある。そこで、本発明は、従来の秤量計では秤量することが困難である物体を正確に秤量可能な秤量システム及び秤量方法を提供することを目的の一つとする。ただし、本発明の目的は、従来の秤量計で秤量可能な物体を秤量することを排除するものではない。
【課題を解決するための手段】
【０００５】
本発明の態様によれば、物体の二次元画像を取得する二次元画像取得装置と、二次元画像に基づいて、物体の三次元構造を算出する三次元構造算出部と、物体の三次元構造と物体の密度に基づいて、物体の質量を算出する質量算出部と、を備える、秤量システムが提供される。
【０００６】
上記の秤量システムにおいて、三次元構造算出部が、物体の複数の学習用二次元画像と、物体の三次元構造と、の関係を、ニューラルネットワークに学習させてもよい。
【０００７】
上記の秤量システムにおいて、三次元構造算出部が、複数の方向から観察された物体の複数の学習用二次元画像と、物体の三次元構造と、の関係を、ニューラルネットワークに学習させてもよい。
【０００８】
上記の秤量システムにおいて、三次元構造算出部が、機械学習により、関係を、ニューラルネットワークに学習させてもよい。
【０００９】
上記の秤量システムにおいて、三次元構造算出部が、ディープラーニングにより、関係を、ニューラルネットワークに学習させてもよい。
【００１０】
上記の秤量システムが、予め取得された物体の密度を保存する密度記憶装置をさらに備えていてもよい。
【００１１】
上記の秤量システムが、算出された物体の質量に基づいて、所定の質量の物体を搬送する搬送装置をさらに備えていてもよい。
【００１２】
上記の秤量システムにおいて、二次元画像取得装置が、物体の二次元画像を複数取得し、三次元構造算出部が、複数の二次元画像に基づいて、物体の三次元構造を算出してもよい。
【００１３】
上記の秤量システムにおいて、二次元画像取得装置が、複数の方向から物体を撮像して、物体の二次元画像を複数取得してもよい。
【００１４】
また、本発明の態様によれば、物体の二次元画像を取得することと、二次元画像に基づいて、物体の三次元構造を算出することと、物体の三次元構造と物体の密度に基づいて、物体の質量を算出することと、を含む、秤量方法が提供される。
【００１５】
上記の秤量方法において、物体の複数の学習用二次元画像と、物体の三次元構造と、の関係を学習したニューラルネットワークを用いて、物体の三次元構造を算出してもよい。
【００１６】
上記の秤量方法において、複数の方向から観察された物体の複数の学習用二次元画像と、物体の三次元構造と、の関係を学習したニューラルネットワークを用いて、物体の三次元構造を算出してもよい。
【００１７】
上記の秤量方法において、ニューラルネットワークが、機械学習により、関係を学習してもよい。
【００１８】
上記の秤量方法において、ニューラルネットワークが、ディープラーニングにより、関係を学習してもよい。
【００１９】
上記の秤量方法が、算出された物体の質量に基づいて、所定の質量の物体を搬送することをさらに含んでもよい。
【００２０】
上記の秤量方法において、物体の二次元画像を複数取得し、複数の二次元画像に基づいて、物体の三次元構造を算出してもよい。
【００２１】
上記の秤量方法において、複数の方向から物体を撮像して、物体の二次元画像を複数取得してもよい。
【発明の効果】
【００２２】
本発明によれば、物体を正確に秤量可能な秤量システム及び秤量方法を提供可能である。
【図面の簡単な説明】
【００２３】
【図１】実施形態に係る秤量システムの模式図である。
【図２】実施形態に係る物体の二次元画像と三次元構造の関係を模式的に示す図である。
【図３】実施例１に係る学習済みニューラルネットワークの出力の正解からのずれを示すグラフである。
【図４】実施例１に係る学習済みニューラルネットワークの出力の正解率を示すグラフである。
【図５】実施例１に係る１枚の入力データの画像に対する学習済みニューラルネットワークの出力の正解率を示す表であるである。
【図６】実施例１に係る３枚の入力データの画像に対する学習済みニューラルネットワークの出力の正解率を示す表であるである。
【図７】実施例２に係る学習済みニューラルネットワークの出力の正解からのずれを示すグラフである。
【図８】実施例２に係る学習済みニューラルネットワークの出力の正解率を示すグラフである。
【図９】実施例２に係る１枚の入力データの画像に対する学習済みニューラルネットワークの出力の正解率を示す表であるである。
【図１０】実施例２に係る３枚の入力データの画像に対する学習済みニューラルネットワークの出力の正解率を示す表であるである。
【発明を実施するための形態】
【００２４】
以下、本発明の実施形態について図面を参照して説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号で表している。ただし、図面は模式的なものである。したがって、具体的な寸法等は以下の説明を照らし合わせて判断するべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることはもちろんである。
【００２５】
実施形態に係る秤量システムは、図１に示すように、物体１０の二次元画像を取得する二次元画像取得装置２０と、二次元画像に基づいて、物体１０の三次元構造を算出する三次元構造算出部３０１と、物体１０の三次元構造と物体１０の密度に基づいて、物体１０の質量を算出する質量算出部３０２と、を備える。三次元構造算出部３０１及び質量算出部３０２は、例えば、中央演算処理装置（ＣＰＵ）３００において、メモリに格納されたプログラムをＣＰＵが実行することにより実現されてもよい。また、三次元構造算出部３０１及び質量算出部３０２は、例えば、ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｃｏｎｔｒｏｌｌｅｒ）等のハードウェアにより実現されてもよい。
【００２６】
二次元画像取得装置２０は、例えば、レンズと、レンズで拡大された物体１０の像を撮像するイメージセンサと、を備える。レンズは、光学顕微鏡に組み込まれていてもよい。イメージセンサとしては、固体撮像素子が挙げられる。固体撮像素子としては、ＣＣＤイメージセンサ及びＣＭＯＳイメージセンサが挙げられる。イメージセンサは、物体１０の二次元画像をデジタル画像として生成し、三次元構造算出部３０１に送る。二次元画像取得装置２０は、複数の方向から物体１０を撮像して、物体１０の複数の二次元画像を生成してもよい。
【００２７】
三次元構造算出部３０１は、学習済みニューラルネットワークを用いて、物体１０の二次元画像に基づき、物体１０の三次元構造を算出する。学習済みニューラルネットワークには、物体１０の１つの二次元画像が入力されてもよいし、複数の方向から撮像された物体１０の複数の二次元画像が入力されてもよい。
【００２８】
ニューラルネットワークは、例えば以下の方法によって、学習させられる。まず、例えば、ある物体の三次元構造のデータを教師データとして用意する。物体の三次元構造のデータは、物体の三次元構造を表す立体図形の名称を含んでいてもよい。立体図形の名称の例としては、四面体、五面体、六面体、円柱、円錐、及び角錐が挙げられるが、これらに限定されない。また、物体の三次元構造を表す立体図形の名称は、整数で表現されていてもよい。例えば、正六面体を０、正八面体を１、双五角錐を２と表現してもよい。
【００２９】
物体の三次元構造のデータは、例えば、その物体の体積と紐づけられるように設定される。例えば、物体の三次元構造のデータが正六面体を表す０である場合、当該正六面体の体積のデータが用意される。
【００３０】
あるいは、物体の三次元構造のデータが、当該物体の体積のデータを含んでいてもよい。またあるいは、物体の三次元構造のデータが、当該物体を三次元座標で表現するデータであり、当該データから体積が算出可能であってもよい。物体を三次元座標で表現するデータは、例えば、物体の各辺の長さ及び傾き等の情報を含んでいてもよい。
【００３１】
また、その物体を複数の方向から観察した、複数の学習用二次元画像を入力データとして用意する。複数の学習用二次元画像は、コンピューター画像であってもよいし、写真であってもよい。物体の三次元構造のデータ及び複数の学習用二次元画像は、物体をＸ線顕微鏡（Ｘ線コンピューター断層撮影（ＣＴ：Ｃｏｍｐｕｔｅｄ  Ｔｏｍｏｇｒａｐｈｙ）装置）あるいは三次元透過型電子顕微鏡（ＴＥＭ）で撮像した画像に基づいて生成してもよい。複数の学習用二次元画像のそれぞれにおける物体の像の大きさは、例えば、二次元画像取得装置２０におけるレンズの倍率を反映している。
【００３２】
次に、ニューラルネットワークに、複数の学習用二次元画像を入力データとして、物体の三次元構造のデータを教師データとして与えて、ニューラルネットワークに学習させる。ここで、例えば、実施形態に係る秤量システムで秤量される可能性のある様々な形状及び大きさの物体について、ニューラルネットワークにこのような学習をさせる。これにより、図２に模式的に示すように、学習済みニューラルネットワークに物体の二次元画像を入力すると、例えば、物体の三次元構造が出力される。
【００３３】
図１に示す三次元構造算出部３０１は、ディープラーニング等の機械学習により、物体の二次元画像と、物体の三次元構造と、の関係を、ニューラルネットワークに学習させてもよい。
【００３４】
ＣＰＵ３００には、例えば、予め取得された物体１０の密度を保存する密度記憶装置４０１が接続されている。密度は、例えば、真密度である。質量算出部３０２は、密度記憶装置４０１から、物体１０の密度を読み出す。また、質量算出部３０２は、三次元構造算出部３０１が算出した物体の三次元構造のデータに基づき、物体の体積を算出する。例えば、三次元構造算出部３０１が算出した物体の三次元構造のデータに紐づかれた体積のデータに基づき、物体の体積が特定される。ただし、物体の三次元構造のデータが体積のデータを含んでいる場合は、体積の算出は省略される。さらに、質量算出部３０２は、物体の体積に密度を乗じて、物体の質量を算出する。
【００３５】
ＣＰＵ３００には、例えば、質量記憶装置４０２が接続されている。質量記憶装置４０２は、質量算出部３０２が算出した物体の質量を保存する。また、ＣＰＵ３００には、例えば、出力装置５０１が接続されている。出力装置５０１は、質量算出部３０２が算出した物体の質量を出力する。出力装置５０１としては、例えば、ディスプレイモニター及びプリンター等が使用可能である。
【００３６】
実施形態に係る秤量システムは、算出された物体１０の質量に基づいて、所定の質量の物体１０を搬送する搬送装置３０と、搬送装置３０を制御する搬送制御部３０３と、をさらに備えていてもよい。搬送制御部３０３は、例えば、予め入力された所定の質量を、質量算出部３０２で算出された物体１０の質量で除して得られる個数の物体１０を搬送するよう、搬送装置３０を制御する。所定の質量は、質量記憶装置４０２に保存され、搬送制御部３０３は、質量記憶装置４０２から所定の質量を読み出してもよい。物体が帯電している場合、搬送装置３０は、電界を発生させて、物体を搬送してもよい。
【００３７】
以上説明した実施形態に係る秤量システムによれば、例えば、従来の秤量計では測定限界以下で秤量できなかった物体を秤量することが可能であり、顕微鏡の解像度以上の物体であれば、ナノグラム範囲の物体を秤量することも可能である。また、実施形態に係る秤量システムによれば、物体１０があるところに二次元画像取得装置２０を配置すればよいため、例えば、従来の秤量計の測定限界以上の物体であっても、形状や脆さ等を理由として、従来の秤量計では秤量できなかった物体を秤量することが可能である。
【００３８】
（実施例１）
教師データとして、正六面体の三次元座標データ、正八面体の三次元座標データ、及び十面体（双五角錐）の三次元座標データを用意した。正六面体の三次元座標データは０と、正八面体の三次元座標データは１と、双五角錐の三次元座標データは２と表現されていた。また、入力データとして、正六面体を様々な方向に回転させたときに一方向から観察される二次元のシルエット画像を１５３６枚、正八面体を様々な方向に回転させたときに一方向から観察される二次元のシルエット画像を１５３６枚、及び十面体を様々な方向に回転させたときに一方向から観察される二次元のシルエット画像を１７５２枚用意した。ここで、シルエット画像とは、光の照射角度による濃淡のない画像を指す。それぞれのシルエット画像は８ビット画像であり、画素数は１２０×９０であった。
【００３９】
上記の合計４８２４枚の入力データの画像から、３８２４枚の入力データの画像をランダムに抽出した。さらに、３８２４枚の画像から毎回ランダムに抽出した３２枚の入力データの画像と、上述したようにｏｎｅ−ｈｏｔ表現した教師データと、の組み合わせである学習データを２３００回、畳み込みニューラルネットワーク（ＣＮＮ）に与え、ＣＮＮに学習させた。
【００４０】
ＣＮＮが１００回学習するごとにＣＮＮにランダムに抽出した合計１００枚の入力データを与え、ｏｎｅ−ｈｏｔ表現の出力データが正解であるか否かを評価した。その結果、図３に示すように、学習回数が進むに連れて正解からのずれ（交差エントロピー）が減少した。また、図４に示すように、１６００回目の学習で、正解率が１００．０％に達した。ここで、正解率とは、入力数に対する正解数の比である。
【００４１】
図５に示すように、学習が終了したＣＮＮに、１５３６枚の正六面体の二次元のシルエット画像を入力データとして与えたところ、正六面体を出力する正解率は９９．７４％であった。学習が終了したＣＮＮに、１５３６枚の正八面体の二次元のシルエット画像を入力データとして与えたところ、正八面体を出力する正解率は１００．００％であった。学習が終了したＣＮＮに、１７５２枚の十面体（双五角錐）の二次元のシルエット画像を入力データとして与えたところ、十面体（双五角錐）を出力する正解率は９８．２９％であった。
【００４２】
また、１５３６枚の正六面体の入力データの画像を、３枚１組に分けて、５１２組の正六面体の入力データの画像を用意した。１５３６枚の正八面体の入力データの画像を、３枚１組に分けて、５１２組の正八面体の入力データの画像を用意した。１７５２枚の十面体の入力データの画像を、３枚１組に分けて、５８４組の十面体の入力データの画像を用意した。
【００４３】
図６に示すように、学習が終了したＣＮＮに、５１２組の正六面体の二次元のシルエット画像を入力データとして与えたところ、正六面体を出力する正解率は１００．００％であった。学習が終了したＣＮＮに、５１２組の正八面体の二次元のシルエット画像を入力データとして与えたところ、正八面体を出力する正解率は１００．００％であった。学習が終了したＣＮＮに、５８４組の十面体（双五角錐）の二次元のシルエット画像を入力データとして与えたところ、十面体（双五角錐）を出力する正解率は１００．００％であった。
【００４４】
（実施例２）
教師データとして、正六面体の三次元座標データ、正八面体の三次元座標データ、及び十面体（双五角錐）の三次元座標データを用意した。正六面体の三次元座標データは０と、正八面体の三次元座標データは１と、双五角錐の三次元座標データは２と表現されていた。また、入力データとして、正六面体を様々な方向に回転させたときに一方向から観察される二次元のグレースケール画像を１５３６枚、正八面体を様々な方向に回転させたときに一方向から観察される二次元のグレースケール画像を１５３６枚、及び十面体を様々な方向に回転させたときに一方向から観察される二次元のグレースケール画像を１７５２枚用意した。ここで、グレースケール画像とは、光の照射角度による濃淡のある画像を指す。それぞれのグレースケール画像は８ビット画像であり、画素数は１２０×９０であった。
【００４５】
上記の合計４８２４枚の入力データの画像から、３８２４枚の入力データの画像をランダムに抽出した。さらに、３８２４枚の画像から毎回ランダムに抽出した３２枚の入力データの画像と、上述したようにｏｎｅ−ｈｏｔ表現した教師データと、の組み合わせである学習データを２３００回、ＣＮＮに与え、ＣＮＮに学習させた。
【００４６】
ＣＮＮが１００回学習するごとにＣＮＮにランダムに抽出した合計１００枚の入力データを与え、ｏｎｅ−ｈｏｔ表現の出力データが正解であるか否かを、実施例１と同様に評価した。その結果、図７に示すように、学習回数が進むに連れて正解からのずれが減少し、図８に示すように、１１００回目の学習で、正解率が９８．０％に達した。
【００４７】
図９に示すように、学習が終了したＣＮＮに、１５３６枚の正六面体の二次元のグレースケール画像を入力データとして与えたところ、正六面体を出力する正解率は１００．００％であった。学習が終了したＣＮＮに、１５３６枚の正八面体の二次元のグレースケール画像を入力データとして与えたところ、正八面体を出力する正解率は９８．５７％であった。学習が終了したＣＮＮに、十面体（双五角錐）の二次元のグレースケール画像を入力データとして与えたところ、十面体（双五角錐）を出力する正解率は９７．４９％であった。
【００４８】
また、１５３６枚の正六面体の入力データの画像を、３枚１組に分けて、５１２組の正六面体の入力データの画像を用意した。１５３６枚の正八面体の入力データの画像を、３枚１組に分けて、５１２組の正八面体の入力データの画像を用意した。１７５２枚の十面体の入力データの画像を、３枚１組に分けて、５８４組の十面体の入力データの画像を用意した。
【００４９】
図１０に示すように、学習が終了したＣＮＮに、５１２組の正六面体の二次元のグレースケール画像を入力データとして与えたところ、正六面体を出力する正解率は１００．００％であった。学習が終了したＣＮＮに、５１２組の正八面体の二次元のグレースケール画像を入力データとして与えたところ、正八面体を出力する正解率は１００．００％であった。学習が終了したＣＮＮに、５８４組の十面体（双五角錐）の二次元のグレースケール画像を入力データとして与えたところ、十面体を出力する正解率は１００．００％であった。
【００５０】
上記のように本発明を実施形態及び実施例によって記載したが、この開示の一部をなす記述及び図面はこの発明を限定するものであると理解するべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかになるはずである。本発明はここでは記載していない様々な実施形態等を包含するということを理解すべきである。
【符号の説明】
【００５１】
１０・・・物体、２０・・・二次元画像取得装置、３０・・・搬送装置、３０１・・・三次元構造算出部、３０２・・・質量算出部、３０３・・・搬送制御部、４０１・・・密度記憶装置、４０２・・・質量記憶装置、５０１・・・出力装置
【図１】
2020012649.tif 000003
【図２】
2020012649.tif 000004
【図３】
2020012649.tif 000005
【図４】
2020012649.tif 000006
【図５】
2020012649.tif 000007
【図６】
2020012649.tif 000008
【図７】
2020012649.tif 000009
【図８】
2020012649.tif 000010
【図９】
2020012649.tif 000011
【図１０】
2020012649.tif 000012