(57)【要約】【課題】画像に基づく植物の三次元モデルの作成を効率よくまた精度よく行う。【解決手段】回転が可能な回転台１１０と、回転台１１０の上に置かれた植物１２０を撮影するカメラ１３１〜１３３とを備え、前記回転台１１０は、水平な上面と鉛直な曲面を有し、軸方向から見た形状が点対称および線対称でない形状を有している植物の３Ｄ計測システム１００。【選択図】図１
2018197685.tif 000002
【特許請求の範囲】
【請求項１】
回転が可能な回転台と、
前記回転台の上に置かれた対象物を撮影するカメラと
を備え、    
前記回転台は、
水平な上面と鉛直な曲面を有し、
軸方向から見た形状が点対称および線対称でない形状を有している三次元計測装置。
【請求項２】
前記回転台の上面および側面にはランダムドット模様が形成され、
前記ランダムドット模様の色として、前記対象物の色と同系色が選択されている請求項１に記載の三次元計測装置。
【請求項３】
前記カメラが撮影した写真画像における特定の点と対象となる領域の色強度の差Ｃ１と、前記特定の点と背景となる領域の色強度の差Ｃ２との大小関係に基づき、前記特定の点が抽出領域または背景領域のいずれであるかの判定を行う処理部と、
前記抽出領域の輪郭をぼかした画像を作成する画像作成部と、
前記抽出領域の輪郭をぼかした処理が行われた視点の異なる複数の画像に対して、対応点の特定を行う対応点特定部と
を備える請求項１または２に記載の三次元計測装置。
【請求項４】
異なる視点から対象物を撮影した複数の写真画像に基づき前記対象物の三次元計測を行う三次元計測装置であって、
前記写真画像における特定の点と対象となる領域の色強度の差Ｃ１と、前記特定の点と背景となる領域の色強度の差Ｃ２との大小関係に基づき、前記特定の点が抽出領域または背景領域のいずれであるかの判定を行う処理部を備える三次元計測装置。
【請求項５】
Ｃ１＜Ｃ２の場合に、前記特定の点を抽出領域と判定し、Ｃ１＜Ｃ２でない場合に、前記特定の点を背景領域と判定する請求項４に記載の三次元計測装置。
【請求項６】
前記抽出領域の輪郭をぼかした画像を作成する画像作成部を備える請求項４または５に記載の三次元計測装置。
【請求項７】
前記抽出領域の輪郭をぼかした処理が行われた視点の異なる複数の画像に対して、対応点の特定を行う対応点特定部を備える請求項６に記載の三次元計測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を用いた三次元計測の技術に関する。
【背景技術】
【０００２】
画像を用いて植物の三次元形状に係るデータを取得する技術が知られている。例えば、特許文献１および２には、植物を回転させながら複数の視点から植物の写真撮影を行い、得られた複数の撮影画像から被写体（植物）の三次元モデルを得る技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１９１２４３号公報
【特許文献２】特開２０１７−３５２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像を用いた三次元計測においては、異なる視点から得た複数の画像間のマッチング（対応関係の特定）が重要である。さらに三次元モデルの評価・統合には、他の三次元モデル（点群データ）との位置合わせが必要である。ところで植物の場合、形状が不定形であるので、画像間のマッチングや、三次元点群データの位置合わせが難しい。
【０００５】
上記のマッチングや位置合わせの問題は、例えば対象となる植物を置く回転台として立方体や直方体のものを用いることで解決できる。ところで、立方体や直方体は回転軸の方向に延在する縁があるが、この縁の部分を特定する特徴点の抽出が安定性を欠き、当該部分における特徴点の検出に誤差や誤検出が生じ易い。また、エッジ部分はマッチングに誤差やミスが生じ易く、三次元モデル化のための処理が上手くゆかないという問題もある。
【０００６】
この問題は、円形の回転台座を用いることで解決できる。しかしながら、円形の回転台座は、異なる視点から見た場合の形状の相違が顕著でないので、エッジに起因する理由とは別の理由で画像間のマッチングや点群データの位置合わせが困難になる問題が生じる。具体的には、回転台座の向きが特定できないので、最初の大よその位置合わせが難しく、上手くゆかない問題がある。
【０００７】
また、対象物を回転させつつ撮影を行ってステレオ画像を得る方法は、回転しない背景の扱いが問題となる。この背景画像は、ノイズとなる画像であり、またマッチングの障害となるので効果的に除去する必要がある。特許文献２の技術は、この問題の解決を目的とする技術であるが、対象物と背景の分離は十分でない。
【０００８】
また、画像に基づく三次元モデルの作成を行う場合、使用するカメラの外部標定要素（カメラの三次元座標と三軸の傾き）を求める処理が必要となるが、その作業は別途用意した正確な位置特定装置を用いた専門的で煩雑な作業が必要であり、それが植物の生育状態の三次元計測の障害となっていた。
【０００９】
このような背景において、本発明は、画像に基づく対象物の三次元モデルの作成を効率よくまた精度よく行う技術の提供を目的とする
【課題を解決するための手段】
【００１０】
請求項１に記載の発明は、回転が可能な回転台と、前記回転台の上に置かれた対象物を撮影するカメラとを備え、前記回転台は、水平な上面と鉛直な曲面を有し、軸方向から見た形状が点対称および線対称でない形状を有している三次元計測装置である。
【００１１】
請求項２に記載の発明は、請求項１に記載の発明において、前記回転台の上面および側面にはランダムドット模様が形成され、前記ランダムドット模様の色として、前記対象物の色と同系色が選択されていることを特徴とする。
【００１２】
請求項３に記載の発明は、請求項１または２に記載の発明において、前記カメラが撮影した写真画像における特定の点と対象となる領域の色強度の差Ｃ１と、前記特定の点と背景となる領域の色強度の差Ｃ２との大小関係に基づき、前記特定の点が抽出領域または背景領域のいずれであるかの判定を行う処理部と、前記抽出領域の輪郭をぼかした画像を作成する画像作成部と、前記抽出領域の輪郭をぼかした処理が行われた視点の異なる複数の画像に対して、対応点の特定を行う対応点特定部とを備えることを特徴とする。
【００１３】
請求項４に記載の発明は、異なる視点から対象物を撮影した複数の写真画像に基づき前記対象物の三次元計測を行う三次元計測装置であって、前記写真画像における特定の点と対象となる領域の色強度の差Ｃ１と、前記特定の点と背景となる領域の色強度の差Ｃ２との大小関係に基づき、前記特定の点が抽出領域または背景領域のいずれであるかの判定を行う処理部を備える三次元計測装置である。
【００１４】
請求項５に記載の発明は、請求項４に記載の発明において、Ｃ１＜Ｃ２の場合に、前記特定の点を抽出領域と判定し、Ｃ１＜Ｃ２でない場合に、前記特定の点を背景領域と判定することを特徴とする。請求項６に記載の発明は、請求項４または５に記載の発明において、前記抽出領域の輪郭をぼかした画像を作成する画像作成部を備えることを特徴とする。請求項７に記載の発明は、請求項６に記載の発明において、前記抽出領域の輪郭をぼかした処理が行われた視点の異なる複数の画像に対して、対応点の特定を行う対応点特定部を備えることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、画像に基づく対象物の三次元モデルの作成を効率よくまた精度よく行う技術が得られる。
【図面の簡単な説明】
【００１６】
【図１】実施形態の概要を示す斜視図である。
【図２】実施形態のブロック図である。
【図３】後方交会法の原理図（Ａ）および前方交会法の原理図（Ｂ）である。
【図４】対象物の撮影画像（Ａ）、背景を除去する処理を施した画像（Ｂ）および２値化マスクの画像（Ｃ）を示す図面代用写真である。
【図５】処理の手順の一例を示すフローチャートである。
【図６】処理の手順の一例を示すフローチャートである。
【図７】処理の手順の一例を示すフローチャートである。
【図８】処理の手順の一例を示すフローチャートである。
【図９】処理の手順の一例を示すフローチャートである。
【図１０】回転台の一例を示す上面図である。
【発明を実施するための形態】
【００１７】
１．全体の構成
図１には、植物１２０の三次元データを得るための３Ｄ計測システム１００が示されている。３Ｄ計測システム１００は、モータ等の駆動手段により回転する回転台１１０を備えている。回転台１１０は、第１の回転台部材１１１と第２の回転台部材１１２により構成されている。回転台１１０は、図示しないモータによりＺ軸（鉛直軸）を回転軸として回転する。第１の回転台部材１１１は、立方体１１１ａが結合した平たい四角柱の形状を有している。立方体１１１ａを備えることで、回転台１１０は、軸方向から見て、点対称および線対称でない形状、言い換えると回転軸に対する３６０°×ｎ（ｎ＝１，２，３・・）以外の回転に対して対称でない形状とされている。この形状とすることで、任意の回転角度における回転台１１０の向きを画像として把握し易いようにしている。
【００１８】
第１の回転部材１１１と第２の回転部材１１２は、その側面が鉛直面（Ｚ軸に平行な垂直面）で構成され、上面は水平面（Ｘ−Ｙ面）で構成されている。また、各部の寸法は予め測定され、既知のデータとして取得されている。こうすることで、ステレオ画像のマッチングを行う際や三次元点群データの位置合わせを容易、且つ、正確に行われるようにし、また、得られる三次元モデルにスケールが与えられるようにしている。
【００１９】
第１の回転台部材１１１の上には、第２の回転台部材１１２が固定されている。第２の回転台部材１１２は、軸方向の長さの短い円柱形状を有している。この円柱形状の軸中心が回転台１１０の回転軸となる。第２の回転台部材１１２の上面には、植物１２０が配置されている。植物１２０は、回転台１１０の回転中心に配置されている。植物１２０は、草木、野菜、果物等の植物として分類されるものであれば、その種類は限定されない。
【００２０】
第２の回転台部材１１２の側面は、円筒形状の外周面を構成する曲面（円筒外周面）とされている。回転台１１０の側面に周方向で閉じた鉛直曲面を設けることで、後述するステレオ画像間におけるマッチングミスを防いでいる。
【００２１】
回転台１１０の側面および上面（第１の回転台部材１１１および第２の回転台部材１１２の側面および上面）の全てには、ランダムドットパターンが形成されている。ランダムドットパターンは、回転台１１０におけるカメラ１３１，１３２，１３３から撮影される範囲の全ての部分に形成されている。
【００２２】
ランダムドットパターンは、ドットが規則性なくランダムに分布しているドットパターンである。ランダムドットパターンに関する技術は、例えば、特開平１１−３９５０５号公報、特開平１０−９７６４１号公報、電子情報通信学会研究報告．ＣＯＭＰ，コンビュテーション１１２（２４），５１−５８，２０１２−０５−０７等に記載されている。
【００２３】
ランダムドットパターンの色は、観察対象となる植物１２０と同系色のものが選択されている。この色の選択は、厳密なものではないが、なるべく近い色のものが選択される。例えば、植物１２０の色が緑系のみであれば、緑色のランダムドットパターンが選択される。
【００２４】
ところで、成長に従って色が変化する植物や途中で花が咲くとそれまでとは異なる色が出現する植物もある。また、葉、花、枝が異なる色を示す植物もある。このような場合、想定される色彩を混ぜてランダムドットパターンを設定する。例えば、葉の色が緑で花の色が赤の場合、緑のドットと赤のドットを混ぜたものをランダムドットパターンとして採用する。なお、異なる色のドットを用いる場合、異色のドットがなるべく分散するようにドットを配置する。
【００２５】
回転台１１０の上には、ターゲット１１３が複数（４〜８個程度）配置されている。ターゲット１１３は、識別し易い色や反射光沢を有する円形形状を有している。ターゲット１１３は、回転台１１０の回転位置に関係なく、カメラ１３１〜１３３の位置から常に最低３つ以上見えるようにその位置が調整されている。ターゲット１１３は、カメラ１３１〜１３３の外部標定要素（位置と姿勢）の算出あるいはスケールを与えられるために用いられる。複数のターゲット１１３の回転台１１０上における位置（座標）あるいは隣接するターゲット間の距離のどちらかは予め取得されており、既知なデータとされている。ターゲット１１３としてコード化ターゲットを用いることもできる。
【００２６】
回転台１１０の周囲には、カメラ１３１〜１３３が配置されている。カメラ１３１〜１３３は、回転台１１０に対して固定されており、回転する回転台１１０およびその上の植物１２０を特定の時間間隔で繰り返し撮影する。カメラの数は、少なくとも１台あればよいが、複数を配置し、植物１２０に対してなるべく死角が生じないようにその数と位置を設定することが望ましい。カメラ１３１〜１３３は、デジタルカメラであり、撮影した画像のデータ（画像データ）は、３Ｄ計測処理装置２００に送られる。
【００２７】
カメラ１３１〜１３３に写る回転台１１０および植物１２０の背景は、植物１２０の色とは異なる色のシートや布で覆い、回転台１１０および植物１２０と背景とを色彩で識別できるように設定されている。背景の色は、モノトーンとすることが望ましい。例えば、植物１２０が緑系の色の場合、背景は青、黄色、黒、白といった植物１２０とは異なるモノトーンの色とする。
【００２８】
２．演算装置
３Ｄ計測処理装置２００は、カメラ１３１〜１３３が撮影した画像のデータに対して、対象物（植物１２０と回転台１１０）と背景とを分離する処理、更に植物１２０の三次元モデル化の処理を行う。また、３Ｄ計測処理装置２００は、回転台１１０の回転制御およびカメラ１３１〜１３３の動作制御を行う。
【００２９】
３Ｄ計測処理装置２００は、ＣＰＵ、メモリデバイス、各種のインターフェースを備えたコンピュータであり、汎用あるいは専用のハードウェアによって構成することができる。３Ｄ計測処理装置２００を構成する汎用のハードウェアとしては、ＷＳ（ワークステーション）やＰＣ（パーソナルコンピュータ）が挙げられる。これらコンピュータに３Ｄ計測処理装置２００の機能を実現する動作プログラムをインストールし、後述する各機能部の機能をソフトウェア的に実現する。この例では、３Ｄ計測処理装置２００として汎用のＰＣを利用している。
【００３０】
なお、３Ｄ計測処理装置２００の一部または全部を専用の演算回路によって構成してもよい。また、ソフトウェア的に構成された機能部と、専用の演算回路によって構成された機能部を組み合わせてもよい。
【００３１】
例えば、図示する各機能部は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）に代表されるＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）などの電子回路により構成される。また、一部の機能を専用のハードウェアで構成し、他の一部を汎用のマイコンにより構成することも可能である。
【００３２】
各機能部を専用のハードウェアで構成するのか、ＣＰＵにおけるプログラムの実行によりソフトウェア的に構成するのかは、要求される演算速度、コスト、消費電力等を勘案して決定される。なお、機能部を専用のハードウェアで構成することとソフトウェア的に構成することとは、特定の機能を実現するという観点からは、等価である。
【００３３】
３Ｄ計測処理装置２００は、画像データ受付部２１０、２値化マスク作成部２２１、背景色差画像作成部２２２、２値化マスクによる背景除去部２２３、ターゲット検出部２４０、外部標定要素算出部２４５、特徴点抽出部２５０、対応点特定部２６０、三次元座標算出部２７０、三次元モデル作成部２８０、記憶部２９０、回転制御部２９５、撮影タイミング制御部２９６を備える。また、３Ｄ計測処理装置２００は、外部の機器との間でデータのやり取りを行うインターフェース機能、操作者による操作を受け付けるユーザインターフェース機能を有する。これらは、利用するＰＣのインターフェースを利用している。画像データ受付部２１０は、カメラ１３１〜１３３が撮影した画像のデータ（画像データ）を受け付け、３Ｄ計測処理装置１００の内部に取り込む。
【００３４】
２値化マスク作成部２２１は、原画像（カメラが撮影した画像）または後述する背景色差画像に基づいて、処理の対象となる画像に対して抽出領域を抽出し、背景領域をマスク（遮蔽）する２値化マスクを作成する。ここで抽出領域は、点群データの取得の対象となる領域（対象物の領域）であり、この場合は回転台１１０と植物１２０の画像の領域である。背景領域は、回転台１１０と植物１２０の背景となる回転しない部分が写っている領域である。以下、２値化マスクを作成する手順について説明する。
【００３５】
まず利用するパラメータを以下のように定義する。
Ｃ（Ｐ）：対象となる画素の色強度
Ｃｏｂｊ ：基準となる対象物の画像の画素における色強度
Ｃｂｇ ：基準となる背景の画像の画素における色強度
【００３６】
ここで、画素はカラー画像を構成する最小要素であり、特定の強度を有したＲＧＢの色素要素を含んでいる。対象物は、観察対象の対象物となる植物１２０と、この植物１２０が置かれた回転台１１０である。背景は、植物１２０と回転台１１０以外の回転しない部分である。背景は、黒や青といった対象物（植物１２０と回転台１１０）とは異なる色の布等で覆われ、画像として対象物と識別し易いようにしている。背景の色は、モノトーンで、且つ、対象物と異なる色が選択される。
【００３７】
Ｃｏｂｊは、対象物（植物１２０および回転台１１０）が写っている領域の色の強度として予め指定されている。色の種類は、対象物の色に応じて選択される。色の種類を増やした方が、精度は高くなるが、演算の負担は増加する。例えば、対象となる植物が杉の場合、Ｃｏｂｊを取得する色として、緑色（葉の部分）、茶色（枝の部分）、灰色（鉢の部分）・・・・が選択される。また例えば、対象となる植物がイチゴの場合、Ｃｏｂｊを取得する色として、赤色（果実の部分）、緑色（葉の部分）、茶色（鉢の中の土の部分）・・・・が選択される。なお色の強度は、予め定めておいた値もしくは画像中の色を選択して採用する。
【００３８】
Ｃｂｇは、対象物（植物１２０および回転台１１０）の背景の色の強度として予め指定されている。色の種類は、背景の色の設定に応じて選択される。色の種類を増やした方が、精度は高くなるが、演算の負担は増加する。例えば、背景が青に設定されている場合、Ｃｂｇを取得する色として、青、照明やシェーディングの影響による明るい青や濃い青が選択される。また例えば、背景が黒に設定されている場合、Ｃｂｇを取得する色として、黒、明るい黒、濃い黒が選択される。なお、色の強度は、予め定めておいた値が採用される。
【００３９】
ここで、Ｃ（Ｐ），Ｃｏｂｊ ，Ｃｂｇを用いて下記数１からｄｏｂｊとｄｏｂｊが算出される。
【００４０】
【数１】
2018197685.tif 000003
【００４１】
そして、下記数２からａｖｅｏｂｊとａｖｅｂｇが算出される。
【００４２】
【数２】
2018197685.tif 000004
【００４３】
ａｖｅｏｂｊは、予め指定された色に関して、判定の対象となる画素と、基準となる植物１２０および回転台１１０が写っている領域との間の平均色差、すなわち判定の対象となる画素と、抽出すべき対象が写っている領域との色の強度の差の平均値である。なお、ｗとｈは、１６×１６画素といった局所領域が選択される。局所領域の大きさは、これに限定されず１０×１０画素や２１×２１画素といったものも選択可能である。
【００４４】
ａｖｅｂｇは、予め指定された色に関して、判定の対象となる画素と、植物１２０および回転台１１０が写っていない背景の領域との間の平均色差、すなわち判定の対象となる画素と、抽出すべきでない背景が写っている領域との色の強度の差の平均値である。
【００４５】
ここで、ａｖｅｏｂｊ＜ａｖｅｂｇであれば、着目した画素（Ｃ（Ｐ）を取得した画素）が対象物（植物または回転台）の画像を構成する画素であると判定される。すなわち、抽出の対象と判定される。
【００４６】
また、ａｖｅｏｂｊ＜ａｖｅｂｇでない場合（ａｖｅｏｂｊ≧ａｖｅｂｇの場合）、着目した画素（Ｃ（Ｐ）を取得した画素）が背景の画像を構成する画素、すなわち抽出の対象でないと判定される。
【００４７】
例えば、判定の対象となる画素が対象物（植物１２０または回転台１１０）の画素である場合を考える。この場合、Ｃ（Ｐ）とＣｏｂｊの差は相対的に小さく、Ｃ（Ｐ）とＣｂｇの差は相対的に大きい。よって、（Ｃ（Ｐ）−Ｃｏｂｊ）２＜（Ｃ（Ｐ）−Ｃｂｇ）２であり、ａｖｅｏｂｊ＜ａｖｅｂｇとなる。よって、ａｖｅｏｂｊ＜ａｖｅｂｇの場合、着目した画素（Ｃ（Ｐ）を取得した画素）が対象物を構成する画素と判定される。
【００４８】
逆に、判定の対象となる画素が背景（植物１２０と回転台１１０以外）の画素である場合、Ｃ（Ｐ）とＣｏｂｊの差は相対的に大きく、Ｃ（Ｐ）とＣｂｇの差は相対的に小さい。よって、（Ｃ（Ｐ）−Ｃｏｂｊ）２≧（Ｃ（Ｐ）−Ｃｂｇ）２であり、ａｖｅｏｂｊ≧ａｖｅｂｇとなる。よって、ａｖｅｏｂｊ≧ａｖｅｂｇの場合（ａｖｅｏｂｊ＜ａｖｅｂｇでない場合）、着目した画素（Ｃ（Ｐ）を取得した画素）が背景を構成する画素と判定される。
【００４９】
上記の判定の結果を受け、対象物を構成する画素と判定された画素を抽出し、背景を構成する画素と判定された画素はマスクされ黒色表示に変換されるフィルタを作成する。このフィルタが２値化マスクとなる。
【００５０】
被処理対象画像を２値化マスクで処理すると、２値化マスク上の抽出領域は被処理対象画像がそのまま残る（画像として透過）。他方において、背景と判定された被処理対象画像の領域はマスクされ黒表示となる。図４（Ａ）には、背景除去の処理を行っていない原画像の一例が示されている。図４（Ｂ）には、図４（Ａ）の原画像に対して上述した２値化マスクを用いて背景を除去した背景除去画像の一例が示されている。ここで、原画像を処理の対象とする場合は、当該原画像に基づき作成された２値化マスクが用いられる。なお、２値化マスクの作成に際しては、抽出領域の膨張（拡張）処理、すなわち抽出領域の外縁を少し広げる処理を施す。こうすることで、抽出すべき対象物の輪郭が確実に抽出されるようにする。これは、被処理対象の画像が原画像である場合も背景色差画像である場合も同じである。なお、膨張させる距離は、対象や撮影条件（撮影分解能）によるが、数画素〜１０画素程度とする。
【００５１】
図４（Ｃ）には、図４（Ａ）の原画像に基づく２値化マスク（図４（Ｂ）の画像を得るために利用した２値化マスク）を画像として見た場合の一例が示されている。図４（Ｃ）において、白い部分はスルーとなる部分で対象画像がマスクされず画像が抽出される部分であり、黒い部分は対象画像がマスクされる（抽出されない）部分である。
【００５２】
背景色差画像作成部２２２は、原画像に基づき背景色差画像を作成する。この処理では、原画像に対する上述したａｖｅｏｂｊ＜ａｖｅｂｇの判定において、抽出領域と判定された領域はそのまま残し、背景領域と判定された画素を、当該画素を含む局所領域（例えば、当該画素を含む１６×１６画素の領域）の平均色の色（局所的背景選択色）に変換する。この処理により背景が除去された画像が得られる。
【００５３】
背景色差画像は、原画像に比較して対象領域の輪郭部分がぼやける。すなわち、背景色差画像では、対象物の画像の輪郭がエッジの立った（エッジ部分で急に画像がなくなる）表示ではなく、徐々に画素の強度が変化する諧調がある状態となる。これは、背景と判定された画素の表示を局所領域の平均色に変換しているからである。
【００５４】
例えば、対象物が緑で背景が青の場合を考える。この場合、緑の画素に隣接または近接する青の画素（背景と判定される画素）は、１６×１６画素程度の局所領域の平均色に変換されるので、緑の成分も含み、それは対象物に近い程顕著になる。よって、対象物と背景とは明確な輪郭で分離されず、ある程度の緩やかさを持って画素表示が徐々に変化し、対象物の輪郭がぼやけたものとなる。
【００５５】
２値化マスクを用いた背景除去部２２３は、処理の対象となる画像を上述した２値化マスクで処理し、背景の除去を行う。処理の対象となる画像は、原画像または後述する背景色差画像である。ここで、原画像を処理の対象とする場合に利用する２値化マスクは、原画像に基づく２値化マスクを用い、背景色差画像を処理の対象とする場合に利用する２値化マスクは、背景色差画像に基づく２値化マスクを用いる。
【００５６】
以下、原画像を２値化マスクで処理した背景除去画像を背景除去画像１と呼び、背景色差画像を２値化マスクで処理した背景除去画像を背景除去画像２と呼ぶ。
【００５７】
背景除去画像２は、背景色差画像を作成する処理に加えて、背景色差画像に基づく２値化マスクを作成する処理が必要となるので、背景除去画像１を得る場合に比較して演算量が多くなる。この意味で背景除去画像１は、処理速度の点で有利である。しかしながら、背景除去画像１は対象物によってはステレオマッチングの処理時に障害が生じ易いというデメリットがある。
【００５８】
本明細書で開示する技術では、異なる視点から撮影した対象物（植物１２０と回転台１１０）の画像のステレオマッチング（対応関係の特定）を行うことが重要である。このステレオマッチングの際、エッジの際立った画像は、マッチングミスが生じ易い。これはデジタル処理では、データが不連続になる部分でエラーが生じ易いからである。
【００５９】
上記の輪郭に起因するマッチングミスは、対象物に大きく左右される。例えば、植物としてイチゴを選択した場合、輪郭に起因するマッチングミスはそれほど顕著でない。よって、イチゴは背景除去画像１でもマッチングミスはあまり問題とならない（勿論、撮影環境が悪い場合等の要因でマッチングミスが問題となる場合もある）。他方で、杉のような葉が細かい植物では、輪郭に起因するマッチングミスが顕著になる傾向がある。このため、杉のような植物は、背景除去画像２を利用するのが好ましい。
【００６０】
すなわち、背景除去画像１では、対象物によっては、画面中における画像の輪郭における画素強度の変化が急峻となる割合が高く、上述したマッチングミスが生じる可能性が高い。つまり、背景除去画像１は、演算の負担が少なく、処理速度が速いが、対象物によってはステレオマッチングにおいてエラーが生じ易い。
【００６１】
他方で、背景除去画像２は、背景色差画像を作成する処理と、２値化マスクを作成する処理が必要であり、処理速度の点で不利であるが、輪郭がぼやけているので、輪郭に起因するマッチングエラーが生じ難く、ステレオマッチングが行い易い。
【００６２】
以下、この点について更に説明する。上述したように、背景色差画像では、対象物の輪郭はぼやけている。この背景色差画像を基に２値化マスクを作成すると、抽出領域（透過領域）と除去領域（遮蔽領域）の境界は、上記の輪郭のぼやけた領域に含まれる。よって、当該２値化マスクで抽出される対象物の輪郭はぼやけ、ステレオマッチングが行いやすい画像となる。
【００６３】
ところで、背景色差画像は、背景を除去する効果に劣り、背景の画像が除去しきれず残る欠点がある。背景が残ると、背景から抽出される特徴点に起因するマッチングミスが生じ易くなる。この点、背景除去画像２は、２値化マスクに通すことで、背景が効果的に除去されているので、背景に起因するマッチングエラーは生じ難く、対象物の輪郭がぼやけていることに起因するステレオマッチングのし易さの優位性が損なわれない。また、背景がノイズとなる問題が抑えられる。
【００６４】
背景色差画像に用いる２値化マスクとして、原画像に基づく２値化マスクを用いることもできる。この場合、少し余裕をもって抽出領域の膨張処理を行い、諧調表示部分（輪郭のぼけた部分）が確実に抽出されるようにする。
【００６５】
ターゲット検出部２４０は、カメラ１３１〜１３３が撮影した画像に写ったターゲット１１３を検出する。予めターゲット１１３の画像は取得されており、それをリファレンスとして撮影画像中からターゲット１１３の抽出が行なわれる。
【００６６】
外部標定要素算出部２４５は、撮影画像中の特徴点（特徴点抽出部２５０が抽出した特徴点）を利用して、図１のカメラ１３１〜１３３の外部標定要素（位置と姿勢）を後方交会法により算出する。図３（Ａ）には、後方交会法の原理が示されている。後方交会法とは、未知点から３つ以上の既知点へ向かう方向を観測して、それらの方向線の交点として未知点の位置を定める方法である。後方交会法としては、単写真標定、ＤＬＴ法（Ｄｉｒｅｃｔ Ｌｉｎｅｒ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ  Ｍｅｔｈｏｄ）が挙げられる。交会法については、基礎測量学（電気書院：２０１０／４発行）ｐ １８２，ｐ１８４に記載されている。また、特開２０１３−１８６８１６号公報には交会法に関して具体的な計算方法の例が示されている。
【００６７】
以下、後方交会法を用いて外部標定要素を求める方法について説明する。まず、後方交会法について説明する。例えば、図３（Ａ）のＰ１〜Ｐ３が、座標が特定された基準点であるとする。ｐ１〜ｐ３は、基準点Ｐ１〜Ｐ３の着目している画像中における画面座標値である。ここで、Ｐ１とｐ１、Ｐ２とｐ２、Ｐ３とｐ３を結ぶ３つの方向線を設定すると、その交点Ｏが当該画像を撮影したカメラの位置となる。また、点Ｏと画面の中心を結ぶ方向線の延長方向がカメラ１３２の向き（姿勢）となる。またここで、Ｐ１とＰ２の間の実寸法が与えられれば、カメラの位置および姿勢の利用している座標系における実際の値が求まる。
【００６８】
以下、具体的な計算の一例を説明する。この場合、回転台１００の鉛直面上および水平面上の多数の特徴点が、図３（Ａ）のＰ１〜Ｐ３に対応する点となり、図３（Ａ）の原理により、カメラ１３１〜１３３の外部標定要素（位置と姿勢）が求まる。この際、複数あるターゲット１１３の間の距離が予め取得されているので、算出された外部標定要素に実スケールが付与される。実スケールの与え方としては、回転台１１０を構成する第１の回転部材１１１の辺の長さを予め取得しておき、そこから与える方法、スケール表示を回転台１１０の上面に表示させておく方法等がある。
【００６９】
このカメラ１３１〜１３３の外部標定要素の算出の際、回転台１１０の外周が水平面と鉛直面により構成されていることは重要である。以下この点について説明する。カメラ１３１〜１３３の外部標定要素の算出に利用される点（特徴点）は、回転台１１０外面の特徴部分（主に縁の部分）とランダムドットパターンである。これらは、水平面上および鉛直面上にある。よって、多数の特徴点の相対位置関係は、シンプルであり、また回転台１１０上に設定されたローカル座標系上で特定の位置関係にある。
【００７０】
利用する特徴点は多数あるので、各カメラの外部標定要素を算出するための数式は、多数の行列要素を有した計算式となる。ここで、上述したように、各特徴点は水平面上および鉛直面上にあるので、各特徴点の関係は相関性が高く、計算が収束し易い。このため、各カメラの外部標定要素の算出速度および算出精度は高く、また演算のエラーは発生し難い。仮に、回転台１１０が鉛直面および水平面でない面を有し、その面積の割合が比較的多い場合、その面から取得される特徴点の影響で計算が収束し難く、また計算の途中でエラーが発生する可能性が高くなる。
【００７１】
カメラの外部標定要素は、基準点（この場合は、ターゲット１１３）を利用して算出することもできる。この場合、図３（Ａ）の点Ｐ１〜Ｐ３がターゲット１１３の位置として選択される。ターゲット１１３を用いる場合、回転台１１０上におけるターゲット１１３の位置を予め取得しておく必要がある。また、１枚の撮影画像中でターゲット１１３が３つ以上写っている必要がある。
【００７２】
特徴点抽出部２５０は、カメラ１３１〜１３３が撮影した画像の中から特徴点を抽出する。特徴点は、周囲から区別できる点であり、例えば、エッジ部分、更には周囲と色彩や明度が異なっている部分等が特徴点として抽出される。特徴点の抽出は、ソフトウェア処理により行われる。特徴点の抽出には、ソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタが用いられる。
【００７３】
対応点特定部２６０は、異なる視点から撮影した２枚以上の画像中でそれぞれ個別に抽出された特徴点の対応関係を特定する。すなわち、一方の画像中で抽出された特徴点と同じ特徴点を他方の画像中で特定する処理を行う。この特徴点の対応関係を特定する処理は、例えば、Ｆｅａｔｕｒｅ−Ｂａｓｅｄ（特徴抽出）法としてのＳＩＦＴやＳＵＲＦ、Ｋａｚｅ、……やＡｒｅａ‐Ｂａｓｅｄ（面積相関）法としてのテンプレートマッチングを用いて行われる。テンプレートマッチングとしては、残差逐次検定法（ＳＳＤＡ：Ｓｅｑｕｅｎｔｉａｌ  Ｓｉｍｉｌａｒｉｔｙ  Ｄｅｔｅｃｔｉｏｎ  Ａｌｇｏｒｉｔｈｍ）、相互相関係数法などが挙げられる。またこの対応点特定部２６０は、二つの三次元点群データがある場合に、点群の位置合わせのための点の対応関係を特定する。この処理にはＩＣＰ（Ｉｔｅｒａｔｉｃｅ  Ｃｌｏｓｅｄ  Ｐｏｉｎｔ）法などを利用する。
【００７４】
対応点の特定は、段階的に行われる。この例では、まず回転台１１０の向き（回転角度位置）を形状的に特定するための立方体１１１ａを用いて、画像中に写った、あるいは点群中の回転台１１０の向き（角度位置）が特定される。これが大まかな初期設定、すなわちステレオ画像や点群データを構成する２枚の撮影画像中や２つの点群データ中における回転台１１０の大よその位置合わせとなる。その後に詳細なマッチングや点群データ同士の位置合わせが行われる。こうすることで、無闇に足がかり無くマッチングや点群データの位置合わせを行う場合に比較して、その効率と精度を飛躍的に高めることができる。対応点の特定は、基本２枚の画像や２つの点群を対象に行われるが、３枚以上の画像や３つ以上の点群データを対象とすることで、対応関係の特定精度をより高めることができる。
【００７５】
複数の画像間の対応関係を求める技術については、例えば特開２０１３−１７８６５６号公報や特開２０１４−３５７０２号公報に記載されている技術を利用することができる。なお、特開２０１３−１７８６５６号公報や特開２０１４−３５７０２号公報には、特徴点の抽出に係る技術、特徴点の三次元位置を求める技術についても記載されており、これらの技術は、本願明細書中で説明する技術に利用できる。
【００７６】
三次元座標算出部２７０は、特徴点抽出部１５０が画像中から抽出した特徴点の三次元位置の算出を前方交会法により算出する。対象物を構成する多数の特徴点の三次元位置を算出することで、当該対象物を三次元座標が特定された点の集合として把握可能な点群位置データが得られる。更には、この点群位置データに基づき三次元モデルを作成することができる。
【００７７】
図３（Ｂ）には、前方交会法の原理が示されている。前方交会法では、既知の複数点（図３（Ｂ）の場合は、Ｏ１とＯ２の２点）から未知点Ｐへ向かう方向を観測して、それらの方向線の交点として未知点Ｐの位置を求める。
【００７８】
以下、一例を挙げて三次元座標算出部２７０における処理の一例を説明する。まず、回転台１１０を回転させつつ異なるタイミングで撮影した第１の画像と第２の画像を考える。この第１の画像と第２の画像の組をステレオ画像（あるいはステレオ写真画像）という。この際、カメラが固定されていても回転台１１０が回転するので、第１の画像と第２の画像は、対象物を異なる角度（異なる視点）から撮影したものとなる。すなわち、第１の画像は、第１の視点からの撮影画像となり、第２の画像は、第１の視点と異なる第２の視点からの撮影画像となる。
【００７９】
ここで、Ｐが第１の画像と第２の画像において共通に写っている特徴点（両画像で対応する特徴点）、Ｏ１が第１の画像の視点（撮影位置）、Ｏ２が第２の画像の視点（撮影位置）、ｐ１が特徴点Ｐの第１の画像中における画面座標、ｐ２が特徴点Ｐの第２の画像中における画面座標となる。この場合、Ｏ１とｐ１を結ぶ方向線を設定し、他方でＯ２とｐ２を結ぶ方向線を設定し、この２つの方向線の交点の座標を算出することで、特徴点Ｐの三次元座標を算出することができる。ここでは、異なる視点から撮影した２枚の画像を用いる場合を説明したが、それぞれ異なる視点から対象物を撮影した３枚以上の画像を用いて前方交会法により特徴点Ｐの座標を算出することもできる。この場合、更に別の視点Ｏ３、Ｏ４・・・が追加され、点Ｐの座標が算出される。
【００８０】
三次元モデル作成部２８０は、多数の撮影画像を解析することで得られた三次元点群位置データに基づいて三次元モデルを作成する。例えば、得られた多数の特徴点の三次元座標からなる三次元点群位置データを用いてｔｉｎ（不整三角形網）を作成し、撮影対象物の三次元モデルの作成が行われる。この際、複数のターゲット１１３により三次元モデルの実寸法が与えられる。点群位置データに基づいて三次元モデルを作成する技術に関しては、例えば、ＷＯ２０１１／０７０９２７号公報、特開２０１２−２３０５９４号公報、特開２０１４―３５７０２号公報に記載されている。利用する三次元座標系としては、回転台１１０の特定の部分を原点としたローカル座標が用いられる。
【００８１】
記憶部２９０は、３Ｄ計測処理装置２００で利用される各種のデータ、動作プログラム、動作の結果得られた各種のデータ等を記憶する。記憶部１９０の他に外部の記憶装置（外付けハードディスク装置やデータ記憶用サーバ等）を用いることも可能である。
【００８２】
回転制御部２９５は、回転台１１０を回転させるモータ（図示せず）を駆動するモータ駆動装置１４０に制御信号を送り、モータの動作制御を行う。回転制御部２９５の機能により、回転台１１０の回転のタイミングや回転速度の設定が行われる。
【００８３】
撮影タイミング制御部２９６は、カメラ１３１，１３２，１３３に制御信号を送り、撮影動作の制御を行う。すなわち、カメラ１３１，１３２，１３３は、撮影タイミング制御部２９６に制御されて、回転する回転台１１０およびその上に配置された植物１２０の撮影を行う。例えば、回転台１１０を１０回転／分の回転速度で回転させ、その際にカメラ１３１，１３２，１３３のそれぞれは、６秒間隔で繰り返し静止画像の撮影を行う。
【００８４】
例えば、カメラ１３１に着目する。この場合、回転台１１０を回転させながら、カメラ１３１は、特定の間隔で植物１２０の撮影を繰り返し行う。この際、Ｎ回目に撮影された画像（第１の画像）とＮ＋１回目に撮影された画像（第２の画像）とを比較すると、その間に回転台１１０が回転しているので、第１の画像と第２の画像とは、視点の位置を変えて撮影したステレオ画像となる。こうして、回転台１１０を回転させながら、撮影を繰り替えし行うことで、徐々に視点を変更しつつ植物１２０を撮影し、多数のステレオ画像が得られる。
【００８５】
３．処理の一例
以下、回転台１１０上の植物１２０の点群データを得、更に三次元モデルを作成する処理の一例を説明する。以下の処理は、３Ｄ計測システム１００を用いて行われる。以下に説明する処理（図５〜図９の処理）を実行するプログラムは、記憶部２９０に記憶され、３Ｄ計測処理装置２００によって実行される。当該プログラムは、適当な記憶媒体や記憶サーバ等に記憶され、そこから提供される形態も可能である。
【００８６】
（全体の処理の流れ）
以下の説明では、植物１２０として緑色の色彩を示す植物を対象とする場合の例を説明する。まず、全体の処理の流れを簡単に説明する。図５には、全体の処理の概要が示されている。まず、撮影を行う（ステップＳ１００）。撮影は、観察対象の植物１２０を載せた回転台１１０を回転させながら、特定の間隔でカメラ１３１〜１３３により行う。撮影は、例えば、回転台１１０が等速で１回転する間に等時間間隔で７２枚の静止画像が撮影される条件、すなわち５°異なる角度から植物１２０を７２回撮影する条件で行う。７２枚×３＝２１６枚の撮影画像の画像データは、３Ｄ計測処理装置２００に送られ、画像データ受付部２１０で受け付けられる。画像データ受付部２１０で受け付けられた画像データは、記憶部２９０に記憶される。撮影（回転）角度は、植物や取得したい点群密度によって任意に設定できる。
【００８７】
植物１２０を撮影した画像データを得たら、各撮影画像から背景（植物１２０および回転台１１０以外の回転していない背景の画像）を除去する処理を行う（ステップＳ２００）。ステップＳ２００の背景除去には２つの方法がある。第１の方法は、原画像を２値化マスクに通し、背景を除去する方法である。第２の方法は、背景色差画像を作成し、更にこの背景色差画像を２値化マスクで処理する方法である。なお、利用する２値化マスクに関して、原画像に対しては、当該原画像に基づく２値化マスクを用い、背景色差画像に対しては、当該背景色差画像に基づく２値化マスクを用いる。
【００８８】
通常は第１の方法が利用され、撮影環境が悪い場合や対象によっては第２の方法を利用する。第２の方法の方がロバスト性が高く、三次元データ化し難い植物や撮影環境が悪い場合でも有効である。背景の除去は、全ての撮影画像に対して行われる。ステップＳ２００の詳細については後述する。
【００８９】
撮影画像から背景を取り除いたら、対象物（植物１２０と回転台１１０）の画像に基づく点群データの作成を行う（ステップＳ３００）。この処理の詳細については後述する。
【００９０】
対象物の点群データを得たら、当該点群データに基づく三次元モデルの作成を行う（ステップＳ４００）。こうして、撮影画像に基づく植物１２０の三次元モデルを得る。
【００９１】
（２値化マスクの作成）
以下、図５のステップＳ２００で行われる背景除去の処理について説明する。まず、２値化マスクの作成について説明する。図６には、２値化マスクの作成手順の一例が示されている。この処理は、２値化マスク作成部２２１において行われる。２値化マスクは、当該マスクを適用する画像（原画像または背景色差画像）に基づいて作成される。まずこの処理では、２値化マスクの適用対象となる画像（原画像または背景色差画像）が選択され、この画像の中から対象となる画素が選択される（ステップＳ２１１）。ついで、当該画素に関してａｖｅｏｂｊとａｖｅｂｇが計算され（ステップＳ２１２）、更にａｖｅｏｂｊ＜ａｖｅｂｇであるか否かの判定が行われる（ステップＳ２１３）。
【００９２】
ここで、ａｖｅｏｂｊ＜ａｖｅｂｇであれば、当該画素を対象として抽出する設定とし（ステップＳ２１５）、そうでなければ当該画素をマスクする（抽出しない）設定とする。以上の処理を全ての画素に対して行うことで、２値化マスクが作成される。
【００９３】
（背景色差画像の作成）
図７には、背景色差画像を作成する手順の一例が示されている。背景色差画像の作成は、背景色差画像作成部２２２において行われる。この処理では、まず被処理対象の画像から対象となる画素が選択される（ステップＳ２２１）。ついで、当該画素に関してａｖｅｏｂｊとａｖｅｂｇが計算され（ステップＳ２２２）、更にａｖｅｏｂｊ＜ａｖｅｂｇであるか否かの判定が行われる（ステップＳ２２３）。
【００９４】
ここで、ａｖｅｏｂｊ＜ａｖｅｂｇであれば、当該画素を対象として抽出する設定とし（ステップＳ２２５）、そうでなければ当該画素を当該画素を含む１６×１６画素といった局所領域の平均色に変換する（Ｓ２２４）。以上の処理を全ての画素に対して行い背景色差画像を作成する。
【００９５】
（２値化マスクを用いた背景除去）
図８には、２値化マスクを用いた背景除去の処理の手順の一例が示されている。まず、処理の対象となる画像を選択する（ステップＳ２３１）。処理の対象となる画像は、原画像または背景色差画像である。処理対象の画像を選択したら、２値化マスクを用いた背景除去処理を行い（ステップＳ２３２）、背景処理を行った画像を取得する（ステップＳ２３３）。２値化マスクを用いた背景の除去処理では、対象となる画像が原画像の場合は、この原画像に基づく２値化マスクを用い、対象となる画像が背景色差画像の場合は、この背景色差画像に基づく２値化マスクを用いる。
【００９６】
（点群データの作成）
以下、図５のステップＳ３００の処理、すなわち背景を除去した撮影画像から対象物（植物１２０と回転台１１０）の点群データを作成する処理について説明する。図９には、点群データを作成する処理の手順を示すフローチャートが示されている。なお、点群データの作成は、カメラ１３１〜１３３毎に個別に、または統合して行われる。個別の場合は、カメラ１３１の撮影画像から得られた点群データ、カメラ１３２の撮影画像から得られた点群データ、カメラ１３３の撮影画像から得られた点群データが得られる。
【００９７】
この処理では、まず立体画像を構成する２枚ステレオ画像を選択する（ステップＳ２４１）。ステレオ画像は、異なる視点から撮影対象が重複するように撮影を行った２枚の写真画像である。ここで、ステレオ画像は、背景が除去され対象物（回転台１１０と植物１２０）の画像が抽出された撮影画像、すなわち原画像を２値化マスクで処理した画像、または背景色差画像を２値化マスクで処理した画像から選択される。なお、図３（Ｂ）に関連して説明したように、異なる視点から撮影した３枚以上の画像を用いて点群データを作成すると、更に位置精度の高い点群データが得られるが、ここでは基本的な２枚の写真画像を用いる場合を説明する。
【００９８】
ステレオ画像を選択したら、ステレオ画像を構成する２枚の画像中から特徴点の抽出を行う（Ｓ２４２）。この処理は、図２の特徴点抽出部２５０で行われる。特徴点を抽出したら、ターゲット１１３を検出する（ステップＳ２４３）。この処理は、ターゲット検出部２４０によって行われる。特徴点を抽出し、またターゲット１１３を抽出したら、複数の特徴点、およびターゲット１１３の間隔から得られるスケールを用いて各カメラの外部標定要素（位置と姿勢）の算出を行う（ステップＳ２４４）。この処理は、外部標定要素算出部２４５において、図３（Ａ）に原理を示す後方交会法を用いて行われる。
【００９９】
この例では、回転台１１０上の特定の点（例えば、回転台部材１１２上面の回転中心の点）を原点とするローカル座標（三次元直交座標）が設定され、この座標系上で外部標定要素が算出される。また、特徴点の位置の座標もこの座標系を用いて記述される。
【０１００】
次に、この段階で選択しているステレオ画像間における特徴点の対応関係の特定（ステレオマッチング）を行う（ステップＳ２４５）。この処理は、対応点対応部２６０で行われる。ステレオ画像間における特徴点の対応関係を特定したら、図３（Ｂ）に示す原理により、各特徴点の位置（三次元座標位置）を求める（ステップＳ２４６）。この処理は、三次元座標算出部２７０で行われる。
【０１０１】
以下、ステレオ画像中で対応関係が特定された特徴点の位置を求める処理について簡単に説明する。まず、図３（Ｂ）に示す点Ｐがステレオ画像を構成する２つの画像の間で対応関係が特定された特徴点の一つだとする。ここで、特徴点Ｐの座標（位置）は未知であるが、２つの画像間で特徴点Ｐの対応関係が特定されているので、２つの画像における画面座標ｐ１とｐ２は既知である。また、カメラの外部標定要素（Ｏ１，ｋ１，φ１，ω１とＯ２，ｋ２，φ２，ω２）は、ステップＳ２４４において算出されている。したがって、Ｏ１とｐ１を通る方向線とＯ２とｐ２を通る方向線を算出し、その交点を求めることで、特徴点Ｐの座標が算出される。この処理をステレオ画像中で対応関係が特定された全ての特徴点に対して行うことで、ステレオ画像に写った対象物の点群データが得られる。
【０１０２】
例えば、時間軸上で隣接する画像として、画像Ａ，画像Ｂ，画像Ｃ・・・があるとする。この場合、画像Ａと画像Ｂでステレオ画像を構成し、画像Ｂと画像Ｃでステレオ画像を構成し、画像Ｃと画像Ｄでステレオ画像を構成し、・・・とした上で上述した点群データの算出を行うことで対象物の点群データが得られる。
【０１０３】
この点群データは、カメラ１３１，１３２，１３３毎に得られる。なお、カメラ毎に得られた点群データは、同じ座標系上で記述されているので、簡単に統合できる。
【０１０４】
（三次元モデルの作成）
点群データを得たら、三次元モデル作成部２８０において植物１２０の三次元モデルの作成を行う。
【０１０５】
（回転台の除去）
回転台１１０の三次元モデルは不要なので、除去してもよい。回転台１１０は、水平面と鉛直面により構成されているので、閾値以上の広がりを有する水平面と垂直面のデータを除去することで、回転台１１０を排除した植物１２０の三次元モデルが得られる。この処理は、点群データの段階で行うこともできる。
【０１０６】
（優位性）
回転台１１０は回転軸に対して非対称な形状であるので、ステレオマッチングや点群データ同士の位置合わせの際に、対象物（回転台１１０＋植物１２０）の概略の位置合わせが容易である。そのため、演算の負担が減少し、また演算ミスおよび演算誤差の発生が抑えられる。
【０１０７】
仮に、回転台１１０が回転軸（Ｚ軸）に対して対称な形状の場合、形状を利用したマッチング（２枚の写真画像中における特徴点の対応関係の特定）や位置合わせ（２つの点群データ間における位置合わせ）の初期における概略の位置が合った状態が複数パターン存在する。この場合、ステレオマッチングや位置合わせに係る演算の処理条件の設定が誤りとなり、ある程度演算が進んだ段階でエラーとなったり収束しない可能性がある。対象となるステレオ画像や点群データは多数あるので、上述のようなエラーは、演算時間の増加および不要な演算を招き、実用性が著しく低下する。図１の回転台１１０は、立方体１１１ａがあるので、画像中における回転台の向きが一義的に決まる。そのため、初期における概略の位置合わせが容易および確実であり、上述したエラーの発生が抑えられる。
【０１０８】
また、第２の回転台部材１１２の側面を曲面とすることで、マッチング誤差の発生が抑えられる。第１の回転部材１１１のような側面に明確な鉛直方向に延在するエッジ（鉛直エッジ）が存在する場合、エッジ部分の点群の扱いに起因してマッチング誤差が増大する問題が発生する。この例では、第１の回転部材１１１の側面には鉛直エッジが存在するが、第２の回転部材１１２の側面には鉛直エッジが存在しないので、上述したマッチング誤差の発生が抑えられる。
【０１０９】
なお、仮に第１の回転部材１１１がなく第２の回転部材１１２のみであると、回転台１１０の向き（回転軸周りの角度位置）が特定できないので、マッチングや点群データの位置合わせの初期におけるステレオ画像間における回転台１１０の概略の位置合わせができない。そのため、処理に支障が生じる。他方において、仮に第２の回転部材１１２がなく第１の回転部材１１１のみであると、回転台１１０の向きは特定できるが、垂直エッジ部分に起因するマッチングエラーが問題になる。
【０１１０】
本実施形態では、第１の回転部材１１１により回転台１１０の向きを判別し、第２の回転部材１１２により特徴点間のマッチングに際する問題の発生を抑えている。この回転台１１０を利用したマッチングや点群データの位置合わせを行うことで、植物１２０の点群データを効率よく、また高い精度で得ることができる。
【０１１１】
本方式によれば、回転台１１０上の植物１２０の点群データに関して、レーザスキャナで取得した点群データと画像から取得した点群データとの比較や画像から取得した点群データ同士の比較統合を行いたい場合がある。この場合、回転台１１０に係る点群データは、水平面上および垂直面上に束縛された点群であり、また回転台１１０の向きが判別しやすいので、両点群データのマッチングを容易に行うことができる。
【０１１２】
また、背景色差画像を作成することによる背景除去と、２値化マスクを用いた背景除去を行うことで、三次元データ化に必要なステレオマッチングが行い易い背景除去画像を得ることができる。
【０１１３】
（その他）
カメラ１３１と１３２の撮影画像やカメラ１３２と１３３の撮影画像、あるいはカメラ１３１と１３３の撮影画像をステレオ画像として取得し、三次元データの作成に利用してもよい。
【０１１４】
図１０には、軸方向から見た形状が点対称および線対称でない形状を有している回転台の他の例が示されている。図１０には、鉛直上方から回転台を見た場合の状態が示されている。図１０には、回転台１５０が示されている。回転台１５０は、回転中心を軸に回転する。回転台１５０の上面は水平面であり、図示されていない側面は鉛直面である。この上面と側面には、図１の回転台１１０の場合と同様なランダムドットパターンが形成されている。回転台１５０の側面は、滑らかな曲面であり、鉛直方向に延在するエッジが存在しない。
【０１１５】
回転台１５０は、軸方向から見た形状が点対称または線対称でない（３６０°×ｎ以外の回転に対して対称でない）。このため、図１の回転台１１０の場合と同様に、撮影画像から向きの特定が行い易い。また鉛直方向に延在するエッジがないので、ステレオ画像のマッチングの際におけるマッチング不良やマッチングミスが生じ難い。
【０１１６】
原画像→２値化マスクで背景除去→背景色差画像とする処理も可能である。この場合、まず原画像を当該原画像に基づく２値化マススに通し、背景除去を行う。ついで、この第１段階の背景除去を行った画像から背景色差画像を作成する。この場合も背景の除去が確実で、更に背景色差画像の特徴である輪郭がぼけた画像が得られるので、ステレオマッチングが行い易い。また、背景色差画像の作成に際しては、抽出領域の膨張（拡張）処理領域のみを平均色差画像として、他の部分を２値化マスクとしてもよい。こうすることで境界部分のエラーのみを減少させ、背景除去を行うことも可能となる。
【０１１７】
本発明は、回転する台の上に置かれた対象物を三次元計測する技術に利用できる。ここで、対象物は植物に限定されない。
【符号の説明】
【０１１８】
１００…３Ｄ計測システム、１１０…回転台、１１１…第１の回転部材、１１１ａ…回転台１１０の向きを判別するための立方体、１１２…第２の回転部材、１１３…ターゲット、１３１〜１３３…カメラ、１５０…回転台、２００…ＰＣを利用した３Ｄ計測処理装置。
【図１】
2018197685.tif 000005
【図２】
2018197685.tif 000006
【図３】
2018197685.tif 000007
【図４】
2018197685.tif 000008
【図５】
2018197685.tif 000009
【図６】
2018197685.tif 000010
【図７】
2018197685.tif 000011
【図８】
2018197685.tif 000012
【図９】
2018197685.tif 000013
【図１０】
2018197685.tif 000014