立石科学技術振興財団

助成研究成果集(第32号) 2023

［ 研究助成 (A) ］

ブドウ栽培作業者育成のための支援システムの開発
Development of a Support System for Grape Farmer Training
2221007

研究代表者

大阪公立大学
大学院情報学研究科

共同研究者

大阪府立環境農林水産総合研究所准教授

内海ゆづ子

三輪

由佳

[研 究 の 目 的]
生食用のブドウ栽培の作業の 1 つに摘房がある。これは，ブドウの房を間引くことによりブドウの糖度を出荷可能な水準に保つための作業である。棚型のブドウ圃場になるブドウは，葉の光合成の能力上，棚の面積により生成できる図1

糖の量が決まる。そこで，生産者は 2 メートルシステム概要四方の面積あたりの房数を基準として摘房を計数領域切り出し，房計数の 5 つ工程からなる。

行っている。

まず，全方位カメラでブドウ圃場を歩き，圃場摘房は大きく分けて 2 つの理由により大変な全体が映るような動画を撮影する。

作業である。1 点目は，棚型のブドウ圃場にて次に，撮影された動画を Visual SLAM に送ブドウの房は頭部付近にあることから，摘房作信し，ブドウ圃場内の 3 次元環境地図とカメラ業中に窮屈な姿勢を強いられることである。2が通った軌跡を推定する。ブドウ圃場内の 3 次

点目は，計数と間引きを同時に行う作業で，計元環境地図での棚の高さと実際の棚の高さの対数中に混乱や間違いによる数え直しが起こりや応をとることで，スケールを推定する。推定しすく時間がかかることである。

たスケールを元に，撮影した動画のフレームかそこで本研究では，作業者の負担軽減を目的ら計数領域部分のみを切り出す。最後に切り出として，ブドウ房自動計数システムを開発する。

した画像を房計数手法に入力し計数したものをこのシステムにより，作業者に代わってブドウ返す。カメラ撮影の工程以外は全てサーバで処の房を自動的に数えて提示をする。

理するため，ユーザは全方位カメラで撮影した動画像をサーバに送ることで各計数領域の房数を得ることができる。以下，それぞれの工程に[研究の内容，成果]関して詳細に説明する。
提案システム
システム概要を図 1 に示す。本システムは，動画撮影

全方位カメラでの圃場撮影，Visual SLAM で本システムではまず，圃場の地面と棚の 3 次の環境地図作成と自己位置推定，スケール推定，元位置情報を得るために，圃場を全方位カメラ― 1 ―立石科学技術振興財団で撮影する。撮影には，ブドウ圃場内の棚部分

カメラ位置の推定と特徴点の集合である 3 次元と圃場内の地面を同時に撮影出来る全方位カメ復元ができる。

ラを用いる。得られた全天球動画をもとに，圃場と地面の位置推定をする。全方位カメラを使スケール推定う理由は 2 点挙げられる。1 点目は，棚の計数

stella_vslam では，圃場の 3 次元形状が復元領域を全体が写るように撮影するためには広角できるものの，そのスケールは不明である。計なカメラが必要であるからである。ブドウ圃場数領域を切り出すためには，復元した結果からの棚の高さが約 1.8[m]，計数領域は 2[m]X2既知の情報を用いて，スケールを推定する必要[m] であり，計数領域を 1 枚の画像に収めるがある。そこで本システムでは，棚の高さ，つには，一般的なデジタルカメラの画角では不十まり棚と地面の距離を用いて対応をとることで分である。そのため，画角の広いカメラが必要スケールを推定する。棚の高さでスケール推定であることから，全方位カメラを使用する。2する理由は，棚と地面の 3 次元復元が安定して点目の理由は，棚と地面両側の 3 次元復元結果できるため 3 次元復元からの取得が容易であり，を効率的に得ることができるためである。3 次

実際の棚の高さの計測が簡単であるからである。

元復元した棚と地面の距離を用いてスケール推また棚状にブドウ果樹が植えられた圃場であれ定するため，棚と地面の双方が含まれる必要がば必ず計測できるものであるからである。そこある。棚と地面の両方を同時に撮影できる全方で，3 次元復元から棚と地面を表す平面を抽出

位カメラを用いることで，1 つの視点でその周し，棚平面と地面平面との距離を求めることでり全てに空間の撮影が可能となり，棚と地面の3 次元復元での棚の高さを求める。

双方の復元が可能となる。

stella_vslam で得られる 3 次元復元結果は 3次元点群データであり，棚と地面の推定結果はStella_vslam

誤差が含まれているものの，おおよそ平面とし計数領域を切り出すためには，ブドウ棚とカて復元されている。この点群データから，地面メラの距離を常に把握する必要がある。そのたと棚の平面を抽出するために Random Sample

め，区画ごとに棚とカメラ位置の距離を計測す

Consensus (RANSAC)[2] を用いる。RANSACるのではなく，3 次元復元からスケールを取得は，外れ値を含むデータから外れ値の影響を除することとした。房計数にはブドウ圃場内の画外してモデルの性能評価し，性能の良いモデル像が必要なため，ブドウ圃場内の動画撮影をすを選択する手法である。データ集合から少数のる。そこで本システムでは，撮影する動画からサンプルをランダムに選び，最小二乗法により3 次元復元ができる Viusal SLAM を採用した。

モデルのパラメータを推定する。推定したモデ

全天球動画に対し stella_vslam[1] を使用し，ルに対する誤差を各サンプルで計算し，誤差かブドウ圃場内の 3 次元形状とカメラ姿勢を得る。

ら閾値で正常値と外れ値を決定し，正常値のみ

Viusal SLAM はカメラで撮影した動画を入でモデルの性能を評価する。これらを繰り返し，力することで，カメラの自己位置推定と撮影し1 番性能の良いモデルを選択する。今回は，3た周辺環境の 3 次元復元を同時に行う技術のこ次元での平面の式をモデルとして RANSAC をとである。

用いる。抽出できた平面と平面の距離を 3 次元

Visual SLAM の一種である stella_vslam[1]は ORB 特 徴 量 を 使 用 す る 特 徴 点 ベ ー ス の復元の棚の高さとし，実際の棚の高さと対応をとることでスケールを推定する。

Visual SLAM で，動画のフレーム同士での特徴点の相対的な位置合わせを最適化することで― 2 ―Tateisi Science and Technology Foundation

想環境内で動作している。各スレッドでの情報計数領域の切り出し
スケール推定の結果をもとに，棚上で計数を伝達は，ソケット通信にて通信している。通信行う領域を決定し，撮影された画像からその領は，通信の確実性重視のため TCP でのソケッ域を切り出す。ブドウ計数手法[3] では，全方ト通信を採用している。そのため，スレッドは位画像のうち，3 次元視野を投影した際に歪み送信毎に確認のメッセージを受け取る。

が少ない Stereographic 画像を用いているため，

図 2 は，各スレッドとの通信関係を表したもStereographic 画像から計数領域を切り出すこのである。番号が振られた各スレッドは，スととする。スケール推定結果より，3 次元環境

ケール推定，切り出し，房計数，SLAM，撮影地図のスケールが明らかになったため，計数領の 5 つからなる。①から④のスレッドは，サー域の 3 次元復元上での大きさがわかるようにバ内処理，⑤撮影スレッドはクライアント処理

な っ た。そ こ で，3 次 元 上 で の 計 数 領 域 をである。スレッドの下部に伸びる直線内の長方Stereographic 画像に投影し，切り出しをする。

形は，該当スレッドでの処理内容となっている。

詳細な計算方法は，領域切り出し手法[4] を用

直線上の最上部が一番最初の処理，最下部が最いた。

後の処理と時系列順になっている。また直線から伸びる矢印は，通信処理となっており，それ房計数ぞれのスレッド間の通信を表している。

ブドウの房計数には，ブドウ計数手法[3] を

図 2 上部から順に，システム一連の流れを時用いる。ブドウ計数手法は，ブドウ房のように系列順に述べる。まず，⑤撮影スレッドの最初

物体個々の密度高く，物体が隠れても物体検出の処理で動画撮影をする。その後，撮影した動精度が良いとされる回帰に基づく物体計数手法

画をサーバ内の②切り出しスレッドに送信する。の一つである S-DCNet をベースとしている。

動画は，フレーム単位に分解し，1 フレームずまた入力に全方位画像を想定しているため，全つ送信する。この際，処理時間の高速化のため，方位画像のうち 3 次元視野を投影した際に歪みフレーム画像のサイズを半分に落として通信すが少ない Stereographic 画像を用いている。こる。サーバで全てのフレームを全て受け取ったれに加え，画像中の同じ歪みを持つ部分の位置合わせと，歪みに合わせた密度マップの生成により，さらに精度を向上させている。また，歪みに応じたデータ拡張 (Data Augmentation)手法によりデータ不足を解決している。本シス
テムでは，切り出した計数領域画像を入力とし，既にブドウ計数手法で学習された房数推定モデルを使用し，房計数を行う。
システム構成と通信方法
本システムは，圃場でのカメラと通信機器を用いて房計数するシステム設計されている。動
画撮影以外の工程については，サーバ内で実行されるため，撮影された動画は，通信機器でサーバに送信する必要がある。各工程はスレッドで構成されており，サーバ内のスレッドは仮― 3 ―図2システム通信の構成

立石科学技術振興財団

のち，画像シーケンスから動画に戻し，画像サものである。動画は，撮影時のカメラの高さがイズも戻し，④ SLAM スレッドに送信する。

異 な る 3 種 の 動 画，撮 影 時 に セ ル フ ィ ー ス

次に④ SLAM スレッドで，受け取った動画でティックが装着されていない動画の計 4 種があの stella vslam [1] を実行する。実行結果である。加えて各区画の房数を手動で計数した正解

る，マップ情報を②切り出しスレッドを経由し，データも作成した。3 名が分担し，1 から 60 区①スケール推定スレッドに送信する。その後，画内にあるブドウの房を数え，それぞれの区画①スケール推定スレッドで，平面抽出，スケーにある房数を記録した。

ル推定の処理をする。処理後，平面の式とス

実験条件

ケール推定結果を②切り出しスレッドに送信す

実験データの動画を用いて，システムの動作る。送信後，②切り出しスレッドで，画像からを確認するシミュレーション実験，実験データ計数領域を切り出し，切り出した画像を③房計4 種の動画を入力した際の計数性能の比較実験

数スレッドに送信する。③房計数スレッドで計を行った。シミュレーション実験は，実際のブ数したのち，受け取り確認のメッセージを②切ドウ圃場でシステムを使用しての実験ができなり出しスレッドに送信する。②切り出しスレッかったため，あらかじめ撮影された動画を用いドが受け取り確認のメッセージを受け取ると，て，実験を行った。そのため，図 2 の動画撮影

次の画像の領域の切り出しを行い，切り出したスレッドのうち動画撮影を除いた動作の確認を

画像を③房計数スレッドに送信する。②切り出行った。シミュレーション実験に使用したデー

しスレッドと，③房計数スレッドを行き来し繰

タは，撮影された動画のうち，セルフィースり返すことで，全ての画像において切り出しとティックを利用して，棚と地面の中間で撮影さ房計数を行う。全ての画像において，計数終了れたものである。動画の解像度は，3840X1920

後，計数結果を ③房計数スレッドから②切り

pixels で長さが 274 秒である。撮影スレッドの出しスレッドを経由し，⑤撮影スレッドに送信

計算機の性能は，8 コア Core i9 プロセッサー，する。⑤撮影スレッドで，計数結果を表示する。

サーバの性能は，6 コア Core i7 プロセッサー
で GPU は GeForce GTX 1080 Ti である。

実験

比較実験は，4 種類の動画に対してそれぞれ計数を行い，正解データと計数結果を比較して，実験データシステムの評価をするための動画を撮影した。

精度を評価した。計算機は，シミュレーション評価には，2022 年 6 月 6 日に大阪府立環境農と同様である。計数は，3 次元復元されたカメ

林水産総合研究所のデラウェア圃場にて全方位

ラ位置推定結果とスケール推定結果から，カメカメラで撮影した動画像を使用する。全方位カラの移動距離で区画を推定し，その区画に該当メラは，RICHO THETA Z1 を使用し，カメラする画像をそれぞれの動画切り出して，区画枚にセルフィースティックを装着して撮影してい数分の計数を実施した。

る。ブドウ圃場はビニールハウスにあリ，棚部

実験結果

分の高さは約 1.8[m] で 2[m] X 2[m] の区画が 60 区画ある。

シミュレーション実験の結果，動画をサーバに送り，サーバで計数を行い，計数結果をクラ今回撮影したデータは，1 から 60 区画が全イアントに送り返すことができるようになった。て映るように各区画の中心を通り歩きながら動

しかし，全体の計算時間は，約 46 時間 30 分と画撮影した。撮影開始時は第 1 区画の中心で開なった。時間を要している原因と解決法の考察

始，撮影終了時は第 60 区画の中心で終了した。

をする。サーバへの動画を送信，切り出しと計

なお，この時の中心位置は撮影者の目視による数の場面で，動画の画像 1 フレームあたり 15，― 4 ―Tateisi Science and Technology Foundation

16[s] と時間がかかっている。この原因は，ソが，正解データに追従していることがわかる。

ケット通信での動画像の受け渡しによるもので特に，c, d のデータは，a, b に比べてより追従ある。元々の動画は，3840X1920 pixels と高解していることがわかる。このことから，動画撮像度である。解像度を落として送受信すると時

影方法は棒の有無はあまり関係なく，カメラ位間はかなり短縮されるが，解像度を落としすぎ置は棚と地面の中間程度で撮影するのが良いこると，計数時の学習データと解像度が異なってとが言える。

しまうため，計数結果に悪影響が出ると考えら計数結果の精度が低下した原因は，房計数にれる。そのため，解像度を落として計算速度をおける学習データ不足によるものだと考えられ早くするためには，学習データも同様に解像度る。その理由の 1 つとして，学習データと今回を落として新たに学習する必要がある。また，の実験データのブドウの房と葉の粗密に違いがサーバ内の画像の受け渡しにおいては，並列処挙げられる。精度の改善には追加の学習が必要

理が可能なサーバを使うことで，処理時間の短であると考えられる。

縮ができると考えられる。クライアントからサーバへの動画像の受け渡しについては，図 2⑤撮影スレッドでの処理方法を変更することで，[参考文献][1]

S. Sumikura et al. OpenVSLAM: A Versatile

処理時間の短縮ができると考えられる。⑤撮影

Visual SLAM Framework. In Proceedings of the

スレッドでは，撮影と動画送信の処理を行なっ27th ACM International Conference on Multimedia,ていた。これを，撮影のみ実行し，撮影した動画は直接サーバにアップロードすることで，処理時間の大幅な短縮ができると考えられる。

pp. 2292-2295, 2019.
[2]

M. Fischlers et al. Random sample consensus: aparadigm for modelfitting with applications to image
analysis and automated cartography. Communi-

続いて，4 種類の動画を用いた計数結果と正解データの比較を図 3 に示す。縦軸は，計数の結果，横軸はそれぞれの区画番号とされる位置

cations of the ACM, pp. 381-395, 1981.
[ 3 ] R Akai, et al. Distortion-adaptive grape bunchcounting for omnidirectional images. In Proc. of the25th International Conference on Pattern Recognition, pp. 599-606, 2021.

である。全体的に計数の精度は低かった。

[ 4 ] 西田ら．ブドウ摘房支援のための画像における[5]

房計数領域の推定．情報処理学会研究報告コンピ ュ ー タ ビ ジ ョ ン と イ メ ー ジ メ デ ィ ア (CVIM),
2020-CVIM-226, 43, pp. 1-7, 2021．
[6]

H. Xiong et al. From Open Set to Closed Set:

Counting Objects by Spatial Divide-and-Conquer.
In Proc. of International Conference on ComputerVision, pp. 8362-8371, 2019.
図 3 各区画の房数の推定結果[成果の発表，論文など]
現在，投稿準備中― 5 ―