DEIM Forum 2023 4a-2-5

画像認識によるウキクサ科植物の表面積と総枚数の推定
奥田 萌莉†

石澤

秀紘††

裕明†

大島

† 兵庫県立大学大学院情報科学研究科 〒 651–2197 兵庫県神戸市西区学園西町 8–2–1†† 兵庫県立大学大学院工学研究科 〒 671–2280 兵庫県姫路市書写 2167
E-mail: †moeriena.abc@gmail.com, ††ishizawa@eng.u-hyogo.ac.jp, †††ohshima@ai.u-hyogo.ac.jp
あらまし

本研究では，ウキクサ科植物の一種であるコウキクサに対して，葉の表面積と総枚数を出力する手法を提案する．入力はコウキクサの画像であり，出力は葉の表面積と総枚数である．表面積を出力するために，連結した葉群であるコロニーを領域認識し，認識された領域内の面積を計算した．総枚数を出力するために，コロニーに対して各枚数を推定し，合計した．本研究では，コロニーの形と色から，画像認識モデルを用いて，各枚数を推定した．本研
究の貢献は，表面積推定の正確性を向上させた点と，葉の形と色の特徴を組み合わせることで，総枚数推定の MAE
が 0.172 となり，特徴 1 つのみを用いて認識するよりも結果が良くなることを示した点である．
キーワード 画像認識，インスタンスセグメンテーション，深層学習

1 はじめに植物を用いた水質浄化はファイトレメディエーション [19] と呼ばれ，環境汚染の改善策として広く実施されている．ファイ
トレメディエーションは植物を用いない水質浄化手法に比べて，安価なコストなどのメリットがある．

図1

ウキクサ科植物は水中の有害物質である窒素やリンを吸収コロニーの例

しながら増殖するため，ファイトレメディエーションに役立
つ [12]．以下より，ウキクサ科植物をウキクサと記載する．ウ
キクサが増殖する際には，葉が出芽し始め，数枚の葉が連結した状態で水面に浮遊する．この連結した数枚の葉のことをコロニーと呼ぶこととする．コロニーの例を図 1 に示した．
ウキクサを有効活用するためには，適切な量を管理することが重要である．量を管理できると，植物学者がウキクサの管理をしやすくなるといえる．ウキクサを扱う研究では，表面積と図2

枚数を重要な指標として，ウキクサの量や増殖速度を評価して表面積と総枚数の例

いることが多い [27] [12]．
本研究では，ウキクサの量を表す指標として，葉の表面積と総枚数を推定する問題に取り組んだ．ここで，表面積と総枚数について例を図 2 に示した．表面積は図 2 の左画像において白色で塗りつぶした領域の面積である．総枚数は図 2 の右画像においては 10 枚と数えられる．
表面積と総枚数を推定する際には，それぞれに課題がある．
表面積を推定する研究では，既存のソフトウェアを用いて計測する場合が多いが，正確とは言い難い．たとえば ImageJ と呼ばれるソフトウェアが用いられる．このようなソフトウェアを用いてウキクサを認識するときには，葉と葉の間の水面を間違えて葉と認識しやすい．さらに総枚数を推定する研究では，深層学習を用いて自動的に推定する方法は確立されていない．
特に総枚数の推定において，隣の葉に部分的に隠れている葉を認識することは難しい課題である．本研究では，コロニー内の葉の枚数が多いほど，コロニーの形が複雑になり，色は濃くなる傾向にある点に注目した．具体的には，コロニーの形と色それぞれを表す画像を作成し，組み合わせて機械に学習させ，総枚数を推定した．
図 3 に，本研究の全体像を示した．本研究の入力は，図 6 に示した，ウキクサ科植物の一種のコウキクサが写っている画像である．この画像には複数のコロニーが含まれている．出力は，表面積と総枚数である．まず，図 3 の桃色箇所で示したように，コロニーの領域を認識した．認識された領域内を白色で表し，白色部分のみの面積を求めた．これを表面積として出力した．
次に，図 3 の水色箇所で示したように，コロニーごとの葉の枚数を推定した．推定された枚数を合計し，合計枚数を総枚数として出力した．以上のようにして，表面積と総枚数を出力した．
本研究は，以下の 2 つの課題で構成される．

•

コロニーの領域認識•

コロニー内の枚数推定

の部分をそれぞれ白黒で表した二値画像を作成し，SVM に学習させた．結果は，AP が 91.89%であったと報告されている．

Liu らは，葉の面積を Watershed アルゴリズムと呼ばれる手法
を用いて求める問題に取り組んだ．Watershed アルゴリズムとは，画像の輝度勾配を山と谷の地形図に見立て，そこに水を流すことを想定した時に，水を貯める分水嶺を対象物体の輪郭として判定する手法のことである．結果は，大津二値化 [4] を用いた時よりも誤差率が 2.2%減少したと報告されている．

2. 2 葉の様々な特徴量を用いた画像認識
図3

表面積と総枚数の推定手法

葉の様々な特徴量を用いた画像認識に関する文献を紹介する．
以下の研究では，葉の全体や形の特徴に注目して画像認識を本研究の貢献は，表面積推定の正確性を向上させた点と，葉の形と色の特徴を組み合わせることで，総枚数推定の MAE が0.172 となり，特徴 1 つのみを用いて認識するよりも結果が良くなることを示した点である．

2 関連研究行っている．以下の研究はすべて，樹木種の葉の画像を入力とする研究である．
葉の全体の特徴に注目した画像分類に関する研究としては，
葉の画像から病気を診断する研究が盛んに行われている．葉の病気診断に対して，クラスごとにおける枚数の偏り [21]，Data

Augmentation [5]，複雑な背景の除去 [23] といった課題が取り本研究では，画像認識を用いたウキクサの表面積と総枚数の組まれてきた．このような課題はすべて，分類の正解率を向上

推定を扱う．本節では，葉の領域認識や葉の様々な特徴量を用させることを目的としている．本研究では，訓練データに画いた画像認識について説明する．

像認識モデルが過剰に適応してしまう過学習を避けるために，

2. 1 葉の領域認識

Data Augmentation を行った．
葉の形の特徴に注目した樹木種の同定に関する研究を紹介す

まず，領域認識と同義といえるセグメンテーション手法につる．Kumar ら [11] は葉の形を表す座標を用いることで葉の画いて説明する．セグメンテーション手法は，インスタンスセグ

像から樹木種を同定した．上位 5 位以内に該当樹木が入っていメンテーションとセマンティックセグメンテーションの 2 種類

る割合は 96.8%であった．Kumar らは LeafSnap が公開していに大別される．インスタンスセグメンテーションとは，インスるデータセットを対象に研究を行った．このデータセットを用

タンスの領域を認識するタスクを解く問題であり，セマンティッ

いて，葉の形のみでなく葉脈に注目した研究 [17] も行われた．

クセグメンテーションとは，クラスの領域を認識するタスクを本研究で用いたデータセットはウキクサであるため，両者の分解く問題である．本研究では，ウキクサのコロニーそれぞれを

類結果を比較することはできない．

インスタンスとして領域認識する必要がある．よって本研究でさらに，葉の様々な特徴を組み合わせた樹木種の同定に関するは，ウキクサのコロニーの領域認識問題を，インスタンスセグ研究も行われてきた．Wu ら [26] は，複数の特徴量を組み合わせ

メンテーションとして扱う．

て，ブドウの樹木種を同定した．色，HSV [1]，葉脈，HOG [22]インスタンスセグメンテーションには，Mask R-CNN [6]，の 4 つの特徴量を抽出し，組み合わせた．樹木種の正解率はDeepMask [18]，FCIS [13] などが用いられる．Mask R-CNN

92.5%と報告されている．Valliammal と Geethalakshmi [24]は，画像に対して，決められた種類の物体を認識してその位置

は，葉の形，色，葉脈の特徴を組み合わせて樹木種を同定した．

とクラス名を特定し，なおかつ画像中のピクセル単位で物体のこの手法を PLIR と呼んでいる．その結果，94.0%の正解率が写っている領域を特定するマルチタスクモデルである．ここで，得られたと報告されている．Bama [3] は，45 種類の樹木種をMask R-CNN は，DeepMask に比べて，対象物体の領域のみ同定するための新しい手法を提案した．この手法は，葉の形，に対してプーリングするという特徴がある．

色，葉脈の特徴量を組み合わせた手法である．これらの特徴をセマンティックセグメンテーションには，Fully Convolutional

Network [15] や SegNet [2]，PSPNet [7] などが用いられる．た用いることで，正解率は 97.9%と報告されている．これらいずれの研究においても，深層学習を用いていない．

とえば PSPNet は，CNN と Pyramid Pooling Module で構成

以上より，葉の画像を入力とした画像認識技術では，葉の全されている．Pyramid Pooling Module では，CNN から得ら

体や形などの，葉の様々な特徴量を組み合わせて深層学習モデれる特徴ベクトル全体，1/3，1/2，1/6 の 4 つに分け，それぞ

ルに学習させることの有用性を示すことが課題といえる．

れの大きさで特徴を抽出している．これらのベクトルを全て結合し，全結合層に入れ，出力を得る．

3 データとその前処理

葉の領域認識に関する先行研究として，Kabir ら [9] の研究とLiu ら [14] の研究を紹介する．Kabir らは，セグメンテーショ
ン手法を用いて葉の病気診断に取り組んだ．葉の部分と葉以外

本節では，本研究で用いたデータとその前処理について述べる．

3. 1 コウキクサのデータセット
本研究では，コウキクサを独自で栽培し，画像を大量に取得
した．取得した画像数は全部で 1,085 枚である．図 4 にコウキクサの栽培装置を示した．スチールラック 4 段の各段に，くぼみ 6 個が付いているシャーレを 3 個ずつ置き，各くぼみに 1/2

Schenk and Hildebrandt 培地 [20] を 10ml 入れ，水面にコウ
キクサを浮かべて栽培した．各段の上部に光強度約 26 ワットの LED ライトを取付け，照射時間を 20 時間/日，16 時間/日，12 時間/日，8 時間/日の 4 種類にした．
本研究では，図 5 で示したように，Web カメラでコウキクサのシャーレのくぼみ 1 つ分を撮影した．撮影された画像を 512

図4

コウキクサの栽培装置

図5

コウキクサの撮影装置

ピクセル × 512 ピクセルの正方形に形成し直した．形成方法について以下に説明する．まず，円を検出するハフ変換によって，Web カメラで撮影した元画像からくぼみに沿った円を作成した．次に，円の部分を囲ったバウンディングボックスを作成した．このバウンディングボックスを元画像に適用して切り取り，512 ピクセル × 512 ピクセルにリサイズした．最後に，このリサイズされた画像の円以外の部分をグレーに変換した．以上の処理によって，図 6 のような 512 ピクセル × 512 ピクセルの正方形に形成し直した．この画像をシャーレ画像と呼ぶこととする．さらに，シャーレ画像において，コロニーごとに画像を切り分けた．コロニーごとに切り分けられた画像をコロニー画
像と呼ぶこととする．
シャーレ画像とコロニー画像に対して，ラベル付けを行った．
行ったラベル付けは，以下の 2 種類である．

•

コロニーの領域のラベル付け•

コロニー内の枚数のラベル付け

シャーレ画像に対して上記における前者のラベル付けを，コ
ロニー画像に対して後者のラベル付けを行った．まず，コロニーの領域のラベル付けについて説明する．1 枚のシャーレ画像に対し，labelme と呼ばれるラベル付けツールを用いて，葉の領
域のラベル付けを行った．このラベル付けでは，コロニーの輪
郭を点で縁取る作業を行った．次に，コロニー内の枚数のラベ
ル付けについて説明する．1 枚のコロニー画像に対し，3 人そ図6

シャーレ画像れぞれでラベル付けを行い，多数決によって，葉の枚数を決定
した．3 人によるラベル付けの値が一致しなかったコロニー画
像 124 枚を含む，シャーレ画像 98 枚を取り除いた．たとえば，

3 人によるラベル付けの値がそれぞれ 12，14，16 であった場
合は，このコロニー画像を含むシャーレ画像を取り除いた．コ
ロニー画像内の枚数の分布を図 7 に示した．すべての画像は 1
から 21 までの範囲でラベル付けされた．シャーレ画像内の総枚数の分布を図 8 に示した．すべての画像は 1 から 80 までの範囲となった．
シャーレ画像とラベル付けされた値のペアデータセットを無作為に訓練データ，検証データ，テストデータに 8：1：1 に分割した．表 1 にそれぞれの画像の枚数を示した．全画像の枚数は 987 枚であり，訓練データは 790 枚，検証データは 98 枚，
テストデータは 99 枚となった．

3. 2 画像の前処理の詳細
本節では，コロニーの形と色に注目した画像の作成方法について述べる．コロニー画像の葉の部分を白色，葉以外の部分を黒色にした画像を作成した．この画像を形画像と呼ぶこととす
る．コロニー画像の葉以外の部分を黒色に統一した画像を作成した．この画像を背景切り取り画像と呼ぶこととする．図 9 に，
画像の前処理の詳細を述べた．

3. 2. 1 形画像の作成方法
コロニー画像から，形を表す形画像を作成した．形画像の詳細を以下に示す．

•

葉の部分が白く背景の部分が黒い二値画像•

1 枚のコロニー画像に対して 1 枚•

256 ピクセル × 256 ピクセル

まず，コロニー画像の葉の部分を白色，葉以外を黒色にする

3. 2. 2 背景切り取り画像の作成方法
コロニー画像の葉以外を黒色に統一し，背景切り取り画像を作成した．背景切り取り画像の詳細を以下に示す．

•

葉以外が黒色の画像•

1 枚のコロニー画像に対して 1 枚•

256 ピクセル × 256 ピクセル

まず，形画像の葉以外の部分と，コロニー画像の葉の部分を組み合わせた．具体的には，コロニー画像と同じサイズの画像を新たに用意し，二値画像の黒い部分を貼り付けた．さらにその画像に，コロニー画像の葉の部分を貼り付けた．このようにして，二値画像の葉以外の部分と，コロニー画像の葉の部分を組み合わせた画像を作成した．次に，この組み合わせた画像が図7

コロニー画像における葉の総枚数の分布

中心箇所となるように，256 ピクセル × 256 ピクセルの画像を作成した．この画像を背景切り取り画像と呼ぶこととする．背景切り取り画像は，葉以外の部分がすべて黒色の 256 ピクセル

× 256 ピクセルの画像である．

4 コウキクサの表面積と総枚数の推定
本節では，本研究の問題定義と，コウキクサの表面積と総枚数の推定手法について述べる．表面積の推定の際には，深層学習モデルである Mask R-CNN を用いた場合と，葉の緑色を抽出するソフトウェアである ImageJ を用いた場合の結果を比較した．総枚数の推定の際には，コロニーの形と色それぞれを表す画像を組み合わせることで，深層学習モデルを用いて推定した．

4. 1 問 題 定 義
図8
表1

シャーレ画像における葉の総枚数の分布

訓練データ，検証データ，テストデータそれぞれの枚数
画像枚数

本研究ではコウキクサの画像から画像に写っている葉の表面
積と総枚数を推定する問題に取り組む．本研究における入力は

全画像 訓練 検証 テスト

シャーレ画像であり，出力はシャーレ画像内の葉の表面積と総987枚数である．

790

98

99

入力

シャーレ画像出力

表面積と総枚数

たとえば，図 6 のシャーレ画像を入力すると，表面積は14.28cm2 ，総枚数は 10 枚となることを目指す．
4. 2 表面積の推定手法の構築
コウキクサの表面積を推定するための手法について述べる．
表面積の推定手法を図 10 に示した．入力はシャーレ画像であり，出力は葉の表面積である．
領域認識モデルには，大量の画像を用いて事前学習されたものが使われるのが一般的である．この事前学習済みモデルとし
図9

画像の前処理て，本研究では Mask R-CNN を用いた．Mask R-CNN に対して，COCO データセットと呼ばれる大量の画像を用いて事ことによって，白黒の二値画像を作成した．次に，この二値画

前学習されたネットワークを用いた．この事前学習では，80 ク像が中心箇所となるように，256 ピクセル × 256 ピクセルのラス約 20 万枚の物体に対して領域認識を行っている．

画像を作成した．この画像を形画像と呼ぶこととする．形画像

コウキクサのデータセットを事前学習済み Mask R-CNN には，葉の部分が白，葉以外の部分がすべて黒色の 256 ピクセル学習させた．シャーレ画像と，コロニーの領域の座標値のペア

× 256 ピクセルの画像である．

データセットを学習させた．学習において，適用させた Data

Augmentation は全 4 種類である．画像を 0.5〜1 倍にリサイ本研究では，特徴抽出器の重みを更新させることでファイン
チューニングを行った [16]．特徴抽出器の後に，2 層の全結合層を追加した．全結合層のノード数を，それぞれ 512 と 1 とした．ノード数が 512 の全結合層は ReLU を活性化関数とした．
ノード数が 1 の全結合層は Softmax を活性化関数とした．
構築した画像認識モデルに，コロニー画像を入力し，枚数を出力した．最終的に，1 枚のシャーレ画像に対する，各コロニー
図 10

表面積の推定手法

内の枚数を合わせた総枚数を出力した．

ズ，画像の輝度を 0.5〜1.5 倍に調整，画像のコントラストを

0.5〜1.5 倍に調整，平行移動を適用させた．推論では，コウキ
クサのコロニーの領域の座標値を推定した．さらに，その領域
を白色，領域以外の部分を黒色で表す二値画像を作成し，白色
部分のみのピクセル数を求めた．ここで，512 ピクセルの正方形であるシャーレ画像は，3.55cm の正方形と対応している．つまり，262,14 ピクセルが 15.28cm2 と対応付けられる．よって，計算された合計ピクセルから計算される表面積を出力した．
コウキクサの葉の緑色を抽出することによる領域認識も行っ
図 11

た．本研究では，ImageJ 1 というソフトウェアを用いた．以下

背景切り取り画像を用いた総枚数の推定手法に，ImageJ における領域認識方法の詳細を述べる．まず画像を，色空間の一種である Lab 色空間に変換する．次に，Lab 色
空間の a*にあたる，葉とそれ以外を表す二峰性の分布を取得
し，最小値を閾値とすることで二値化した [8]．二値化された画
像は，葉の部分が白色，葉以外の部分が黒色である．白い部分
のみの面積を求めた．

4. 3 総枚数の推定手法の構築
コウキクサの総枚数を推定するための手法について述べる．
入力はシャーレ画像であり，出力は総枚数である．シャーレ画像から作られたコロニー画像内の枚数を推定し，その枚数を合計することで，総枚数を出力した．

図 12形画像を用いた総枚数の推定手法

4. 3. 1 背景切り取り画像を用いた手法
コロニー画像から作られた背景切り取り画像を画像認識モデ
ルに入力し，画像内のコロニー内の枚数を推定した．図 11 に全体像を示した．本研究では，4 種類の Data Augmentation
を適用させた．ランダム回転（0 度〜360 度），平行移動，シアー変換，ズーム変換を適用させた．
画像認識モデルには大量の画像をもちいて事前学習されたものが使われるのが一般的である．この事前学習済みモデルの一部が特徴抽出器と呼ばれる．この特徴抽出器として，ResNet152 [7]の一部をもちいた．ResNet152 は，CNN と 1 層の全結合層で構成されているといえる．CNN の部分を特徴抽出器，全結合層の部分を分類器と呼ぶこととする．さらに ResNet152 に対して，ImageNet と呼ばれる大量の画像をもちいて事前学習したネットワークを用いた．この事前学習では，1,000 クラス分
類を行っている．特徴抽出器から得られるベクトルは 2,048 次元である．事前学習では，このベクトルを分類器に通し，1 つの値を推定する．
1：ImageJ:https://imagej.net/ij/index.html

図 13

背景切り取り画像と形画像を組み合わせた総枚数の推定手法

4. 3. 2 形画像を用いた手法

表2

コウキクサのデータセットの Mask R-CNN への学習結果
評価指標

スコア（%）

画像内のコロニー内の枚数をを推定した．図 12 に全体像を示

AP

74.12

した．画像認識モデルの構造は 4. 3. 1 節で説明したものと同一

AP50

92.78

AP75

81.25

APs

49.14

APm

76.34

コロニー画像から作られた形画像を画像認識モデルに入力し，である．ただし，4. 3. 1 節における葉の全体が写っている画像ではなく，形画像を画像認識モデルに入力する．4. 3. 1 節で説明した 5 種類の Data Augmentation を適用させた．学習時は，
特徴抽出器の重みを更新させることで，ファインチューニング
を行った．
構築した画像認識モデルに，コロニー画像を入力し，枚数を出力した．最終的に，1 枚のシャーレ画像に対する，各コロニー
内の枚数を合わせた総枚数を出力した．

4. 3. 3 背景切り取り画像と形画像を組み合わせた手法
図 13 に背景切り取り画像と形画像を組み合わせた画像認識
モデルの概略を示した．同図の緑色で示した 2 つの特徴抽出器
は再学習せず，4. 3. 1 節と 4. 3. 2 節で説明したものをそのまま用いた．この学習方法は転移学習 [25] と呼ばれる手法である．
提案手法では，3 種類の特徴抽出器を利用することとなる．そ図 14 Mask R-CNN への学習結果例

れらの特徴抽出器の学習は個別に行うため，GPU で学習を行うとして，一度に必要な GPU メモリは個別の特徴抽出器が乗れば十分である．すなわち，提案手法では，3 つの特徴抽出器

Mask R-CNN へのコウキクサのデータセットの学習については，以下のハイパーパラメータで実験を行った．

すべてを GPU メモリに一度に乗せることができる GPU が必•要というわけではない．また，推論時は，データ量が入力され•学習率: 0.00025

た画像 1 枚であるため，計算コストが高くなく，かならずしも•イテレーション数: 20,000

GPU を用いた高速な計算を行う必要がない．そのため，低い

ResNet152 へのコウキクサのデータセットの学習について

マシン性能であっても結果を出力することができる．
葉の色と形を組み合わせた手法では，背景切り取り画像と形最適化関数: Adam [10]は，以下のハイパーパラメータで実験を行った．

•

最適化関数: Adam

画像の特徴を網羅的に考慮して総枚数を推定した．まず，コロ•

学習率: 0.00001

ニー画像から 1 枚の背景切り取り画像と 1 枚の形画像を作成し•損失関数: MSE loss

た．次に，図 13 の緑色の特徴抽出器をもちいてそれぞれの画像をベクトル化した．よって，背景切り取り画像と形画像それ
ぞれにおける特徴ベクトルが合計 2 つ得られた．最後に，これら 2 つのベクトルを結合させた．

5. 2 結果と考察
まず，コウキクサの表面積の推定における結果と考察を述べる．図 14 に，学習の結果例を示した．表 2 に，学習の評価

特徴抽出器の後に Dropout 層と全結合層 2 層の合計 3 層を結果を示した．AP，AP50，AP75，APs，APm はそれぞれ，追加した．Dropout 率は 0.5 とした．全結合層のノード数をそ74.12，92.78，81.25，49.14，76.34 となった．AP50 がもっとれぞれ 512 と 1 とした．ノード数が 512 の全結合層は ReLU

もよい結果となった．図 15 に，正解データにおける表面積とを活性化関数とした．ノード数が 1 の全結合層は Softmax を

Mask R-CNN によって求めた表面積の相対誤差，正解データ

活性化関数とした．

における表面積と ImageJ によって求めた表面積の相対誤差の構築した画像認識モデルに，コロニー画像を入力し，枚数を分布を示した．相対誤差とは，正解データにおける表面積との出力した．最終的に，1 枚のシャーレ画像に対する，各コロニー

ピクセル数の誤差を，正解データにおける表面積のピクセル数

内の枚数を合わせた総枚数を出力した．

で割った数値である．相対誤差は以下の式で表される．

5 実

験

本節では，学習の実験設定，結果と考察，評価について述べる．

5. 1 実 験 設 定
本研究の実験設定について説明する．本研究では深層学習モデルとして，Mask R-CNN と ResNet152 を用いた．

相対誤差 =

pred − true
true

Mask R-CNN における相対誤差の平均は 0.024，標準偏差は0.061 であった．Mask R-CNN による結果では，図 15 における青色の分布が左に偏っていることから，過小評価する傾向にあるといえる．ImageJ における相対誤差の平均は −0.0021，
標準偏差は 0.175 であった．ImageJ による結果では，図 15 における橙色の分布が右に偏っていることから，過大評価する傾向にあるといえる．相対誤差の平均と標準偏差ともに，Mask

表3

表面積の学習結果

ImageJ Mask R-CNN
表面積における MAE

0.112

0.083

表面積における RMSE

0.163

0.123

表4

総枚数の学習結果
背景切り取り画像 形画像

図 15 Mask R-CNN と ImageJ における相対誤差の分布

組み合わせ

コロニー画像における MAE

0.393

0.402

0.373

コロニー画像における RMSE

0.433

0.446

0.401

シャーレ画像における MAE

0.186

0.195

0.172

シャーレ画像における RMSE

0.195

0.204

0.181

対誤差の平均は −0.034，標準偏差は 0.175 であった．形画像を用いた手法における相対誤差の平均は −0.064，標準偏差は0.185 であった．背景切り取り画像と形画像を組み合わせた手法における相対誤差の平均は −0.005，標準偏差は 0.171 であった．背景切り取り画像と形画像を組み合わせた手法における相対誤差の平均と標準偏差ともに，もっとも良い結果となった．

5. 3 評価

本節では，コウキクサの表面積と総枚数それぞれの推定につ
図 16 Mask R-CNN の方が ImageJ よりも結果が良い例

いての評価を説明する．表面積と総枚数の推定のどちらにおいても，相対誤差を用いた MAE と RMSE を求めた．相対誤差を用いた MAE と RMSE は以下の式で表される．

1 X predi − truei
n i=1
truei
n

M AE =

v
u
2
n 
u1 X
predi − truei
RM SE = t
n i=1
truei
図 17 ImageJ の方が Mask R-CNN よりも結果が良い例

まず，コウキクサの表面積の推定における評価を述べる．
それぞれの手法における，相対誤差を評価指標とした MAE，

R-CNN における絶対値が ImageJ よりも小さくなったことから，Mask R-CNN の方がより良い結果になったといえる．さらに，Mask R-CNN による推定では，曲線の領域に強い傾向がある一方で，エッジ部分の推定に弱い傾向がある．ImageJによる推定では，角ばった箇所に強い一方で，正解箇所以外の細かい部分を誤認識したり，小さな領域を認識しずらかったり，近くにある正解箇所同士をつなげて誤認識したりする傾向がある．図 16 に，Mask R-CNN の結果が ImageJ よりも良かった
例を示した．図 17 に，ImageJ の結果が Mask R-CNN よりも良かった例を示した．以上より，Mask R-CNN による推定では，正解データよりも狭い範囲で領域推定している傾向があるといえる．一方で，ImageJ による認識では，正解データよりも広い範囲で領域認識している傾向があるといえる．
次に，コウキクサの総枚数の推定における結果と考察を述べる．正解データにおける総枚数と予測された総枚数の相対誤差を比較した．ここでの相対誤差とは，正解データにおける総枚数と予測された総枚数の誤差を，正解データにおける総枚数で割った数値である．背景切り取り画像を用いた手法における相RMSE を求めた．表 3 に表面積の推定における評価結果を示し
た．Mask R-CNN を用いた手法において，MAE，RMSE はそれぞれ 0.083，0.123 となった．すべての評価において，Mask

R-CNN を用いた手法の方が ImageJ を用いた手法よりも結果が良かった．
次に，コウキクサの総枚数の推定における評価を述べる．それぞれの手法における，相対誤差を評価指標とした MAE，RMSEを求めた．表 4 に，コロニー画像における枚数，シャーレ画像に対する総枚数の推定における評価結果を示した．コロニー画
像における MAE と RMSE，シャーレ画像における MAE とRMSE を求めた．背景切り取り画像と形画像を組み合わせた手法において，コロニー画像における MAE，RMSE はそれぞれ 0.373，0.401 であった．同じく背景切り取り画像と形画像を組み合わせた手法において，シャーレ画像における MAE，

RMSE はそれぞれ 0.172，0.181 であった．すべての評価において，背景切り取り画像と形画像を組み合わせた手法がその他の手法らよりも結果が良かった．

6 ま と め[12]

本研究では，ウキクサ科植物の一種であるコウキクサに対して，葉の表面積と総枚数を推定する手法を提案した．入力はコ[13]

ウキクサの画像であり，出力は葉の表面積と総枚数である．
本研究の貢献は，表面積推定の正確性を向上させた点と，葉[14]の形と色の特徴を組み合わせることで，総枚数推定の MAE が0.172 となり，特徴 1 つのみを用いて認識するよりも結果が良くなることを示した点である．本研究で構築した技術は，ウキ[15]

クサの量を機械が推定する有用性を示すことへとつながる．今後，ウキクサの量の管理を機械にも行える可能性が示されたと
いえる．

謝

[16]

辞

[17]

本研究は JSPS 科研費 JP21H03775，JP21H03774，

JP21H03554，JP22H03905 の助成を受けたものです．ここに[18]

記して謝意を表します．
文

献[1] A. Ajmal, C. Hollitt, M. Frean, and H. Al-Sahaf. A comparison of rgb and hsv colour spaces for visual attention
models. In Proceedings of the 2018 International Conference on Image and Vision Computing New Zealand, pp.
1–7, 2018.
[2] V. Badrinarayanan, A. Kendall, and R. Cipolla. Segnet: Adeep convolutional encoder-decoder architecture for image
segmentation. IEEE Transactions on Pattern Analysis andMachine Intelligence, 39:13–27, 2015.
[3] B. Bama, M. Valli, S. Raju, and V. A. Kumar. Content
based leaf image retrieval (cblir) using shape, color and texture features. Indian Journal of Computer Science and Engineering, 2:202–211, 2011.
[4] J. T. Barron. A generalization of otsu’s method and minimum error thresholding. In Proceedings of the 2020 European Conference on Computer Vision, pp. 455–470, 2020.
[5] G. Geetharamani and A. J. Pandian. Identiﬁcation of plantleaf diseases using a nine-layer deep convolutional neuralnetwork. Computers and Electrical Engineering, 76:323–
338, 2019.
[6] K. He, G. Gkioxari, P. Dollár, and R. Girshick. Mask r-cnn.
In Proceedings of the 2018 Conference on Computer Vision
and Pattern Recognition, pp. 1–12, 2018.
[7] K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In Proceedings of the 2016 Conference on Computer Vision and Pattern Recognition, pp.
770–778, 2016.
[8] H. Ishizawa, M. Tada, M. Kuroda, D. Inoue, and M. Ike.
Performance of plant growth-promoting bacterium of duckweed under diﬀerent kinds of abiotic stress factors. Biocatalysis and Agricultural Biotechnology, 19:1–38, 2019.
[9] R. Kabir, S. Jahan, M. R. Islam, N. Rahman, and M. R.
Islam. Discriminant feature extraction using disease segmentation for automatic leaf disease diagnosis. In Proceedings of the 2020 International Conference on Computing
Advancements, pp. 1–7, 2020.
[10] D. P. Kingma and J. Ba. Adam: A method for stochastic optimization. In Proceedings of the 2015 International
Conference on Learning Representations, 2015.
[11] N. Kumar, P. N. Belhumeur, A. Biswas, D. W. Jacobs, W. J.
Kress, I. C. Lopez, and J. V. B. Soares. LeafSnap: A computer vision system for automatic plant species identiﬁca-

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

tion. In Proceedings of the 2012 European Conference on
Computer Vision, pp. 502–516, 2012.
E. Landolt. Biosystematic Investigations in the Family of
Duckweeds (Lemnaceae). Geobotanischen Institute, 1986.
Y. Li, H. Qi, J. Dai, X. Ji, and Y. Wei. Fully convolutional
instance-aware semantic segmentation. In Proceedings of the2016 Conference on Computer Vision and Pattern Recognition, pp. 1–9, 2016.
Z. Liu, C. Liu, and J. Chen. Method for measuring leaf areaof brassica napus using image analysis. Proceedings of the2021 International Conference on Computer Science andApplication Engineering, 88:1–6, 2021.
J. Long, E. Shelhamer, and T. Darrell. Fully convolutional
networks for semantic segmentation. In Proceedings of the2015 Conference on Computer Vision and Pattern Recognition, pp. 1–8, 2015.
A. Lucas. Deep perceptual losses and self-supervised ﬁnetuning for image and video super-resolution. Northwestern
University, 2020.
E. Mata-Montero and J. Carranza-Rojas. A texture andcurvature bimodal leaf recognition model for identiﬁcationof costa rican plant species. In Proceedings of the 2015 Latin
American Computing Conference, pp. 1–12, 2015.
P. O. Pinheiro, R. Collobert, and P. Dollar. Learning tosegment object candidates. In Proceedings of the 2015 Conference on Computer Vision and Pattern Recognition, pp.
1–10, 2015.
K. Raisa, V. P. I. Sylas, K. C. S. Praveen, A. P. Thomas, andK. R. Shanthiprabha. Role of heavy metal tolerant rhizosphere bacteria in the phytoremediation of Cu and Pb using
Eichhornia Crassipes (Mart.) Solms. International Journalof Phytoremediation, 24:1120–1132, 2021.
R. U. Schenk and A. V. Hildebrand. Medium and techniques
for induction and growth of monocotyledonous and dicotyledonous plant cell cultures. Canadian Journal of Botany,
50:1–7, 1972.
T. Su, S. Mu, M. Dong, W. Sun, and A. Shi. An improved
tradaboost for image recognition of unbalanced plant leaf
disease. In Proceedings of the 2019 International Conference on Computing and Pattern Recognition, pp. 374–379,
2019.
J. Tang, Q. Su, C. Lin, Y. Wen, B. Su, and J. Yang. Traﬃcsign recognition based on hog feature and svm. In Proceedings of the 2020 International Conference on Electronic Information Technology and Computer Engineering, pp. 534–
538, 2020.
L. Thi-Lan, D. Nam-Duong, N. Van-Toi, V. Hai, H. VanNam, and N. Thanh-Nhan. Complex background leaf-based
plant identiﬁcation method based on interactive segmentation and kernel descriptor. In Proceedings of the 2015
International Workshop on Environmental Multimedia Retrieval, pp. 3–8, 2015.
N. Valliammal and S. N. Geethalakshmi. Eﬃcient featurefusion, selection and classiﬁcation technique for plant leaf
image retrieval system. In Proceedings of the 2012 International Conference on Computational Science, Engineering
and Information Technology, pp. 132–137, 2012.
K. Weiss, T. M. Khoshgoftaar, and D. Wang. A survey ontransfer learning. IEEE Transactions on Knowledge andData Engineering, 22:1345–1359, 2010.
Y. Wu, J. Wu, and G. Hu. MMFS: A grape disease rcognition method based on multi-feature fusion and svm. In
Proceedings of the 2020 International Conference on Cloudand Big Data Computing, pp. 27–31, 2020.
Y. Yin, C. Yu, L. Yu, J. Zhao, C. Sun, Y. Ma, and G. Zhou.
The inﬂuence of light intensity and photoperiod on duckweed biomass and starch accumulation for bioethanol production. Bioresource Technology, 187:84–90, 2015.