26 Ｍ－ 10「農地のモニタリング画像を利用した農業体験学習支援システムの研究開発」
高木正則（岩手県立大学ソフトウェア情報学部、准教授）
中村武道（岩手県立大学大学院ソフトウェア情報学研究科、学生（H26 年度修了））
山本晃大（岩手県立大学ソフトウェア情報学部、学生（H26 年度卒業））
吉田理穂（岩手県立大学ソフトウェア情報学部、学生（H26 年度卒業））
これまで農地に人感センサ付き Web カメラを設置し、定期的に撮影される農作物の写真や人の動作を検知して撮影される写真をサーバに自動的に蓄積することで、作物の成長過程と農作業の可視化を行ってきた。本研究では、蓄積された膨大な画像や環境データを活用した教材制作を支援するオーサリングツールの設計と、人感センサ検知画像へのメタ情報付与機能の開発と評価を行った。

１ はじめに

1.1 研究の背景とこれまでの経緯
我が国では、農家の高齢化と後継者不足が問題となっている。一方、平成 17 年に食育基本法、平成 18 年に食育推進基本計画が制定され、小中学校で実施されてきた農業体験学習が食育としての側面でも期待されている。農業体験学
習は農業への興味・関心を高める効果も期待されているが、小中学校の教育現場では授業時間の制約から 24%の小中学校が年 1 回から 2 回、50%の小中学校が年数回のみの体験しか実施できていない [1]。また、55.2%の小中学校が農業体験学習実施上の問題点として時間不足をあげており、児童は農作物の成長過程を観察する機会や、日々の農作業を知る機会が限られている。
本研究は平成 22 年度に岩手県紫波町役場から依頼を受け、食育事業の一環として研究を開始した。平成 22 年度に農作物観察支援システ
ムの全体概要を検討し、平成 23 年度から岩手県紫波町の農地に Web カメラを設置して、農作物の観察を始めた。平成 23 年度は 5 時から18 時まで 1 時間に 1 枚自動撮影されたりんごの写真を遠隔地（教室）から閲覧できるシステム（http://kansatu.net）を開発した [2]。農地に設置した Web カメラセットの構成を図 1、農作物画像閲覧時のシステムの画面例を図 2 に示す。平成 23 年 5 月から紫波町立赤沢小学校のりんごの農業体験学習で農作物観察支援システムの利用を開始した。平成 24 年度には人感センサ付き Web カメラを開発し、農作物だけでなく農作業の様子を自動記録できるシステム（以下、農地モニタリングシステム）へと拡張した、農作業画像閲覧時のシステム画面例を
図 3 に、月別のセンサ検知回数表示時のシステ
ム画面例を図 4 に示す。また、農地の環境モニ

図 1：Web カメラセット構成

図 2：農作物画像閲覧時のシステム画面例

図 3：農作業画像閲覧時のシステム画面例59気温との関係等）を手動で作成し、小学校 3 年生の授業で活用した。その結果、圃場データを活用した学習教材が農作物の成長を学ぶために役立ったことが示唆され [4]、蓄積された圃場データには農作物の生育過程や農作業を学ぶのに有効な情報が含まれていることがわかった。
1.2 本研究で着目する問題点
平成 23 年度から 25 年度まで本システムを運用した結果、本システムで撮影されたりんごの実や木全体の写真、農作業の写真のほとんどは学習のために活用されていなかった。この要因の一つとして、膨大な圃場データから授業に活用できる学習に有効なデータを検索することが困難であること、また、検索したデータを活用して学習教材を生成する教員への負担が大きいことがあげられる。例えば、平成 25 年度に作成した学習教材では、平成 23 年と平成 24 の 4月から 6 月のりんごの実の画像を左右に並べて連続再生した動画を生成したり、気温のグラフや文章を組み合わせた教材を作成したりする必要があった。表 1 に平成 25 年度の 1 年間で撮影された農作物と農作業画像の枚数を示す。この画像データに加え、フィールドサーバで 1 分間に 1 度環境データが取得される。

図 4：月別センサ検知回数表示画面例

図 5：農地モニタリングシステムの構成

表 1：平成 25 年度に撮影された画像枚数
撮影対象

撮影枚数（枚）

実の写真

4,371

木の写真

4,395

農作業の写真（誤検知画像除く）

20,533

1.3 研究の目的と期待される効果
本研究では学習に有効な画像（以下、重要画像）の検索負担や、画像を活用した学習教材の制作にかかる教員の負担軽減（教材作成時間の短縮）を目的とし、教材制作のためのオーサリングツールの設計を行う。 オーサリングツールにより、これまで蓄積された膨大な圃場デー

図 6：農地（紫波町）の写真
タリングや映像監視等を行うフィールドサーバ[3] も設置し、センシング機能を利用した環境データ（気温、日射量、土壌温度など）の収集も開始した。農地モニタリングシステムの構成を図 5 に、農地の写真を図 6 に示す。
平成 23 年度、平成 24 年度に赤沢小学校の 3年生合計 17 名に実施した本システムに関するアンケートでは、教室でりんごの様子を観察することに対して全員から好意的な意見が得られた [2]。また、担任の先生や校長先生からは農作業画像を閲覧できるようになり、普段目にすることのできない農作業を子供たちに確認させることができるため、農作業の内容や大変さなどを学ばせるために今後活用したいといった意見を得た。さらに、平成 25 年度は撮影された画像や環境データ（以下、圃場データ）を活用した理科や社会の学習教材（作物の生育過程と図 7：圃場データを活用した教材の生成と活用イメージ60

する。または、教員が自由に素材を検索・組み合わせて教材を作成する。作成された教材はデジタル教科書の関連する科目の単元とリンクできるようにする。

タを活用した教材を容易に作成できるようになり、児童たちは理科や社会で学ぶ内容を身の回りで起きている自然現象や仕事と関連付けて学べるようになる。圃場データを活用した教材の生成と活用イメージを図 7 に示す。

2.2 本研究の位置付けと研究課題
本研究では、現在記録しているりんごの農作業のみを対象とし、オーサリングツールの構成要素の一つである蓄積画像へのメタ情報付与と素材自動生成モジュールの領域を研究した。付与するメタ情報は素材自動生成モジュールで利活用しやすいものとなるようにするため、メタ情報付与にかかる負担を考慮しつつ、撮影された画像の内容に一致した正しいメタ情報を付与することが課題となる。また、素材自動生成モジュールでは、教員が作成したい素材条件の決定方法として、教員が条件指定して作成する方法と、素材案から選択して作成する方法を考える。教員が条件指定して作成する場合は、教員が下記を指定する。
（1）活用する素材データ（2）素材データの抽出期間（3）素材データの抽出間隔（4）素材データの加工方法
例えば、「2014 年 4 月から 6 月のりんごの実の写真を 1 日 1 枚ずつ抽出して連続再生する」などを自動決定する。素材案から選択して作成する場合は、各科目の学習指導要領から教材を活用したい単元を選択するたけで、その単元で活用できる素材を自動生成できるようにする。

２ 研究の内容

2.1 オーサリングツールの概要
本研究では、膨大な圃場データから学習教材の一部として活用可能な画像や動画、グラフなどを「素材」と定義する。また、これらの素材に使われる写真や環境データを「素材データ」、素材やテキストを組み合わせたものを「教材」と定義する。本研究で提案するオーサリングツールのシステムアーキテクチャを図 8 に示す。農業体験学習が主に実施されている総合的な学習の時間は、総合的・横断的な学習が重要視されているため、本ツールでは児童たちが育てた作物の周辺データをサーバに蓄積し、それら蓄積データを理科や社会科などの学習教材に活用できるようにする。オーサリングツールは
以下の 3 つの領域から構成される。
（1）データ収集・分析
圃場データを収集・蓄積する領域である。
収集されたセンサの情報や画像に写っている被写体を分析し、収集したデータにメタ情報を付与することで、圃場データを容易に教材として利活用できるようにする。
（2）データ加工
データに付与されたメタ情報に基づき、教材に用いる素材を自動生成する機能（素材生成モジュール）を活用して、各教科の学習指導要領に対応した素材集や教員が定義した素材集を自動生成する。
（3）データ統合
素材集を用いて教材を作成する。各科目の学習単元ごとに教材テンプレートをあらかじめ用意し、教員が教材テンプレートに素材やテキストを埋め込むことによって教材を作成

2.3 重要画像を活用した学習教材の要件定義
農作物の成長過程と農作業を可視化することによって学べる内容は多岐に渡り、学年や科目によって学べる内容も変化する。また、学ぶ内容によって記録すべき対象やカメラの設置位置、学習支援方法等も変化する。そのため、学習指導要領から農業体験学習と関連する単元を選び出し、それらの単元に関連する素材案を作成した。表２に関連する学習指導要領の単元と素材案、素材データの抽出方法を示す。これにより、農業体験学習がその他の科目との連携が容易になり、総合的な学習の時間の目標（横断的・総合的な学習 [5]）達成の一助になる。
2.4 素材自動生成モジュール（1）条件指定して作成する場合
教員はオーサリングツールから素材データを選択し、抽出期間の開始日と終了日を入力する。素材自動生成モジュール内で指定された条件に応じて画像を連結して動画を作成したり、環境データの CSV ファイルを連結してグラフ化したりする。生成されるそれぞれ

図 8：オーサリングツールのアーキテクチャ
61

教科 学年

表 2：圃場データを活用した素材案

学習指導要領
素材案
素材データ抽出期間
抽出間隔 加工方法
日 陰 は 太 陽 の 光 を 遮 る と で 晴れた日の 1 日の農地 農地全体の写 晴れた 1 日分 1 時間間隔 動画
き、日陰の位置は太陽の動きに 全体の画像の連続再生 真( 気象庁より )よって変わること
動画
3年
地面は太陽によって暖められ、晴れの日の土壌温度と 土壌温度と気 温度差が著し 1 分間隔
グラフ
日なたと日陰では地面の暖か 気温のグラフ
温い1日
さや湿り気に違いがあること
植物の成長は、暖かい季節、寒 季節ごとに分類した実 実の写真と気 3 ヶ月ごと
1 日間隔
グラフ
い季節などによって違いがあ の画像の連続再生動画 温ることと気温のグラフ
4年
天気によって 1 日の気温の変化 天気の異なる 2 日間の 雨と晴れの 1 雨と晴れの 1 1 分間隔
グラフの仕方に違いがあること
気温を比較したグラフ 日の気温日分 ( 気象庁理科より )植物の発芽には、水、空気及び 2 年分の開花までの画 実の画像と環 発芽前から開 1 日間隔
動画
温度が関係していること
像の連続再生動画と 2 境データ
花 ま で (2 年グラフ
年分の気温と湿度のグ分)
ラフ
植物の成長には、日光や肥料な 肥料散布中の農作業画 肥料散布中の 農作業の開始 期間中の全 動画
5年どが関係していること
像の連続再生動画
農作業画像 から終了
画像
花にはおしべやめしべなどが 開花してから収穫され 実の画像
開花から収穫 1 日間隔
動画あり、花粉がめしべの先に付く るまでの実の画像の連までとめしべのもとが実になり、実 続再生動画の中に種子ができること
地域には生産や販売に関する 代表的な農作業画像を 代表的な農作 農作業の開始 期間中の全 動画
3、4
仕事があり、それらは自分たち 時系列上に並べた年表 業画像
から終了
画像
年の生活を支えていること
社会
食料生産に従事している人々 農作業ごとに分類した 全農作業画像 農作業の開始 期間中の全 動画
5 年 の工夫や努力、生産地と消費地 画像の連続再生動画
から終了
画像を結ぶ運輸などの働き像の種類を示す。本研究では、以下の 10 通りの作業をコンピュータによる自動判定によってメタ情報付与を行う機能を構築する。の素材は mp4 形式の動画と png 形式の画像で、必要に応じて教員の PC に保存することもできる。これにより、素材案に示した素材以外の素材を自由に作成でき、教員が作成したい素材を提供できる。
（2）素材案から選択して作成する場合
表 2 の素材案ごとに素材データと抽出期間をあらかじめ決定しておき、選択された項目に応じて素材を自動生成する。例えば、天気による気温の違いを表すグラフを提供する場
合、気象庁のデータから Web カメラが設置されている地域の晴れの日と雨の日の日付を取得し、取得した日付の気温データをグラフ化する。

2.6 メタ情報自動付与機能
メタ情報自動付与機能では、検知画像に正しいメタ情報を付与するため、（1）農作業者の有無の判定、（2）撮影時期による判定、（3）作物変化による判定、（4）機械・道具による判定の4 つの判定基準によって、画像に付与するメタ情報を 10 種類の作業項目から自動的に決定する。なお、検知画像は 1 日単位で扱い、メタ情
表 3：センサ検知画像に写った農作業の種類

作業項目
作業内容
剪定枝の配置、樹勢の調整
施肥
肥料をまくことで作物の成長を促進する
摘花
花芽の量と質を調整する ( 開花まで )摘果
花芽の量と質を調整する ( 開花後 )病害虫防除 農薬散布により害虫を取り除く
草生管理 成長を妨げる雑草を刈り取る
葉 摘 み・ 果実に光を当て着色するために葉を摘み実まわし 取ったり、実を回転させたりする
シ ル バ ー シルバーシートの反射によって、果実下シートしき 方向の着色を行う
収 穫・ 選 果実を収穫し、品質の良し悪しによって
果5 段階に選別する
その他
誤検知（人が写っていない）、人の通過、様子見、逆光・吹雪・暗くて作業分類できない、何の作業内容かわからない、画像の破損、農作業とは関係のない作業など

2.5 農作業画像の分析によるメタ情報の選定
平 成 25 年 1 月 か ら 平 成 26 年 12 月 の 間 に
人 感 セ ン サ が 検 知 し た 156 日 分 の 検 知 画 像
51,322 枚を調査し、検知画像内にどのような農作業が記録されているか分析した。分析は
以下の 3 つの方法を用いて作業日単位で決定した。
（1）作業日誌から撮影日時の農作業内容を判別（2）木、作物の変化による農作業内容の判別（3）作業者が使用している道具から農作業内容を判別
その結果、検知画像を 10 通りの作業項目に分けることができた。表 3 に 10 通りの検知画
62

のような作物画像の変化からセンサ検知画像に写った農作業の内容を判定する。具体的な農作業としては収穫、摘花・摘果、葉摘み・実まわしを対象としている。収穫は実の収穫日を赤色領域から、摘花・摘果は花の開花日を白色領域から、画像中の RGB 値を計測することで判定する。収穫日や落花日以降は実や花がなくなるため、赤色領域が極端に減少する。そのため 2 日間の色素差分が最大となる日を収穫日と判定し、収穫日のセンサ検知画像にメタ情報を付与する。
（3）機械道具による判定
蓄積されたセンサ検知画像の中には農作業時に用いる機械や道具が写っている。そのため、機械や道具を検出することによって農作業を判定する。これらは Deep Learning やSVM（support vector machine）を代表とする機械学習を用いることで付与すべきメタ情報を明らかにすることができれば、前述の作業項目の判定手法と併用することで高精度なメタ情報付与が期待できる。現在は、実装にまで至っていないが、メタ情報の付与精度向上のために今後実装を検討する。
（4）撮影時期による判定
りんごの農作業では、剪定、摘花、葉摘み・実まわし、収穫、シルバーシートしきといった大部分の作業項目が、例年、特定の期間中に行われている。表 4 に各農作業項目に対応する作業期間を示す。この表は JA 全農
青森が公開しているりんごの主な 1 年間の作業 [7] にもとづいて作成したものである。撮影時期の判定では、検知画像が撮影された日付を画像から抽出し、この表と照らし合わせることによって、作業時期にあった作業項目をメタ情報として付与できる。また、作業期間が重なっている農作業が存在していた場合は、時期からどちらか一方であると判定することが困難であるため、該当するすべての農作業をメタ情報として付与する。

図 9：センサ検知画像へ付与するメタ情報決定
手順
報は撮影日毎に付与されるものとする。図 9 にセンサ検知画像に付与するメタ情報の決定手順を示す。
（1）農作業者の有無の判定
農作業者の有無の判定では、画像に人が写っていない場合や、農作業を行っていないと判定した場合に、「その他」のメタ情報を付与する。農作業を行っていないと判定される画像には、明るさや天候によって視界がぼやけて見えない画像なども含まれる。この場合は画像全体がぼやけていることが多く、目視では画像上の変化を確認することが難しい。
そのため、前後画像の差分値を測定することで、画像差分の連続した変化が少ないものを人が写っていないと判断し、「その他」のメタ情報を付与する。差分抽出には屋外での環境変化に強いフレーム間差分を用いる。その後、ラベリング処理 [6] をし、最大の差分領域が閾値に達している画像が連続して存在しているか判定する。そして、閾値に達した画像を連続して含まない 1 日の作業を「その他」の作業項目として判定する。
農地を通り過ぎたり、様子見だけで作業を行わなかったりした場合は農地にとどまる時間が短いものが多い。そのため、農地に設置した人感センサの検知回数が 3 回以下のものを、人は写っているが農作業を行っていない画像と判定し、「その他」のメタ情報を付与する。
上記の 2 種類以外の画像は農作業者が何かしらの作業を行っていると判定し、次の判定処理（図 9（2））を行う。その後、どの判定にも農作業として該当しなかった画像にも、「その他」のメタ情報が付与される。
（2）作物変化による判定
作物に直接手をつける作業項目では、収穫のように作業後に作物がなくなるといった変化を作物画像から抽出することができる。こ表 4：各農作業の作業期間
農作業
剪定施肥
摘花
摘果
病害虫防除
草生管理
葉摘み・実まわし
シルバーシートしき
収穫・選果
その他
63期間
1 月〜 3 月
4月
5 月〜 6 月
5 月〜 6 月
4 月〜 8 月
5 月〜 8 月
8 月〜 11 月
8 月〜 10 月
9 月〜 11 月
通年

表 5：メタ情報の自動付与の精度評価結果
作業名

手動付与データ

自動付与データ剪定摘花・摘果
農薬散布・肥料散布
葉摘み・玉回し収穫
シルバーシートしき
選果
草刈り
その他（作業なし）

4510311183992945184634715

手動付与データ
適合率（％）再現率（％）∩自動付与データ
444.4%100%
517.2%
100%
715.6%
70%
3
16.7%
100%
125.0%
100%
1
16.7%
100%
133.3%
100%
8
17.0%
100%
15100%
38.5%

３ これまで得られた研究の成果（1）メタ情報付与機能の評価
本研究で開発したメタ情報付与機能によって付与されるメタ情報の正確性を評価するため、農作業日誌と照らし合わせながら手動でメタ情報を付与した場合と、本機能によってタ情報を自動付与した場合でメタ情報を比較した。手動で付与したメタ情報を正解データとし、メタ情報付与機能によって自動的に付与されたメタ情報が正解データとどの程度一致していたかという指標を適合率とした。また、手動付与による正解データのうち、自動付与されたメタ情報がどの程度含まれていたかという指標を再現率とする。適合率と再現率は次式で求められる。

図 10 オーサリングツールのプロトタイプシステム

４ 今後の具体的な展開

メタ情報付与機能については付与されるメタ情報を単一の農作業に限定できるようにするため、今回未実装であった機械学習を用いた農作業の機械や道具の認識による農作業内容の判定に取り組む。また、メタ情報付与機能によって付与されたメタ情報を手動で編集できるようにすることで、若干の人的負担をかけながら正確なメタ情報を付与できる半自動方式についても検討する。
オーサリングツールのプロトタイプシステム
は、教材生成に 5 分から 15 分程度の時間がかかっており、教育現場の教員に利用してもらえる実用的なシステムにはなっていない。今後はプロトタイプシステムを図 8 に示した 3 つの領域をすべて連携させたシステムへと改良する。

評価の結果を表 5 に示す。評価の結果、再現率が 100%となった農作業項目が多いが、剪定・その他以外の農作業は適合率が 35％未満となった。これは今回評価で利用した本機能では、図 9（3）の機械道具による判定が実装されていないため、作業期間が重複する複数の農作業がメタ情報として付与されたことが原因として考えられる。

５ 論文・学会発表等の実績（2）オーサリングツールの試作
オーサリングツールのプロトタイプシステ
ムとして、教員が自由に条件指定して素材を生成できるシステム（http://133.242.141.56/
prototype2/material）を開発した。開発したシステムの画面例を図10に示す。

1) 山本晃大、中村武道、高木正則：農業体験
学習用学習教材作成のためのオーサリン
グツールの提案、教育システム情報学会
第 39 回 全 国 大 会 講 演 論 文 集、pp.71-72、2014.92) 中村武道、高木正則：児童向け学習教材に活用する農作業画像へのメタ情報付与
64

機能の開発と評価、情報処理学会研究報
告、Vol.2015-CLE-15、No.4、pp.1-5、2015.1

６ 受賞・特許なし

７ 謝辞

フィールドサーバを提供していただいた株
式会社ワイ・デー・ケーの北田氏、株式会社イー
ラボ・エクスペリエンスの小山氏をはじめとする関係者の皆様に感謝します。また、Webカメラを設置していただいている紫波町中村
農園の皆様、実験に協力いただいた岩手県紫波町立赤沢小学校の中村善一校長、菅田教諭、赤沢小学校 3 年生児童の皆様に心より感謝します。

８ 参考文献[1] 農 文 協 プ ロ ダ ク シ ョ ン： 農 業 体 験 学 習の ア ン ケ ー ト 結 果 等、http://www.noutaiken.net/report_h21[2] 高木正則、吉田昌平、中村武道、山田敬三、佐々木淳：児童を対象とした農業体
験学習支援システムの開発と評価、情報
教育シンポジウム 2012 論文集、pp.233240、2012.
[3] 株式会社イーラボ・エクスペリエンス：
フィールドサーバ、
http://www.elab-experience.com/
fieldserver[4] 阿部勇人、佐々木淳、高木正則、山田敬三、中村武道、加藤裕美、山本晃大、吉田理
穂：定点カメラ画像を利用したりんごの成長過程用学習コンテンツの試作と評価、第 76 回 情 報 処 理 学 会 全 国 大 会、2ZE-4、2014.3[5] 文部科学省：“ 小学校学習指導要領第5章 ”、2011.
[6] 井村誠孝、ラベリングクラス
http://imura-lab.org/products/labeling/[7] JA 全農青森 りんごの主な１年間の作業、
http://www.am.zennoh.or.jp/apple_work.
html

65