リアルタイム行動認識機能を有する釣り CPS の開発
福田 修之1,a)

玉置 理沙1,b)

松井 智一1,c) 大井 一輝1,d)
安本 慶一1,g)

Choi Hyuckjin1,e)

松田 裕貴1,f)

概要：近年，センサの小型化，高性能化や機械学習技術の進歩から，IoT で得られるフィジカル空間の情報とサイバー空間に蓄積された膨大な情報を AI が解析し，その解析結果をフィジカル空間の人間に様々な形でフィードバックする Cyber Physical System（CPS）の研究開発が進められている．なかでも，ス
マートスポーツの分野では，競技者の行動や動作をセンシングし，AI を用いて認識する研究が数多く進められている．本研究では，スポーツとしての釣りに着目し，釣り人の行動をリアルタイムで認識し，釣れないときの意思決定支援として，時間・場所に応じた釣果に結びつく過去の有用な行動に関する情報を提供する釣り CPS を提案する．著者らは，釣り竿に取り付けた加速度センサの情報から魚種と大きさを自動認識する研究を既に実施している．本稿では，これに加えて，釣り CPS 実現に向けた位置情報と加速度・
ジャイロ情報を取得する IoT デバイスの開発と，リアルタイム行動認識結果を位置・時刻と合わせてアニメーションにより表示する Web システムについて報告する．開発した IoT デバイスと，Web システムについて，実用化の観点から評価を行った．その結果，実際の防波堤環境で，GPS センサ，加速度センサを起動し，UDP 通信でサーバに常時送信する状態で 4 時間 40 分の動作を確認した．

1. はじめには，体幹トレーニング支援に向けたウェアラブルデバイスによる種目認識手法を提案しており，体に取り付けたセン

近年，センサの小型化や機械学習技術の進歩から様々なサから得られる加速度，ジャイロデータのみを使って，7研究分野で IoT，AI に関する研究が進められている．特種類（計 10 パターン）の体幹トレーニング種目認識を行うに，フィジカル空間に設置したセンサが計測した膨大な情

機械学習モデルの構築を報告している．しかし，これらの報をビッグデータとしてサイバー空間に蓄積し，このデー先行研究では機械学習モデルの構築を対象としており，実タを AI が解析することで，フィジカル空間の人間に様々な用化のためのシステム開発については現状取り組まれてい形でフィードバックするシステム（CPS：Cyber Physicalない．具体的には，動作時間やサーバとの通信を考慮した

System）の研究開発が盛んに行われている [1]．

体幹トレーニング支援に適したセンサデバイスの開発や，なかでも，スマートスポーツに関する分野では，これま

大量のセンサ情報を適切な通信方式で送受信し，機械学習で行われてきたスポーツに対してセンサなどを競技道具にモデルで処理したのち，その結果を競技者にフィードバッ

取り付け，データを分析し，競技者への適切で科学的な根クするシステム全体の開発は対象外となっている．

拠に基づくフィードバックを行う研究が数多く行われている [2]．

本研究では，スポーツとしての釣りに着目し，釣り人の行動をリアルタイムで認識し，釣れないときの意思決定支

たとえば，高田らは高齢者に健康な体で自立した生活を援として，時間・場所に応じた釣果に結びつく過去の有用続けられるように日頃から適度な運動やトレーニングを促な行動に関する情報を提供する釣り CPS を提案する．著すシステムの開発に取り組んでいる [3]．高田らの研究で者らは，釣り竿に取り付けた加速度センサの情報から魚種と大きさを自動認識する研究を既に実施している [4]．本稿

1

a)
b)
c)
d)
e)
f)
g)

奈良先端科学技術大学院大学,
Nara Institute of Science and Technology
shuichi.fukuda.fs5@is.naist.jp
tamaki.risa.tn0@is.naist.jp
matsui.tomokazu.mo4@is.naist.jp
oi.kazuki.of8@is.naist.jp
choi.hyuckjin.cc0@is.naist.jp
yukimat@is.naist.jp
yasumoto@is.naist.jp

では，これに加えて，釣り CPS 実現に向けた位置情報と加速度・ジャイロ情報を取得する IoT デバイスの開発と，リアルタイム行動認識結果を位置・時刻と合わせてアニメー
ションにより表示する Web システムについて報告する．
釣りは，老若男女誰しもが楽しめるスポーツであるが，プロ・アマチュア問わず，釣果が上がらないことが多々発

生する．この問題を解決するため，多くの釣り人は，事前

このように本研究の提案する釣り CPS は，釣れていないに釣り雑誌や SNS などから得られる過去の釣果情報（魚ときに，ただ待つのではなく，どのように行動すべきかを種，大きさ，尾数）を利用し，釣り場の選定や時間帯，行考えるための有用な情報提供を行う．

動計画を検討している．しかしながら，綿密な計画を立て

本稿では，釣り CPS 実現において重要となる，位置情

たにもかかわらず，釣り場に到着し，釣り餌を投入しても報に紐づいたリアルタイム行動認識システムの構築につい直ちに魚を釣り上げることは稀である．多くの場合，餌のて述べる．具体的には，釣りのセンシングに特化した IoT

投入後，魚が釣れるまで待つことになる．しかし，「待つ」

センサデバイス，釣り人の行動認識モデル，行動認識結果という行動の他に，釣り場の変更や仕掛け投入距離の変更，を GPS により得られる位置情報と時刻情報に紐付け，ア

釣り餌の変更など，数多くの行動と選択肢が存在する．こニメーションにより可視化する Web システムの開発につれらについて，その釣り場の詳細なスポット（防波堤の先いて報告する．

端や潮の流れが変化する地点など）とその時間帯に適した，魚を釣り上げるための最適な行動は不明である．
たとえば，防波堤釣りにおいて，釣れないときに防波堤

2. 関連研究2.1 釣りセンシングに関する研究

内の釣れるポイントを探索するケースについて考える．防才木らは，竿先に加速度センサを取り付けた魚釣り支援

波堤釣りでは，餌を水中に投入してからどの程度待つか以システムにより，弾性体である釣竿の振動減衰を解析し，外にも，釣り場の海底の隆起の状態や潮の流れ・時間帯な竿先に現れた全ての魚のアタリに伴う振動が，人には伝ど多くのパラメータを考慮し，防波堤内の釣れるスポット

わっていないことを明らかにした [5]．また，竿先に取り付を探索する必要がある．また，釣り餌を投入してからそのけた加速度センサから得られたベラ（12-20cm）1 匹の振付近の魚が餌に気付くまでに一定の時間を要するため，釣動データを分析することで，ヒットする前の人間が感知でり人が待つ時間を短縮して移動した場合，よい釣果を成しきない微細な振動をセンサが検知できる可能性を提示して得ない可能性も存在する．具体的な例として，回遊魚（アいる．

ジやブリなどの特定の場所に留まらず広い範囲を遊泳する

また，才木らの遠投支援システムの開発研究では，竿先魚種）が多く回遊する絶好のスポットで仕掛けを投入してに取り付けた加速度センサを用いて，投げ釣りにおける遠いるにもかかわらず，そのスポットを早く移動し過ぎたた

投時の人の釣具の操作を分析した [6]．その結果，釣竿の回めによい釣果を得られないことが挙げられる．一方で，魚転速度が最高に達してから止まるまでの間に釣糸を解放す

が釣れるまで長時間待つ場合，探索可能な範囲が狭まるた

ると，飛距離が伸びることを加速度センサの情報から示し

め，釣れない場所で停留する時間が長くなり，魚を釣り上た．このことから，才木らは，釣竿に実装した加速度セン

げる確率が低くなってしまうこともある．

サの情報をもとに，最適なタイミングで釣糸を自動的に解別の例として，ダンゴ釣りで大型魚を釣るケースについ放する遠投支援システムの有用性を確認している．

て考える．ダンゴ釣りでは，餌団子を海面中層部の小魚に以上に示す才木らの研究では，竿先に取り付けるセンサ

食べられずに，下層部に落としたのち，竿を上下にしゃくの小型化や釣り人の投げ方支援などを提案しているが，釣ることで餌を砕き，下層部の魚を自身の真下におびき寄せ

果共有や釣り人の行動を認識する手法は研究対象外である．

釣り上げる必要がある．この場合，下層部まで餌を投入す

我々は，釣果情報共有を目的とした 釣竿の振動データにる回数が重要となってくるため，釣り餌を投げるという行

基づく魚種判別手法や釣り人の行動認識について既に取り動の回数が少なければ，釣れる確率は極めて低くなる．

組んでいる [4], [7]．本稿と我々の先行研究の差分は，先行

このように同じ釣り場内においても，釣りをする地点や狙う魚，仕掛け，時間帯によってどのような行動をとるべ
きかが異なる．

研究の研究成果を活用し，釣り CPS として実用化するためのシステム開発を行ったことである．
文献 [4] では，防波堤 3 カ所 (大阪府，福井県，三重県)

これらの課題を解決するため，我々の研究では，リアル

で釣り上げた，28 匹の魚の振動データに対して，周波数解タイムで釣り人の行動を認識し，釣れない時の意思決定を析およびバンドパスフィルタとピーク検出による魚種判定支援するため，時間・場所に応じた過去の釣果に結びつくを行った. その結果，ピーク点ごとの間隔に着目した特徴

有用な行動情報を提供する釣り CPS を開発する．具体的

量を主成分分析で可視化することで，9 つの魚種のうち，尾な使用例として，釣り CPS は，釣り場でどのような行動を数の多かった 5 つの魚種についてグループ分けを行うこと選択した人の釣果が高かったのか，という過去の情報をもができた. しかし，振動データの取得にスマートフォンをとに，釣り場に到着したが魚が釣れずに困っているユーザ

使用しており，常時ディスプレイを点灯させた状態で GPSに対して，釣れるまでの平均待ち時間や移動候補などの情と加速度センサを起動して長時間データ収集を行うため，報を提供する．同時に，過去の釣果記録から，釣り場内でバッテリの充電不足が問題となった．また，釣り餌で汚れもユーザの現在地付近で釣れやすい魚の情報も提供する．

た手で画面を操作するため，衛生面での問題が生じる事や

不意の落下の可能性など，実用面での様々な問題が発覚し高田らは高齢者に健康な体で自立した生活を続けられる

た．文献 [4] との差分は，上記の問題を解決した釣りに特ように日頃から適度な運動やトレーニングを行うように化した IoT デバイスの開発を行った事である．また，釣り促すシステムの開発を提案している [3]．高田らは，体幹CPS が提供する情報が，釣果情報ではなく，よい釣果に結トレーニング支援に向けたウェアラブルデバイスによるびつく行動情報を提供する点でも先行研究とは異なる，

トレーニング種目認識手法を提案しており，右手首，左手

文献 [7] では，釣竿に取り付けた IMU を用い、釣人の 5首，ベルト位置に取り付けられたウェアラブルデバイスか種類の行動を認識する機械学習モデルの構築と評価を行っら得られる加速度，ジャイロデータのみを使って，7 種類

た．本稿で提案する釣り CPS は，文献 [7] のモデルをサー（計 10 パターン）の体幹トレーニング種目の認識を行っバ上に実装し，新たに開発した IMU 搭載の IoT デバイス

た．高田らは機械学習手法として，Random Forest を用から送られたデータを入力させる事で，リアルタイムで行い，Leave-one-person-out Cross-Validation により，各種

動認識を行う．文献 [7] との差分は，行動認識モデルの実

目の認識精度を評価した結果，F 値 99.7 %と高精度に認識用化およびその運用にむけて，IMU 搭載の釣り専用 IoTすることに成功した．

デバイスの開発，サーバ上での認識モデルの実装，行動認

以上のように，スポーツの競技道具や競技者の体にウェ

識結果を位置情報と共にアニメーションで可視化するする

アラブルデバイス・センサを取り付け，競技者の行動を認Web システム開発を行った事である．

識する研究が盛んに行われている．しかし，これらの研究

以上のように，本稿では先行研究の研究結果を活用し，釣り CPS の実用化に向けたシステム開発に注力した．

はセンサによりデータを収集し，機械学習モデルの構築を行っているが，釣りは対象とされておらず，実用化のための機械学習モデルを組み込んだシステム開発も現状行われ2.2 スマートスポーツにおける行動認識の研究ていない．

Blank らは，卓球の上達支援システムの開発を目的として，卓球ラケットに取り付けた 慣性計測装置（IMU：

2.3 CPS に関する研究

Inertial Measurement Unit）を用いて，アマチュア選手とZhang らは，現代医療における患者中心の予防，予測，治プロ選手 10 名のストローク動作の検出とその種類の分類

療を行う医療診断のサポートを目的に，ヘルスケアに特化を行った [8]．ストローク動作の検出は，Blank らの独自した Health cyber physical system（Health-CPS）を提案

アルゴリズムにより，サンプリング周波数 1000Hz で取得している [12]．Health-CPS は，血圧計，検温計，パルスオ

された時系列データから抽出される．それらのデータに対キシメータなどの身近なデバイスから得られる情報や SNS

して，基本的な 8 種類のストロークの種類を正解データの情報，医療機関の診断情報などの幅広いデータを横断的としてラベリングを行い，機械学習の解析ソフトであるに処理することで，日々の生活における運動習慣の改善提ECST と WEKA を用いて，Naive Bayes, Random Forest,

案や集中治療，唐突な病気の検出，バイタルサインの監視

Support Vector Machine（SVM）など，6 つの分類アルゴを行う．また，Health-CPS では変化する個人の健康状態

リズムにより，行動認識モデルの構築を行った．その結をリアルタイムで反映し，フィードバックを行うことで，果，Radial Based Funtion Kernel を用いた SVM モデルに中央集権型の医療リソース問題，医療情報の孤立化，患者

より，Accuracy 96.7% の精度で，行動を認識できることの受動的参加など，従来のヘルスケアの課題を解決する．

を報告している．

Shuaiyin らは，製造業における排出物と廃棄物を最小

鳥越らは，剣道競技者が単独でも効果的な練習を可能限に抑え，製品の生産量を最大化するスマートファクトとする剣道上達支援システムの実現に向けて，IMU を用

リ向けの製造モデルである Energy cyber physical system

いた打突動作の認識手法を提案している [9]．認識対象で（Energy-CPS）を提案している [13]．Energy-CPS は，IoT，ある打突動作は，面，突き，胴，小手の 4 種類と，打突

CPS などの高度な技術を基盤として，工場内に設置された箇所に左右を加えた計 8 種類である．6 人の被験者を対象

ガス・電力センサやスマートメータ，エネルギーの需要量に，右手首，腰，右足首，竹刀鍔，竹刀先革に取り付けらや製品の位置情報などの情報をもとに，エネルギー消費をれた IMU 搭載のセンサ SenStick を用いて，サンプリン

削減し，製造プロセス全体で材料の利用率を向上させる効

グ周波数 100Hz で加速度および角加速度データを収集し果的な方法を提供する．

た．それらのデータをもとに，Python 機械学習ライブラリ

建築機器の製造を行うコマツ社は機械稼働管理を行う

scikit-learn [10], [11] を用いて，Random Forest，Support

CPS を提供している [14], [15]．コマツ社の CPS は，同社

Vector Machine，K-Nearest Neighbor，Neural Network のの製品である建設機械に搭載されている各種コントローラ

4 つの機械学習モデルの構築を行った．その結果，Randomの情報を KOMTRAX コントローラに転送し，GPS で取Forest を用いた機械学習モデルにより，F 値 94.0 %で行得した位置情報とともに，通信モデムを介して衛星通信回動を認識できることを明らかにした．

線で専用サーバに転送し，顧客，代理店，同社の利用者が表 1 先行研究および本研究の CPS の概要

IoT センサ

CPS

センシング内容

運動習慣の改善提案，

血圧計，

Health-CPS [12]検温計，

ガス・電力センサ，
スマートメータ，

RFID
機械稼働管理 CPS [14], [15]

GPS，
機械センサ
ドア開閉センサ，

高齢者見守り CPS [16]電力センサ，
カメラ

釣り CPS

加速度センサ，

（本研究）

GPS

集中治療，

日々の健康状態

パルスオキシメータ

Energy-CPS [13]アクチュエーション

唐突な病気の検出，
バイタルサインの監視

工場内の製造状況，
製品の位置情報

クリーンで効率的な製造

重機の動作状況，

機械停止，

位置，

保守部品配送など

頻度
生活行動リズム，

高齢者の見守り，

在宅状況

捜索支援

釣り人の行動，釣果，
位置

釣れない時に有効な
過去の行動情報の提供

Chart.js
LeafletVue
Suggestion

GPSセンサExtra Battery
GPS

FrontEnd
Server

制御マイコンM5stick C

Device(sensor WiFi)
HTTP
テザリング

UDP

UDP

図1

バッテリー
1000 mAh

⾏動認識

RasPi

釣り CPS の概要図

監視できる仕組みである．

図2

釣竿に取り付ける IoT デバイスの外観

宮崎らは，重要な社会的課題の一つである高齢者の見守りを目的とした CPS の提案をしている [16]．彼らのシスのように釣り人の行動に着目し，釣りをするときの時間

テムでは，センサにより計測する扉の開閉や家電機器のオや場所に適した情報提供や支援を行うシステムは研究・開

ンオフ情報を分析し生活行動リズムを学習する見守り支援

発されていない．また，釣り SNS [17] や釣果共有システ

サービスと，外出・帰宅センサから得られる在宅状況やカム [18] も存在するが，これらは釣りに行く前の事前計画段

メラから得られる画像の分析結果を捜索支援などに活用す

階では有効であるが，釣り場に到着し釣れない状況に陥っる外出状況確認サービスとを併せ持つ高齢者生活支援サー

たときには効果を発揮しない．

ビスを提供している．

本研究で提案する釣り CPS は，釣り人の状態に着目し，上記の CPS の研究事例と本研究の釣り CPS についてま

リアルタイムで行動を認識することで，釣れないときの意とめたものを表 1 に示す．表 1 では医療やエネルギーなど

思決定を支援するための，時間・場所に応じた過去の釣果の業界を対象としたものや，重機，スマートハウスを対象に結びつく有用な行動情報を提供する．

としたものが存在し，IoT デバイスを用い，CPS を構築することでこれまでのサイバー空間の情報のみでは行えな
かった新しいフィードバックの提案を行っている．

3. 提案システム
3.1 釣り CPS システムの概要
本研究で提案する釣り CPS の概要を図 1 に，釣竿に取2.4 本研究の位置づけ

り付ける IoT デバイスを図 2 に示す．

これまでの釣りに関する研究において，センサの開発や釣り CPS は，図 2 に示す GPS センサと IMU を備え付

遠投支援などは行われているが，スマートスポーツの研究

けた IoT デバイスを装着した釣竿から，センサの情報をク

表 2 行動認識に用いる特徴量一覧
センサの種類

特徴量抽出方法
最大値
平均

加速度 X, Y, Z

分散

角加速度 X, Y, Z

中央値

（6 項目）

第 1, 3 四分位数の幅
下位 10%の値
上位 10%の値

特徴量 合計図 3 加速度データの取得を行う iOS アプリの外観

423.2 釣り CPS で用いる IoT デバイス
本研究では，スマートフォンを釣竿に取り付けることで釣り竿の振動データの収集を行う iOS アプリ（図 3）も開ラウド上にアップロードし，行動認識モデルに入力するこ発したが，加速度の取得をバックグラウンドで常時行えなとで，釣り人がどの地点でどのような行動をとり，どのよ

いことや，常にディスプレイを付けた状態で GPS センサとうな釣果をあげたのかを記録することが可能となる．釣果

加速度センサを起動して長時間釣りを行うことによるバッ情報の記録について，他の釣り SNS と同様に，Web シス

テリの充電不足が問題となった．また，スマートフォンをテム上での登録も可能であるが，我々は釣り竿の振動情報

釣りをしているときに使用すると釣り餌で汚れた手で触るに基づく魚種の判定にも取り組んでおり [4]，図 2 の IoT デ

ため衛生面での問題が生じることや不意の落下の可能性なバイスの加速度情報を用いた魚種判定結果から，釣果情報

ど，様々な問題が発覚した．

の自動記録も可能となる予定である．また，釣り餌についそこで我々は，図 2 に示す釣りに特化した IoT デバイても任意で登録可能とすることで，釣り場の現在位置付近

スの開発を行った．制御マイコンには，WiFi 通信が可

での釣れやすい餌の種類についてもフィードバック可能と能であり，加速度・ジャイロ情報の取得が可能な IMU*1

なる．上記のように，フィジカル空間の情報をサイバー空（MPU6886）を搭載した M5stickC を用いた．GPS センサ

間の情報に結びつけることで，釣り CPS では以下の 3 点には，AT6558 チップを搭載した GPS モジュール*2（位置が可能となる．

精度 2.5 m，サンプリング周波数 1 Hz）を使用した．GPS( 1 ) リアルタイムで認識される釣り人の行動と時間・位置

センサと加速度センサで取得したデータは，スマートフォ

情報に基づいた，釣れていない時に有益な参考情報のンのテザリングによりサーバへと送信される．外部バッテ提供

リには 1000 mAh のリチウムイオンポリマーバッテリ（リ( 2 ) 釣り CPS 上に保存されたリアルタイム性の高い釣果情報を用いた事前の釣り計画立案における場所選定

ポバッテリ）を用いた．本デバイスの総費用はおよそ 4000
円程度である．

( 3 ) 釣り CPS 上に自動記録されている釣りログ（場所，行動）に基づいた釣りの見直し

3.3 釣り人の行動認識モデル（1）に関して，釣り CPS では，釣り場に到着したが釣釣り CPS 上で用いる釣り人の行動認識モデルは，先行れずに待っている時，釣り餌の変更案の提案や同じ地点で研究で開発したもの [7] をベースとしてサーバにデプロイ

投げる回数を増やし，試行錯誤するべきか，もしくは場所されている．文献 [7] に示す行動認識モデルは，5 種類の変更するべきかなどの推奨行動を，過去に記録されたログ

釣り行動（投げる，移動する，待つ，リールを巻く，餌をに基づき提案する．（2）に関して，既存の釣り SNS ではつける）を，42 項目の加速度・ジャイロに関する特徴量

一匹一匹の魚を釣り上げた時の詳細な位置情報とその時刻

から，Leave-one-session-out 交差検証法にて，F 値 0.784

は記録されない問題が存在する，これらに対して釣り CPSで推定することが可能である．表 2 に加速度・ジャイロ情

は，GPS により得られる釣れた時の詳細な場所・時刻を記報から抽出した特徴量を，表 3 と図 4 に行動認識モデルの録しているため，事前の釣り計画立案において確度の高い推定精度と混同行列を示す．推定を行う機械学習モデルの情報提供が可能である．
（3）に関して，釣り CPS の釣りの実装には，Python の scikit-learn モジュール [10], [11] のログを閲覧することで，釣りに行ったが釣れなかった場合*1にそれがたまたま釣れなかったのか，もしくは釣れない状態に陥っていたのか（狙う魚種が適切でない，潮の状態や時期，時間帯などが適していない）を，釣り CPS 上の他のユーザの釣りログと比較し，考察することが可能となる．

*2

MPU6886 デ ー タ シ ー ト：available from https://m5stack.oss-cn-shenzhen.aliyuncs.com/resource/docs/
datasheet/core/MPU-6886-000193\%2Bv1.1_GHIC_en.pdf(accessed 2020-08-19).
AT6558 デ ー タ シ ー ト：available from http://aitendo3.
sakura.ne.jp/aitendo_data/product_img/gps/ATGM332D/
5N31/AT6558.pdf(accessed 2020-08-19).

推定モデルの精度評価結果の行動認識の推定結果が時系列のアニメーションで表示さAccuracy

Precision

RecallF-valueれる．同様に加速度・ジャイロ情報が赤枠・黄色枠に示す

0.808

0.800

0.797

0.784

グラフで表示されている．Web システムは，マイページ制

表3にしており，基本的には共有しない限り他の釣り人に行動データを見られないように制限している．

4. システム評価開発した IoT デバイスに対して，実用化に向けた実際の釣り場環境での動作の観点から，以下の 3 項目について評
価をおこなった．

( 1 ) リアルタイム性の高い通信方式の検証( 2 ) IoT デバイスの連続動作時間の評価( 3 ) GPS データのノイズの評価
4.1 リアルタイム性の高い通信方式の検証
1 番目の項目の通信方式に関して，他の行動認識に関する先行研究では BLE を用いたデバイスが多いが，我々の研究では CPS を構築するため，インターネットへの接続が

図 4 混同行列必須となる．また，釣り CPS では釣れていない時のフィー
表4

Random Forest のパラメータ

ドバックを想定しており，リアルタイム性も重視されるた

パラメータ

値

め，サーバへの接続に関して HTTP 通信と UDP 通信のbootstrap

True

比較を行った．その際，送信データの容量として関係する

class weightbalancedcriteriongini

max depth

10

ジャイロデータを用いた釣り人の行動認識と釣果自動記録

IMU のサンプリング周波数について，我々は，加速度・

max features

autoのための魚種判定についても研究している．なかでも，加max leaf nodes

None

速度情報を用いた魚種の判定には詳細な振動データが必要

min samples leaf

1となるため，現状，サンプリング周波数 100 Hz にする必

min samples split

2

要がある．これらのことから，IoT デバイスの IMU のサ

min weight fraction leaf

0n estimators

500

ンプリング周波数も同様に 100Hz とした．上記の条件でのoob score

False

verbose0

HTTP 通信と UDP 通信の比較結果を以下に示す
まずはじめに HTTP 通信を用いて，サンプリング周波数

100 Hz で IMU から取得した加速度・ジャイロデータのバ
Random Forest [19] を使用しており，Raspberry Pi 4 上

イナリデータ（ 1 秒あたり 2400 bytes ）を送信周期 1 秒での Flask [20] サーバでも実行可能な軽量なものとなってい送信した時，およそ 20 秒後にデバイス上でバッファオー

る．その時の Random Forest のパラメータを表 4 に示す．

バーフローが発生し，開発した IoT デバイスは動作を停止

Python の pickle モジュール [21] でバイナリデータにシリした．これは，別タスクで起動している GPS センサデータ

アライズしたファイルサイズは 30 Mbytes であった．

のパース処理が重いことに加えて，HTTP 通信が TCP 通信をベースとした通信方式であるため，送受信確認を待っ

3.4 Web システムでの GPS と行動データの可視化ている間に 1 秒周で起動されるセンサデータの送信タスク

IoT デバイスにより得られる GPS と加速度センサ情報，に遅れが生じ，TCP 送信バッファでオーバーフローが発

行動認識結果をアニメーションにより可視化する Web シ

生したと考えられる．そこで，次に送受信確認を行わない

ステムを開発した．システムの UI を図 5 に示す．図 5 の通信方式である UDP 通信による送信を試みた．実験条件

左端に示す画面により，釣りの日別のログが表示されておは TCP 通信と同じ条件とし，GPS センサデータのパース

り，閲覧したい日の記録を選択することで，右の詳細デー処理を実行している状態で，サンプリング周波数 100 Hz

タの表示画面に遷移する．右側の画面では，上部の水色枠で取得した 6 軸加速度センサのバイナリデータ（ 1 秒あに位置情報が表示されており，1 秒毎にユーザの位置が地たり 2400 bytes ）を送信周期 1 秒で送信した結果，連続図上で移動するアニメーション機能が実装されている．そして動作することを確認した．また，その時のサーバ上でれと同時に，その下の紫枠で囲まれたグラフ部分に同時刻の UDP により送られるセンサデータの保存と，リアルタ加速度情報

位置情報

⾏動情報

ジャイロ情報

CSVダウンロード

図 5 Web システムの UIており，所々で位置が 700m ほど縦方向に飛んでいることが確認された．この結果から，GPS データに対して，現在地から次の地点の位置を表示する時に，人間の移動速度以上の地点に到達しているものは除去するなどのノイズ除去
対策が必要となることが明らかとなった．

5. おわりに本研究では，スポーツの中でも「釣り」に着目し，釣竿に取り付けた GPS センサと IMU の情報を用いて，釣り人
図 6 大阪湾防波堤における GPS センサデータの可視化結果

イムでの加速度・ジャイロデータを用いた行動認識モデルの行動を認識することで，釣れないときに時間・場所に応じた釣果に結びつく過去の有用な行動情報を提供する釣りCPS について提案した．

の動作についても確認した．これらの結果から，釣り CPS

現状，スマートスポーツや行動認識で用いられているセの実現において，UDP 通信を用いることでサンプリング

ンサは，釣りのセンシングや CPS システムに適したもの

周波数 100 Hz の加速度データをリアルタイムで送信可能ではないため，本稿では釣りに特化した IoT デバイスの開な IoT デバイスの実現が可能となることがわかった．

発した．釣り CPS 実現に向けて開発した，釣り専用の IoT
デバイスと，リアルタイム行動認識結果を位置・時刻と合4.2 IoT デバイスの連続動作時間の評価

わせてアニメーションにより表示する Web システムにつIoT デバイスの駆動時間について，釣りは他のスマート

いて，実用化の観点から評価を行った．釣り人の行動認識

スポーツと比べて長く行う傾向があるため，本デバイスのと釣果の自動記録のための魚種判定に必要な加速度・ジャ

連続動作時間の測定を行った．実験は，実際の海辺環境でイロデータの取得を行う IoT デバイスに対して，通信方式

IoT デバイスを駆動し，加速度，GPS データを同時収集し，と駆動時間について評価した．

スマートフォンのテザリングを用いて WiFi 経由でサーバ

GPS センサ情報を常時記録し，サンプリング周波数へ送信したのち，Web 上で確認を行った．その結果，実100Hz で加速度・ジャイロデータを取得する条件で，TCP際の防波堤環境で，GPS センサ，加速度センサを起動し，通信および UDP 通信での CPS システムへの接続を試み

UDP 通信でサーバに常時送信する状態で 4 時間 40 分の動

た．その結果，TCP 通信では送信不可が重くなることか作を確認した．

ら，バッファオーバフローを引き起こしデバイスが停止する事を確認した．次に，TCP 通信よりも通信方式が軽量

4.3 GPS データのノイズの評価

な UDP 通信による送信を試みた結果，リアルタイムで常GPS データについて，実際の海辺環境でデバイスを駆時送信可能である事を確認した．デバイスの駆動時間につ動し，加速度データと共に GPS データを収集し，Web 上

いて，実際の防波堤環境で，GPS センサ，加速度センサをで確認を行った．その時の GPS データの可視化結果を図

起動し，UDP 通信でサーバに常時送信する状態で 4 時間

6 に示す．図 6 の結果から，GPS データにノイズが含まれ40 分の動作を確認した．

今後の展望として，IoT デバイスの小型化と省電力化を[13]進める予定である．

謝辞
本研究は, 奈良先端科学技術大学院大学の Creative and[14]

International Competitiveness Project の助成を受けたも
のである.

[15]

参考文献

[16]

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

下田篤, 谷口洋司. 企業課題解決との対比に基づく社会
課題解決のための超スマート社会実現方法の考察. 国際
P2M 学会誌, Vol. 14, No. 1, pp. 197–214, 2019.
相原伸平, 杉山恵玲奈, 澤田みのり, 松本実, 伊藤浩志. 競
技スポーツの実践現場における ict 活用. 電子情報通信学
会 通信ソサイエティマガジン, Vol. 12, No. 2, pp. 98–104,
2018.
高田将志, 中村優吾, 藤本まなと, 荒川豊, 安本慶一. 体幹
トレーニング支援に向けたウェアラブルデバイスによる種目認識手法の提案. 研究報告ヒューマンコンピュータイ
ンタラクション (HCI), Vol. 2018, No. 20, pp. 1–8, 2018.
福田修之, 松井智一, Hyuckjin Choi, 松田裕貴, 安本慶一.
釣果情報共有を目的とした 釣竿の振動データに基づく魚種判別手法. 第 28 回マルチメディア通信と分散処理ワー
クショップ（DPSWS2020）講演論文集, 2020.
才木常正, 荒木望, 武尾正弘, 吉田陽一, 前中一介. 竿先振動を利用した魚釣り支援システム. 電気学会論文誌 C (電子・情報・システム部門誌), Vol. 136, No. 7, pp. 1033–1034,
2016.
才木常正, 荒木望, 兼吉高宏, 武尾正弘, 吉田陽一, 前中一介. 釣竿実装の加速度センサによる遠投支援システム. 電気学会論文誌 C (電子・情報・システム部門誌), Vol. 137,
No. 5, pp. 770–771, 2017.
福田修之, Seongeon Hong, Hanbit Oh, Hyuckjin Choi, 松田裕貴, 安本慶一. 釣竿に取り付けた慣性センサを用いた釣人の行動認識. 洋理工学会 2019 年度秋季 大会 講演論
文集, 2019.
Peter Blank, Julian Hoßbach, Dominik Schuldhaus, andBjoern M Eskoﬁer. Sensor-based stroke detection andstroke type classiﬁcation in table tennis. In Proceedingsof the 2015 ACM International Symposium on Wearable Computers, pp. 93–100, 2015.
鳥越庸平, 高田将志, 中村優吾, 藤本まなと, 荒川豊, 安本
慶一, 嶋田紅緒, 矢谷浩司, 小西響介, 亀田洋志. 剣道上達支援のための imu を用いた打突動作認識. 研究報告モバ
イルコンピューティングとパーベイシブシステム (MBL),
Vol. 2019, No. 37, pp. 1–7, 2019.
Loı̈c E. Thomas J.F. et al. White Darren J
Joris, V.D.B., C Svellingen, and Norval JC Strachan.
Python.org scikit-learn module : Refrence.
available from https://scikit-learn.org/stable/
modules/classes.html (accessed 2020-08-19).
Fabian Pedregosa, Gaël Varoquaux, Alexandre Gramfort, Vincent Michel, Bertrand Thirion, Olivier Grisel,
Mathieu Blondel, Peter Prettenhofer, Ron Weiss, Vincent Dubourg, et al. Scikit-learn: Machine learningin python. the Journal of machine Learning research,
Vol. 12, pp. 2825–2830, 2011.
Yin Zhang, Meikang Qiu, Chun-Wei Tsai, Mohammad Mehedi Hassan, and Atif Alamri. Health-cps:
Healthcare cyber-physical system assisted by cloud andbig data. IEEE Systems Journal, Vol. 11, No. 1, pp.
88–95, 2015.

[17]

[18]

[19]

[20]
[21]

Shuaiyin Ma, Yingfeng Zhang, Jingxiang Lv, Haidong
Yang, and Jianzhong Wu. Energy-cyber-physical systemenabled management for energy-intensive manufacturingindustries. Journal of Cleaner Production, Vol. 226, pp.
892–903, 2019.
Shuuji Arakawa. Development and deployment of komtrax step 2. Komatsu technical report, Vol. 48, No. 150,
pp. 8–14, 2002.
Kenji Doishita, Eiichi Muramoto, and Toshihiko Kouda.
Application of ict to construction machinery. Technicalreport, Komatsu technical Report, 2010.
宮崎徹, 荘司洋三. 外出・帰宅センサを活用した高齢者生
活支援サービス. 電子情報通信学会 通信ソサイエティマ
ガジン, Vol. 11, No. 1, pp. 6–11, 2017.
Farbeyond llc 釣りスポット 情報共有 map くん. available
from https://apps.apple.com/jp/app/id1024394644(accessed 2020-07-2).
Shuichi Fukuda, Seongeon Hong, Hanbit Oh, Hyuckjin
Choi, Yuki Matsuda, and Keiichi Yasumoto. A proposal for a new method of ﬁsh species and size prediction
by recognizing ﬁshing vibration pattern using machinelearning. 2019 年度 情報処理学会関西支部 支部大会 講演
論文集, 2019.
Anne-Laure Boulesteix, Silke Janitza, Jochen Kruppa,
and Inke R König. Overview of random forest methodology and practical guidance with emphasis on computational biology and bioinformatics. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, Vol. 2, No. 6, pp. 493–507, 2012.
Flask module : Refrence. available from https://flask.palletsprojects.com/ (accessed 2020-08-19).
Python.org pickle module : Refrence.
availablefrom https://docs.python.org/3/library/pickle.
html (accessed 2020-08-19).