プロジェクト報告書（最終）Project Final Report

提出日 (Date) 2021/1/14

心に響く情報の杜

Jouhou-no-Mori resonating with us
伊東拓馬

Takuma Itou
2.2

1 背景

気象グループの目標

天気予報で提示される情報の内，降水量，風速といっ

情報化の進む現代社会では，世の様々な場所に様々なた情報は実感しにくい上に過小評価がされやすい．現状

形でデータが蓄積されている．それらにはビッグデータ

ではこれらの情報をリアルに体感できる避難訓練は困などと呼ばれるものもあり，その活用は国の情報通信白難である．気象グループでは介護士が洪水被害から避難書に盛り込まれる [1] など，データ活用には大きな可能する VR アプリケーションの開発を課題とした．また，性が秘めらている．例えば活用の 1 つに解析による加工

VR 体験により災害の危険性及び避難手順を正しく認識がある．データ群から特徴のみを算出するのは，膨大なさせることを到達目標とした．

情報を扱う上で効果的であると言えるだろう．また，解3 味グループの課題解決のプロセスと結果

析以外にも近年では VR(virtual reality) といって，情3.1

報を視覚表現として提示し，別の現実を再現して体感でボトムアップ演習

きる技術が現れ，活用の幅は広がっている．このようにデータから特徴を抽出するにあたり，必要となる解析蓄積されたデータの表現方法には様々なものが考えら技術をまず学んだ．この演習は技術の習得と同時に，自れるが，現状では数値や表，写真，映像といった従来の分たちにできることを積み重ねて目標の達成を目指す表現がそのまま使われている場面も多い．その中には，というボトムアップ型思考の訓練も兼ねており，ボトムデータが煩雑であったり実感の伴う理解が難しい場合もアップ演習と呼称する．ボトムアップ演習では，初めに存在する．そこで本プロジェクトでは情報の解析または関連する 4 つの従来研究について班員で分担し内容を調VR による表現を行うことで，データの特徴がわかりや査した．まず 1 つ目の研究 [2] では，清酒に着目しながすい，または実感の伴う理解が容易な表現を目指す．

ら味と成分の関係を表す関数を求める試みについて，16次元の清酒成分値から，酸味や苦味雑味といった 8 項目2 課題の設定と到達目標の味を推定できることを確認した．2 つ目の研究 [3] で本プロジェクトでは，従来の情報表現では特徴を把握は，高次元の情報を 2 または 3 次元の相関図で表現するしにくい，実感の伴う理解が困難であるという問題の解試みについて，味覚センサから得た 8 つの味の測定値に決を課題とした．そこで，料理のレシピデータから特徴グルコース濃度を加えた 9 次元の情報から，特徴量を視を得る味グループと，悪天候時の情報を体験できる VR覚的に把握できる相関図が作成されることを確認した．

アプリケーションの開発を行う気象グループに分かれ活

3 つ目の研究 [4] では，栄養バランスを満たしたレシピ動を行った．

を複数個生成する試みについて，栄養素の目標値及び使2.1 味グループの目標用する食材の成分表から，目指す栄養バランスを満たす

世の中には様々な料理のレシピデータが存在するが，食材の組み合わせを複数個列挙できることを確認した．

特定の条件に合致する群では特徴が存在するはずであ4 つ目の研究としては，昨年度の本プロジェクト学習にる．味グループでは，お酒に合う料理のレシピデータをおける味グループの活動を確認した．昨年度は清酒と料収集し，栄養素を対象に解析を行うことで赤ワインに合理の相性を調べるために，県ごとの食材消費量データをう料理の特徴を得ることを課題とした．また，得た特徴

料理のレシピデータでパターン認識したもの及び県ごとを基に新たなレシピを作成することを到達目標とした．の清酒一般分析値から，清酒一般分析値・料理・レシピ1

のデータを得られることを確認した．さらにそのデータコストなどの補足情報を入力すると，条件を満たす最もを VR 空間上に 3 次元の散布図で表現する試みを確認

評価の高い食材配合量を出力するツールである．料理作した．次に，解析に利用可能な 4 つの技術について学ん成の手順として，まず既存の食品リストから似ている食だ．学んだ技術は重回帰分析，パターン認識，クラスタ材を統合する食材統合割り当て表を作成する．作成した

リング，及び可視化ツール [5] の 4 つである．ここで可割り当て表及び食品成分表から，食材統合後の食品成分視化ツールとは，任意の解析手法で入力した数値データ表を作成する．次にその食品成分表から，目標となる栄を解析し，結果を散布図及びレーダーチャートで表すこ養素，今回は 3.2 節で選定した 14 種類の栄養素を参照とができるツールである．可視化ツールには上記 3 つのし，それ以外の栄養素を消去すると同時に，食材ごとに解析も搭載されており，演習では実際に可視化ツールを配合率の上限及び下限，コストを追加する．そうして得動かしながら学習した．技術ごとに 3 つのデータを扱た不要栄養素消去後の食品成分表及び 3.2 節で作成した

い，3 × 3 の計 9 種類の解析を班員で分担することでグ特徴データを合わせて正規化することで，目標となる栄ループ全体として技術内容の習得を行った．

養素の値及び補足情報が付随した食材リストを得る．こ3.2 レシピ設計のためのデータ整形 [6]れらのデータをレシピ設計支援ツールに入力すること

今回の解析では，お酒に合う料理の中から赤ワインにで，食材の配合比という形で料理レシピを得た．補足とのみ合うとされる料理を抜き出し，その栄養素を見てして本節の多くの工程では，3.2 節同様可視化ツール [5]特徴抽出を行う．そこで必要な料理データとして，インを用いて計算を行った．

ターネット上に存在するレシピから，赤ワイン，白ワイ以上の工程を経て，いくつかのレシピを作成した．そン，ビール及び焼酎の 4 種類のお酒ごとに相性が良いとの中からレシピとして精度の高そうなものを班員で選されるレシピデータを収集した．収集したデータはレシ

び，赤ワインに合う料理 3 種及び焼酎に合う料理 3 種をピごとに 14 種類の栄養素の含有量を保存する．この時実際に調理，お酒に合うか検証した．調理方法についての 14 種類の栄養素は既存の研究 [4] を参考に選定する．

は食材内容と配合比から，班員が適切だと判断した方法

保存の手順として，既存の食材リスト及び集めたレシピを選択した．検証するお酒は赤ワイン及び焼酎，それとデータから既存料理の食材配合量行列を作成する．次に比較用に白ワインも用意する．検証方法としては，班員

食材配合量行列及び既存の食品成分表から料理の栄養素5 名が評価者となり，料理を 1 品食べた直後に 1 つのお行列を作成する．その後，栄養素行列から必要な栄養素酒を飲む．全ての料理に対して 1 種類のお酒との相性を以外を除去する．そうして得たレシピ毎の栄養素データ確かめ終わった後，相性の優劣で順位付けを行った．同を，クラス情報をお酒の種類としたパターン認識 [5] に様の検証を全てのお酒に対して行い，6 つの料理と 3 種かける．手順として，先の栄養素行列を正規化した行列類のお酒の計 18 回相性を調査した．ここで補足として，に対し，集めた各々のレシピに対応するお酒の種類をク

検証を行ったのは実際にレシピを制作したグループのメラスとしたパターン認識を行う．パターン認識の結果，ンバーであったため，どの料理がどのお酒と相性が良い

認識誤りが発生した場合は該当のレシピデータを除外しものとして作られているかは事前に把握していた．評価

た後，同様の手順で再度パターン認識を行う．認識誤り

結果は概ね赤ワインに合う料理には赤ワインが，焼酎にが発生しなかった場合，その時点でパターン認識の作業合う料理には焼酎が合う結果となった．

を終了し，残ったレシピデータから赤ワインに合う料理

3.4

結果のみを抜き出して平均値を計算することで，これを赤ワ集めたレシピデータに対してクラスをお酒としたパインに合う料理の特徴とした．補足として本節の多くのターン認識 [5] をかけることで，赤ワインにのみ合う料工程では，可視化ツール [5] を用いて計算を行った．

理データを選定，平均をとることで特徴抽出を行った．

3.3 レシピ設計支援ツールによるレシピ作成

その特徴を用いて新たなレシピの作成を試みた．評価で抽出した料理の特徴を用いて，レシピ設計支援ツールは概ねお酒に合ったレシピ設計が出来ていたが，一部レ[4] による料理作成を行う．ここでレシピ設計支援ツー

シピでは極端に評価が低い，評価に差が見られないなど

ルとは，目標の栄養素の値，使用食材のリスト及び食材の様相も見て取れた．

2

した．以上の工程を経て挙がった案をブラッシュアッ

4 気象グループの課題解決のプロセスと結果プし，第二弾の案を作成した．それらの案について気象

4.1 技術的課題に対する解決協会の方とディスカッションを行い，評価アンケート

本節では気象グループの課題である VR アプリケーに評価していただいた．その後班員らも投票を行い，最ション開発にあたって技術的課題に対する解決を記載

も得点の高かった介護施設向けの豪雨災害体験アプリ

する．

「VRain」を作成することとなった．

4.1.1 Unity 演習

4.2.2

VR アプリケーションの開発には Unity を用いること

シナリオ

本アプリケーションでは介護施設の避難状況を再現しとなった．それに際し，班員のいずれも Unity についてた．初めに，介護施設内でスマホから避難情報が発信さの事前知識を持っていなかったため，全員で Unity につれ，適切な避難道具を選択し外へ出る．次に車に乗り込いての演習を行った．演習ではドットインストール [7]み，適切な経路を選択しながら車で避難所を目指すとと Udemy[8] を参考にして Unity の開発環境の実装からいうシナリオとなっている．経路選択では，危険とされ3D モデルを用いた簡単なアプリケーションの開発を行る川に向かう道や，運転が難しい坂道，被害が多いアン

い Unity の操作方法を習得した. また AR(augmented

ダーパスの形状を含めており，豪雨の危険性と避難手順reality) と VR の技術を習得するために AR は Gettingがわかるアプリケーションとなっている．また，プレイ

Started with Vuforia Engine in Unity[9] を参考に,VR

ヤーは介護士であり，制限時間による得点の増減及び避は新美先生が準備した資料を参考にして AR を用いた難場所の変化によってゲーム感覚で学ぶことができる．

アプリケーションと VR を用いたアプリケーションを4.2.3

操作方法開発した. 他にも開発における役割を，ＵＩ担当，プレイ

ゲーム内の移動は左コントローラーのアナログス

ヤー作成，室内外のモデル作成，気象エフェクト担当とティックを前に倒すことで前進し, 後ろに倒すことで後いうように分割し，班員各位に課題として割り振った．

退する. 視点の移動や進行方向を変えたい場合は, 頭の4.1.2 データ共有

方向を変えることでゲーム内でも同じ方向に変更するこ

開発にあたってのメンバー間におけるデータ共有にとができる. 車の操作は左コントローラーのアナログス

は, プログラムの共有に GitHub 及び GitHub Desktop

ティックを任意の方向に倒すことで移動することができを, その他資料の共有には GoogleDrive を利用した.

る. 文章を読み進めるには右コントローラーのボタンを4.1.3 利用した外部データ押すことで次の文章を読むことができる. また，右コン

Unity 以外から使用した 3D モデルは，SkechUp でモトローラーの照準を合わせてボタンを押すことでゲームデリングをした．また，3D Warehouse からダウンロー内のボタンを押すことができる. メニューの表示は右コドして使用したモデルもある．外部データを利用した主ントローラーのトリガーを引くことで表示される。これな部分は，介護施設の個室部分や，車いすや介護用ベッらの操作を行うにはパソコンを必要とせずに VR のみドといったものである．

で動作ができることと，トラッキング方法が 6DoF で4.2 アプリケーションの仕様

実際の体の動きを反映させ移動することが可能な機器が本節では効果的な VR アプリケーションの開発にあ適しているということで Oculus Quest を用いることにたって工夫及び考慮した点を記載する．

した.

4.2.1 テーマ検討

4.3 モデル類の開発

初めにテーマを考えるにあたって，班員から意見を集

本節ではよりリアルな表現を追及するにあたって実際めて良いと思う案に投票を行った．その結果，天気再に開発した 3D モデルなど詳細を記載する．

現，花粉の分布表示，温暖化による影響を過去と今で比4.3.1

較という 3 つのテーマに絞られた．その後，各テーマ

屋内外の建造物

屋内外の建造物は，主に Simple Town というアセッを扱った具体的なアプリケーションについて各自で検討

トを使用した．プロトタイプでは，複数のアセットを使し，意見を共有した．まだこの段階では AR と VR の用していたが，統一感を出し，データを軽くするため，どちらかには決めず，各自がより良いと思う方法を採用

3

多くをこのアセットから使用した．介護施設は Unity

発表会では改善点を指摘する評価もあった．味グループで制作した．介護施設と，屋外の建造物，その他のモデには赤ワインに合うという条件をより絞りこむと説得力ルを配置する際には，カメラの高さを統一し，班員たちが増すという意見があった．今回の評価だけでは確証にの制作物に差異が生まれないよう注意した．

欠ける部分もあり，今後は条件や評価方法を再検討して4.3.2 プレイヤー行く必要がある．気象グループにはアイテム選択など避

アプリ内の視点は操作するプレイヤーの目線に合わせ難の設定にさらなる工夫ができるという意見があった．

ることで, より没入感を出すよう工夫した. また, プレイ気象の再現に加え，今後は避難状況の再現もより追求

ヤー操作時の VR 酔いを緩和するため、コントローラでし，アプリケーションの価値を高める必要がある．

は前後にしか操作できないようにし, 左右や身体の向き

参考文献

に関しては VR カメラと連動するようにした. 車での移そうむしょう[1] 総務省.

動時には運転席にカメラを固定した.

4.3.3 雨の表現

平 成 29 年 版 情 報 通 信 白 書.

https://www.soumu.go.jp/johotsusintokei

気象体験のアプリケーションであるため, 水はリアル/whitepaper/ja/h29/pdf/n2100000.pdf, 2017.に表現した. 雨の制作には Rain Maker アセットを利[2] 佐藤 雅子, 高尾 佳史, 佐藤 仁樹. 清酒の成分に対す用し, 川や濁流などの水面には Water Pro Daytime ア

る味覚センサデータの非線形重回帰モデル. 電気セットを利用した. どちらも主に Inspector の数値を変学会論文誌Ｅ, vol. 139, no. 3, pp. 45–53, March

更することによって強弱などを調節し, より危機感を煽2019.

さとう まさこ

さとう ひできられるリアルな気象になるように工夫した.

た か お よしふみさとう まさこ

さとう ひできた か お よしふみ

[3] 佐藤 仁樹, 佐藤 雅子, 高尾 佳史. 非線形写像による

4.3.4 ゲームシステムの開発

高次元センサ情報の可視化とクラス構造の解析. 電

画面遷移の際は, ウィンドウを表示しコントローラで気学会論文誌Ｅ, vol. 139, no. 3, pp. 45–53, March

カーソルを合わせボタンを押すことで遷移するようにし2018.
さとうまさこさとうひできた. その際表示されるウィンドウやその他場面でのメッ[4] 佐藤雅子, 佐藤仁樹. 高次元非線形スパース最適化

セージウィンドウは, 指定した空間内にいる時のみ表示問題に対する多様な近似解の導出―食材・配合量されるよう工夫した. また, それらウィンドウ表示中に最適化問題の解法―. 電子情報通信学会論文誌 A,

は, タイマーとプレイヤーを一時停止するようにした. タvol. J99-A, no. 4, pp. 177–184, April 2016.

イマーの表示箇所は, 視点内で邪魔にならず見やすい箇[5] 佐藤仁樹. 可視化ツール（DataViewer）解析プロ所へと調整し, 屋内外では少し位置をずらして表示した.

グラム仕様書. 公立はこだて未来大学佐藤仁樹研究4.4 結果室資料, 2020.

さとうひできさとうひでき気象情報を VR 技術で表現し，豪雨時の避難を体感で[6] 佐藤仁樹. レシピ設計支援ツールマニュアル. 公立きるアプリケーションの開発に成功した．またシナリオ

はこだて未来大学佐藤仁樹研究室資料, 2020.

面では制限時間で避難先が変わるなど，緊張感とゲーム[7] ド ッ ト イ ン ス ト ー ル.

性を保ちつつ避難について学べるような工夫を施した．

Unity 入 門 (全 26回) プ ロ グ ラ ミ ン グ な ら ド ッ ト イ ン ス ト ー ル

しかし，持ち物ごとに点数をつけることで重要なアイテ

https://dotinstall.com/lessons/basic unity v2

ムを高得点にすることや，最後の合計得点によってプレ(参照：2020/7/20)

イヤーの避難について評価する文章を変化させるなどの[8] Udemy.

ユ ニ テ ィ ち ゃ ん が 教 え る!初 心 者 向

工夫できる点が残っている．

け Unity 講座

5 まとめと今後の課題

chan-tutorial-01/ (参照：2020/7/20)

https://www.udemy.com/unity-[9] Getting Started with Vuforia Engine in Unity.

プロジェクトのまとめとして，グループ間で分野や手https://library.vuforia.com/articles/Training/getting-法の違いはあったものの，情報をわかりやすく表現する

started-with-vuforia-in-unity.html

点において目標を達成することができた．しかし，成果

2020/7/20)
4(参照：