WISS2006

萌え木: 拡張現実による植物育成支援
MOEGI: Plant Fostering by the Assistance of Augmented Reality

西田 健志

大和田 茂∗

Summary.
We propose an augumented reality (AR) system that boosts the joy of fostering plant.
The growing plant is represented as a fairy that is overlayed on the fixed camera video stream shooting
the plant. The agent is useful in emphasizing the physical condition of plant (which is obtained fromsensors), as well as supplying a real-time response to the user’s action such as watering. The user canalso play with the fairy to feel a better bond with the plant.

1

背景と概要

人間には本質的に, 自分の手で生き物を育てたいという願望がある. そのため, 愛玩・観賞用として, 実用的には人間にとって全く役に立たない生き物を敢えて育てる人は多い. この心の動きを利用した「育てゲー」と呼ばれる育成シミュレーションゲームも存在するが, 生きた動植物を飼うという趣味が変わらずに広く受け入れられているのは, 現実の生き物は手間のかけかたによって物理的に元気に育っていったり, 逆に死んでしまったりという, 固有の充実感や楽しさがあるからであると考えられる. 我々の目的は, この魅力をより増幅することにある. 本稿では,とりわけ植物の育成に着目する. その理由は, 動物に比べて敷居が低く, また, コンピュータを用いた楽しさの増幅がより容易であると考えたことによる.
植物には, 人間のとったアクション（水やりや日照調整など）に対するリアクションが乏しいという特徴がある. そのため, せっかちな性向の人にとっては楽しさに欠けるという面もある. さらに, 植物が現在どのような状態で何を欲しているのか, そして人間のとったアクションがどのように影響するのかがわかりにくく, 育成に失敗することも多い. 我々はこのような問題点を解決しつつコンピュータならではの支援を行い, さらにコミック文化 (萌え文化) の恩恵をも被ることを目的として新たな植物育成システムを開発した.
このシステムの肝となるのは, 植物を表現する役割を担うエージェント (妖精) を仮想的に登場させたことである. このエージェントは, 植物の現在の状態をより強調表現する, 人間の操作に対するリアクションを高速フィードバックする,Web 上でのコミュニケーションの窓口となる, そしてユーザーの萌えの対象になるなど, 様々な支援を自然な形で行うことを可能にするものである. さらに要素技術と∗Copyright is held by the author(s).
Takeshi Nishida, 東京大学, Shigeru Owada, ソニーコ
ンピュータサイエンス研究所

図 1. 試作したシステムの様子. 撮影された植物の上にエージェントがオーバーレイされる. センサーとの通信もこの動画情報から行う.

して, 環境情報をセンサーにより取得し [1], その情報を LED を用いた可視光通信 [2] によってウェブカメラを通してコンピュータに転送する機能も実現した. これによりシステムの導入障壁を低くできる.
特徴 我々のシステムの機能および特徴を羅列すると, 次のようになる.

1. 植物の周囲にセンサー, および与えた水の量を調べる装置を設置し, これを用いて環境情報を連続的に取得する. これによって植物のおかれた環境をより正確に把握することができる.
2. 擬人化された植物のエージェントを作る. これにより, 植物のおかれた環境を強調表示し, また, ユーザーのアクションに対する高速なリアクションも提供することが可能となる.
3. センサー情報の通信は,LED の点滅パターンをホスト PC のウェブカメラで撮影することにより行う. このカメラは, 同時に植物の全体WISS 2006像も撮影し, エージェントをオ―バーレイ表示するのにも用いる. 従って, ユーザーはセンサーモジュールを植物の近くに配置し, 汎用のウェブカメラをセットアップするだけで, 特殊なドライバ等をインストールする必要がない
ので導入コストが低い.

4. 環境情報のログは,Web 上のサーバに保管される. これにより, 情報共有がはかることができ, また, 不用意にクライアント側でデータを紛失する危険性が減少する.
5. 情報共有のエクステンションとして,Web 上で同じシステムを導入している他人のエージェントとインタラクトできる. これにより, ある種のコミュニティが形成でき, さらに植物を育成する楽しさが増す.

6. エージェントの絵柄をカスタマイズすることにより, ユーザーの萌え感覚を追求することができる. 本システムでは, 実世界に対応する存在があるという点で, 新たな萌えの形となりうる.

2

関連研究

本研究は, 大まかに言って拡張現実感 [3] に関する研究の一つである. 拡張現実感に関する研究で特に著名なのは Feiner らによる一連の研究であるが [4],国内でもこの領域での研究は盛んであり, 特に我々のシステムに直接関係の深い研究としては高橋らによるプレゼンス情報表示システムがある [5]. このシステムでは定点カメラを用いて情報提示を行っているという点が類似しているが, 彼等の研究では画像処理技術を用いていなく, また, 動画の使用状況や,情報の通信手段など, 多くの差異もある. 植物とコンピュータを結びつける既存研究としては栗林らのPlantDisplay がある [6]. 彼等のシステムでは, 植物そのものを情報提示デバイスと用いており, コンピュータからの情報を可視化しているが, 植物そのものが目的化していないという点で我々のコンセプ
トとは大幅に異なる. エージェント指向のシステムも大変リッチな研究分野である [7]. また, 我々の妖精エージェントはバーチャルクリーチャの概念とも類似している [8]. しかしながら, 我々のシステムはエージェントの自立性やキャラクターの行動の基本を実世界の植物に求めているという点で独特である.
すでに述べたように, 可視光通信はすでに確立された研究分野である [2]. これに関しては, 我々は既存研究を単に用いることとした.

3

図 2. 我々のシステムの概観

実装

我々のシステムは大まかに言って四つの部分からなる. 1. 環境情報を取得しその値を LED の点滅パ図 3. センサーモジュール. 光センサーと温度センサー,および与えた水の量の測定モジュールが接続されており,LED の点滅で情報送信を行う (水測定モ
ジュールはこの写真には写っていない).

ターンとして出力するセンサー部 2. ウェブカメラ
からの画像を分析してセンサー値を読みとったり植物の領域を抽出したりする画像処理部 3. 通信を司るネットワーク通信部, それに 4. 画面内でのエージェントの動作を制御するエージェント制御部である. 以下, 各々のブロックについて詳しく解説する.

3.1

センサー部

我々のセットアップを図 2 に示した. 現在実装されているセンサーは光センサーと温度センサーである (図 3). さらに, 与えた水の量を取得するため, 水やり用の注射器に取りつけられた可変抵抗の値も入力される (図 4). これらのデバイスは日立製のマイク
ロコンピュータ H8/3664 に接続されており, 入力されるアナログ値は 10bit のデジタル値に A/D 変換され,LED の点滅パターンとして順次出力される. プ
ロトコルはほぼ RS-232C と同様で,10bit のデータをスタートビット (1) とストップビット (0) で挟みこ

MOEGI: Plant Fostering by the Assistance of Augmented Reality(a) 前景図 4. 水の量の測定モジュール. 注射器のピストン押しこみ量を読みとることができる.

(b) 背景(c) 差分(d) Trimap (e) 照明条件の違う画像 (f) 結果
図 5. α マッティングによる照明変化の吸収

んで 12bit づつ送信する. 転送速度は, 現在ではウェブカメラのフレームレートの制限から,400ms/bit とした. 我々の実装では,3 チャンネル分の転送が終わったら 8 秒ほど間隔をあけ, 再び転送を行うようにしている (その間隔により, チャンネル番号を区別している).

3.2

3.2.1 LED 点滅パターンのデコード
LED の情報は, ユーザーが指定した領域内の輝度値の平均値の時間変化により取得する. 照明条件にかかわらずに LED の点滅状況をロバストに取得するために, 我々はクラスタリングを用いて輝度値のスレッショルドを動的に変化させることとした.
すなわち, 過去の十分長い時間間隔内での輝度値をk-means クラスタリングで二グループに分け, それぞれの平均値の平均を現在のスレッショルドとしている.
植物領域の抽出

我々のシステムではエージェントの動作を制御するために, 植物の領域形状を利用することとした. この形状の抽出には背景差分法を用いた. 最初にユーザーが植物を置かない状態と置いた状態で撮影する必要があるのはこのためである. 植物は成長するし照明条件も変化するので, 現在では α マッティングと呼ばれる手法を試みている (図 5). この手法では,まず背景差分 (図 5a-c) により抽出された二つの領域, 前景と背景をそれぞれ数ピクセル分だけモルフォロジーにより削り, その中間に前景か背景か領域がわからない部分を作る (図 5d). このような情報はTrimap と呼ばれ,Poisson Matting[9] などに代表さઁ䉪䊤䉟䉝䊮䊃ᖱႎ䉶䊮䉰䊂䊷䉺䊨䉫䉪䊤䉟䉝䊮䊃

P2Pขᓧ䉪䊤䉟䉝䊮䊃ᅯ♖䈏ઁ䈱䉪䊤䉟䉝䊮䊃䉕⸰໧䉶䊮䉰䊂䊷䉺⺒ข
↹௝ಣℂ

画像処理部

画像処理には, ユーザーの操作がある程度必要である. まずユーザーはカメラを固定し, 植物を置かない状態でシーンを撮影する. 次に, 植物を視野内に置き,LED がカメラからよく見える位置にセンサーを置く. そして,LED の位置をシステムに教えるために,LED をちょうど囲むようなバウンディングボッ
クスを指定する. こうしておいて開始ボタンを押せば, データの取得が開始される.

3.2.2

䉰䊷䊋䉪䊤䉟䉝䊮䊃ᖱႎ⊓㍳䉶䊮䉰䊂䊷䉺଻ሽ
HTTP

䉦䊜䊤

LEDὐṌ

䉶䊮䉰䊝䉳䊠䊷䊦

図 6. 我々のシステムのネットワーク機能れる様々な α マッティング手法の入力となる. 我々は, この Trimap は植物の成長や照明条件に影響されないとし, これを使って現在の画像の α マットを作成する (図 5e-f). 植物の成長が進めば Trimap 自体を変更する必要がある. その際には背景差分からやり直すものとする.

3.3

ネットワーク通信部

我々のシステムは，サーバとの通信 (HTTP) およびクライアント同士の通信 (独自プロトコル) を行う (図 6)．サーバは各クライアントのセンサ値ロ
グ，クライアント同士の通信に必要な情報 (IP アドレス等) を管理し，クライアントからのリクエストに応じてそれらのデータを供給する．これらの機能は通常のウェブサーバ上で動作するサービスとして実装されている．
本システムのエージェントは，ネットワークを通じて他のエージェントを訪問する．その際，クライアントはサーバから取得した接続情報を元に直接通信を行う．

3.4

エージェント制御部

エージェントは, 植物のステータスを可視化するのみならず, ユーザーと植物のインタラクションを司り, また, 本システムの通信機能のフロントエンドとなる画像効果である. 我々はこれを植物の妖精として表現することとした (図 7). 図に示したように,プリセットとして比較的リアル路線のものと二次元

WISS 2006

我々のシステムは, 既存の植物の育成プロセスを邪魔することなく, 妖精エージェントを介して新たな楽しさを導入することができる. 植物のログを保管したり, ネット上の他のクライアントとの通信を行うなどの, コンピュータならではの機能に関しては, 近年の Web 技術の広まり, あるいは SNS の普及度などからみても有用性が高いと考えられる.

5
図 7. 二種類の妖精エージェント. 現在は 3 種類のポーズがある. 左から Fly, Sit, Down.

図 8. エージェントとユーザーの直接のインタラクション

アニメ路線のものの, 計二種類の妖精を用意してあり, さらにユーザーが好みに応じて手持ちの画像を用いることができる. 現在の実装ではエージェントの状態は一つのパラメータ「気分」のみで制御される. このパラメータが大きい値を持つ場合は画面上では Fly/Sit ポーズ, 小さい場合は Down のポーズで表示される. Fly と Sit は交互に表示されるが, 気分パラメータが大きいほど Fly ポーズの出現割合が高くなる. また, 夜の時間帯に入ったとみなされると(暗い時間が長時間続くと), 気分パラメータが高くても Down のポーズとなる. なお,Sit および Downのポーズは, 必ず植物の前景領域上になるようにする. また, 植物以外の物体が画面内に写りこむと, 高い確率でその物体の上にエージェントが座るようになっている (図 8).
気分パラメータは, 気温および光センサーそれぞれ現在の値の, 過去の同時刻値集合に対する標準偏差を用いて自動計算する. 各センサー値に対して現在の値から平均の値を引いて, それを標準偏差で割った値を x とすると,1/(1 + x2 ) がセンサー毎の気分パラメータの値となる. このセンサーごとに得られた気分の値の加重平均を全体の気分パラメータとする.

4

結果および考察

以上のシステムを実装し, 運用を開始した. まだ十分にデータログをとっていないので有用性が十分に示されたとは言えないが, 植物の表現として妖精を登場させることにより植物への親近感が高まり, より世話をしたくなるという効果を実現したと考えられる. ネットワーク越しに他の妖精が遊びに来るという部分, とりわけ指を写すとそこに複数の妖精が座るという画像効果は, 著者ならずとも好評であった.

今後の予定今後はまず長期運用を行ってテストしたいと考えている. 特に, 妖精を導入した事により植物を育てる楽しさがどう変化したのか (実世界と仮想世界を結びつける相乗効果はあったのか), そして, 育てゲーにありがちな「途中で飽きる」という問題に対して効果があるかについても検証したい. 改善点としては,まず過去のセンサー値のデータから植物のコンディションを正しく求めるための手法をよく考える必要がある. 具体的には, 今育てている植物に固有の育て方情報を持っておく必要があるだろう. また, ユーザーが十分たくさん集まれば, 植物の状態を観察し良いか悪いかをフィードバックする事でそういった情報を自動生成することも可能になると考えられる.
また, 妖精による情報提示が大変貧弱なので, 映像効果を増やしたり音声を追加したり, また, 人工無脳を組みこむことによってユーザーと対話できるようにする事も将来の展望の一部である.

参考文献[1] 阪田 史郎 他, ZigBee センサーネットワーク―通信基盤とアプリケーション, 株式会社秀和システム,
2005.
[2] 春山 真一郎他, 可視光通信, 電子情報通信学会論
文誌 A, J86-A (12)，pp. 1284-1291，2003[3] Azuma, R.T., A Survey of Augmented Reality,
Presence: Teleoperators and Virtual Environments, 6(4), 1997.
[4] Colombia
University
ComputerGraphics and User Interface lab homepage.
http://www1.cs.columbia.edu/graphics/top.html.
[5] 高橋 伸 他, ライブカメラ画像を用いたプレゼンス
情報の表示手法, Wiss 2005, pp.15-18, 2005.
[6] Satoshi Kuribayashi et al., Growable media design: Integrating plants and digital media for
information visualization, Ubicomp 2005 Poster,2005.
[7] 本位田 真一, オブジェクト指向からエージェント指向へ―ソフトウエアのこれからを知る入門書, ソフトバンククリエイティブ社, 1998.
[8] 青木 孝文 他, 実世界で存在感を持つバーチャルクリーチャの実現 Kobito -Virtual Brownies-, Interaction 2006.
[9] Jian Sun 他, Poisson matting, proc. Siggraph2004, pp.315-321, 2004.