31E-1
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere

第 23 回日本バーチャルリアリティ学会大会論文集(2018 年 9 月)

カラスと対話するプロジェクト:
カラスにとってのカラスらしさの工学的再現末田航 1)，塚原直樹 2)，松田美勇史 3), 栗本育三郎 4)
1) シンガポール国立大学 SSI (21 Heng Mui Keng Terrace, 119613 Singapore, idmks@nus.edu.sg)
2) 株式会社 CrowLab (〒320-0806 栃木県宇都宮市中央 3 丁目 1 番 4 号, tsukahara@crowlab.co.jp)
3)木更津工業高等専門学校 (〒292-0041 千葉県木更津市清見台東２丁目１１−１, 0514myuji.pop@gmail.com)
4)木更津工業高等専門学校 (〒292-0041 千葉県木更津市清見台東２丁目１１−1, kurimoto@j.kisarazu.ac.jp)
概要:カラスはとても賢く，また人間社会と密接した動物である．一方で，農畜産物の食害や都市公害，それを起因とした過剰な繁殖など常に彼らとの共存が課題となっている．本発表では，動物行動学的なアプローチに加え，ドローン/ロボティクス・ 人工知能・テレイグジスタンス技術などを活用しカラスと対話を試みることで，カラスにとってのカラスらしさを知り，カラスとの共存を試みる
本プロジェクトの取り組みを紹介する．
キーワード:ACI(アニマルコンピュータインタラクション)

カラスドローン

1. はじめに心に，いくつか報告されている[7,8]．しかし，農業などで本研究の目的は，カラスとの対話を実現するためにカラの実践的な適用状況は，単純な再生装置による対話性のなスの発達した音声コミュニケーションを再現し，彼らに仲いパターン化された刺激をカラスに与えるにとどまって間であると認識させる(具体的にはカラスの対話の文脈にいて，持続的に効果を得るためには，音声を多様化させる，沿って複数の意味ごとに分類されたカラスの音声を再生

音源を動かすなど，人海戦術やその代替としての自動化がする)ことで，彼らと双方向のコミュニケーションを図る必要な状況である．一方，コンピュータを介して動物とのことである．また音声だけではなく，より自然な対話を図インタラクションを行う試みは，センシング技術を活用しるために，カラスにとってリアリティのある対話環境を工動物の生態情報を取得し，家畜の管理を含む動物の行動観学的に再現することで，カラスにとってのカラスらしさや，察や環境モニタリングなど行なう等，産学を問わず様々なカラスが仲間や彼らの取り巻く環境をどのように認識し事例がある．本研究ではこれらの先行事例を参考に，対話ているのかを明らかにすることである．日本国内のカラス技術として成立させるべく，カラスの発声に対する意味のによる農作物被害は年間 16 億円相当に上る1．これに加えある応答を含めた，カラス音声を主軸としたカラスとの双て，都市部でのゴミ捨て場荒らしや糞害などの公害による方向コミュニケーション技術の確立を目的としている．

被害の原因にもなっている．

コンピュータを介した他人との対話や作業環境を追求す

本研究では，上述の目的の達成やカラスによる諸問題のる VR や AR，テレイグジスタンスなどは，人間が利活用解決のために，カラスの姿や挙動を模倣したスピーカ付きをすることに主眼が置かれているが，本研究のカラスのロのドローンやロボットを介して彼らの行動を効果的にコボットやドローンを介してリアルタイムにカラスと対話ントロールを可能にすることで，従来行われてきた一方的を試みる取り組みは，これらの対象を動物にまで延長したな脅しや捕獲に依存しない平和的な共存の方法を探ってものと位置づけることができる．昨今のテレイグジスタン

きた．本稿ではカラスとの双方向のコミュニケーション形

スやロボット工学の分野では，コンピュータを介した対話態を模索することを目的とした，一連の取り組みと今後のをより自然で快適なものとするため，コンピュータの振る展望について紹介する．

舞いに人間らしさを取り込む研究[2,4]が盛んに行われて2. 関連研究いるが，本研究でも同様にカラスらしさをカラスとコンピ

動物行動学的な観点からカラスの音声を再生することでュータとのやりとりに追求する．また現在，機械学習技術行動誘発をする試みは，本研究グループでの先行事例を中の導入が手軽になったことによって，スマートスピーカや1

農林水産省

全国の野生鳥獣による農作物被害状況© 2018 日本バーチャルリアリティ学会（平成 28 年度）より- 31E-1 -31E-1

対話ボットなどが浸透しつつあるが，本研究成果を有害鳥って，音響学的にボキャブラリーを分類をした．本稿作成

獣制御などへの実践的に適用する際には，装置の自動化の時点では，約 500 サンプルの鳴き声をもとに、41 種類に分ため，これらの技術を活用することを検討している．この類した音声データセットの一部を用いている[5]．カラスの目標の実現にあたり，機械学習による鳥類の音声抽出のコ行動パターンや対話の文脈を再現するように，いくつかのミュニティ[3]や，そのデータセットとなりうる鳥類の音声意味の鳴き声を並べて再生(例:（例:警戒＞威嚇＞逃避を促と，それら分類したインターネット上のデータベース2がす)することによってカラスと対話し，行動を誘発する．現

愛好家や研究者の間で整備されつつあり，これらを積極的時点では，筆者らが，カラスのテリトリーや群れの集合場に活用することを検討している．

所でカラスを観察しながら，分類された音声データの再生

3. アプローチとこれまでの取り組み

タイミングをコントロールする形態で運用し，テリトリーカラスと双方向の対話を実現するために，カラス音声をも持つカラスに適用する場面において行動誘発をするこロボットやドローンを用いて再生させることで，カラスにとに成功している[7]．また，音声システムの運用方法としとってよりリアリティのある対話環境を再現することをて，カラスが音源を特定しにくいようにする方法の検討も試みている．本プロジェクトでは，この目的を達成するた進めている．具体的には，超指向性のパラメトリックスピ

め，1)カラスの対話の文脈に沿ったカラス音声の再生を行ーカを用いることで、カラス自身や近傍の物体から音声がなうシステムとそれを搭載するための 2)剥製カラスのロ聞こえるようにする. または、後述のように複数のスピーボット化， 3)ドローンのカラス化の研究開発を進めていカを用いることで、群れを再現する[6]．

る．そして最終的には複数のカラスロボット同士が，カラ3.2 カラス剥製のロボット化とドローンのカラス化

スの生活環境に溶け込んで，彼らと同様に対話をし，群れ

本研究では，ドローンやロボット外見を，カラスに模倣の一部を構成することを目指している(図１)．また，これすることによって自然に対話することを目指している．

らのカラスロボットやドローンを介して人間(もしくはコ最終的には，飛行や歩行，その他の運動が可能なカラスンピュータ)がカラスと対話し，外見だけではなく，実際にの剥製がカラス音声を発声して対話可能にすることを目カラスになりきって，カラス目線で彼らと対話を行うこと指しているが，技術的な制約から現時点では，カラスので，彼らが生活する環境に没入できる対話インタフェース

剥製をロボット化と，固定翼のドローンのカラス化を並となることを目指す．その結果として，カラスの運動(例:行して実施，最終的にカラスのサイボーグを完成させる

鳥として空を飛ぶ感覚や，立ち振る舞いなど)や社会生活ことを目指している(図２)．カラスロボットは，地方公共(例:縄張りや家族を形成する，縄張りを持つなど)，視覚(カ団体により有害鳥獣捕獲された個体の提供を受け，剥製をラスは紫外線を認識できる[9])を通して，カラスとして生作る芯材を３D スキャンし、稼動部の筐体とした外骨格化きるリアリティを体験することで，カラスをより良く理解した身体内部に，制御機器やセンサ，可動装置を搭載し，することを目指す．

剥製化した羽毛等を被せて使用している(図３左)．
ドローンのカラス化については，固定翼モータグライダー型のドローンにスピーカを搭載，また固定翼全翼機にカメラを搭載したカラスの頭部の３D モデルを取り付けでいる．そして FPV 画像の配信と，受信側 HMD に内臓したヘッドトラッカと連動できるように，頭部３D モデルをジンバルに取り付けて，地上のオペレータの頭部の挙動と同期させることで，カラスを観察・対話を可能にしている．
また，ドローンのカラス化の一環として，カラスの剥製翼によって飛行可能なグライダー(羽ばたきやプロペラなどの動力を持たない)を実現するため，剥製翼の飛行特性を計測するための風洞実験を実施し，翼の取付角度や揚力獲得のシミュレートと最適化を行っている(図３右)．またこの機体は，ジャイロや GPS によって飛行制御を行う．

図 1 カラスと対話するシステムの概要:直接対話だけでなく，ロボット同士の疑似対話よってカラスを巻込む
3.1 音声システム
カラスと対話をする音声システムは，対象となる種のカラスと同種の録音音声を用いる．本プロジェクトでは現在
ハシブトガラスの鳴き声を録音し、ソナグラムの解析によ2

xeno-canto:: Sharing bird sounds from around the world© 2018 日本バーチャルリアリティ学会

https://www.xeno-canto.org- 31E-1 -31E-1

離れた場所に設置した複数の音源を使って，カラスの群れの動きを表現し，彼らの行動を促す実験の模式図である．
まず①オオタカとその声を聞き警戒・逃避するカラスの声を市役所(City hall)で再生，その後②カラスがねぐら入り(安心できる場所に集合)する際の音声の再生した結果，意図する場所(博物館: Museum)への誘導に成功した．一方で持続性の確認はされておらず，同じ場所で繰り返し実験した際に同様の結果が得られるか、他の場所でも意図する場所への誘導が可能かどうかを検証する必要がある．

図 2 カラスロボット・ドローンの開発ロードマップ

図 4 複数のカラス音声スピーカによる誘導実験(図:NHKworld より引用，山形市協力)
図 3 カラスロボット(左)，剥製翼カラスグライダー(右)山形市での実験の音声制御(再生音声の選択や，各所のス

3.3 挙動ピーカへの再生タイミングの制御)は目視による状況判断

本研究では，カラスの見た目に加えて身振りなどを模倣と手動制御によって実施されたが，この方法をより広範囲することで対話を円滑にすることを目指している．スピーかつ持続的に適用するには限界がある．そこで，本研究でカーから音声のみを提示した場合、一定のカラスの反応をはカラスの行動や音声を自動で認識，その意味を判断・応引き出すことができるが、スピーカーからの音声再生に加答するプロセスの自動化を検討している．最終的にはこれえ、動かない剥製を提示した場合、スピーカーのみに比べ、ら自動応答機能をロボットやドローンにも搭載を検討す

カラスの反応が弱くなった[7]．これに対して，首と尾羽がる．図５はカラスを視覚的・聴覚的に自動認識することを稼働する剥製ロボットを使って再度実験を実施した結果，目的とした対話システムのプロトタイプのイメージ図で動かない剥製と比較して強い反応を引き出すことに成功ある．カラスへの行動誘発のため，視覚的にカラスを認識した3．また，トビに対してトビを模倣したドローンを用いすると遠隔地に設置したスピーカが，カラスが餌を発見し円弧を描きながら上昇飛行をすると，トビが追いかけてくた際に発する集合音声を再生し，自動的に意図した場所へる行動を引き出すことができた. ドローンに搭載したスの移動を促すことを目的としたプロトタイプを実装した

ピーカ(平面ではなく３次元空間)でカラスの鳴き声を再生(図５上)4．実装コストの観点から，カラスの認識には IBMしながら飛行した結果，カラスの群れが追いかけてくる事が提供する Watson を学習モデルとして用いたが，2017 年が確認できたが、数回繰り返すうちに反応がなくなった.

初頭時点での結果はカラス以外の黒い生物(他種の鳥やネカラスに対しては, 見た目をよりカラスに近づけるなどコ)を誤判定するなど精度に問題があった．そこで，これをの工夫が必要であると考えられる.

補完するために定期的に判別結果を，SNS などを介してユ

3.4 多点音源によるカラス対話環境の再現と自動化

ーザに確認修正をさせる，適合性フィードバック機能など

これまでの音声再生実験[7]より、カラスは音源定位能力を追加した．

が優れていることが推測される。そこで我々は音声や見た

また，音声対話の自動化のために，塚原らがハシブトガ

目などの個々リアリティを追求すると同時に，複数のカララスの音声をソナグラムの波形を元に分類したデータセスが対話している状況、つまり、複数の音源を用いることット[5]や，高い精度で鳥の音声を検出可能な Convolutional

で，カラスにとってのリアリティを追求することを模索しRecurrent Neural Network による既存の学習モデル[1]を活ている．図４は山形市内で山形市の協力の下で実施した，用し，カラス音声の認識とそのレスポンスを行うカラス音

3鳥学会 2018 年度大会で「首と尾羽が可動する剥製ロボ表予定
4 カラスマヨネーズ(2017): https://youtu.be/_Bo5W1XiZc8

ットをカラスは生きたカラスと認識するか？」として発© 2018 日本バーチャルリアリティ学会- 31E-1 -31E-1

声再生機能を実装した(図５下)．こちらの検出結果は環境可能にする志向に敷衍して，カラスの知覚を人間が体験可

音からカラスの音声の検出は概ね可能であったが，違う種能になることで，例えばカラスの視覚(高い視力や紫外線の鳥の音声を検出(ウミネコなどの類似した音声を誤検出)知覚能力など[10])を通したカラス独自の環境認識やカラしてしまう課題があきらかになった．これらの課題の改善

スらしさの知覚，飛翔時の風切羽を通して知覚される触覚案としては，データセットと学習モデルの強化に加えて，を得ることで，対話技術周辺分野だけでなくロボットや航例えば図５の上下，視覚と音声両方の検出結果でクロス判

空工学などの分野にも貢献できる可能性がある．またそれ定させることで，例えば音声で誤検出されたウミネコ(白と対応して，カラスが人間の知覚を体験可能になれば，カ色)を検出結果から除外するなどの精度向上策などが考え

ラスの知覚によって人間の知覚を拡張し，人間の生活に価られる．

値をもたらす(その逆もあり得る)，知能を利活用する産業動物となる可能性もある．
謝辞
本研究は，JSPS 科研費 17K17733，東北大学電気通信研究所 21 世紀情報通信研究開発センター萌芽研究部，東北大学電気通信研究所共同プロジェクト研究，カシオ科学振興財団，National Research Foundation Singapore，学術系クラウドファンディング「Academist」を通した支援者からの資金によって実施されている．

参考文献[1]EmreÇakır, Adavanne, S., Parascandolo, G., Drossos, K.,
and Virtanen, T. Convolutional Recurrent Neural Networks forBird Audio Detection. (2017).
[2]Nishio, S., Ishiguro, H., and Hagita, N. Geminoid:
Teleoperated android of an existing person. In Humanoidrobots: New developments. InTech, 2007.
[3]Stowell, D., Wood, M., Stylianou, Y., and Glotin, H. Bird
detection in audio: a survey and a challenge. Machine Learning
for Signal Processing (MLSP), 2016 IEEE 26th International
図 5 機械学習サービスを利用した自動カラス対話システ

Workshop on, (2016), 1–6.

ムのイメージ[4]Tachi, S. Telexistence. World Scientific Publishing
Company, 2009.

4. 今後の展開[5]Tsukahara, N., Aoyama, M., and Sugita, S. The classification

前章では，本研究のこれまでの取り組みを紹介した．本of vocabulary by the analysis of sonograms in jungle crow

研究の今後の展開として，以下の２つの方向性の追求を検(corvus macrorhynchos). The classification of vocabulary by討する．１つは「カラスの行動制御技術を実社会に適用さthe analysis of sonograms in jungle crow (corvusせるための自動化」であり，２つ目は，「人間がカラスと対macrorhynchos), (2005).

話をするためのインタフェースの洗練化」である．自動化[6]Tsukahara, N. and Fujiwara, S. Comparison of ultrasonicに関するこれまでの結果では，カラスの対話音声の認識精

speaker and laudspeaker for broadcasting crow vocalizations

度を担保に十分なデータ確保の課題がある．

for control of crow behavior. the 49th congress of the

これに関する具体策として，自動音声システムの運用時

international society for applied ethology (ISAE 2015), (2015).のカラスとの対話の判定結果を，学習モデルへのフィード[7]Tsukahara, N., SUEDA, K., and UEDA, F. Effect of

バックすることや，YouTube などのユーザ投稿型のデータ

stimulation using a stuffed crow and broadcasted crow

セットとその分類タグを活用する，またこれら複数の分類

vocalizations on crow behavior. the 50th Congress of the

結果の学習データ使ってクロス判定を行うなどの精度向International Society for Applied Ethology (ISAE 2016), (2016).

上手法が考えられる．また，これらの技術は十分な量のデ[8]相馬雅代 and長谷川寿一. ハシブトガラス Corvus

ータセットが整備されていれば，人間の分類精度を超える

macrorhynchos における集合音声と採餌群れの形成. 日本

可能性もありうる．また，他の種への応用も可能で，例え鳥学会誌 52, 2 (2003), 97–106.

ば家畜の行動制御による生産性向上や，バードストライク[9]塚原直樹, 村田ひと美, 小池雄一郎, 青山真人, and 杉の原因となる他の鳥の行動制御なども考えられるだろう．

田昭栄. ハシブトガラスにおける各種光波長に対する学

また，カラスとの対話インタフェースに関しては，テレイ習成立速度の検討. 日本家畜管理学会誌・応用動物行動

グジスタンスが人間の知覚を，計算機を介して再現・体験

学会誌 48, 1 (2012), 1–7.

© 2018 日本バーチャルリアリティ学会- 31E-1 -