WISS2022

Foley Novel: 効果音の作成によって物語を読み進めるコンテンツの提案
岡野 達也*

臼井 朋哉*

橋本 直*

概要． 映画やドラマにおける効果音は，映像に対し，実際の音を録音するのではなく，異なる代替の道具を使用して作られていることがある．このような作業は音効またはフォーリーと呼ばれ，意外な方法で作られていることがある．そのため，どのようにして物語に合う効果音を作るか試行錯誤することはエンタテインメントコンテンツになりうると考えた．そこで，本研究では音効の作業によって物語を読み進めるコンテンツを開発した．本コンテンツでは，体験者がディスプレイに表示された物語に対して，用意された道具を自由に使用しながら効果音を作成し，効果音を録音することで物語を進める．本稿では，Foley Novel の概要と実装方法，ワークショップで得た知見について報告する．

1

はじめに我々が映画やドラマで聞いている効果音は他の物で代用して作られることがあり，そのような作業は音効またはフォーリーと呼ばれている．例えば，雨の音は実際の雨音を録音するのではなく，ベーコンを焼く音から作られていることがある．他にも，波の音は，ザルに入れた小豆を揺らした音から作ることができる．このように，効果音は意外な方法で作られていることがあり，その効果音を試行錯誤しながら作ることはエンタテインメントコンテンツになりうると考えた．
そこで，本研究では，音効の作業によって物語を読み進めるコンテンツ「Foley Novel」を提案する．
Foley Novel は，複数用意された小道具を使用して提示された文章に合う効果音を作ることで物語を進めていくシステムである．体験者は，文章に合う効果音を作るために手に取る小道具を変えたり，小道具で音の鳴らし方を変えたりして，試行錯誤しながら音作りを楽しむことができる．本稿では，「FoleyNovel」の概要と実装方法，およびワークショップで得た知見について説明する．

2

関連事例

作に合わせてレジ袋を擦り，炒める音を再現することで得点を稼ぐことができる．この作品における楽しさは，炒める音をレジ袋で再現するという意外性とレジ袋をコントローラにする独自性，そして良い音が作れると高得点になるという競技性によって成立している．
提案コンテンツでは，映像ではなく文章に対する音効作業を体験する．また，使用する道具を 16 種類とし，さまざまな選択肢のなかから試行錯誤して音作りをする楽しさを生み出すことを目的とした．
2.2 裏方を体験できるコンテンツ
裏方の体験を主題とした作品にはさまざまなものがある．Motorsport Manager[3]はモータースポー
ツの裏側を体験することが可能である．レースト
ラックから指示を出したり，レース中の戦術やレース前までを計画したりすることができる．また，It’sa Wrap![4]では，プレイヤーが映画監督として，俳優や舞台セット，特殊演出などの調整などを行い，映画を作るまでを体験することができる．
提案コンテンツでは，裏方の作業である音効の体験をする．

3

Foley Novel

2.1 音効を体験できるコンテンツ

3.1 概要音効作業を体験することができるゲームとして音効炒飯[1]がある．音効炒飯は，レジ袋の音が炒飯を作っている音に似ていることを利用したゲームである．ディスプレイ上の炒飯を作るキャラクターの動

Foley Novel は，効果音を作ることで物語を進めるコンテンツである．Foley Novel の体験イメージを図 1 に示す．
まず，体験者は，ディスプレイに表示された文章を読む．文章の一部分には赤線が引かれており，体験者は，赤線部分の表現に合うように机上に並べられた小道具を使用して効果音を作成する．作成した効果音は録音開始ボタンを押した後，マイクで録音する．その後，体験者は録音した効果音に対する評

Copyright is held by the author(s). This paper isnonrefereed and non-archival. Hence it may later
appear in any journals, conferences, symposia, etc.
*明治大学 総合数理学部 先端メディアサイエンス学科

WISS 2022

図 1．Foley Novel の体験イメージ

図 2．プロトタイプ

価のフィードバックを受けて次のページへ進める．
これを繰り返すことで，体験者は物語を読み進めていく．全て完了した後，実際に体験者が録音した音と事前に用意した正解の音が提示され，聞き比べることができる．
3.2 ハードウェア
プロトタイプを図 2 に示す．本システムのハード
ウェアはディスプレイ，スピーカー，マイク，小道具から構成される．マイクは，Logicool BM400BKを使用した．小道具は 16 種類あり，ステンレスたわし，すだれ，ゴム手袋など身の回りにあるものを基準として用意した．
3.3 ソフトウェア
本システムのソフトウェアは，文章表示を行うプ
ログラム，録音再生を行うプログラム，類似度計算を行うプログラム，評価フィードバックを行うプログラムから構成される．
文章表示・録音再生・評価フィードバックを行う
プログラムと類似度計算を行うプログラムは，それぞれ Unity 2022.3.21f1 と Python で開発した．
(1)文章表示・録音再生を行うプログラム
表示する文章は，著者が作成した合計 5 ページの文章であり，「雪を踏む音」「焚き火の音」「骨が折れる音」「缶を開ける音」「羽ばたく音」の音の表現がそれぞれ 1 ページずつ記述されている．また，上記の 5 つの音の表現部分には赤線が引かれ強調表示されている．
録音は，録音開始ボタンを押してから 5 秒間行われ，終了後に録音した音が再生される．録音した音声データは，類似度計算を行うプログラムへ送信される．
(2)類似度計算を行うプログラム
音声処理ライブラリ LibROSA を用いて，録音した音の類似度 [0.0~1.0] を計算した．音声データから音響特徴量の MFCC を抽出し，動的時間伸縮法によって事前に用意した正解データとの類似度を求める．正解データは，正解の小道具 5 種類をそれぞれ 5 パターンの鳴らし方で設定した効果音である．
正解データとの類似度の中で最も値が大きかった類
似度とその道具の名前が評価フィードバックを行うプログラムに送られる．
(3)評価フィードバックを行うプログラム
類似度が 0.5 以上で，なおかつ小道具の識別も正しかった場合，「Excellent!!」と表示する．また，類似度が 0.5 未満で，小道具の識別が正しかった場合
は「Good Job!」と表示する．最後に小道具の識別が正しくない場合は類似度にかかわらず「Nice Try!」と表示する．体験者にフィードバックを返した後，３秒後に次のページへ自動的に進む．

4

ワークショップ

制作したプロトタイプのデモ展示を明治大学のオープンキャンパスにて行った．
ワークショップにおける体験者の感想として，音効という作業を理解して，楽しく音を作ることができたという意見があった．しかし，難易度が高く，手が止まってしまう体験者も見られた．そのため，文章を読み効果音を作るページにおいて，30 秒経つとヒントが画面上に表示されるよう機能を追加した．
我々が想定していた効果音の作り方とは違う方法で文章に合う効果音を作成した体験者もいた．しかし，解答例と異なる方法で作られたため，体験者の想定よりも低い評価を受けることがあった．さまざ
まな方法で効果音を作成した場合においても正しい評価を返すためには，効果音の類似度計算やその評価を機械学習で行うことが理想だと考える．また，他人が作成した効果音に対して，投票機能などを実装すれば，そのデータを元によりよい正解データを更新し続けることが可能である．このシステムであれば，解答例とは違う方法で良い音が録音された場合でも対応できると考えられる．

5

まとめ

本研究では，音効の作業によって物語を読み進めるコンテンツを提案した．今後は，類似度判定の精度向上と投票機能の実装を目指す．

Foley Novel: 効果音の作成によって物語を読み進めるコンテンツの提案

参考文献[1] Wataru Nakano, MIYAZA WORKS 音 効 炒 飯(2022/11/14 確認)
http://www.warateru.com/ctrl_onkou.html[2] Steam : Montorsport Manager(2022/11/14 確認)
https://store.steampowered.com/app/415200/Moto
rsport_Manager/[3] Chanko Studios: It’s a Wrap! (2022/11/14 確認)
https://www.itsawrap-thegame.com/