情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-38
2024/2/28

音声認識のブラックボックスシステムにおける簡易的介入法の研究と創作物への応用
藤田 麟太郎1,a)Scott Allen1,b)

概要：創作行為の発展には，誤用から派生した独自の手法が存在する．その例として，DJ のスクラッチやサーキットベンディングが挙げられるが，それらの共通している点はアナログな手法で既製品に対して行われているもので近年の洗練化されたブラックボックス化された音声認識システムにおいては介入が難し
い．本研究では，そのようなシステムに対しても，従来の介入法に近いことが擬似的に実現できる手法を提案する．また，この手法を用いた作品を制作し，作品鑑賞者に対してアンケートを実施して，本研究の手法の有効性を検証した．

1. はじめに近年，急速に進化する音声認識システムが私たちの日常生活に深く浸透している．これらのシステムは，スマートムに対しても，従来の介入法に近いことが擬似的に実現でき，新たな表現をを生み出す可能性を模索する．

2. 関連事例

デバイスや音声アシスタントを含む様々なアプリケーショ

本システムに関連する先行研究や作品を以下に示す．本シンにおいて，我々の声をテキストやコマンドに変換し，様々ステムに近い外部からのシステムへの介入は，GoogleMap-なタスクを自動的に処理するプログラムによって処理されsHacks[3] である．GoogleMapsHacks は，ドイツのアーティている．

ストである Simon Weckert 氏による作品であり，99 個の一般的な研究では音声認識のブラックボックスシステム

中古スマートフォンを手に押し車に載せて運び，Googleを構築する方法やセキュリティ面に焦点が当てられるが，マップ上に架空の交通渋滞を作り出すというパフォーマン

本研究ではそのようなユーザーの信頼性に焦点を当てるのスを行った．この作品は、Google マップという私有プラッではなく，クリエイターがブラックボックスシステムに対トフォームでありながら，Google マップの背後にある目にしてどうアプローチして創作行為に使用するかが重要な見えないアルゴリズムを可視化するものとして，注目を集コンテクストとなる．創作行為の発展には、誤用から派生めた．

した独自の手法が存在する．例えば，グランドマスター・

この作品は、音声認識システムのブラックボックス性にセオドア氏とグランドマスター・フラッシュ氏らによるレ対処する上で，重要な示唆を与えるものと考えられる．す

コードプレイヤーの誤用によるスクラッチ奏法の発明 [1] やなわち，ブラックボックスシステムであっても、外部からリード・ガザラ氏によるサーキットベンディングのショー介入することができたり，その動作を可視化したり，意図トや抵抗値の変動による演奏装置の発明 [2] は，誤用から的に操作したりすることができるということだ．

新たな手法が生まれた事例である．だが，これらの例はア

しかしながら，GoogleMapsHacks は位置情報によってナログな手法で既製品に対して行われているものであり，渋滞情報を管理しているというアルゴリズムの一点のみ技術の発展とともに，より洗練化されてきたオープンソーにしか介入していない．本研究では，言語の誤認識についスでないプロジェクトにおいては，介入が難しく，それらて，単一なルールではない膨大な数の誤認識する言葉を発のシステムを用いて上記に類似した手法で制作された作品見し，多角的に介入している．

は少ないのが現状である．
本研究はブラックボックス化されている音声認識システ

3. 提案システム制作したシステムは大きく二つに分けられる．誤認識さ1a)b)

京都精華大学
f221t157@st.kyoto-seika.ac.jp
scottallen@kyoto-seika.ac.jp© 2024 Information Processing Society of Japanせるための音声作成とシミュレートをする PC 側の処理と再生機・スピーカー・iPhone から構成されるモジュール794

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-38
2024/2/28

である．このシステムを用いることで，意図的に外国語をWORKS 2023」と 2023 年 11 月 27 日・28 日に大学内オーSiri に日本語と誤認識させる言葉を抽出することができる．

プンゼミにて展示した．その際，鑑賞者の行動を観察した．
作品へ応用するにあたり，システム内で解析した言語はフィンランド語を使用した．使用した理由として，「日本語とフィンランド語は単純な子音構造を持つという点で音節拍リズムをもつ言語に見られる特徴を共有している [4]」とされていたためだ．
表 1 に今回使用したフィンランド語と日本語の誤認識対応表を示す．
表 1

図 1

フィンランド語と日本語の誤認識対応表

システム概要図

音声データ作成の際に使用したツールは Google Colab-oratory を用いて実行環境を構築し，googletrans を利用して翻訳，取得した文字情報を Google Text to Speech にて発話させる手法で作成した．

Siri に誤認識させる言葉を抽出する過程では，Xcode 上
で Apple が提供している SpeechFramework を利用し，音声認識入力システムの構築を行う．その後，ログに出力された音声認識結果をフィルターにかけて Siri で操作が可能なものに絞る．
実機検証で使用している iPhone の iOS バージョンに検証環境を揃え，シミュレーションログをもとに誤認識し，Siri が操作をできるもののみをフィルターをかけることで抽出を行い，最終的に音声を実機に向けて発声させることで実空間での検証を行う．

作品中で使用した映像は，同年 11 月 22 日にフィンランド語話者である交換留学生の Marika Schulze さんに協力

4. 提案システムの作品制作への応用を依頼し，解析済みの単語が発話された映像を使用した．
展示会場では，ディスプレイを取り付けたモジュールを配置し，観客に対して自由に鑑賞してもらう形で展示を行った．

5. 実施例に対する評価・考察

図 2

展示の様子

本システムを用いて作品を制作し，2023 年 11 月 25 日・26

図 3

アンケート結果日に大阪府大阪市にある Blend Studio で行われた「HOME© 2024 Information Processing Society of Japan795

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

5.1 モジュール及び鑑賞者の行動

2B-38
2024/2/28

くの愛着が出てしまうのが楽しいところですよね」と自由4 日間の展示期間でおよそ 200 人に鑑賞してもらった．

回答しており，Siri の機能をそのまま使っている点が質問

モジュールは時間経過とともに検証時には見せなかった動内容である未知の機能を発掘していると言えないと捉えた作を何度かしていた．また，鑑賞者の中には誤認識していのではと考察することができる．

る Siri に自らの声を重ねることでさらに干渉していくような行動を見せるものがいた．

6. まとめ・今後の展望
本研究では，音声認識のブラックボックス化されている

5.2 鑑賞者からのフィードバックシステムに対しても，サーキットベンディングのような従実施例に対するアンケート結果を図 3 に示す．展示を見来の介入法に近いことが擬似的に実現できる手法を提案

た鑑賞者を対象に，以下の 2 点を 10 代から 30 代の音楽し，擬似的に実現できているということがアンケート結果家，学生の男女合計 13 人に確認した．

によって証明された．

(1)「音声認識システムの専門家でなくても意図的に Siri をまた，実際に本システムを用いた作品を制作し，展示で操作ができていると思うか」[5]動作を確認できた．今後は，提案システムを用いた多言語(2)「それまで隠されていた未知の機能を発掘し，そこからによる誤認識を用いた作品の実現を計画している．

予想外の使用法を発見したり，新たな美学を創造している

今回使用したシステムは Apple 社のものだが，似たよと思うか」[6] というアンケートを GoogleForm にて実施

うなシステムを構築することで Google Home や Alexa とした．このアンケートでは，冒頭で述べた，従来の介入法いった音声認識システムでも応用できると考えられる．に近いことが擬似的に実現でき，新たな表現を生み出す可今回提案したシステムを用いた制作を続けることでオー能性があるということを検証すること目的とし，2 つの論

プンソースでない状況でもクリエイターが表現する余地を文からサーキットベンディングの特徴を捉え，提案システ

見出し，新たな表現のジャンルとして確立していきたい．

ムが従来の介入法を擬似的に実現できているかを計るものである．
アンケートの結果，「音声認識システムの専門家でなく参考文献[1]ても意図的に Siri を作者が操作できていると思うか」という問いに対しては 75%が「はい」25%が「いいえ」と回答した．「それまで隠されていた未知の機能を発掘し，そこから予想外の使用法を発見したり，新たな美学を創造していると思うか」という問いに対しては 83%が「はい」16%が「いいえ」と回答した．

5.3 考察

[2]
[3]
[4]
[5]

表 1 で示した対応表からは，フィンランド語の発音と反応する言葉の発音の類似度が高くないものもある．しかし，類似度が高くなくても Siri に誤認識させられている．
どのような基準で言葉が反応しているかはブラックボック[6]Grand Wizard Theodore accidentally invents scratching(or does he?)(online)，
入手先 ⟨https://www.theguardian.com/music/2011/jun/
13/grand-wizard-invents-scratching⟩ (2023.12.22).
Reed Ghazala: Circuit-Bending: Build Your Own Alien
Instruments(2005).
Garnet Hertz and Jussi Parikka: Zombie Media: Circuit
Bending Media Archaeology into an Art Method(2012).
堀 誉子美: 音節構造と聴覚印象― 日本語とフィンランド語の対照研究 ― (1995).
‘Google Maps Hacks(online)，
入手先 ⟨https://www.simonweckert.com/googlemapshacks.html⟩ (2023.12.22).
井藤 雄一: 情報メディアの利用によるアート表現― メディアの変則的利用がもたらす可能性 ―( Art Expression Created through Anomalous Use Information Media)(2014).

ス化されいるため断定することは難しいが，そのような状
況でこそ本研究で提案しているシステムはクリエイターが創作行為に使用する際に有効であると考察できる．
図 3 で示したアンケート結果から，被験者の殆どは 2 つの質問に対して，「はい」と答えており，従来の介入法を擬似的に実現できていることがわかる．
質問 1 で否定的な回答をした被験者の「無意識から全く別のものが生まれるのは面白い AI のよう，というか A I」，
「初めはただ上手いこと聞き取れない Siri かと思ったのですが，それを前提に (？) した作品なの面白かった」等の自由回答から，今回展示した作品の解釈が個人の経験に左右されるような質問であったことが考えられる．
質問 2 で否定的な回答をした被験者は「Siri には何とな© 2024 Information Processing Society of Japan796