情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162C57
2016/3/3

独り言と文字を紐付けて自動記録するテキストエディタ
長利 槙吾1

寺田 実2

概要：テキストエディタは日常的な文書やプログラムの作成に利用し, こういった文書編集中につぶやく独り言には作業に関する有益な情報が含まれている可能性がある．本システムでは，そうした独り言を入力中の文字と関連付けて自動的に記録し，あとで文書を読み返す際に，対話的にその音声を再生することを可能にする．これにより，入力文字としては記録されなかった作業時のアイデアや考察などを確認することができる．本研究では，上記の機能を実装したテキストエディタの利用を通じて文書編集時の独り言を収集・分析し，その内容や有用性について検討した．

Texteditor Which Records Monologue Automatically in Association
with Characters Typed
Osari Shingo1

Terada Minoru2

Abstract: Texteditor is used to edit document and program. The monologues, which user mutter during
such document editing, may include useful information about the work. This system records monologues inassociation with characters typed, and enables user to check the monologues in reading back the document.
Thus, user can confirm the idea or consideration at the time of the work. In this study, we collected andanalyzed monologues through the use of the texteditor that implemented the function mentioned above, andexamined its contents and usefulness.

1. はじめに
テキストエディタは日常的な文書の編集やプログラミンて自動的に記録するテキストエディタを用意し，このエディタの利用を通じて文書編集時の独り言を収集し，分析を行った．

グなどに利用する．通常テキストエディタで作業をする際

本研究の有効な利用例として，現段階ではライフログ

は，書く内容を考えながら文書を作成する．このとき，頭やプログラムのコーディングといった場面を考えている．の中のアイデアをすべて文書に起こすということはせずにユーザがその日に起こったことを考えて口に出しつつ文書必要な情報のみを文書にすると思うが，せっかく思いついを作成することで，文書と音声の両方からその日の情報をたアイデアを書いているときに忘れてしまったり，アイデより想起しやすくする．また，コーディングの場面においアの中には文章にするまでもないが残しておきたいアイデて，関数や変数を定義する際どういう目的で書いたのか，アがあるかもしれない．

タイプするほどではないが残しておきたいアイデア，など

そこで本研究では，「文書編集中につぶやく独り言にはといった発話内容を考えており，コメントやデバッグに活作業に関する有益な情報が含まれている可能性がある」と用する．コーディングに関しては，実際に認知心理学の分いう仮説を立て，作業時のアイデアなどといった重要な情析手法であるプロトコル分析を用いたプログラミング授業

報が実際に独り言から確認できるかどうか検証する．このの分析 [1] が行われており，どの箇所でどのような考えで検証のために，作業時の独り言を入力中の文字と関連付け作業に取り組んでいるのか，といった情報を発話データか

1

ら記録し，ユーザの発話行動から目に見えない認知的な過2

電気通信大学大学院
Graduate School of University of Electro-Communications
電気通信大学
University of Electro-Communications© 2016 Information Processing Society of Japan

程を明らかにするといった利用も考えられる．

710

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162C57
2016/3/3

2. 関連研究
関連研究として，既存の音声機能を持つテキストエディ
タを挙げる．

2.1 SoundNote[2]SoundNote は，会議や講義，インタビューで活躍するよう作られたメモツールで，録音をしながらテキストの入力や手書きでの描画メモができ，メモを読み返しながら録音

図 1

した音声を確認できる．SoundNote は他人の発言を録音しシステム画面

Fig. 1 System screen.

ながらメモを取るためのメモツールであり，本研究とは使用目的が異なる．

2.2 聞き耳メモリ [3]
聞き耳メモリは，聞き耳インタフェースを備えた効率的なメモ作業を支援するシステムである．メモの対象となる音声に聞き耳を立てて自動的に音声の取得や認識を行い，認識結果からメモに必要と思われる語句を抽出してモニターに表示することで，ユーザが必要に応じて表示された語句をタッチするだけでメモへの書き込みを行うことができる．また，音声の頭出し再生機能や手書き入力機能も備わっている．聞き耳メモリは他人の発言のメモを支援するツールであり，本研究とは使用目的が異なる．

3. 提案システム
3.1 概要本研究で使用するシステムは，音声の録音と再生の機能を持つテキストエディタである (図 1)．作業中の発話を文字と一緒に録音し，あとで文書を読み返す際に，対話的にその音声を再生することを可能にする．文字と音声の関連付けとしては，文書編集動作・発言としたときにそれぞれのタイムスタンプを取得して対応付けることで実現した．

3.2 録音発話した部分だけを記録するため，一定以上の大きさの音声だけを録音するものにした．これにより，発言のないときなどの不要な録音を避けている．

3.3 再生
画面上では音声データが存在する文字にはハイライトを表示し，音声の存在を視覚的に分かるようにしてある．ハ
イライトされた箇所をクリックすることで音声が再生される．

4. ユーザテスト
4.1 学生によるテスト
電気通信大学の学生 5 人にプログラミングの問題を提示© 2016 Information Processing Society of Japanし，本システムを用いてプログラムのコードを作成してもらい，作業時の独り言を確認した．使用するプログラム言語は自由とした．その中で，独り言の内容に多く含まれていたのは，「プログラムに関するもの」，「うーん，えーっと，などといった考え込む声」であった．そしてこれらの独り言から，大きく 2 つのことが確認できた．
まず 1 つ目として，問題のどこで悩んでいたか，ということである．例えば，「ここのメソッド何だっけ」や「え，分からない」などといった発話が存在したり，また「うーん」，「え−っと」などどいった考え込む声がある箇所に集中していることから，そこで苦戦しているということが考えられる．

2 つ目として，どこで間違えたか，ソースをどのように修正したか，ということである．例えば，間違えた際に「あっ」という声や「ここ間違えてるじゃん」などと発話をして，その後に間違えた箇所の直し方について発話している場合がある．また，記述する内容を読み上げながら書くことがあり，そのときの発話内容と記述内容が違う箇所が存在しており，この箇所から「元々はこう書いていたが間違いに気づいて現在の記述に直した」ということが確認できる．

4.2 作者によるテスト
作者自身が本システムを用いて文書作成に取り組み，その独り言について分析した．

4.2.1 プログラミング
様々なプログラミングの問題に対するコードの作成に取り組んだ．独り言の内容の傾向として，上記のテストと同じようなものであった．他に見られた特徴として，取り組んだ問題が難しいほど，考え込む声や「難しい」などといった独り言の割合が増え，時間に対する独り言の数が多くなるという点があった．これにより，問題に対する独り言の数や内容の割合から，どれくらいユーザが苦戦しているかを確かめることができると考えられる．

4.2.2 日記
ライフログ的なアプローチとして，自身でその日に起き711情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162C57
2016/3/3

たことを発言しながらまとめるという日記のような使い方に取り組んだ．テキストを作成する際は，その日の出来事を思い出して発話して，そこからピックアップして書くという傾向であった．そして，記述した出来事一つに対して複数の独り言が存在し，そこからより鮮明に出来事についてフィードバックすることができた．

5. まとめと今後の課題
本研究では，文字と音声を同期して記録できるテキストエディタを用意し，文書作成時のユーザの独り言の有用性について調べた．今回は，プログラミングやライフログにおける文書作成時の独り言から，ユーザがテキストを書いたときのアイデアや背景といったことを確認できることが分かった．
今後の課題として，より統計的なデータを得るために，多くのユーザにシステムを使ってもらったり，プログラミング以外にも様々なテキストを作成してもらい，様々なパターンの独り言について調査し，検証したいと考えている．
参考文献
[1]
[2]
[3]

[4]

平木 勉：定性的分析手法 (プロトコル分析) を活用した授業解析，第 18 回工業技術教育全国研究大会 (2008)．
iTunes プレビュー: SoundNote，入手先 ⟨http://itunes.
apple.com/jp/app/soundnote/id364789577?mt=8⟩ ．
太田 晃平，西崎 博光，関口 芳廣：聞き耳インタフェースを備えたメモ支援システム「聞き耳メモリ」，情報処理学会第 74 回大会 (2012)．
塩田 英子，独り言と他者の認識，龍谷大学大学院英語英米文学会第 33 号 (2005)．

© 2016 Information Processing Society of Japan712