2019年度 画像電子学会 年次大会 企画セッション

パソコン要約筆記ソフト「ＩＰｔａｌｋ」の改良と技術的課題
2019年6月29日
NPO法人
日本遠隔ｺﾐｭﾆｹｰｼｮﾝ支援協会(略称NCK)栗田 茂明

目次・IPtalkの簡単な説明
・現状と課題遠隔文字通訳
音声認識
入力者の養成・まとめパソコン要約筆記の２人連係入力は日本独特
ﾌﾟﾛｼﾞｪｸﾀｰ 表示用

入力用

入力用

HUB

講師用

HUB
入力者Ｂ

入力者Ａ
・IPtalkは、２人で分担して文を入力するソフトです。
・他の人が何を入力しているかモニターできます。

・入力した文字は、送信されて合体し、1つの文として表示されます。

話者②昨日は・・③明日は・・・・・・③明日は・・

入力者Ａ ①今日は良い・・
入力者Ｂ

Iptalk概要①今日は・・②昨日は・・

3

パソコン要約筆記用ソフト IPtalk (1999年5月～)
C++で作成。 ウインドウ数：37

プログラム行数：139,383行 (2010年１０月現在)

・IPtalkは、C++で作っています。
・ウィンドウを37個持っていて、実際は、１つのプログラムというよりも、37個のプログラムの集合体と言った方が良いかもしれません。
・非常に多くの機能を持っています。

２００５年ごろ実現していた表示機能の例
横書き（スクロール）

縦書き

縁取り文字と背景画の合成

ルビ、文字色、絵など

2005年には、横書き、縦書き、縁取り文字、背景画の合成、ルビや文字色や絵を入れることもできました。
2005年ごろには、表示機能はのほとんどは完成しています。
これらは、当時の「多様なニーズへの対応」に対して作った機能でした。

２００５年ごろ実現していた表示機能の例

カラオケ風色変わり表示
文字カラオケ送信ウィンド

・話している位置を色を変えて示す機能です。
・元々は、お葬式で、お経を一緒に唱和したいという方の要望で作りました。
・現在は、催し物で、歌が流れた時に使われています。
文字カラ

ライブ映像との合成

これは、USBカメラのリアルタイム画像と合成した例です。
高価な映像機器、クロマキーやワイプを使えば、簡単にできるのですが、安価なUSBカメラだけで実現できるのが利点です。
この写真は、手話サークルの大会ですが、映っている人たちは、手話をしながら話しています。
7
手話サークルですから、手話があまり得意でない会員もいます。
その方たちは、手話映像と字幕を一つのスクリーン上で見ることができます。

パソコン文字通訳技術 ロードマップ （２０１０年版）
2020年
・事前に予約することなく、必要な時に字幕を得ることができる。
・表示機器は、PCの様な複雑な設定や起動に時間がかかるのでは実用にならない。家電製品のように、電源onで即座に利用可能であることが望まれる。
・日本の人件費を考えれば、音声認識による入力が現実的と思われる。不特定話者の音声認識が可搬機器に納まるとは思えないため、ネットワークによる遠隔入力となる。
・人手による入力の選択も残し、認識率を現実的なレベルで実用化を目指したい。

時・場所の自由★iPhone2020年

・随時表示(予約不要)
家電的Hard・遠隔入力②★ブラザー工業株式会社
音声認識と人の網膜走査型ディスプレイ2015年
入力を選択
・利用者準備型(B方式)
・会場準備型(C方式)
・個人可搬表示2010年 PC,PDA,携帯電話など

・入力者派遣型(A方式)
2008年 ・音声映像送信
・iPhoneへの表示
・共通表示
・入力者の技能プロジェクター投影
・入力者同席
現場に多人数

2009ﾛｰﾄﾞﾏｯﾌﾟ

2030年
・日常的表示(常時)メガネ内表示・音声認識入力
自動要約機能自立型可搬機器

2030年
・補聴器を利用するように、日常生活で常時字幕を表示して生活することができる。
・メガネ内に字幕を表示するなど、視野内に字幕を表示したい。
発話者と同じ距離・位置に字幕が見えることが望まれる。
・可搬の不特定話者の音声認識が必要。

2015年
・利用者が自分のPCを会場に持参し、音声や映像を送信することで、遠隔地で入力した字幕を得る。
・会場に標準的にパソコン文字通訳の機器類が存在している。
・事前に入力者を予約する必要がある。
・インターネットがある会場・学校であれば2008年現在でも技術的には現状で可能。

人からの自由遠隔入力

音声認識

遠隔入力の方法①(データ通信端末使用)
大学側

NCK側
在宅リーダー(1名)

データ通信端末

ブリッジパソコン(Skype IPtalk)

データ
通信端末

Webカメラ等

LAN

入力パソコン(Skype IPtalk)

在宅入力者（３名～４名）HUB

データ通信端末

入力パソコン(Skype IPtalk)

表示パソコン( IPtalk)

音響設備

遠隔入力の方法②（ＶＰＮルータ使用）
NCK側

PPTPを利用したリモートアクセス

在宅リーダー(1名)

Ponit to Point
Tunneling Protocol

大学側【NCK側から貸し出す機器類】
音声・映像送信パソコン（IPtalk Skype）

自宅LAN(VPN接続)
入力パソコン リモートデスクトップでIPtalk Skype 現場パソコンを操作

在宅入力者（３名～４名）自宅LAN(VPN接続)
入力パソコン
IPtalk Skype

データ通信端末Webカメラ等

VPNルータ音響設備
表示パソコン(IPtalk)【依頼側が用意する機器類】

IPtalkにおける音声認識対応の概要
Julius音声認識

Julius①認識文を受け取る

Google音声認識
②訂正機能

③表示

表示機

Google Web Speech API

ドラゴンスピーチ

Julius・IPtalkの「音声認識対応」とは、①音声認識ソフトから認識文を受け取る②誤認識を訂正する③表示する
11

音声認識の性能評価の指標
音声認識の性能試験は素人には難しく、回数も限られているのだが、筆者の行った計測結果について述べる。
JAITA(電子情報技術産業協会規格)の「音声認識エンジン性能評価方法のガイドライン」も参考にしたが、情報保障に使う場合には、評価の指標は「訂正係りの作業の難易度」という観点の方がより直接的だろうと考えて、以下の式の「100%訂正速度」(100%訂正した時の訂正文字速度)で行った。
・100%訂正速度 = 訂正作業が必要な文字数／発話された時間 (文字/分)・読み易さのため訂正(改行の追加など)もカウント。
・「全部入力」→「全文入力」は「全文」と入力作業するので2文字でカウント
・評価基準は以下のように仮定した。
①1人の訂正係りが余裕を持って訂正できる → 15文字/分②1人の訂正係りが瞬間的なら頑張って訂正できる →30文字/分300文字/分の発話の場合、15文字/分の訂正とは5%の文字を訂正することになります。(目安としては、95%程度の認識率が必要と思われる。)
12

4. Google音声認識とJulius音声認識の性能★音声データICレコーダーで再生した音声データです。
13

4.2 Julius音声認識の計測結果
悪い
１００％
訂
正速度
（文字／分）②1人の訂正係りが瞬間的なら頑張って訂正できる①1人の訂正係りが余裕を持って訂正できる性能が低いパソコン(Windows7)
性能が高いパソコン(Windows10)

同じ認識率の線(原点を通る線)
同じ認識率の線(原点を通る線)
198文字/分の認識率を維持できれば、1人の訂正係で450文字/分まで可能

良い
話す速度(文字/分)・1人の訂正係りが余裕を持って訂正できる発話速度は、245文字/分であった。
・瞬間的なら頑張って訂正できる発話速度は、319文字/分であった。
・能力の高いパソコンは訂正が少ない。
・発話速度の増加で予想される値以上に100%訂正速度が増加している。
→音声波形は同じであるため、パソコンの処理能力の影響が高いと思われる。

144.3 Google音声認識の計測結果
悪い

１００％
訂
正速度
（文

②1人の訂正係りが瞬間的なら頑張って訂正できる①1人の訂正係りが余裕を持って訂正できる

320

字／分）

430
性能が低いパソコン(Windows7)

同じ認識率の線(原点を通る線)

良い
話す速度(文字/分)・1人の訂正係りが余裕を持って訂正できる発話速度は、320文字/分であった。
・430文字/分のかなり速い発話速度でも、瞬間的なら頑張って訂正できる。
・発話速度が高くなると100%訂正速度が増加しているが、誤認識が増えたためではなく「読み易さ」のために改行を入れる訂正作業のためである。
・Google音声認識は発話速度に影響されないように見える。これは、クラウド型音声認識
15であるため、巨大な計算機パワーが使われているのだろうと思う。

3. 音声認識用に作ったIPtalkの訂正機能・省人化を狙って音声認識を使う場合、訂正作業の自動化や効率化が必要になります。
・そこで、音声認識用に次の3種類の訂正機能をIPtalkに追加しました。
A)表示前の訂正機能として①「ロール1確認修正機能」と②「ロール2自動訂正機能」
B)表示した後の訂正機能として③「ロール3表示修正機能」
3つの訂正機能は「テンプレート前ロール」ウィンドウを使います。

A)表示する前に訂正する機能

B)表示した後に訂正する機能

③① ②

ロール1
確認修正機能ロール3
表示訂正送信機能

ロール2自動訂正機能「ロール3表示訂正送信」機能
は、「訂正送信」ウィンドウの機能をロール3で利用できるようにした。

「ロール1確認修正」機能は、「確認修正バレット」の機能をロール1で利用できるようにした。

確認修正パレット

訂正送信ウィンド16

パソコン要約筆記の歴史と現状の問題
キャプショ
ニング

・「パソコン要約筆記」の養成講座で「キャプショニング」の方法を教えるのは間違い。
・高速入力技能を習得すると職業化する傾向は以前から存在したが、テレビ字幕の出現で加速している。
・入力技能さえあれば「キャプショニング」の方法は比較的容易であるため、「キャプショニング」を始めると「パソコン要約筆記」をしなくなる(できなくなる)ような傾向を感じる。
テレビ字幕(2人高速入力)

発話に間に合う高速入力の人たち
半職業化
キャプショニング
リアルタイム字幕（IPtalk2人高速入力）（ワープロ1人高速入力）
ワープロのプロ

協調的発話を条件にワープロで全文を入力「2人書き」の方法からアイデア

要約筆記

手書きＯＨＰ要約筆記（２人書き）

手書きＰＣ入力（ワープロ１人要約入力）

職業化

要約筆記から分離、半職業化

I
P
talk

音声認識？
音声認識？

高速入力技能Ａ

方法が異なる

パソコン要約筆記（IPtalk2人連係入力）

分割入力技能Ｂ

要約技能

Ｃ

手書きＯＨＰ要約筆記（２人書き）

消滅

復活2000

2005

(H12)

(H17)

手書きＰＣ入力（IPtalk１人要約入力）

手書き要約筆記者がささやく文をワープロで入力するイメージ

1990

1995

時間（年）
手書ＰＣ入力２００６/１０(H18)
障害者自立支援法

2010

2015

2020
２０１８/９(H30)17

400文字/分の発話に対する入力方法と要約方法
一般の会話（４００字／分）を要約筆記した場合

入力方法
入力速度

４００（字／分）

逐語文入力
話し言葉をそのまま入力（要約度１～２）
３２０
３００

二人
入
力

２００

一人
入
力

２００

手書き

１２０
１００８００

要約方法

①文校正

全内容入力

話し言葉の文法を書き言葉の文法に変換する（通訳に当たる）

話しの内容全てを伝える入力方法②ケバ取り（要約度２～４）

１６０

１００

要約方法

全要旨入力
話しの要旨を全て伝える入力方法

情報価値の低い語句を省略する。
（冗長語などの省略）③要旨にする話の内容を変えず短い文に置き換え（要約度４以上）

選択要旨入力選択して要旨を伝える方法④情報を選択する
利用者の価値観に従い、選択的に情報を伝える。（聞き溜め文処理）

2人連係入力のプロセス分析の経緯
1999年～「連係」=「入力文の担当範囲を連絡し合う」⇒モニター部を良く見ましょう！

2010年
パソコンノートテイクにおける連係入力のプロセス分析(入力中に同時並行的に整合する作業)
白澤他 パソコンノートテイクにおける連係入力のプロセス分析、日本特殊教育学会第48回大会発表論文集p239(2010)

http://www.tsukuba-tech.ac.jp/ce/xoops/modules/tinyd1/index.php?id=187

2012年NCK
状態遷移図による分析
http://www.nck.or.jp/shiryou/120707Q-method.pdf

連係入力に必要な技能の分類①キーボード入力の技能②要約の技能・モニター監視(注意分散)
・文字の瞬間読み取り・短期記憶

連係入力の技能③分割入力の技能

・前方整合、後方整合作業
・交互入力破綻時対応
・音声同時割り込み・阿吽の呼吸長い間、連係入力の技能は「阿吽の呼吸」と語られて来た。
20

「阿吽の呼吸」というクオリア(qualia:主観的な感覚質感)を感じるのは、どういう時か？①
１） １人入力

音声

Aさん
音声→文字文字(表示部)２） ２人連係入力
パートナーのモニター部のフィードバックが相互に存在している。
それが互いに干渉すると安定しない。
Aさん
音声→文字表示部
モニタ部

音声
モニタ部
音声→文字
Ｂさん

＋文字(表示部)

合成

表示部
21

「阿吽の呼吸」というクオリア(qualia:主観的な感覚質感)を感じるのは、どういう時か？②２a） 安定する２人入力 (女王様と家来モデル)
Aさん(女王様)は、Bさんからのフィードバックを受けないモデル
Aさん
音声→文字表示部
モニタ部

音声
モニタ部
音声→文字＋文字(表示部)

合成

表示部

Ｂさん
・高速入力できるベテランが、入力速度の遅い初心者の入力分担まで入力する「引っ張る」状況は「連係入力」とは言えない。
22

「阿吽の呼吸」というクオリア(qualia:主観的な感覚質感)を感じるのは、どういう時か？③
パートナーのモニター部の相互のフィードバックが、共鳴するように微調整を短時間に繰り返すことで、密結合的な入力状態が出現する。
この状態を入力者は「阿吽の呼吸」と表現しているのではないかと考えた。
Aさん
①入力速度
②要約度
③分割位置

音声→文字モニタ部
Bさんを制御

音声
①入力速度
②要約度
③分割位置

表示部

Ａさんを制御モニタ部
音声→文字表示部＋

文字(表示部)

合成

Ｂさん
・「モニター部を見て合わせる」(赤の線)と同時に「モニター部で相手を動かす」(黄色の線)の両方が体験されること。
・均等負荷交互入力で、自分の入力技能、要約技能を最大限に発揮していると感じる。(「今日の私は乗れている！」)
23分割入力の設計図を作る
自分の入力速度、要約の技能に適した分割入力を検討する方法について説明します。

図-1 ①A案
図-1は、「例題1」の1行目「パソコン要約筆記が始まったのは、10年前です。」を、240文字/分の発話に対して、120文字/分で入力する場合の設計図です。
この分割入力の方法を取ると、AさんとBさんが、ほぼ同時に入力が終了し、Bさんが「表示待ち」の状態になることが分かります。
24

分割入力の設計図を作る

図-2 ①B案 (Bさんが早く入力開始した場合)Bさんが、早く入力開始する分割入力を考えます。
図-2は、Bさんが、「始まったのは」から、入力開始する分割方法です。このようにすると、Bさんの「表示待ち」が無くなるだけではなてく、Aさんは、発話が終わる6秒目と、ほぼ同時に入力が終了し、次の発話の入力を開始できるようになります。

25

分割入力の設計図を作る【考察】
・240文字/分の発話を120文字/分の入力者が2名で入力すれば、理論的には全文入力できるハズですが、1発話を「真っ二つ」にできないため、分割の不均一が発生して、それが「入力の重なり」となり、実際の入力では、「入力できない」ということになります。
・「入力の重なり」を回避する方法は、「前の入力を早く終わらせる」ということになり、それは「入力速度を上げる」と「要約する」の2つの方法があります。
ここでの検討では、「入力速度は、制約条件」(与えられる条件で変更できない)と考えているので、「要約する」という方法を適用して「入力の重なり」を回避することを考えます。
・前半のみを聞いて入力している「Aさんが要約する」のと、前半と後半の両方を聞いて入力している「Bさんが要約する」のとでは、Bさんの方が「要約をしやすい」ということが言えると思います。
・そこで、B案、つまり、Bさんが、「入力の重なり」を回避する場合について方法を考えます。
・まず、Bさんは、「全文入力していたら間に合わない」ということは、認識すべきです。
つまり、「文の後半は、要約して入力する」という気持ちで入力を開始します。
・分割入力の基本は「発話同時割り込み」なので、Bさんの入力開始は、発話の中間点となります。
つまり、次の発話が始まったら、Bさんは、「話の中間点までに入力を終了する」ように要約して入力します。
26

分割入力の設計図を作る
・目標とする入力方法を、自分の入力速度、要約の技能に合わせて設計してみましょう。
・「キャプショニング」を目指のは、「少し速口」の350文字/分で設計すると分かりますが、200文字/分弱の入力速度が必要になり、「入力のスペシャリスト」を目標にするのでなければ、現実的ではありません。
・「少しゆっくり」の250文字/分くらいを目標に要約入力で練習を始め、だんだんと速度を上げていくのが良いと思います。

★さて、この方法はても有効なのですが、エクセルを使って入力設計するのは手間がかかります。
IPtalk_Partnerの「1人連係入力練習」機能で、「Aさん入力」→「Bさん入力」→「Aさん入力」→「Bさん入力」と分割入力を試行錯誤することで、自然と自分の技能に合った入力方法に27収束することが期待できます。

ＩＰｔａｌｋ Ｐａｒｔｎｅｒ「練習リモコン」ウィンドウ
合成音声ソフト「Softalk」「FSG」ウィンドウ
IPtalk_Partner

28

IPtalk Partnerの機能
・ＩＰｔａｌｋの入力を記録・再生する31ﾁｬﾝﾈﾙマルチトラック・テキスト・レコーダ・ソフト。
・音声用テキスト1、手本8、指示2,入力は9人(パートナー4組(8人) 、本人1)をCSV形式のテキストで保存。
＜特徴＞
同じ問題にならないように、パートナー入力はランダム再生可能。
音声データを準備しなくて良い。(テキスト文を合成音声が読み上げる。)
問題文の速度は、任意に調整可能。
保存ログは、CSV形式でエクセルで編集可能
サンプリングレート100m秒のマルチトラックデータで、エクセル編集のCopy&Pastでタイミング移動可能
8種類のお手本（全文4、要約4、）と2種類の入力補助(指示)を任意のタイミングで表示可能。

29

IPtalk Partnerの「1人連係入力」で「阿吽の呼吸」を疑似体験する方法＜分割入力の「あうんの呼吸」体験＞(自分と連係)②分割入力の「あうんの呼吸」の体験(1人連係練習)
・自分の入力が相手からどう見えるかを体験する
・自分の入力技能での限界速度の把握(ここまで全文で練習)

1) 例題を聞きながら、前半のAさんの部分を入力する。
→A1トラックに記録する。
2) 同じ例題を聞きながら、A1トラックをモニター部に再生して後半のBさん部分を入力する。
→B1トラックに記録する。
3) 同じ例題を聞きながら、B1トラックをモニター部に再生して前半のAさん部分を入力する。
→A2トラックに記録する。
以下、同様に、B2、A3、B3、A4、B4と、8回4ペア分を入力記録する。
この過程で、「前の入力と合わせず、かぶせたり、省いたりして、次の入力に合わせるもらう」ような入力をすることで、均等交互入力になるように自分の連係入力の型を作って行く。
その過程で、疑似的な「阿吽の呼吸」を体験することができる。
30

まとめ・IPtalkは、1999年から非常に多くの機能を追加して来た。
・遠隔入力や音声認識は、会場のネットワークと音響環境が整っていれば、現状でも充分実用になる。
・しかし、パソコン要約筆記者に、そのようなネットワーク環境や音響環境を、初めての現場で、当日に調整することを期待するのは難しい。
そのため、遠隔入力や音声認識は、事前準備が可能な会場に限られている。
・また、現状の音声認識は、訂正係りが必要である。
訂正係りは、入力者とは別の技能であるため、別途養成が必要となる。
・パソコン要約筆記は、慢性的な人手不足で、音声認識などの技術的な解決が期待される。

31