『聴覚障害者のための字幕付与技術』シンポジウム 2015

目 次

IPtalkの開発の経緯と今後の展望

・自己紹介とＮＣＫの簡単な説明
・ IPtalkの開発の経緯
・今後の展望・まとめ

２０１５年４月１８日
NPO法人
日本遠隔ｺﾐｭﾆｹｰｼｮﾝ支援協会(略称NCK)栗田 茂明

12

特定非営利活動法人（ＮＰＯ法人） http://www.nck.or.jp/
日本遠隔コミュニケーション支援協会(略称ＮＣＫ)

簡単な自己紹介・神奈川県横浜市に住んでいます・好きなスポーツはサッカー。気晴らしは、ドライブ。
・職業は、自動車会社でハイブリッド車の設計。
・ボランティアでパソコン要約筆記ソフトIPtalkを作っています (1999年5月～)
・日本遠隔コュニケーション支援協会(NCK)の理事長(2008年～)・2008年7月15日設立 (内閣府に届出)
・理事長 栗田茂明
・活動資金は、会費、寄付、有償のパソコン文字通訳（学校、団体など）（目的）定款より抜粋

第３条 この法人は、聴覚障害者に対して、ＩＴ機器やＩＴ技術を活用したコミュニケーション支援の実施、手段に関する研究、普及の運動などに関する事業を行い、聴覚障害者福祉の増進に寄与することを目的とする。
①大会・会議などの遠隔パソコン文字通訳

3②遠隔パソコン文字通訳の導入支援③)講習会の開催④大学講義の遠隔パソコン文字通訳

41

最新のIPtalkと不具合情報など

IPtalkのマニュアルなどの公開

IPtalkは無料です。文字通訳普及のため商業利用も無料で許可しています。
56

IPtalkを作ったきっかけは・・

1998年 かながわ・ゆめ大会のパソコン要約筆記ボランティア■ IPtalkの開発の経緯 ■・IPtalkはどんなソフト？
・IPtalkを開発したきっかけと開発経緯
・入力機能の経緯
・表示機能の経緯
・遠隔入力の経緯
782

０４０１０１７

最初に作ったIPtalk

パソコン要約筆記の実験場「ＩＰｔａｌｋ」
新しい方法はどのようにして生まれ、どのように広まって行ったか？
①今の方法に不満を持つ②新しい方法を機能に置き換えて考える。

なんとかならないの？

③ＩＰｔａｌｋ－ＭＬで要望を出す。

機能追加しました。

⑦機能の説明を読みながら、新しい方法を理解する。

この機能は、便利そうだ。
使ってみよう。

う～ん、今ひとつ・・、アイデア倒れだな～④試せる環境ができる。

こういう機能が欲しいです。

こういう機能があれば、良いのに⑤新しい方法を実際に試してみる。

とても便利になった！

新しい機能ができたそうだ。

方法を機能として記述する。

うちのサークルでも試してみよう。

⑥方法を機能として理解する。

ホームページ
操作説明
マニュアルを見た他のサークル

ＭＬで聞いた他のサークル

パソコン要約筆記の新しいアイデアは、IPtalkの新しい機能となってメイリングリストやIPtalkのマニュアルで全国に伝わって行った。

表示は、今のワープロ画面のようにカクカク動きます。また、まだモニター部があり10ません。2台のパソコンを並べて、パートナーの入力を覗き込むようにして連係入力をしていました。

9

実験場

98

98SE

2000
Me

ＩＰｔａｌｋシリーズの変遷

XP

Celeron←Pentium II PentiumIII Pentium 4

１９９９

かながわ・ゆめ大会ハートフル きらりんぴっく 翔く・新世紀 よさこいピック わかふじ
くまもと大会 富山大会 みやぎ大会
大会
高知

RS232cを使った２人入力練習ソフト

Ｔａｌｋ２

２０００

Core™ i7

Pentium M Celeron M CoreDuo

１９９８

２００１

２００２

パソコン要約筆記の方法をいろいろと試行錯誤したＩＰｔａｌｋです。使われなかった機能も多く含みます。表示用、入力用の区別はありませんでした。

２００３

２００４

２００５

彩の国輝いて！
まごごろ大会 おかやま大会

２００６

２００７のじぎく兵庫大会

秋田
チャレンジ！
わか杉大会 おおいた大会

スライド前ロール作成用（パワポイントの様な表示）

２００８

Windows7
Core™ i5 Core™ i3
２０１０
２００９
トキめき新潟大会

千葉県

基本的な表示全スポ
試合結果表示(050610/Iptalk9s92、050627/Iptalk9i70まで)
1999年 2000年 2001年 2002年 2003年2004年 2005年

原稿前ロール前ロール

大会用の表示テンプレート前ロール

スライド前ロール

ｽﾗｲﾄﾞｴﾃﾞｨﾀｰ

ＩＰtａｌｋ_ｓｅ

他に表示
カラオケ
大会用の表示
テロツプ
入力
基本的な入力

9s_tt

停止

統合

IPtａｌｋ９s
表示機能に特化

1999年 2000年 2001年 2002年 2003年2004年 2005年

表示

ＬＡＮ用に改造

IPtａｌｋ２ａ～ＩＰｔａｌｋ９ｇ，９h

機能追加の経緯(1999～2005・6)

http://www.intel.co.jp/jp/intel/museum/hof/index.htm

Vista９ｔ

基本的な修正修正
保存

確認修正パレット
暗号化

通信

Vista対応

暗号化ログ

練習

映像送信

ＩＰtａｌｋ_LV

モニター
8人モニター

インターネット

設定送信

インター
ネット

連絡窓
IPtａｌｋ９i

最初のIPtalk 入力機能に特化
1999年
講習会用（テキスト付き）
Iptalkの変遷

９ｊ

機能強化はなし

古いIPtalkは http://www.geocities.jp/shigeaki_kurita/kyuugata.htm

11

★「透明」
★「縦書き表示」★ＰｏｗｅｒＰｏｉｎｔより前面に表示する。
★「ｈｔｍｌファイルでカバー」★ラップアランド表示★「半角数字で文字色を指定」★「半角英字で画を指定」★「ルビを使う」

その他

12

3

淘汰された連係機能 その１淘汰された連係機能 その２「お節介連携」機能 （０００４０６ＩＰｔａｌｋ９ｆ２１）
２人入力の連携は、本来は「あうんの呼吸」で行うものと思いますが、入力現場で初めてペアを組む人とそのような連携を取る事は困難です。
そこで「あうん」でやっている部分を、Ｆキーでパートナーの入力部を遠隔操作して一方的に実現してしまう機能です。

●その当時の操作説明にある「注意書き」
1)「お節介」を受ける側は、お節介を受けるかどうかを選択できません。（拒否できません)
２）お節介連携を送信したり受信したりすると入力部・モニター部間の仕切が２秒間赤くなります。
３）突然使うと、お節介をされる人の性格がよほど「温和」でないと、次からパートナーを組んでくれなくなります。
４）２人で、互いにお節介し合いながら入力するのは、さながら対戦型のゲームをやっているような状況になります。練習会で試すのは良いかもしれませんが、実用的ではありません。
http://www.geocities.jp/shigeaki_kurita/manual/9i9s/9i9smanual/3kinou/3-7-8ossekai_renkei.htm

13

状態遷移図による連係入力プロセスの説明

１）入力の方法①チェックを入れると、リレー入力に参加し、自分の順番と次の人の順番が表示されます。
②)自分の順番になると入力部の背景色が赤に変わります。
③)次の人に順番を回す時は、Ｆ１キーを押すか、入力部で入力します。
２）聞き溜めの方法①入力部・モニター部間の仕切が赤くなったら、順番が次になった合図ですので、聞き溜めの準備をします。
②入力部の背景色が赤くなったら、「聞き溜め」を開始します。（この時、入力はしません。）③これ以上「聞き溜め」ができないと思ったら、入力を開始して「聞き溜め」を次の人に回します。この時、入力部は、元の背景色に戻ります。
④次の順番が回って来るまでに「聞き溜め」した文を入力します。
３）この方法の特徴①リレーしているのは、「聞き溜め」である。（入力ではない。）②聞き溜め、入力のそれぞれの作業が単独で行える。
http://www.geocities.jp/shigeaki_kurita/manual/9i9s/9i9smanual/3kinou/3-8-9kikidame_rirei_nyuryoku.htm

Que方式 連係が必要のない複数人入力方式

Que方式を考案した意図
初心者でもできる2人入力
・同時並行的な作業は困難⇒単一作業に役割分担する・モニター部を見て担当部分を連絡し合うのは困難⇒Que係り・入力速度が遅い(情報量が少ない)⇒復唱係りが必要に応じて要約する

連係入力状態と連係破綻状態の2つのフェーズがある
連係破綻時は、入力チームでの対応が重要
http://www.nck.or.jp/shiryou/120707Q-method.pdf

聞き溜めリレー式連携入力 （ ０００４１４（ＩＰｔａｌｋ９ｆ２２）
・５０文字／分の入力者４名で、２００ 文字／分の入力を実現しようとするなら、４人の入力者は「休み無く」入力する様に、入力部分の分担がされなくてはいけない計算になります。これは、その様 な入力分担を「支援」するために作った機能です。

15

Que方式の資料⇒ http://www.nck.or.jp/shiryou/120707Q-method.pdf

164その後、作った表示機能の例

２００５年ごろ実現していた表示機能の例
横書き（スクロール）

縦書き

横書き（ラップアラウンドスクロール）

ルビ、文字色、絵など

映画字幕用の前ロール(スライドエディタ)

・横書き、縦書き、横書きのラップアラウンドスクロール、ルビや文字色や絵を入れることもできます。
・縦書きは、老人会の短歌の会で使いたいという要望でした。
・ラップアラウンドは、表示が一番下まで行くと次の表示は一番上に戻ります。
動く文字を見ると目眩がするメニエールの方の要望で作りました。

17

表示機能

その後、作った表示機能の例

USBカメラのリアルタイム映像との合成表示
http://www.geocities.jp/shigeaki_kurita/manual/9i9s/photo/35-0yokosuka.htm

ペンタブレット・ＩＰｔａｌｋは、、手書き文字も表示可能です。
・ペンタブレットで書いた文字とキーボード入力した文字を混在して表示することができます。
操作説明は以下のURL
http://www.geocities.jp/shigeaki_kurita/manual/9i9s/9i9smanual/5koushuukai/5-1-24tegaki_kinou.htm
19

手書き機能

ｽﾗｲﾄﾞｴﾃﾞｨﾀ

その後、作った表示機能の例

手書き文字の混在表示
手書き文字の混在表示

・テキストを読みこみ、映画用のルビ付きの字幕を簡単に作ることができます。
・時間指定で自動で流す機能もあります。

これは、USBカメラのリアルタイム画像と合成した例です。
高価な映像機器、クロマキーやワイプを使えば、簡単にできるのですが、安価なUSBカメラだけで実現できるのが利点です。
この写真は、横須賀の手話サークルの40周年大会ですが、映っている人たちは、手話をしながら話しています。
手話サークルですから、手話があまり得意でない会員もいます。
その方たちは、手話映像と字幕を一つのスクリーン上で見ることができます。

この機能は、小学校の先生からの要望でした。映像付きの字幕だと、健聴の生徒たちも、朝礼の校長先生のお話を良く聞くように20なったと好評とのことでした。
http://www.nck.or.jp/fsg/101114webcam_LAN_zoom.pdf

5ＮＣＫの遠隔パソコン文字通訳の開発経緯

パソコン文字通訳シンポジウム（注意：横軸は年度）

2005年度

2006年度

2007年度

2008年度

2009年度・「在宅入力情報保障」実験
参加会員募集

パソコン
要約筆記
サークル
「ラルゴ」

・結果まとめ・全国展開実験
参加サークル募集

遠隔入力の実証実験
運用実験（愛媛大講義）

1998年設立当日の資料などは、以下のURLにあります。
第１回（ 2011年1月9日） 『話の全てを知る権利』～聴覚障害者が求めるパソコン文字通訳とは？～ (第1回は、当日資料非公開)
http://www.nck.or.jp/katsudou/PCspeech2text_sympo110109.htm

全国
トライ①

ラルゴサークル会員

第2回（ 2012年1月8日） 『私が望むパソコン文字通訳』～聴覚障害者の「多様なニーズ」の実際～
http://www.nck.or.jp/shiryou/120108sympo/120108sympo_shiryou.htm
第３回（ 2013年1月6日）『文字通訳と聴覚障害者の知る権利』～どのような文字通訳が権利を守れるか？～
http://www.nck.or.jp/shiryou/s2t/130106sympo/130106sympo_shiryou.htm
2013年第３回～2015年第5回は、「全国文字通訳研究会」の主催で開催
http://mojitsuken.sakura.ne.jp/wp/

日本遠隔情報保障研究会

21

NPO法人
日本遠隔ｺﾐｭﾆｹｰｼｮﾝ支援協会
2008年設立

設立
申請

全国
トライ②

法人
設立
全国展開
22
2009年1月イーモバイル

今までの経緯ＮＣＫの遠隔パソコン文字通訳は自宅で情報保障をする方法

福祉医療機構助成金事業

在宅入力用の機能の例① 「ネットワーク遅延表示」
自宅

パートナーの自宅【入力パソコン】【入力パソコン】
インターネット
IPtalkＩＰｔａｌｋ
遅延計測

IPtalkIPtalkＩＰｔａｌｋ応答※在宅入力者同士も遅延計測する

応答時間計測入力者不足の解消
パソコン文字通訳の入力者は慢性的に不足しています。
この問題を解決するために、 NCKは、移動が困難な子育て中の主婦や下肢障害者の方たちが在宅でパソコン文字通訳ができる遠隔入力の方法の開発や普及の活動を行っています。
23

←1秒以内
←2秒以内
←3秒以内
←4秒以内
←4秒以上

ネットワーク遅延は連係入力に影響する。
入力者が遅延を意識することで、一時的に1入力の長さを長くするなど対策が可能
24

6

在宅入力用の機能の例② 「会場表示エコーバック」
NCK側【入力パソコン】

会場側【表示パソコン】【ブリッジパソコン】

在宅リーダー(1名)

データ通信端末

ブリッジパソコン(Skype IPtalk)
Webカメラ等

入力パソコン(Skype IPtalk)

エコーバック
インターネット

大学側

NCK側

データ
通信端末

入力文
ＩＰｔａｌｋ表示モニタ

B方式(データ通信端末使用)の概要イメージ

ＩＰｔａｌｋ
表示部を送信在宅入力者（３名～４名）・インターネットは、通信経路により表示の順番が入れ替わったり、表示が落ちたりすることがあるため、入力パソ
コンの表示と教室の字幕が異なる可能性がある。25

LAN・ネットワーク
異常が発生すれば、エコーバックが来なくなるので即座に分かる

HUB

音響設備

データ
通信端末
入力パソコン(Skype IPtalk)

表示パソコン( IPtalk)

2010年から、筑波技術大学の講義保障で使用

26

C方式（ＶＰＮルータ使用）の概要イメージ
C方式の説明 ⇒ http://www.nck.or.jp/shiryou/131116HIS_ReducingOpCosts.pdf

NCK側

PPTPを利用したリモートアクセス

在宅リーダー(1名)

Ponit to Point
Tunneling Protocol

大学側【NCK側から貸し出す機器類】

自宅LAN(VPN接続)
入力パソコン リモートデスクトップでIPtalk Skype 現場パソコンを操作

在宅入力者（３名～４名）自宅LAN(VPN接続)
入力パソコン
IPtalk Skype■ 今後の展望 ■音声・映像送信パソコン（IPtalk Skype）

・聴覚障害者が置かれている文字通訳環境の変化
データ
通信端末

VPNルータWebカメラ等★インターネットに直結も可能

・パソコン文字通訳技術 ロードマップ

音響設備
表示パソコン(IPtalk)【依頼側が用意する機器類】

2013年後期から、筑波技術大学の講義保障で使用

27

28

7

ネットワークの文字コミュニケーションの世界

パソコン文字通訳技術 ロードマップ （２０１０年版）
2020年
・事前に予約することなく、必要な時に字幕を得ることができる。
・表示機器は、PCの様な複雑な設定や起動に時間がかかるのでは実用にならない。家電製品のように、電源onで即座に利用可能であることが望まれる。
・日本の人件費を考えれば、音声認識による入力が現実的と思われる。不特定話者の音声認識が可搬機器に納まるとは思えないため、ネットワークによる遠隔入力となる。
・人手による入力の選択も残し、認識率を現実的なレベルで実用化を目指したい。

文字の世界

近年

mixi
今日はネットが重いね。

今日はネットが重いね。

聴障 ＳＮＳ
メール

音声文字

文字
文字
Twitter
Line

時・場所の自由健聴★iPhoneblog
情報の受信者

近年、健聴、聴障の関係なく、日常生活の中に文字コミュニケーションが普及している。
ネットワークの文字コミュニケーションの世界ができてきているのではないだろうか？

コミュニケーション環境の現状調査・研究が必要

・随時表示(予約不要)
家電的Hard・遠隔入力②★ブラザー工業株式会社
音声認識と人の網膜走査型ディスプレイ
2015年
入力を選択
・利用者準備型(B方式)
・会場準備型(C方式)
・個人可搬表示2010年
PC,PDA,携帯電話など

・入力者派遣型(A方式)
・音声映像送信・iPhoneへの表示
・共通表示
・入力者の技能向上
プロジェクター投影
・入力者同席
現場に多人数2008年

情報の発信者

2015年
・利用者が自分の表示機を会場に持参し、音声や映像を送信することで、遠隔地で入力した字幕を得る。(B方式)
・会場に標準的にパソコン文字通訳の機器類が存在している。(C方式)
・事前に入力者を予約する必要がある。
・インターネットが利用できる会場であれば技術的には現状で可能。

2030年
・補聴器を利用するように、日常生活で常時字幕を表示して生活することができる。
・メガネ内に字幕を表示するなど、視野内に字幕を表示したい。
発話者と同じ距離・位置に字幕が見えることが望まれる。
・可搬の不特定話者の音声認識が必要。
・相互コミュニケーションのために発話機能が必要。片手で高速入力が可能な入力ディバイス(データグローブなど)が必要。

人からの自由29
2009ﾛｰﾄﾞﾏｯﾌﾟ

まとめ

2020年

2030年
・日常的表示(常時)メガネ内表示・音声認識入力
自動要約機能自立型可搬機器
・発話機能

遠隔入力

30
音声認識

IPtalkのマニュアルなどの資料のあり場所

・ＩＰｔａｌｋを1998年に開発し、パソコン要約筆記の普及とともに１８年間ボランティアとして活動してきた。
・今、振り返ってみると、ＩＰｔａｌｋの重要な機能のほとんどは、初期の段階に完成している。
・２００５年以降は、「さらなる普及」を目指して、ソフトの開発だ
けでなく、ＮＰＯの設立や、パソコン文字通訳シンポジウムの開催や、在宅入力システムの開発や、連係入力のプロセス解析など、関連分野に活動の範囲を広げた。
・しかし、 「人が入力する方法」では、 「普及」という面に関しては、現状ではブレークスルーは見えていない。
・今後の「大きな普及」には、「人によらないシステム」、音声認識技術に期待している。

31

・最新のIPtalkとマニュアルなど
http://www.nck.or.jp/iptalk.html
http://www.nck.or.jp/shiryou.html
・ＦＡＱ （いろいろな質問とその答え）
http://www.geocities.jp/shigeaki_kurita/FAQ01.html■以下は、IPtalk9i,9sの頃の資料ですが、同じ機能なら9tシリーズでも使えます。
・講習会形式の資料
http://www.geocities.jp/shigeaki_kurita/manual/9i9s/9i9smanual/5koushuukai.htm
・機能の説明http://www.geocities.jp/shigeaki_kurita/manual/9i9s/9i9smanual/3kinou_main.htm
・ＦＡＱ （いろいろな質問とその答え）
http://www.geocities.jp/shigeaki_kurita/manual/9i9s/9i9smanual/4konnatoki_main.htm
・古いIPtalk(9i,9s,9g,9hシリーズなど)
http://www.geocities.jp/shigeaki_kurita/kyuugata.htm
・いろいろな資料
http://www.geocities.jp/shigeaki_kurita/setsumei.html
・「ラルゴ」のホームページ
http://www.geocities.jp/shigeaki_kurita/largo/largo_top.htm
328