神経心理学

82■シンポジウム

第6巻第2号

読み書きへの学際的アプローチ

読み書きへの工学的アプローチ
ニューラルネットによる試み一
寛

一

彦＊一

要旨：人間の読み書きの機能のうち特に「読み上げ」の機能を取り上げ，その工学的実現法について解説した。工学的実現法としては従来からの辞書による単語知識，文法規則，文字から音素への変換規則，韻律の生成規則といった言語・音声の研究の結果を用いる方法を示し，単なる「読み上げ」だけでも多くの知識や規則が必要であることを示した。次にニューラルネットを用いて，文字から音素への変換を教師あり学習させる試みについて紹介し，従来の工学的実現法との相違，人間の学習との類似性について述べた。人間も同時相互制約条件下の課題に対して並列・分散処理を行なっていると考えられ，ニューラルネットはそれを考察する構成的方法の一つとなっている。
Key

神経心理学，6；82〜S9

Words：読み，規則合成音声，ニューラルネッF，教師あり学習，並列分散処理
reading，

1speechsysthesis

byrule，neuralnetwork，s叩ervised

れている。

はじめに

learning，読む

PDPということに関しては，読み上げる，すなわち漢字かなまじりのテキスト計算機の出現によって，人間の知的機能を計を入力して，朗読音声を出力するいわゆるテキ算機で実現する試みが継続して行なわれて来てストからの音声合成システムがある。このようおり，この研究分野は人工知能（AI）と呼ぼなシステムでは一般に意味理解に関する解析はれている。一旦計算機によってある機能が実現ほとんど行なわれず，係り受けの解析程度までされてしまうと，それに関する研究は人工知能である。意図を達成するために話し言葉にせよとは呼ぼれなくなる傾向がある。したがって，書き言葉にせよ文章を生成するということは，上記のAIの定義は必ずしも実態に即していな人間と対話できる機械を作るという夢を実現すい面があるが，一貫して研究されてきた広義のる上で重要な部分であり，現状ではごく基礎的AI分野には人間の読む，聞く，話す，書くとな研究が行なわれている。しかし限定的な場合いう能力がある。

を除き，その工学的実現はかなり将来のことと本来読む・聞くということはその結果として意味を理解することでありなろう。

かな表記に対応する記号列を与え，かな・漢話す・書くということは伝達したい意図を言語音声や文章字変換を行なわせるような日本語ワープロの機で表すことである。ということに関し能を想定した場合にも，真の意味処理なしにはては音声をすべて正しくtranscriptするとい十分なかな・漢字変換はできないが，一度使わう，いわゆる音声タイプライタ的立場をとらずれた変換を変換候補の上位に持ってくる，あるに音声の意味理解を目指すという研究も行なわ

いは，作られる文章の対象領域が決まっている聞く

1990年2月17日受理
Engineering

Approach

toRealization＊NTT基礎研究所情報科学研究部，

ofKazuhike

ReadingFunction−An

Kakehi：NTT

Basic

一 10一

application

ResearchofaneuralLaboratories

network−

83

1990年6月251ヨ蕪会激通知

をお招iきして、tFes

辞欝︵・詞︶

一（名ら支社長、営業部長

書︵勤詞︶

本日は京都支社か⁝・︶

3時から304号室で販売推進会議が聞かれます。

（ヲヲイギ・ツウチ禾1ンジツ・ハ・已ウト・ヲシャカう・・）
一「アクセント記号（［ヨ本語任意文章）

アクセント・イントネーション・息つぎの設定

読み言葉への変換

音韻ファイル（《1二ご1三オ）

儲蕊㌫一。。カ。．）
京都支社

声の高さ、速さ、大きさの決定

ら：か（法則合成）

図1

テキストからの音声合成システム

ような場合，専用の用語を登録するなどの手段

テキスト音声合成システムの概略を示す（佐によって実用的には相当有効な変換が可能であ藤，匂坂，小暮，嵯峨山，1983）。入力が印刷る。

文字であれぽ，これを認識する（読み取る）

工学的な実現は上記に述べたように必ずしも完全なものでなくとも，低次の処理で有効なもOCR（OpticalCharacterReader）とL・う装置が技術的に完成しており，文字を読むことにのがあれぽそれが使われるようになるものであほとんど問題はない。最近では見出しや，図面る。工学的に考えられている処理の階層と人間及びそのキャプションなどを本文から区別するの内部におけるそれは相当異なるものと考えらような機能もできている。この文字の読み取りれるが，本稿では部分についても後述する二・一ラルネットの適読み上げるという機械について従来から行なわれている研究を紹介し，用が試みられている。

それによって読み上げるということにはどのよ

ここではこのような文字に対応する符合列がうな知識や規則が必要であるか，それらは通常入力された後の読み上げ機能の実現について述どのようにして抽出されているかについて明らべる。このような機能はテキストからの音声合かにする。次いでそれらの機能の一部をニュー成と呼ばれており，一応実用となるものが作らラルネットにより実現しようとした例を述べ，れている。例えぽ，最近新聞記事は電子編集と学習がいかに行なわれるか，また従来の方法となっているので文字に対応する符合入力がそのの対比を行なう。終りに人間の学習との類似性まま合成器の入力となるので新聞社において記などについても紹介する。

事の校正をするのに使われている。しかし，そIIの音声品質や読みに関する性能は人間のそれと読み上げの工学的実現法比較するとかなり大きな差があるので，高品

図1に現在工学的に実現されている日本語の質，高性能化のための研究が進められている。

一 11一

神経心理学84第6巻第2号

さて図1に見られるごとく，このようなテキスト読み上げのシステムでは，入力文章はあらかじめ装置に記憶されている文章で規則と辞書を用いて解析される。通常日本語の文章では分かち書きの習慣がないので，解析によって分かち書きし，それぞれの単語に対して辞書に書かれているアクセントを与える。しかし意味理解のような高次レベルでの解析は行なわれないので複合語の適切な区切り方や，漢字単語に存在入力する複数の読みの正しい選択（例えぽ，人気：ひとけ，にんき）などの問題は充分には解決さywf（：Σ一riXi一θ：）れない。この段階で入力された漢字かな混じりの文章は各単語ごとに切り分けられてかな表記され，それぞれの単語単独のアクセントが辞書

図2によって与えられる。しかし実際に文章として読まれるときには，動詞に種々の助動詞が接続ニューロンモデルニューラルネットを構成するしきい素子工学的に実現されている。
ニュする場合など単独の単語としてのアクセソトと一一ラルネットについては上記に述べた文は異なったアクセソトの移動が生じる。また格字表記から音素表記への変換に関わるステップ

助詞の「ハ」などは実際には「ワ」と読まれるの実現を例にとってそれらの機能がいかにしてし，東京方言では文末の「デス」などの「ス」学習されるか，またその学習にはどのような特は母音部が発声されないなど，一連のかな文字徴があるかを説明する。

表記から音素への変換規則が必要となる。個々IIIの音素の継続時間の設定もかな表記から音声へニューラルネットとはの変換に重要である。句，文などの単位でのイニューラルネットとはしきい素子が網状に接ントネーションや息継ぎも，指定する必要があ続されているものをいっている。このしきい素る。このように文字表記された文章を自然な朗子は通常MacalochとPltz（1943）が神経細読音声に変えるためには実に多くの知識や規則胞をモデル化した図2のようなものが用いられる。図2に示すしきい素子は複数の入力を受けが必要とされており，かなり長い間の研究によってより良い規則の作成が進む〜方，半導体て一種類の出力を出す。入力（xi）にそれぞれ技術の進歩によってより大きな知識データを装重み付け（wi）をして加算した後，閾値（θi）

置に持たせることが可能にはなってきているを差し引いたものを関数（f）によって非線形が，まだ性能の面で改善の余地を残している。

変換したものが素子の出力となる。この関数

このようにして声の高さ，速さ，大きさ，音（f）としては図中に示すような単調に増加し，韻性の決定が行なわれると後は人間の調音器官飽和するような形を持つシグモイド（S字状）（舌，t顎，口唇，声帯）などの役割を担う音声関数が通常多く用いられる。このような飽和的合成器が駆動され朗読音声が出力される。この特性は，神経細胞が強い入力を受けてもその出最後の段階では出力音声を高品質化する上での力が一定値で飽和するような特性を表現したも課題が残されているが，全体としては先にも述のとなっている。このようなしきい素子が複数べたように新聞の校正作業に実際に使用される結合して得られるニューラルネットには接続のなど了解性の良い合成音が得られている。文章仕方によって網状のものや層状のものなどさまを読み上げるという過程だけでも上記のようにざまな型式のものがあり，それぞれに応じて異多くの知識や規則が関わって文章の読み上げがなった機能を持たせることができる。ここで

一一

12一

1990年6月25fi

85

出

6 6は，その中で最も代表的で，誤差逆伝播学習法

力（Error▲…φBack−Propagation

LearningMethod）が可能な層状神経回路について説明する（Ru−melhart，McClelland，他，1987）。

層状のニューラルネットとは図3に示すよう1に同じ層内での素子同士の結合はなく，素子の出力は全て一つ上の層の素子の入力になっている。このようなニューラルネッ5は，ある入力をある出力へと写像する特性があり，分類の機能を持たせることができる。入力が与えられたとき，それに対して正しい（望ましい）出力をみ丁力導くような規則や関数は分かっていないが，正しい出力は分かっているとき，正しい例を示す
ことによって学習を行なわせる方法を教師ありの学習と呼んでいる。この層状回路では上述した誤差逆伝播学習によりそれが可能となる。

入図3

簡単な例として5母音の認識の場合を図4に示し説明する（入野，河原，1989）。母音／e／の層状のニューラルネット

音声波形それ自身には相当の冗長性があるた
め，波形の自己相関関数を作り，相関関数の値

教師信号■■■■■【■■一獅・度口■■■−■，．

出力層での誤差誤差
逆

誤差の減少方

隠れ層での誤差

隠れ層○

誤差の減少方向に重み更新

入力層

○・…

自己相関A

音声波形／e／図4

5母音の識別を行なうニューラルネット
一 13一

中間層の数だけ繰り返す＼

向に重み更新向き伝播アルゴリズム（竣㊨㊨（b・力・Σ神経心理学

86

第6巻第2号／k／○一一一一一一一

出力ユニット（26ケ）

音素等の分散表現

隠れユニット（80ケ）

66蛭㌫二）ツト2竺cat図5

英語の発音を学習する並列ネットワーク（T．J．

Sejnowski＆C．

R．

Rosenberg）を第一段目の入力とする。入力層の素子はそのられた入力に対し準最適な解を出すようにな出力を二層目の隠れ層に送る。各隠れ層の素子る。

は先に説明したごとく入力に重み付けをして加IV算し，非線形変換した後にその出力を出力層のニューラルネットによる読みへのアプローチ素子に伝える。このようにして得られた出力層の素子の活性度（出力値）が四角形の大きさで前述の層状ニューラルネットを読みの機能実図示されている。この各出力層の素子をそれぞ現に対して適用した最初のものが，NETtalk（Sejinowski＆Rosenberg，1986）である。

れ各母音／a／，／i／，／u／，／e／，／o／に対応して活性化する素子だと考える。この図では，／e／を日本語の読みに関する工学的実現法のところで入力したにもかかわらず，／a／の素子の活性度も述べたように，表音表記であるかな表記のよが一番高く，その次が／e／となっている。最もうな場合でも実際に発声される音素系列に直す

望ましい反応は／e／の素子のみが活性化されるためには変換規則が必要である。一般に英語で状態であるから教師信号の欄に示すように，／e／の素子が最大に活性化され，他の素子は活音素系列の対応には多くの例外を含み，日本語性化されない状態である。そこで今得られた出のかな表記の場合よりずっと不規則である。

力信号と教師信号の2乗誤差（R）を計算し，NETtalkはこのような複雑な読みの規則を学誤差が減少するように各入力に対する重みの値習させようとしたもので，そのニューラルネッ

はアルファベットによる綴字と発声されるべきを更新する手続きをとれぽよい。更新すべき重トの構成を図5に示す（Sejinowski＆Rose−みの程度は，誤差（R）を各重みで偏微分するnberg，1987）。入力は26のアルファベットと単ことにより求められる。この計算は出力層から語間の区切りを表わす空白（スペース），カン入力層に向けて順次逆向きに行なうことがでマ（，）及びピリオド（．）をそれぞれ代表すき，これが誤差を順次逆向きに伝播するような操作として記述されるため，誤差逆向き伝播法る入力素子を設け，それらを一組として全部での名前が付けられている。ここではごく原理的7組合計7×29ヶの素子で入力層を形成する。
これによって，入力文の記号も含め7文字の系な点のみを述べたがこのような学習を繰り返し列が同時に入力される。この7文字の真ん中のて行くことによって，二＝一ラルネットは与え文字に対する読みを定めるのに必要な前後の文

一 14一

1990年6月25日

fi187

調音点，調音様式，有声／無声，区切り記号等による音素の分散表現の例
Voiced（有声），なることが実感でき，NETtalkの評
判を高め，多くの人の関心をニューラ

Labial（唇音），ルネットに引きつけた。

Stop（閉鎖音）

Unv・iced（無声）・V・1・・（軟゜蓋音）・St・P（閉鋸）Medium（中位音），Tensed（緊張母音），Front

Vニューラルネットによる学習

2（前舌）ニューラルネットでは，前述のよう脈情報としてこの同時提示の文字数がほぼ充分に読みの規則の学習が行なわれていると見られということと，ネットワークのシミュレーショる。それではこのような学習がどのような特徴ンに使った計算機の能力の限界から7という数を持っているかについてNETtaikに関するが決められている。スペースを含む7文字観測に基づく結果を以下に示す。

F−a−cat−」の真ん中にある「cjの読みを求め①辞書の学習を行なわせたとき，ニューラルようとするときの入力は図に示されるようにな

ネットでは誤り数と提示単語数の関係はべき乗り，黒丸の素子が入力によって活性化される。

則に従う。これは人間の技能の学習と同様であ隠れ層は80ヶの素子で構成され，出力層は26ヶる。の素子で構成されている。しかし出力の表現は②学習済みのネットワークの各素子の結合重一 つの音素記号，例えぽこの場合／k／に対応しみを乱数で変化させたような障害を加えると，た素子が活性化するというような構成ではなく性能劣化は緩やかであり障害に強い。

音素の分散的表現が用いられている。音素の分③学習済みのネットワークに障害を与えたも散表現とは表1に示すように調音点，調音様のと初期学習からある程度の学習が進み，障害式，有声／無声のそれぞれの特徴要素の有無にを与えたものと同じ性能に達したものとのそのよって一つの音素を表現するやり方である。例

後の学習過程を比較すると，障害の程度がひど

えぽ表に見られるように無声，軟口蓋音，閉鎖くない場合には再学習のネットワークの方が学音をそれぞれ示す出力層の素子が同時に活性化

習が完了するまでに必要な単語提示回数がずっした場合に，それは音素／k／を出力したことにと少なくて良い。

④ネットワークの初期状態が異なっても学習なる。

このようにネットワークに対して，発話デーの結果は同じようなところに収束する。

タの学習（文章の実際の発話を音素表現して教⑤新しい単語を学習させるには新しい単語と師データとして用いる）や，辞書データの学習既に知っている単語を交互に学習させるのが良が行なわれた。

い。これはEbinghausによって指摘され，そ1，024語の文を用いて学習させ，学習外の同一 話者による439語の文とネットワークによる音素出力を比較したところ78％の正解率が得らの後検証されている人間の記憶に関する一般的な現象と良く対応している。

VIれた。これはネットワークが丸暗記を行なったのではなく，一応規則の学習が行なわれたと

まとめ

テキストの読み上げに関してはその他にもSejnowskiらは考えている。

ニューラルネットでの韻律の学習を試みたもの

従来の工学的アプローチのところで述べたとなどがある（鷲坂，河原，1988）。人間と機械の同じような仕組みでDECtalkと呼ぼれる英語

知能の橋渡しをする二＝・．一一一ラルネットという観のテキストからの音声合成装置が実用化されて点から，種々の人間の知能をニューラルネットいる。この装置の文字から音素への変換部分をで実現することが試みられ，学習過程や人間のこのニューラルネッ5で置き換えて合成音を出知能との差異などを検討する試みが引続き検討すデモンストレーションが行なわれた。これはされている（McClelland，学習が進むに従って合成音が聞き取れるように

Schreiber，1990）。しかしまだそれらは人間と一 15一Cleeremans，Servan−

神経心理学88
Processing．

MITPress，第6巻第2号の類似性の発見の段階をそれほどは出ていな

uted

Cambridge

Mas−

い。人間の脳はその素子（細胞）数は現在試み

sachusetts，1；318−362，1987．（（部分訳）甘利俊〜監訳：PDPモデル．認知科学とニュー一ロン

られているニューラルネットのそれより圧倒的回路網の探索，pp．に多いものの，やはり分散，並列処理が行なわ

3）Sejinowski，れているわけで，どの程度の階層性構造等があT．

Para▲lel

らかじめ組み込まれており，学習によって形成Englishされるものは何かといったことは難しい問題で321−366，1989．）

J．

andnetworks

text．

Rosenberg，

thatCompiex

leam

C．

toR：

pronounce

Systems，1；145−168，1987．（麻生英樹訳：英語の発音を学習する並あるが，ニェーラルネットのような構成的手法

列ネットワーク．bit臨時増刊，21；1482−149はそれを解明する一つのアプローチであり，今5，1989．）

後の発展が期待される。

4）入野俊夫，河原英紀：多層神経回路網の多変量解析による構成法と不特定話者母音認識への適文

McCleeland，

1）

J．

L．，

van−Schreiber，
ζween

Human

用．電子情報通信学会音声研究会資料，sp．；

献

Cleeremans，D．：Bridging

andMachine

A．，

theandGap

Ser−

88−123，Intelligence．人告，

工知能学会誌，5（1）；2−14，1990．
Rumelhart，

2）

ThePDP

D．

E．，

Research

McClelland，J．

Group：ParrallelL，

1989．

5）佐藤大和，匂坂芳典，小暮潔，嵯峨山茂樹：H
本語テキストからの音声合成．通研実用化報

bet−

32；2243−2252，

1983．

6）鷲坂光一，河原英紀：ニューラルネヅトによるand韻律の学習．未発表資料，1988．

Distrib一Engineering approach to realization of reading functionAnapplicationofKazuhikoNTT

The
isrealization

described．

from

input

machine，
uses

text

rulesandtexttorules．
frombehavior

by

using

aspeechsynthesizer，

thefiveastalk（Sejspeechsuchintensive

knowledge

thereading

ability，

This

are

evenlexicon，aneuralandknowledge

andwritten

study

indicates

neededtoinrealize

asabriefmeans

neuralto

networkemulateintroduction

ofvowelsInthelearning

there｝atienship

error

and

the

rate

l◎g

numberdegradationfordefection．

than

notfunction

reachestoregardlessofinitialfunctions．
ofaA

neuraltogracefulstillconceptwords

acquired

network．

To

the
teach

alternative！yed

一 16一

and

a

thewordfirst

thestatea

newword，present

thenewa｝readybelearn・functionlearning．

almostforpronunciatlon

Theeasierisprocedure

betweenofwhichconversion，linear．

arestudied

NET

letter−to−soundisbeenforexample．

forandhave

anexplained

network

inowsky＆Rosenberg，1986），

networkdescribed．

isclustering

areneuralasrulescognitivetherecognition

JapaneseThemethodNETtalk，

edthat

perfect．

Recently

isintroduced．

learning

thethoughsynthesizerThis

accentspoken

and

the

the

long

rules

for

briefiy

and

human

many

knowledge

isfunction

andphonology．

Laboratories

network

rules

and

Researchspeechand｝inguistics

Kakehimachinerules，Those

network

bydeveloped．

knowledge

letter一勧一soundextracted

languagebeen

neuralsynthesizes

function

which

has

a

intonation
arereadingmachinecalledmany

grammar，

of

A

Basic

ashowsRelearningThe

acquired

same

state

the

neuralof
itisbetter

word

tobeleamed．

Thesetoleam−

characte一

1990年6月25日
ristics

resemble

89

human

stage，

learning

At

this

only

theabilityofhumantoasserted．

Human

cognition

thatofbehavior．

onanalogyofneuralnetworkseems

tocognitive

beisbased

parallelaneuralconstructive

human

一 17一

distributed

network．

So

apProachcognitive

processing

asoccurs

innetworkisoneclarification

of

the

neuraltomechanism．