METHOD FOR SPEECH SYNTHESIZING WITH UNLIMITED VOCABULARY, AND ARRANGEMENT FOR REALIZING THE SAME

Abstract: 1. A method for the synthesis of speech with an unlimited vocabulary in the time domain from sound elements which are obtained from natural speech samples and are coded with low redundancy in digital form, stored and also reduced in length, in each case to the significant area of the relevant time signal typical of the sound, and in number, by utilizing related sounds which are mutually transformable into each other, having regard to the necessary storage space requirement, these sound elements being linked, with respect to the form, number and sequence required, into digital signal sequences on the basis of input commands and of predetermined rules of linkage for the purposes of speech synthesis, these signal sequences being used to generate, by means of digital/analog conversion and controllable amplification, sound waves which can be perceived as speech, characterized in : providing a total of about 100 sound elements, that is to say - about 50 elements for transitions sounds with an average of 240 samples each for an output frequency of 8 kHz, and - about 40 elements for phonemes with an average of 500 samples for unvoiced and 140 samples for voiced phonemes each and an output frequency of 8 kHz, and enabling the pitch to be varied for reproduction, in the case of the elements for the voiced transition sounds and phonemes, by omitting or using at least once, as a result of appropriate input commands, those samples and/or values which are preset as suitable by means of marker words at discrete positions in the time signal, depending on requirement, when the digital signal sequences are being formed.

Description: Verfahren zur Synthese von Sprache mit unbegrenztem Wortschatz und Schaltungsanordnung zur Durchführung des Verfahrens Die Erfindung bezieht sich auf ein Verfahren zur Synthese von Sprache mit unbegrenztem Wortschatz im Zeitbereich aus Lautelementen, die aus natürlichen Sprachproben gewonnen und in digitaler Form, redundanzarm kodiert, gespeichert und ausserdem im Hinblick auf den erforderlichen Speicherplatzbedarf in der Länge jeweils auf den signifikanten Bereich des betreffenden lauttypischen Zeitsignals und in der Anzahl unter Ausnutzung sich gegenseitig ineinander überführbarer verwandter Laute reduziert sind, wobei zur Sprachsynthese diese Lautelemente aufgrund von Eingangsbefehlen und von vorgegebenen Verknüpfungsregeln in der erforderlichen Gestalt, Anzahl und Reihenfolge zu digitalen Signalfolgen verkettet werden, aus denen mittels Digital Analog-Wandlung und steuerbarer Verstärkung als Sprache wahrnehmbare Schallwellen erzeugt werden, sowie auf eine Schaltungsanordnung zur Durchführung des Verfahrens. Unter Sprachsynthese ist die Umwandlung eines als Symbolfolge vorliegenden Textes in das äquivalente akustische Signal mittels einer technischen Apparatur zu verstehen. Dabei ist es von grundlegender Bedeutung, dass zwischen der Eingabe der Symbol folge in die Apparatur und der Ausgabe des äquivalenten akustischen Signals alle Abläufe unmittelbar, ohne Zwischenschaltung menschlicher Verstandeskräfte stattfinden. Die genau bestimmten technischen Einzelmassnahmen folgen dabei einem planmässigen Einsatz berechen- und beherrschbarer Naturkräfte. Die Bewertungskriterien für synthetische Sprache sind die Verständlichkeit und die Natürlichkeit. Die Massstäbe dafür sind, wenn auch z.B. bei der Verständlichkeit nach objektiven Gesichtspunkten feststellbar, subjektiver Natur. Dennoch gibt es Sachverhalte, die für die Beurteilung sofort von jedermann herangezogen werden. Dabei handelt es, sich um den Verlauf. der Grundtonhöhe (Pitchfrequenz), den Sprechrhythmus und um den Intensitätsverlauf. Beim Signalverlauf natürlicher Sprache gehen die Einzellaute ineinander über. Sie werden durch mehrere Lautbildungsfrequenzen (Formanten) charakterisiert. Diese Lautbildungsfrequenzen sind unabhängig von der Grundtonhöhe, d.h. unabhängig von der Sprechhöhe. Diese Sachverhalte wirken sich mehr oder weniger sowohl auf die Verständlichkeit als auch auf die Natürlichkeit aus. Während die Verständlichkeit bei bekannten Sprachsynthesesystemen bisher notgedrungen im Vordergrund stand, zielen die Bestrebungen neuerdings, nachdem eine ausreichende Verständlichkeit erreicht wurde, mehr und mehr auf Verbesserungen hinsichtlich der Natürlichkeit ab. Geringe Schwierigkeiten' bestehen bei der Dynamik. Die relative Lautstärke lässt sich mit steuerbaren Verstärkern variieren. Auch die Lautdauer, und damit'der Sprechrhythmus, lässt sich durch dynamische Steuerung der Wiederholanzahl der Einzellautelemente mit verhältnismässig einfachen Mitteln verändern. Problematisch hingegen ist die Beherrschung der'Melo- dik, da die Länge der Sprachgrundfrequenzperioden für die einzelnen Laute fest vorgegeben sind und eine einfache, proportionale Verlängerung oder Verkürzung von Sprachgrundfrequenzperioden eine entsprechende Verschiebung des Formantenfrequenzspektrums bedeutet, d.h. zur völlig unnatürlichen Lauten führt. Verständlichkeit und Natürlichkeit synthetischer Sprache hängen andererseits auch von der Leistung ab, für das das betreffende System konzipiert ist. Selbstverständlich kann bei einem System mit begrenztem Wortschatz eine hervorragende Qualität der Sprache gewahrleistet werden. Komplette Wörter oder gar längere Phrasen, zudem vielleicht noch von einem geschulten Sprecher dargeboten, können unter Erhaltung der natürlichen Melodik und Rhythmik gespeichert und auf Abruf wiedergegeben werden. Besteht die Zielsetzung für ein Sprachsynthesesystem hingegen darin, einen unbegrenzten Wortschatz zu erzeugen, muss auf kleinere Synthesebausteine, z.B. auf Laute zurückgegriffen werden. Dabei gehen auf jeden Fall Satz- undW'ortdynamik sowie die Melodik zunächst verloren und sind bei der Synthese neu zu generieren. In welchem Umfang dies gelingt, ist für die Natürlichkeit synthetischer Sprache von wesentlicher Bedeutung. Hier nun spielen die technischen Möglichkeiten und die wirtschaftlichen Gesichtspunkte eine ausschlaggebende Rolle. Eine Klassifizierung der Synthesesysteme bzw. deren Unterteilung nach dem Syntheseprinzip EMI3.1 <tb> <SEP> Zeitbereich <tb> Wortsynthese <SEP> | <SEP> <SEP> Lautsynthese <tb> <SEP> Parameterbereich <tb> ermöglicht eine erste Abschätzung des erforderlichen Aufwandes für die Realisierung: Eine Wortsynthese, sowohl im Zeitbereich als auch im Parameterbereich, benötigt mit wachsendem Umfang des auszugebenden Vokalubars auch ein wachsendes Speichervolumen. Derartige Systeme sind also mit vernünftigem Aufwand nur für Systeme mit begrenztem Wortschatz geeignet. Auf der Lautsynthese beruhende Systeme ermöglichen die Ausgabe eines unbeschränkten Vokalubars und erfordern unterschiedlichen Aufwand, der in der folgenden Tabelle grob angedeutet ist. EMI4.1 <tb> Kriterium <SEP> Zeitbereich <SEP> Parameterbereich <tb> Algorithmus <SEP> + <SEP> einfach <SEP> - <SEP> aufwendig <tb> Synthetisier- <SEP> <SEP> + <SEP> hoch <SEP> - <SEP> mässig <SEP> <tb> <SEP> + <SEP> hoch <SEP> - <SEP> mäBig <tb> geschwindigkeit <tb> Speicherplatz- <SEP> - <SEP> gross <SEP> + <SEP> gering <tb> <SEP> - <SEP> groB <SEP> + <SEP> gerlng <tb> bedarf <tb> Melodievariation <SEP> - <SEP> bisher <SEP> schwierig <SEP> + <SEP> leicht <tb> In der technisch-wissenschaftlichen und der Patentliteratur sind die verschiedenartigen Sprachsynthesesysteme in grosser Zahl abgehandelt. So ist beispielsweise aus der DE-OS 30 06 339 ein Verfahren und eine Einrichtung zur Sprachsynthese bekannt, wobei zum Zwecke der Miniaturisierung eine Infor mations-Kompressionstechnik zur Anwendung kommen soll, die bei minimalem Verlust an Sprachverständlichkeit und Natürlichkeit eine Speicherung in einem einzigen integrierten LSI-Schaltungs-Chip möglich werden lässt. Die als Synthesebausteine abgespeicherten Phoneme (Einzellaute) sind bei der Synthese in ihrer aus dem Speicher abgerufenen Gestalt einer Veränderung oder Regulierung in bezug auf eine Anpassung des Tonhöhenintervalls, der Amplituden und der Zeitachse zu unterziehen, um sich der Qualität der natürlichen Sprache wieder anzunähern. Die angewendete Datenkompressionstechnik, die an einem Beispiel näher erläutert ist, führt dazu, dass für-ein Wort (Beispiel: "nana") eine Folge weniger (im Beispiel: fünf) Phoneme abzuspeichern ist. Diese, an sich bekannten Tatsachen werden in dieser Vorveröffentlichung detailliert beschrieben. Es ist jedoch kein Hinweis darauf zu entnehmen, ob Möglichkeiten vorgesehen sind, einen unbegrenzten Wortschatz zu synthetisieren sowie Melodik und Rhythmik nach Belieben zu beeinflussen. Das aus der DE-OS 20 16 572 bekannte Sprachsynthesesystem berücksichtigt insbesondere hinsichtlich der Verständlichkeit die Probleme an den Ubergängen zwischen aufeinanderfolgenden Phonemen. Da die Formantfrequenzen - eine Berücksichtigung der drei Hauptformanten ist ausreichend - an den Übergängen zunehmen, abnehmen oder gleich bleiben können, ergeben sich rein rechnerisch für jedes abzuspeichernde Phonem neun Versionen. Um nicht die Speicherkapazität um praktisch eine weitere Zehnerpotenz erhöhen zu müssen, zielt die- Lösung bei diesem bekannten Stand der Technik darauf ab, mit einer gespeicherten Version auszukommen und diese Darstellung den Erfordernissen entsprechend während des Synthesevorgangs zu modifizieren. Ausserdem wird lediglich der signifikante Bereich der einzelnen Laute abgespeichert, der z.B. bei einem /s/-Laut nur 10 % der gesamten Lautdauer betragen muss und dementsprechend durch zehnmaliges Wiederholen genau genug und verständlich reproduzierbar ist. Zur Vermeidung von abrupten Ubergängen zwischen zwei aufeinanderfolgenden Phonemen sollen die gespeicherten Abschnitte mit einem Schwingungs-Nulldurchgang beginnen. Für stimmhafte Phoneme ist ausserdem die Eignung am Übergang zu anderen Phonemen in besonderer Weise - einer subjektiven Prüfung - auszuwählen. Durch diesen Kompromiss lassen sich zwar abrupte Übergänge vermeiden oder zumindest auf einen geringen Umfang reduzieren, wobei jedoch andererseits auf völlig stossfreie Übergänge verzichtet werden muss. Dem aus der DE-OS 23 06 816 bekannten-Sprachgenerator liegt als Aufgabenstellung bei der Aufbereitung phonetischer Segmente zugrunde, einen umfassenden Tonhöhenperioden-Regelbereich der synthetisierten Laute zu schaffen, der der Verbesserung der Natürlichkeit und der Verständlichkeit zugute kommen soll. Als Lösung wird dazu angegeben, bei stimmhaften Lauten mit definierter Periodizität jeder Tonhöhenlänge Laut-Wellenformen aus natürlicher Sprache heraus zugreifen und jeder solchen Wellenform am Endbereich eine Wellenform hinzuzufügen, die durch eine überschlägige Rechnung für die Wellenform des jeweiligen Lauts gewonnen wurde. Laut-Wellenformen von stimmlosen Lauten und die Übergänge zwischen Konsonanten und Vokalen, die eine undefinierte Periodizität aufweisen, sollen in feste Längen unterteilt werden. Die so gewonnenen Laut-Wellenformen stellen dann die Synthesebau steine dar. Eine Veränderung der Dauer einer Pitchperiode hat aber nicht nur eine entsprechende Tonhöhenveränderung, sondern - wie bereits oben schon erwähnt und auch nachfolgend noch näher erläutert wird - auch eine Lautverschiebung bzw. eine Verunreinigung zur Folge. Bei der Erfindung wird von einem Stand der Technik ausgegangen, wie er aus der DE-OS 25 31 006 bekannt und im Oberbegriff des Anspruches 1 berücksichtigt ist. Die danach bei guter Verständlichkeit mögliche Reduktion führte bereits zu einem benötigten Speichervolumen für die Speicherung der Sprachdaten, unkodiert, im Zeitbereich von nur noch ca. 1 Mbit, entsprechend 125 kByte. Ziel der Erfindung ist nun, den Speicherplatzbedarf weiter zu verringern und insbesondere im Hinblick auf die Natürlichkeit der zu synthetisierenden Sprache einfach beherrschbare Massnahmen zur Wortund Satz-Melodievariation anzugeben, womit die der Sprachsynthese im Zeitbereich innewohnenden Vorzüge in bezug auf die Verständlichkeit, den Synthesealgorithmus und die Synthetisiergeschwindigkeit erheblich an Bedeutung gegenüber den im Parameterbereich arbeitenden Systemen gewinnen. Gemäss der Erfindung wird dies dadurch erreicht, dass insgesamt ca. 100 Lautelemente vorgesehen sind, nämlich: - etwa 50 Elemente für Übergangslaute mit je durch schnittlich 240 Abtastwerten für 8 kHz Ausgabefrequenz und - etwa 40 Elemente für Einzellaute mit je durchschnitt lich 500 Abtastwerten bei stimmlosen und 140 Abtastwer ten bei stimmhaften Einzellauten und 8 kHz Ausgabefre quenz, und dass die Tonhöhe für die Wiedergabe bei den Elementen für die stimmhaften Übergangs- und Einzellaute veränderbar ist, indem solche Abtastwerte, die an diskreten Stellen des Zeitsignals mittels Markierwörtern als geeignet vorgegeben sind, je nach Bedarf aufgrund entsprechender Eingangsbefehle bei der Bildung der digitalen Signalfolgen ausgelassen bzw. mindestens einmal verwendet werden. Ohne die Bedeutung der angegebenen Einzelheiten bei der Reduzierung der Sprachdaten schmälern zu wollen, werden nachfolgend zunächst die Massnahmen für die Melodievariation näher erläutert. Wesentlich dafür ist die Tatsache, dass Veränderungen der Melodie von Sprache auf die stimmhaften Anteile entfallen und dass stimmhafte Laute eine grosse Periodizität aufweisen. Die zu speichernden signifikanten Bereiche benötigen.älso nur verhältnismässig wenig wahre Abtastwerte, in der Grössenordnung von 80 wahren Abtastwerten je stimmhaften Einzellaut. Innerhalb dieser signifikanten Bereiche, die eine Pitchperiode darstellen und das lauttypische Frequenzgemisch der Formanten enthalten, gibt es mehrere 'diskrete Stellen, an denen das Formantenfrequenzgemisch im Zeitsignalverlauf kaum oder nur geringfügige Veränderungen zeigt. Die für die Erfindung wesentliche Erkenntnis liegt nun darin, genau aus diesen "unempfindli- chen" diskreten Stellen bewusst Veränderungsmöglichkeiten vorzusehen. Das bedeutet, die Pitchperiode kann verändert, verlängert oder verkürzt, und damit die Grundtonhöhe entsprechend abgesenkt oder angehoben werden, wenn Abtastwerte an diesen diskreten Stellen verwendet oder ausgelassen werden, ohne dass sich dadurch der'Lautcharakter ändert. Zur Lokalisierung dieser diskreten Stellen, etwa 30 innerhalb eines derartigen signifkanten Bereiches, dienen besondere "Abtastwerte", die Markierwörter, die es erlauben, diese Stellen jederzeit aufzufinden. Die Markierwörter selbst entfallen bei der Verkettung der Elemente zu den digitalen Signalfolgen. Entsprechend dazu lassen 60 Abtastwerte, z.B. die jeweils einem Markierwort benachbarten, je nachdem, ob sie verwendet werden oder nicht, eine praktisch kontinuierliche Variation der Tonhöhe, also sehr viele Melodieverläufe zu. Insbesondere lassen sich dadurch auch die Sprachgrundfrequenzverläufe an den Übergängen zu den folgenden Lauten kontinuierlich gestalten, also Stossstellen vermeiden. Hierin liegt auch ein Grund dafür, dass als Synthesebausteine insgesamt nur ca. 100 Lautelemente benötigt werden. Bei der Aufbereitung der Lautelemente, also in der Analysephase, sind die natürlichen Sprachproben, aus denen die zu verwendenden Lautelemente gewonnen werden, ohnehin zu untersuchen, beispielsweise die oben erwähnten "unempfindli chen" Stellen zu bestimmen. DaDei lassen sich diese Sprachproben rechnerisch modifizieren, insbesondere bei Über- gangslauten Diskontinuitäten in den Formantverläufen eleminieren. Die Ausnutzung on Lauttransformationen, d.h. einer gegenseitigen Überführbarkeit verwandter Laute, war bereits Gegenstand beim aus der DE-OS 25 31 006 bekannten Stand der Technik, von dem die Erfindung ausgeht. Dort führte die Reduzierung z.B. bei den Konsonanten von 22 auf 8. Weiter-- hin waren etliche Ausnahmen, etwa 150 Übergänge, je eine Pitchperiode stimmhafter Laute sowie ein Abschnitt aus dem Mittelteil der stimmlosen Laute und schliesslich bei Explosivlauten noch der Anfang der Zeitfunktion zu speichern. Bei der Erfindung ergibt sich eine erhebliche Reduzierung aufgrund folgender Massnahmen: Übergänge, - ausgenommen Plosivlautkombinationen - lassen sich zeitlich invertieren; durch Verlängern bzw. Verkürzen der Lautdauer finden Vokalumwandlungen statt, durch Verkürzen der Lautdauer ergeben sich auch Konsonantenumwandlungen. Die benötigten Lautelemente setzen sich dadurch zusammen aus knapp 60 Elementen für Übergangs laute, 27 Elementen für stimmhafte Einzellaute und 13 Elementen für stimmlose Einzellaute. Weitere Einzelheiten dazu folgen noch im Zusammenhang mit der Figurenbeschreibung. Besonders bevorzugte Ausführungsformen der Erfindung bestehen darin, in den digital gespeicherten Elementen für die stimmhaften Einzellaute zum Zwecke der Tonhöhenvariation zusätzliche Abtastwerte vorzusehen. Diese Massnahme führt zwar zu einer geringfügigen Erhöhung um ca. 1000 Byte des benötigten Speicherplatzvolumens, ermöglicht aber weitergehende Variationen in den Melodieverläufen. Im engen'Zusammenhang damit ist es weiterhin vorteilhaft, wenn ein zusätzlicher Abtastwert einen zwischen den benachbarten wahren Abtastwerten liegenden interpolierten Wert besitzt. Auf diese Weise lassen sich eventuelle Diskontinuitäten verringern oder vermeiden, die zwischen den wahren Abtastwerten, die auf jeden Fall benötigt und verwendet werden, auftreten würden. Wie bereits weiter oben schon erwähnt, sind für die Massnahmen zur Melodievariation "unempfindliche" Stellen in den Zeitverläufen bevorzugt, d.h. Markierwörter sind vorzugsweise an Stellen geringer Steigung des Zeitsignals vorzusehen. Ein zugehöriges Fehlersignal weist an solchen Stellen sehr kleine Ausschläge auf und erlaubt damit auf einfache Weise, die gewünschten diskreten Stellen zu ermitteln, zu lokalisieren und zu markieren. Manchmal, besonders bei grossen, erwünschten Tonhöhenschwankungen, kann es erforderlich sein, den möglichen Bereich der für Auslassungen bzw. die Verwendung geeigneten Abtastwerte voll auszunutzen. Häufiger sind jedoch die Fälle, in denen nur einige der zur Verfügung stehenden vorgegebenen Abtastwerte benötigt werden. Aus diesem Grunde ist es günstig, wenn Markierwörter an Stellen geringer Steigung des Zeitsignals mit einer höheren Priorität für Tonhöhenvariation ausgestattet sind als solche an Stellen mit grösserer Steigung. Das bedeutet, zunächst erfolgen derartige Veränderungen immer an den unempfindlichsten Stellen, gegebenenfalls werden aber auch die empfindlicheren Stellen dazu herangezogen. Obwohl durchaus auch die Möglichkeit besteht, bei den für Tonhöhenvariation als geeignet vorgegebenen Abtastwerten getrennt vom gespeicherten Lautelement die zugehörigen Adressen zu verwalten, wird bei den Ausführungsformen der Erfindung die Lösung mit den Markierwörtern bevorzugt. Dabei können ein Markierwort und ein wahrer oder zusätzlicher Abtastwert digitale Muster desselben Vorrats aufweisen. Hinsichtlich einer eindeutigen Unterscheidbarkeit zwischen Markierwort und Abtastwert sollen dann jedoch Markierwörtern digitale Muster vorbehalten sein, die bei den Abtastwerten nicht vorkommen. Allein schon aus Gründen unterschiedlicher Prioritäten reicht ein einziges Muster für Markierwörter nicht aus. Da eine softwaremässige Identifizierung der Muster keine besondere Systematik bei der Verteilung der digitalen Muster erfordert, ist es ohne weiteres möglich, für Markierwörter die Muster mit-den höchsten Stellenzahlen, bei 8-bit-Wörtern z.B. die Muster 246, 247, ... 255, vorzubehalten. Diese Muster können bei der Digitalisierung der Abtastwerte deshalb auf besonders vorteilhafte Weise ausgespart werden, weil eine Begrenzung am oberen Ende zu kaum spürbaren Beschränkungen führt. Von besonderer Bedeutung ist es für Ausführungsformen der Erfindung, während der Wortpausen die Gestalt der für die Verkettung des nächstfolgenden Wortes benötigten Lautelemente anhand der Eingangsbefehle bestimmen zu können. Hierdurch werden Diskontinuitäten bei der Ausgabe der einzelnen Wörter vermieden. Die Dauer für die Bestimmung der Gestalt der benötigten Synthesebausteine liegt, auch für sehr lange Wörter, im Bereich von wenigen Millisekunden. Unter Bestimmung der Gestalt ist hier zu verstehen: aufsuchen des betreffenden Lauteiements, gegebenenfalls zeitlich invertieren, Lautdauer verlängern bzw. verkürzen und Wiederholanzahl des gespeicherten Lautelements angeben. Ein weiterer wesentlicher Vorzug der Erfindung besteht darin, dass über eine alphanumerische Tastatur eingegebene Folgen üblicher Schriftzeichen in einem dem eigentlichen Synthesevorgang vorausgehenden Verfahrensschritt selbsttä tig in eine als Eigangsbefehle geeignete Folge von Lautschriftzeichen transkribiert werden kann. Hierdurch wird auch ungeübten bzw. nicht geschulten Benutzern die Anwendung erheblich erleichtert bzw. überhaupt erst eröffnet. Selbstverständlich bleibt dabei auch die Möglichkeit bestehen, Lautschriftzeichen bzw. die geeigneten Eingangsbefehle unmittelbar einzugeben. Für die Transkription ist allerdings weiteres Speichervolumen erforderlich. Überraschend ist dabei, dass dafür jedoch nur etwa ein Drittel desjenigen Speicherplatzvolumens benötigt wird, der für die Synthese vorzusehen ist, d.h. etwa ein Viertel des gesamten Speicherplatzvolumens für Synthese und Transkription, wenn die Transkription auf folgende Art durchgeführt wird: zunächst werden lexikalisch erfasste Ausnahmen und Fremdwörter bearbeitet; ansonsten wird der Wortschatz einer Präfixverarbeitung, unter Berücksichtigung von Ausnahmen, einer Endungsabspaltung und einer Suffixverarbeitung, ebenfalls unter Berücksichtigung von Ausnahmen, unterzogen und die Transkription der Wortstämme nach katalogartig gespeicherten Regeln durchgeführt. Diese oder ähnliche Massnahmen sind für Sprachwissenschaftler an sich geläufig. Eine Schaltungsanordnung zur Durchführung des erfindungsgemässen Verfahrens kann mit einem Mikroprozessor aufgebaut sein, an den Festwertspeicher mit einer Speicherkapazität von insgesamt 32 kByte und ein Arbeitsspeicher für 1 kByte anzuschliessen sind, und weist ausserdem einen dekompandierenden Digital-Analog-Wandler und einen -lautstärkeregelbaren- Niederfrequenzverstärker und einen Lautsprecher als elektro-akustische Wandlereinrichtung auf. Derartige Schaltungselemente und Bauteile sind marktüblich. Das Konzept ermöglicht aber auch eine weitgehende Integration. Die Dekomparadierung vor der Digital-Analog-Wandlung beinhaltet selbstverständlich, dass zuvor die gespeicherten Daten einer die Datenrate reduzierenden Kodierung unterzogen wurden. Gebräuchliche und in der angegebenen Reihenfolge immer stärker reduzierende Verfahren sind die logarithmische PCM und die Adaptive-Delta-PCM. Aus gebräuchlichen Sprach-Übertragungssystemen sind betreffende Bauteile bekannt und ohne weiteres auch bei Ausführungsformen der Erfindung einzusetzen. Hinsichtlich des Aufwandes bei Schaltungsanordnungen sind noch immer die Speicher, genauer gesagt deren Grösse, von Bedeutung. Deshalb ist es wichtig für Kostenabschätzungen, dass bei einer Schaltungsanordnung zur Durchführung des erfindungsgemässen Verfahrens die Aufteilung der Kapazität von Festwertspeichern in: 1,5 kByte für das Transkriptionsprogramm, 6 kByte für die Transkriptionsgrammatik, 1,5 kByte für das Syntheseprogramm, 1 kByte für die Synthesematrix und 22 kByte für die Lautelemente erfolgen kann. Schliesslich ist es für die verschiedenartigen Einsatzgebiete von Ausführungsformen der Erfindung wichtig, dass die Eingabe der Daten, d.h. der Schreib- oder Lautschriftsymbolfolgen, sowie die Ausgabe der akustischen Signale sowohl direkt am Gerät als auch jeweils an entfernten Orten erfolgen kann. Dazu kann entsprechend am Eingang z.B. eine V24 Schnittstelle bzw. am Ausgang eine Niederfrequenzbuchse vorgesehen sein. Die Anwendungsmöglichkeiten für ein derartiges Sprachsynthesesystem sind aufgrund der Möglichkeit, ein unbegrenztes Vokalubar zu generieren, äusserst mannigfaltig. Beispielhaft sollen erwähnt sein: Telefon-Auskunftssysteme; akustischer Ersatz oder Unterstützung bei unübersichtlichen Anzeigetafeln, insbesondere Flug- oder Fahrplänen; Ersatz oder Ergänzung dort, wo die Aufmerksamkeit von Personen durch Dauerbeobachtung einzelner Ziffern- oder Textanzeigen oder Warnanlagen über Gebühr beansprucht wird, z.B. bei Flugzeug Bordsystemen; Tastenwahltlefone als Eingabetastatur und Telefonhörer als Ausgabe bei Datenverarbeitungsanlagen, z.B. für Auskünfte sich laufend ändernder Daten, wie Lagerbestände, Kontenstände Börsenkurse, medizinische Diagnosen oder laufende Überwachung von Körperfunktionen von Patienten im Krankenhaus oder zu Hause; Bestellungen von Waren nach Kata lognummern, von Theater- oder Konzertkarten; Erteilung und Annahme von Aufträgen, Umdispositionen u. dgl.; Fernübertragung von Prozessdaten; Hausleitsysteme; Sprachen-Unterricht; Computergestützter Unterricht; Verkehrsleitung; Bibliotheken-Anfragen und Auskünfte; Lexikon- Auskunftsdienst, Hilfe für Behinderte -Sprach- und Sehbehinderte- und vieles mehr. In den Zeichnungen sind Einzelheiten für Ausführungsformen der Erfindung schematisch dargestellt. Dabei zeigen: Fig. 1: ein Blockschaltbild für ein Sprachsynthe segerät mit Transkriptionseinheit, Fig. 2: ein Blockschaltbild eines Sprachsynthese gerätes mit Transkriptionseinheit, auf Mikroprozessorbasis; Fig. 3: eine Darstellung der Lage der drei ersten Formanten für verschiedene Laute; Fig. 4: eine Darstellung von Formantsprüngen an den übergängen zwischen drei Einzellau ten; Fig. 5: eine Darstellung für die Reduktionsmög lichkeit der Länge von Elementen; Fig.6a: ein Beispiel für zeitliche Invertierung von Übergangs lauten; Fig.6b: die Möglichkeiten für Vokalumwandlungen; Fig.6c: die Möglichkeiten für Konsonantenumwand lungen; Fig. 7: ein Beispiel für die Veränderung des Hör eindrucks durch Verschieben des Anfangs punktes; Fig. ein Beispiel für die rechnerische Modifi zierung 8a,b,c: eines stimmhaften Einzellautes zur Varia tion der Tonhöhe; Fig. 9: ein -auszugsweises- Beispiel für die An ordnung von wahren, auslassbaren und zu sätzlichen Abtastwerten sowie von Mar kierwörtern in einem gespeicherten Ele ment eines stimmhaften Einzellautes; Fig. 10: eine Darstellung der Aufteilung und des Inhaltes des Lautelemente-Speichers; Fig. 11: eine Darstellung des Ablaufs einer Trans kription und Fig. 12: eine Darstellung eines Synthesebeispiels (monoton). Wie die Fig.' 1' zeigt, besteht eine Sprachsynthesesystem bei Ausführungsformen nach der Erfindung im wesentlichen aus zwei Einheiten, der für die Transkription und der für die Synthese selbst. Einzugeben ist entweder eine Schriftzeichenfolge, was über eine alphanumerische Tastatur oder über eine V24-Schnittstelle geschehen kann, oder aber eine Lautzeichenfolge. Obwohl geübte bzw. geschulte Benutzer über geeignete Tastaturen auch die Lautzeichenfolgen unmittelbar eingeben können, wird in den meisten Anwendungsfällen bei einem Verzicht auf die Transkription die Syntheseeinheit dann wohl die entsprechenden Eingangssignale von einem entfernten Ort über eine Datenleitung und die V24- Schnittstelle erhalten. Selbstverständlich lassen sich auch andere Schnittstellenbedingungen einhalten und im Rahmen fachmännischen Könnens realisieren. Die Transkriptionseinheit greift auf vorbereitete Regeln, unter dem Begriff Grammatik zusammengefasst, zurück, die Syntheseeinheit im wesentlichen auf die gespeicherten Lautelemente. Die synthetisierten Abtastwertfolgen gelangen über einen Digital-Analog-Wandler D/A und einen regelbaren Verstärker entweder direkt über einen Lautsprecher oder über eine Niederfrequenzbuchse und eine nicht dargestellt Sprachübertragungsleitung und am entfernten Ort über einen Lautsprecher als Schallwellen zur Wieder-, besser Ausgabe. Das in Fig. 2 dargestellte Blockschaltbild gibt insbesondere im Grössenvergleich der einzelnen Blöcke den Speicherplatzbedarf mit den Anteilen wieder, die für die Synthese und die Transkription insgesamt benötigt werden. Das System ist auf Basis eines Mikroprozessors pP konzipiert. Für die Eingabe der Schriftzeichenfolgen ist eine alphanumerische Tastatur, für die Ausgabe der als Sprache wahrnehmbaren Schallwellen ein üblicher elektro-akustischer Wandler vorgesehen. Für die Transkription arbeitet der Mikroprozessor pP mit dem Transkriptionsprogramm TP und der Transkriptionsgrammatik TG, bei der Sprachsynthese mit dem Syntheseprogramm SP und der Synthesematrix SM, wobei die benötigten Lautelemente je nach Bedarf aus dem Lautelementespeicher SE entnommen, in die im Arbeitsspeicher RAM abgelegte, aus der betreffenden Lautzeichenfolge abgeleitete Gestalt gebracht, in der betreffenden Anzahl und Reihenfolge verkettet und an den Digital-Analog-Wandler (s. Fig. 1, D/A) übergeben werden. Eine Lautstärkeregelung innerhalb der synthetisierten Wörter und Sätze erfolgt, ebenfalls vom Mikroprozessor pP gesteuert und entsprechend dafür eingegebener Befehle, im regelbaren Niederfrequenzverstärker (s. Fig. 1) vor der Abstrahlung der Schallwellen bzw. der Übertragung des Niederfrequenzsignals. Die in Fig. 3 dargestellte Lage der drei ersten Formanten für neun verschiedene Laute lässt erkennen, dass insbesondere der erste und der zweite Formant von erheblicher Bedeutung für die Lautbildung sind. Aufgrund der linearen Teilung der Frequenzskala darf jedoch nicht übersehen werden, dass auch beim dritten Formanten der Bereich etwa einer halben Oktave beansprucht wird. In Fig. 4 ist für drei Laute die Lage der Formanten dargestellt. Es zeigt sich, dass an den Übergängen teilweise recht erhebliche Sprünge auftreten, die als äusserst unangenehm wahrgenommen werden würden. Hierbei handelt es sich jedoch um bekannte Erscheinungen, die lediglich deshalb nicht unerwähnt bleiben sollen, um die Vielschichtigkeit der Probleme anzudeuten, die bei einem Sprachsynthesesystem zu beachten sind. Das in Fig. 5 dargestellte Zeitsignal des Wortes "Asche" soll die Möglichkeit der Reduktion der Länge von Lautelementen durch Segmentierung in quasistationäre Bereiche S und Übergangsbereiche U veranschaulichen. Innerhalb der quasistationären Bereiche S sind Sprachgrundfrequenzperioden P zu erkennen, die den signifikanten Bereich eines Lautes bilden und nur in dieser Länge als Element für die Synthese abgespeichert zu werden brauchen. Ähnliche Grundfrequenzperioden sind auch bei Übergangsbereichen zu erkennen und reichen als Synthesebaustein ebenfalls aus. Die in den Fig. 6a, 6b und 6c angegebenen Möglichkeiten für zeitliche Invertierung von Übergängen (Fig. 6a), für Vokalumwandlung (Fig. 6b) und für Konsonantenumwandlung (Fig. 6c) sprechen für sich und bedürfen deshalb hier keiner näheren Erläuterung. Allerdings ist, wie weiter oben bereits erwähnt, darauf hinzuweisen, dass eine Verkürzung oder Verlängerung der Lautdauer eben nicht nur eine Verlagerung der Tonhöhe mit sich bringt, sondern insbesondere eine Lautumwandlung bewirkt. Von den 16 in Fig. 6 c angegebenen Lauten brauchen übrigens nur die in jeder Zeile an erster Stelle angegebenen gespeichert zu werden. Dies sind zwar die Laute mit den jeweils meisten benötigten Abtastwerten, doch wird dadurch Speicherplatz von gut 60 % gegenüber einer Speicherung aller dieser Laute eingespart. Die in Fig. 7 dargestellte Veränderung des Höreindrucks gibt an, dass 20 Testpersonen eine Konsonantenumwandlung feststellen sollten (in Klammern), die - bis auf zwei Personen bei der Verschiebung des Anfangspunktes auf 160 ms den angegebenen Höreindruck bei den einzelnen Umwandlungsformen bestätigten. Die Fig. 8a, 8b und 8c zeigen an einem Beispiel, auf welche Weise die bei der Erfindung wesentliche Variation der' Ton- höhe ermöglicht wird. In Fig. 8a ist eine Grundfrequenzperiode des Lautes /a/ aufgetragen. Zur Modifizierung wird zunächst von einem Prädiktionsfehlerfilter das dazugehörige Fehlersignal (Fig. 8b) erzeugt. Daraus ist zu erkennen, dass diskrete Stellen angegeben werden können, an denen Modifizierungen vorzunehmen sind, ohne den Lautcharakter, jedoch seine Tonhöhe zu verändern. In Fig. 8c ist die gegenüber Fig. 8a um etwa 20 % gekürzte Periode des Lautes /a/ angegeben. Es zeigt sich im Vergleich der Kurvenverläufe von Fig. 8a und 8c, dass eine Verkürzung der Periode, d.h. eine Erhöhung der Tonhöhe, das eigentliche charakteristische Bild nicht verändert, der Laut /a/ als solcher also erhalten bleibt und -wie gewünscht- höher klingt. In der Fig. 9 ist ein Beispiel - .auszugsweise - angegeben, in welcher Reihenfolge (lfd. Nr.) in einem gespeicherten Element eines in der Tonhöhe veränderbaren, stimmhaften Ubergangs- oder Einzellautes wahre Abtastwerte WAW, auslassbare Abtastwerte DAW, zusätzliche Abtastwerte ZAW und Markierwörter MAW aufeinanderfolgen. Im Normalfall, d.h. wenn keine Tonhöhenvariation erfolgen soll, werden nur die wahren Abtastwerte WAW verwendet. Für eine Absenkung der Tonhöhe werden zusätzliche Abtastwerte ZAW mit verwendet, für eine Erhöhung hingegen gegenüber dem Normalfall auslassbare Abtastwerte DAW weggelassen. Mit den Markierwörtern werden nicht nur die zusätzlichen ZAW bzw. auslassbaren Abtastwerte DAW lokalisiert, sondern vorteilhaft auch deren Priorität für Tonhöhenänderungen bestimmt. Der in Fig. 10 dargestellte Block soll das Verhältnis des Speicherplatzbedarfs veranschaulichen, der für die Synthesebausteine, die Elemente der Einzel- und der Ubergangslau- te, benötigt wird. Dabei handelt es sich in erster Linie um die wahren Abtastwerte WAW der Elemente, ausserdem aber auch um die Markierwörter MAW und die rechnerisch bestimmten zusätzlichen Abtastwerte ZAW bei den stimmhaften Einzellauten bzw. den stimmhaften Bereichen von Übergangslauten. Die gestrichelte Linie zwischen den Bereichen für die Einzellaut- und die Ubergangslaut-Elemente zeigt eine Aufteilung etwa im Verhältnis 4 : 6. Die Fig. 11, in der der Ablauf einer Transkription dargestellt ist, spricht für sich, soll aber anhand eines Beispiels, die Transkription des Wortes "verwischend" näher erläutert werden: Bei der lexikalischen Verarbeitung ergibt sich, dass es sich um keine Ausnahme handelt. Die Wortanalyse erfolgt also nach: Präfix: "veb" Stamm: "wisch" Suffix: "en" Endung: "d" Bei der Transkription des Stammes nach Regeln ist festzustellen, ob die Aussprache der Symbolfolge "sch" als ein Laut /sch/ (wie in: Schule) oder als zwei getrennte Laute /s/ und /ch/ erfolgen muss. Dazu gelten folgende Regeln aus dem Katalog: Befinden sich vor "sch" zwei Vokale oder ein Umlaut, gilt zunächst die zweite Alternative, also zwei getrennte Laute /s/ und /ch/ (Beispiel: Röschen/Roeschen). Ist dabei jedoch der zweite Vokal ein "u", gilt dennoch die erste Alternative, d.h. der Einzellaut /sch/ (Beispiel: tauschen). Befinden sich vor "schen" drei Vokale, wobei ein Umlaut wiederum als zwei Vokale angesehen werden, gilt wieder die zweite Alternative, also zwei getrennte Laute /s/ und /ch/ (Beispiel: Häuschen/Haeuschen). Ausnahmen hiervon sind nur zwei Wörter: täuschen/taeuschen und Geräuschen/Geraeuschen. Ein weiteres Beispiel aus dem umfangreichen Regelkatalog betrifft den Laut /ch/. Dabei werden unterschieden: "euch" /s-euch-e, f-euch-t/, auch /a-uch, such-t, gebra-uch-en, anspr-uch/, och" /n-och, t-och-ter, h-och, denn-och/, "ach" /n-ach, d-ach, gem-ach-t, spr-ach-, -ach-t/, 11ch" /-ch-arakter/, "ch" /ni-ch-t, dur-ch, wel-ch-es, re-ch-t/, wobei hier jeweils nur einige Lautbeispiele aufgeführt sind. Die Fig. 12 zeigt den Signalverlauf - monoton - des synthetisierten Wortes /Tasche/. (Eine den Signalverlauf, die Melodik, Rhythmik und Dynamik enthaltende Darstellung wäre, soweit mit gebtäuchlichen Mitteln überhaupt möglich, zweifellos unübersichtlicher)- Für das /t/ wurde ein gekürztes /s/ verwendet. Der Übergang /ta/ entstammt dem Doppellaut /sa/. Für das /a/ wurden einer Periode 8 Wiederholungen angefügt. Der Übergang /asch/ wurde dem Doppellaut /sa/, zeitlich invertiert, entnommen. Beim /sch/ handelt es sich um einen stimmlosen Einzellaut. Der Übergang /scha/ entstammt dem Doppellaut /sb /. Schliesslich wurde für das /a / am Ende zunächst eine Periode 6mal und sodann noch 6mal, jedoch mit dem Ausschnitt einer Sinusfunktion bewertet, wiederholt.

Claims: Patentansprüche 1. Verfahren zur Synthese von Sprache mit unbegrenztem Wortschatz im Zeitbereich aus Lautelementen, die aus natürlichen Sprachproben gewonnen und in digitaler Form, redundanzarm kodiert, gespeichert und ausserdem im Hin blick auf den erforderlichen Speicherplatzbedarf in der Länge jeweils auf den signifikanten Bereich des betref fenden lauttypischen Zeitsignals und in der Anzahl unter Ausnutzung sich gegenseitig ineinander überführbarer verwandter Laute reduziert sind, wobei zur Sprachsynthe se diese Lautelemente aufgrund von Eingangsbefehlen und von vorgegebenen Verknüpfungsregeln in der erforderli chen Gestalt, Anzahl und Reihenfolge zu digitalen Sig nalfolgen verkettet werden, aus denen mittels Digital Analog-Wandlung und steuerbarer Verstärkung als Sprache wahrnehmbare Schallwellen erzeugt werden, d a d u r c h g e k e n n z e i c h n e t , dass insgesamt ca. 100 Lautelemente, nämlich: -. etwa 50 Elemente für Übergangs laute mit je durch schnittlich 240 Abtastwerten für 8 kHz Ausgabefre quenz und - etwa 40 Elemente für Einzellaute mit je durch schnittlich 500 Abtastwerten bei stimmlosen und 140 Abtastwerten bei stimmhaften Einzel lauten und 8 kHz Ausgabefrequenz vorgesehen sind, und dass die Tonhöhe für die Wiedergabe bei den Elementen für die stimmhaften Übergangs- und Einzellaute veränder bar ist, indem solche Abtastwerte, die an diskreten Stellen des Zeitsignals mittels Markierwörtern als ge eignet vorgegeben sind, je nach Bedarf aufgrund entspre chender Eingangsbefehle bei der Bildung der digitalen Signalfolgen ausgelassen bzw. mindestens einmal verwen det werden. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in den digital gespeicherten Elementen für die stimmhaf ten Laute zum Zwecke der Tonhöhenvariation zusätzliche Abtastwerte vorgesehen sind. 3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass ein zusätzlicher Abtastwert einen zwischen den benach barten wahren Abtastwerten liegenden interpolierten Wert besitzt. 4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch ge kennzeichnet, dass Markierwörter vorzugsweise an Stellen geringer'Steigung des Zeitsignals vorgesehen sind. 5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass Markierwörter an Stellen geringerer Steigung des Zeitsi gnals mit einer höheren Priorität für Tonhöhenvariation ausgestattet sind als solche an Stellen mit grösserer Steigung. 6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch ge kennzeichnet, dass.Markierwörtern digitale Muster vorbe halten sind, die bei den Abtastwerten nicht vorkommen. 7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass für Markierwörter die Muster mit den höchsten Stellen zahlen, bei 8-bit-Worten z.B. die Muster 246, 247, 255, vorbehalten sind. 8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch ge kennzeichnet, dass während der Wortpausen die Gestalt der für die Verkettung des nächstfolgenden Wortes benötigten Lautelemente anhand der Eingangsbefehle bestimmt wird. 9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass über eine alphanumerische Tastastur eingegebene Folgen üblicher Schriftzeichen in einem dem eigentlichen Sprachsynthesevorgang vorausgehenden Ver fahrensschritt selbsttätig in eine als Eingangsbefehle geeignete Folge von Lautschriftzeichen transkribiert wird. 10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass zunächst lexikalisch erfasste Ausnahmen und Fremdwörter bearbeitet werden, und der Wortschatz ansonsten einer Präfixverarbeitung, unter Berücksichtigung von Ausnah men, einer Endungsabspaltung und einer Suffixverarbei tung, ebenfalls unter Berücksichtigung von Ausnahmen, unterzogen wird, und die Transkription der Wortstämme nach katalogartig gespeicherten Regeln durchgeführt wird. 11. Schaltungsanordnung zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 10, gekennzeichnet durch einen Mikroprozessor (pP), an den Festwertspeicher (ROM) mit einer Speicherkapazität von insgesamt 32 kByte und ein Arbeitsspeicher (RAM) für 1 kByte ange schlossen sind, sowie durch eine an sich bekannte, aus einem dekompandierenden Digital-Analog- Wandler und einem Niederfrequenzverstärker und einem Lautsprecher bestehende elektro-akustische Wandlereinrichtung. 12. Schaltungsanordnung nach Anspruch 11, gekennzeichnet durch eine Aufteilung der Kapazität der Festwertspei cher (ROM) in: 1,5 kByte für das Transkriptionspro gramm, 6 kByte für die Transkriptionsgrammatik, 1,5 kgyte für das Syntheseprogramm, 1 kByte für die Synthesematrix und 22 kByte für die Lautelemente. 13. Schaltungsanordnung nach Anspruch 11 oder 12, gekenn zeichnet durch eine V24-Schnittstelle am Eingang. 14. Schaltungsanordnung nach einem der Ansprüche 11 bis 13, gekennzeichnet durch eine Niederfrequenzbuchse am Aus gang.

Inventors: GROSSMANN, EBERHARD, DR.-ING.
Applicants: GROSSMANN, EBERHARD, DR.-ING.
Application year: 1982
Main classification: G10L5
IPC codes: H04M1, G10L13