Source: https://patents.google.com/patent/JPH10336354A/en
Timestamp: 2019-11-11 20:55:29
Document Index: 162914423

Matched Legal Cases: ['art 1', 'art 2', 'art 3', 'art 4', 'art 1', 'art 2', 'art 3', 'art 4', 'art 5']

JPH10336354A - Multimedia public telephone system - Google Patents
Multimedia public telephone system
JPH10336354A
JPH10336354A JP9146123A JP14612397A JPH10336354A JP H10336354 A JPH10336354 A JP H10336354A JP 9146123 A JP9146123 A JP 9146123A JP 14612397 A JP14612397 A JP 14612397A JP H10336354 A JPH10336354 A JP H10336354A
JP9146123A
和彦 高橋
1997-06-04 Application filed by Meidensha Corp, 株式会社明電舎 filed Critical Meidensha Corp
1997-06-04 Priority to JP9146123A priority Critical patent/JPH10336354A/en
1998-12-18 Publication of JPH10336354A publication Critical patent/JPH10336354A/en
PROBLEM TO BE SOLVED: To provide the multimedia public telephone system where smooth and sure communication is conducted without the need for a translator even when a caller and a called party use different languages.
SOLUTION: A voice of a talker is received by speech signal reception means 11-14 via a communication system and in the case of selecting 'translation' by a translation conversion switch 15, a voice recognition device 16 recognizes the received speech signal and a speech recognition generator 17 converts the recognized speech into character data, a speech/character changeover switch 18 changes output mode of speech/character, a translation conversion processing section 19 translates the data and the result of translation is sounded in speech or displayed as characters on a display device. Conversely, the speech signals of the talker or entered characters are recognized as speech or character and it is translated and speech is synthesized and the result is transmitted to the opposite party via the communication system through a means.
【発明の属する技術分野】本発明は、公衆電話システムにおいて、送信側と受信側で異なる言語になる音声又は文字を翻訳して送受信できるようにしたマルチメディア公衆電話システムに関する。 The present invention relates, in a public telephone system, a multimedia public telephone system capable of transmitting and receiving to translate voice or text becomes a different language at the transmitting side and the receiving side.
【従来の技術】現在のマルチメディア公衆電話システムは、図１６に示すように、ＣＣＤカメラ１による映像入力とスクリーン２による映像出力になる映像入出力装置により、相手の顔を見ながら同時に会話ができること、 At present multimedia public telephone system, as shown in FIG. 16, the image output device comprising a video output by the video input and the screen 2 by the CCD camera 1, so voice while watching the face of the other party that you can,
ＦＡＸ機能を持つこと、設置場所の周辺マップや情報案内機能を持つこと、メモ欄機能を持つこと等の機能が加えられ、さらに天気予報が聞けること、各イベントの情報を取り寄せること等の各種の機能がある。 To have a FAX function, to have a peripheral map and information guide function of the location, function is added such as to have the memo column function, further weather forecast can hear it, a variety of such as that request a information of each event function there is. この公衆電話の操作入力は、プッシュボタン３とポインティングデバイス（ペン入力やタッチスクリーン方式）４が利用される。 The operation input payphones, push buttons 3 and pointing device (pen input and touch screen) 4 is used.
【発明が解決しようとする課題】従来のマルチメディア公衆電話システムを利用して海外諸国とコミュニケーションを行うとき、国際電話と同様に言語の意味が解らなかったり、聞き逃し、聞き間違い、そして翻訳サービス等へ依頼したりと、コミュニケーション間のギャップがあってスムーズにいかないことがあり、以下のような問題がある。 [Problems that the Invention is to Solve] when using the conventional multi-media public telephone system performs the overseas countries and communication, or did not know the meaning of the language as well as international calls, listen missed, to hear a mistake, and translation services and or request to, etc., may not go smoothly if there is a gap between the communication, there is a problem such as the following.
【０００４】（１）送受信者が共に英語や日本語で話す場合のように、同じ言葉でしかコミュニケーションが取れない。 [0004] (1) as in the case where the sender and the recipient is speaking both in English and Japanese, communication can not be taken only in the same words.
【０００５】（２）送受信者が異なる言葉を使う場合には言語間の通訳を必要とする。 [0005] require an interpreter between the language in the case of (2) the sender and the recipient uses a different word.
【０００６】（３）翻訳サービスを通訳としてコミュニケーションを行うと、プライバシーの侵害などで会話がやりにくいし、翻訳のための時間がかかる。 [0006] (3) When performing the communication as an interpreter and translation services, to conversation, such as invasion of privacy is hard to do, it takes time for the translation.
【０００７】（４）言語間のギャップなどで会話途中にあいまいな発声や言語の意味が解らない場合や聞き逃す場合があり、円滑で確実なコミュニケーションが難しい。 [0007] (4) there is a case where the meaning of ambiguous speech and language in the middle of conversation, such as the gap between the language is to miss not the case and listen to understand, it is difficult to smooth and reliable communication.
【０００８】以上のように、従来のシステムは種々のマルチメディア機能があっても送受信者が異なる言葉を使う場合には利用できる範囲が限られている。 [0008] As described above, the conventional system is the range that can be used are limited if you use a word that the sender and the recipient are different even if there is a variety of multimedia features.
【０００９】本発明の目的は、送受信者が異なる言葉を使う場合にも通訳を介することなく円滑で確実なコミュニケーションができるマルチメディア公衆電話システムを提供することにある。 [0009] It is an object of the present invention is to provide a multi-media public telephone system that can smooth and reliable communications without the intervention of interpreters if the sender and the recipient uses a different word.
【課題を解決するための手段】本発明は、上記課題を解決するため、従来の機能に異なる言語の音声又は文字への自動翻訳機能を追加し、翻訳モードの選択で相手の音声又は入力文字を認識してそれを翻訳し、翻訳結果を音声合成して音声出力すること、又は字幕に変換処理してディスプレイ上に表示するようにしたもので、以下の構成を特徴とする。 The present invention SUMMARY OF] In order to solve the above problems, and add the automated translation into a different language audio or characters in conventional functions, the other party of the voice or the input characters in a translation mode selection the recognized translate it, to audio output a translation result to speech synthesis, or obtained by such converting and displaying processed caption on the display, characterized by the following arrangement.
【００１１】（第１の発明）音声と映像の入出力手段と通信手段を有して互いに音声及び映像を使った通話を可能にしたマルチメディア公衆電話システムにおいて、通話者の音声を通信制御部を介して受信する音声信号受信手段と、前記音声信号をそのまま音声で出力又は翻訳して出力するかを選択する翻訳変換スイッチと、前記スイッチが翻訳を選択したとき、受信した音声信号を認識する音声認識装置と、前記音声認識装置が認識した音声を通話者が指定した言語に翻訳する訳語変換処理装置と、 [0011] (the first invention) in a multimedia public telephone system that enables a call using voice and video together have input and output means and communication means audio and video, the communication control unit of the voice of the caller recognizing a voice signal receiving means for receiving via a translation conversion switch for selecting whether to output the output or translating the audio signal as a voice, when the switch selects the translation, the voice signal received a translation conversion processing device for translating a speech recognition apparatus, the language in which the speech recognition device-specified caller voice recognized,
前記翻訳した訳語を音声又は文字でディスプレイ上に文字で表示する変換装置とを備えたことを特徴とする。 Characterized by comprising a conversion device for displaying a character on a display by voice or text translated words and the translation.
【００１２】（第２の発明）音声と映像の入出力手段と通信手段を有して互いに音声及び映像を使った通話を可能にしたマルチメディア公衆電話システムにおいて、通話者の音声又は入力文字をそのまま相手に送信するか、 [0012] (Second invention) Multimedia public telephone system that enables a call using voice and video together have input and output means and communication means audio and video, the call's voice or input character as it is or be sent to the other party,
又は翻訳して音声又は文字で送信するかを選択する音声／文字変換スイッチと、前記翻訳する訳語を選択する訳語選択部と、前記スイッチが文字送信を選択したとき、 Or the voice / text conversion switch for selecting whether to send a voice or text to be translated, the translation selecting unit for selecting the translation to the translation, when the switch selects the character transmission,
通話者が入力した文字列を文字認識により文体として認識生成する文体認識装置と、前記スイッチが音声送信を選択したとき、通話者が入力した音声を認識する音声認識装置と、前記認識された文体又は音声を前記訳語選択部で選択した言語に翻訳する訳語変換処理装置と、前記翻訳した訳語を音声合成により音声波形に変換する音声合成装置と、前記音声合成装置が合成した音声波形を音声信号に変換して通信手段を介して通話相手に送信する音声変換装置とを備えたことを特徴とする。 A stylistic recognition device for recognizing generated as style string by the character recognition caller entered, when the switch selects the audio transmission, recognizing speech recognizer voice caller entered, the recognized style or a translation conversion processing device for translating voice to the language selected in the Word selection section, a voice synthesizer for converting the speech waveform the translation that said translation by speech synthesis, speech signal a speech waveform of the speech synthesizer is synthesized characterized by comprising a speech conversion system to be transmitted to the communication partner through the communication means is converted into.
【発明の実施の形態】図１〜図４は、本発明の実施形態を示すマルチメディア公衆電話システムのブロック図であり、図５〜図９に各部の処理過程を同じ符号で対応付けて示す。 DESCRIPTION OF THE PREFERRED EMBODIMENTS FIGS. 1 to 4 is a block diagram of a multimedia public telephone system according to the embodiment of the present invention, shown in association with each part of the process with the same reference numerals in FIGS. 5-9 . 以下、各部の構成と処理を詳細に説明する。 Hereinafter, the processing of Parts construction details.
【００１４】（１）相手の音声を翻訳して受信する場合（図１及び図２）。 [0014] (1) To receive and translate the voice of the other party (FIGS. 1 and 2).
【００１５】音声入力装置１１は、公衆電話に搭載される受話器のマイクロフォンから音声を入力するためのものであり、通話者が受話器から音声を入力した信号を発生する。 The voice input device 11 is for inputting a voice from the microphone of the handset to be mounted to a public telephone, and generates a signal caller enters the voice from the receiver. 雑音除去フィルタ１２は、会話の中に紛れて入ってくる雑音をノイズフィルタで除去する。 Noise removal filter 12, to remove the noise coming under cover in the conversation in the noise filter.
【００１６】通信制御部１３は、例えば、ディジタル回線で高速かつ広帯域性がある２Ｂ＋ＤのＢ−ＩＳＤＮ及びネットワークを制御するＡＴＭ交換システムによって通信制御を行い、音声入力装置１１からの音声信号を音声受信装置１４に伝送する。 [0016] The communication control unit 13, for example, controls communication by an ATM switching system for controlling the B-ISDN and network is fast and broadband property in the digital line 2B + D, voice receiving an audio signal from the audio input device 11 transmitted to device 14.
【００１７】翻訳変換スイッチ１５は、受信した音声（アナログ信号）をそのまま音声として受信するか、受信者が理解できる言語に翻訳して文字又は音声で受信するかを受信者が選択する。 The translation conversion switch 15, it should be received as voice speech (analog signals) received, the recipient selects whether the recipient receives a character or voice translated into language understandable.
【００１８】音声理解装置１６は、スイッチ１５の選択操作が翻訳受信にされた場合に受信音声を認識及び理解する。 The speech understanding unit 16, the recognition and understanding received speech when the selection operation of the switch 15 is in the translation received. この音声理解装置１６は、受信した音声を認識及び理解するため、不特定話者に対応可能な技術として音声分析とファジイ制御によるあいまいな言語を除去する特徴抽出後に単語・構文・意味解析による音声認識を行うシステムに構成され、音声認識処理部１６ 1と音声合成処理部１６ 2及び音声パターン辞書１６ 3を備える。 Speech by the speech understanding device 16, in order to recognize and understand speech received word, syntactic and semantic analysis after feature extraction to remove ambiguity language by speech analysis and fuzzy control as compatible technology to unspecified speakers configured recognized by the system to perform, and a voice recognition processing unit 16 1 and the voice synthesizing unit 16 2 and the voice pattern dictionary 16 3.
【００１９】この装置１６では、図６及び図７の処理フローで示すように、入力された音声信号をＡ／Ｄ変換処理した後、音声分析により音声入力信号を周波数スペクトルによってファジイ制御であいまいな音声を除去する。 [0019] In the apparatus 16, as shown in the process flow of FIG. 6 and FIG. 7, after the input audio signal to A / D conversion processing, ambiguous in fuzzy control by the frequency spectrum of the audio input signal by the voice analysis to remove the voice. そして、特徴抽出によって音声分析結果から音声信号の特徴パラメータを時系列に抽出・変換し、セグメンテーション処理により音声単位へのセグメント化を行う。 Then, extracted and converting the characteristic parameters of the speech signal in time series from the speech analysis result by the feature extraction, it performs segmentation of the audio unit by the segmentation process.
【００２０】特徴抽出には、「えーと」や「あー」、 [0020] The feature extraction, "Well" and "Oh",
「うーん」のように、冗長的な単語をファジイ推論により抽出して除去し、人と人が会話をする上で本当に必要な単語のみを抽出する。 "Well," as in, it was removed by extraction by fuzzy inference the redundant word, human and human to extract only the really word necessary for the conversation. さらに、日常的に必要な単語は前もって登録しておき、後に必要となった単語を学習機能によってしだいに認識及び追加して行く。 In addition, routinely word necessary going to gradually recognized and added by the pre-registration and advance, learning function words became necessary after.
【００２１】次いで、音声認識によりニューラルネットワーク技術を使って音声標準パターンとの比較で単語認識を行うことで音素系列を得、単語照合と単語認識により音素系列について知識ベースに持つ単語標準パターンとの照合で単語を認識する。 [0021] Next, to obtain a phoneme sequence by performing word recognition in comparison with voice standard pattern using neural network technology through voice recognition, the word collating and word recognition and word standard pattern with the phoneme sequences in the knowledge base collation recognize a word in. この認識に標準パターンが存在しなければ学習処理（認識・登録）を行って単語知識を知識ベースに追加する。 Carried out unless the standard pattern is present in the recognition learning processing (recognition and registration) to add the word knowledge in knowledge base.
【００２２】次いで、認識した単語について、構文照合と構文認識により知識ベースの構文パターンとの照合で構文的に誤りがあるか否かを解析し、誤りがあれば再検証することで構文認識を行う。 [0022] Then, the word recognized by the syntax checking and syntax recognized by analyzing whether the collation with the knowledge-based syntax pattern syntactically is incorrect, the syntax recognized by revalidation if there is an error do. さらに、意味解析と意味認識により認識された単語構文について意味的に妥当であるかを調べ、妥当な結果が得られるまで構文解析処理と意味解析処理を繰り返す。 Further, for the word syntax recognized by the semantic recognition and semantic analysis semantically examined valid and whether to repeat the semantic analysis processing and parsing process to a reasonable result is obtained. これら解析には文字に変換可能か否かも含め、文字変換処理により変換可能である文字を漢字やカナに変換する。 Including be whether convertible to characters in these analyzes, converts the character can be converted by the character conversion process kanji and kana.
【００２３】図１に戻って、音声認識生成装置１７は、 [0023] Returning to FIG. 1, the speech recognition generating device 17,
音声理解装置１６によって受信音声の内容が認識された音声データをテキスト形式の文字データに変換する。 Converting the voice data contents of the received speech is recognized in the character data in a text format by the voice understanding device 16. 音声／文字切換えスイッチ１８は、文字データを翻訳した内容を文字で表示するか／音声で出力するかを受信者が選択する。 Voice / text change-over switch 18, the recipient whether to output in either / voice to display the contents of the translation of the character data in the character is selected.
【００２４】訳語変換処理部１９は、音声認識された受信内容をスイッチ１５で設定する言語に翻訳する。 The translated word conversion processing unit 19 translates the language setting the received content is speech recognition switch 15. この翻訳は、訳語文体処理部１９ 1によって受信内容について意味辞書を使い学習機能を持たせて意味解析と意味認識を行って文字列を認識する文体処理を行い、訳語変換部１９ 2が訳語パターン認識辞書１９ 3を参照した訳語パターンにしたがって翻訳し、訳語生成部１９ 4で翻訳した訳語をつなぎ、翻訳文を生成する。 This translation is done to recognize stylistic processing a string performed meaning recognition and semantic analysis to have the use of the semantic dictionary learning function for the received content by translation stylistic processing unit 19 1, translation conversion unit 19 2 translation pattern translated accordance referenced translation pattern recognition dictionary 19 3, connecting the translation translated by translation generator 19 4, and generates a translation.
【００２５】変換処理部２０Ａ，２０Ｂは、翻訳文を文字コードに変換又は音声合成による音声データに変換し、信号変換部２１Ａ，２１Ｂはこれら変換データを実際の文字又は音声に変換する。 The conversion processing unit 20A, 20B is converted into voice data by the conversion or speech synthesis translations to the character code, the signal conversion unit 21A, 21B converts these input data to the actual characters or voice. 表示部２２Ａは文字を公衆電話のスクリーン２に表示し、スピーカ出力部２２Ｂ Display unit 22A displays the characters on the screen 2 of a public telephone, the speaker output unit 22B
は音声信号を増幅して電話の受話器スピーカに出力する。 Is output to the handset speaker of the telephone by amplifying the audio signal.
【００２６】したがって、図１及び図２の構成により、 [0026] Thus, the configuration of FIG. 1 and FIG. 2,
受信した音声を音声認識装置により音声認識を行い、これを受信者が希望する言語に翻訳して文字又は音声として受信することにより、発信者と異なる言語による会話でも受信者は自分の言語を使った会話ができる。 The received voice performs speech recognition by the speech recognition device, by the recipient it has received as a character or voice translated into the desired language, the recipient is also in conversation by the caller and the different languages ​​using their own language and it is conversation.
【００２７】また、電話でのコミュニケーション中、スクリーン表示により聞き漏らしなどのリスクを回避することができる。 [0027] In addition, it is possible to avoid in communication by telephone, the risk of such Kikimorashi by a screen display.
【００２８】（２）自分の音声又は入力文字を翻訳して相手に送信する場合（図３及び図４）音声／文字切換スイッチ２３は、会話の受信者が、送信者に返答するために、音声又は文字で書き表した内容を翻訳してコミュニケーションを行うときにその操作で音声／文字切換えのボタンを操作する。 [0028] (2) When translating their speech or input character and transmits to the other party (FIGS. 3 and 4) voice / text selector switch 23, to the recipient of the conversation, replies to the sender, to operate the buttons of the voice / character switched by the operation when performing communication by translating the contents Kakiarawashi in voice or character.
【００２９】文字入力装置２４Ａは、文字を選択したときにメモ帳（テキスト形式）を画面表示し、話の内容をポィンティテングデバイス（電子ペン）で入力する。 [0029] The character input device 24A is, Notepad (text format) displayed on the screen when you select a character, to enter the contents of the story in Poin tee Tengu device (electronic pen). 音声入力装置２４Ｂ音声を選択したときに受話器から入力する音声信号を得る。 Obtaining a speech signal input from handset when you select the audio input device 24B speech. 訳語選択部２５は、入力された文字又は音声をどの言語に翻訳するかを選択する。 Word Selection unit 25 selects whether to translate any language characters or voice input.
【００３０】文体認識装置２６は、手書き入力した文字列を解析して文章として認識するもので、入力が文字の場合にその文体を認識して生成する。 The stylistic recognition device 26 is intended to be recognized as text by analyzing a string handwriting input, the input is generated by recognizing the style in the case of characters. この認識／生成には、文体形式分析２６ 2による入力文体形式の分析を介した文字パターンとその認識辞書２６ 1のパターンと比較することで文字認識部２６ 3が文字認識を行い、この文字認識結果から文体認識生成部２６ 4が文体として生成する。 The recognition / generation, stylistic format analysis 26 character recognition unit 26 3 2 character patterns through analysis of the input style format by the comparing and the recognition dictionary 26 1 pattern performs character recognition, the character recognition results stylistic recognition generating unit 26 4 is produced as a stylistic from.
【００３１】音声認識処理部２７及び音声認識生成部２ The voice recognition processing section 27 and a voice recognition generator 2
８は、図１の１６及び１７をそのまま流用し、入力音声を認識する。 8, as it is diverted 16 and 17 in FIG. 1 recognizes the input speech. 同様に、訳語変換処理部２９は、図１の１ Similarly, translation conversion processing section 29, 1 of FIG. 1
９をそのまま流用し、入力音声信号又は文字を翻訳する。 9 was diverted as it is, to translate the input audio signal or character.
【００３２】音声合成処理部３０は、２７と同様の処理で、スイッチ２３で選択した言語に翻訳した文字又は音声信号を音声合成する。 The speech synthesis processing unit 30 is the same processing as 27, speech synthesis of text or audio signals translated to the language selected in the switch 23. 音声変換部３１は、合成した音声信号を実際の音声信号に変換する。 Sound conversion unit 31 converts the synthesized speech signal to the actual speech signal.
【００３３】通信制御部３１は、図１の１３と同様に公衆回線を使って相手に送信する。 The communication control unit 31 transmits to the other party using the public line as well as 13 of Figure 1. この送信音声は、相手の音声受信部３３を経て受話器から翻訳した音声として出力される。 This transmission audio is output as speech translated from the handset via the audio receiver 33 of the other party.
【００３４】したがって、図３及び図４の構成により、 [0034] Thus, the configuration of FIG. 3 and FIG. 4,
相手が話す言語に翻訳して相手に音声で送信することができる。 Can be transmitted by voice to the other party in the translation to the other party speak the language.
【００３５】なお、以上までのブロック構成において、 [0035] It should be noted that, in the block configuration of up to more than,
音声合成装置は、例えば規則合成方式により音声合成を行い、漢字カナ混じり文に対して日本語辞書を参照した構文解析、意味解析等により読み・単語・文節境界等を解析し、この解析結果から音声パターン辞書を参照して音韻系列のアクセントとイントネーション及び音韻の継続時間の各パラメータを決定し、これらを音響管モデルのパラメータとして音声合成を行うことができる。 Speech synthesis device, for example, performs speech synthesis by rule-based synthesis method, syntax analysis with reference to the Japanese dictionary for the kanji and kana sentence, to analyze the reading, word, phrase boundary or the like by means analysis and the like, from the analysis result determining the parameters of the accent and intonation and phoneme duration of the phoneme sequence by referring to the speech pattern dictionary, it is possible to perform speech synthesizing them as parameters of the acoustic tube models.
【００３６】また、訳語翻訳処理部１９、２９は、トランスファー方式、ダイレクト方式、ピボット方式、さらにはこれらの方式の特徴を組み合わせた方式で実現される。 Further, translation translation processing unit 19 and 29, the transfer method, direct method, the pivot system further is implemented in a manner that combines the features of these systems.
【００３７】トランスファー方式は、言語別の中間表現を持ち、中間表現での変換が行われる。 The transfer system has a language-specific intermediate representation, conversion of the intermediate representation is carried out. 例えば、英語→日本語、仏語→日本語などを翻訳する言語に中間表現がそれぞれ生成される。 For example, English → Japanese, intermediate representation is generated each language to translate such as French → Japanese. また、解析手法としては日本語には格文法、英語には拡張遷移文法がよく利用される。 In addition, as an analysis technique is the Japanese case grammar, extended transition grammar is often used in English.
【００３８】図１０は、トランスファー方式による翻訳システム構成を例文と共に示す。 [0038] FIG. 10 is shown with an example sentence translation system configuration according to the transfer method. 元の言語Ａとしての日本語の文「明日は、晴れでしょう」を目的の言語Ｂとしての英語の文に変換するのに、元の文を単語辞書Ｃ及び文法辞書Ｄを使った日本語処理方法による構文解析と意味解析を行う構文・意味解析Ｅを行うことで文節「明日は」と「でしょう」と「晴れ」の組み合わせになる中間表現Ｆを得る。 As a Japanese sentence "tomorrow, would be fine" of the original language A to convert the English sentence of as a language B of purpose, using the word dictionary C and grammar dictionary D the original sentence Japanese processing clause by performing syntax and semantic analysis E to perform syntax analysis and semantic analysis in accordance with the method "tomorrow" and get a "would you" an intermediate representation F be a combination of "fine".
【００３９】この中間表現Ｆを「ｔｏｍｏｒｒｏｗ」と「Ｉｔ ｗｉｌｌ」と「ｆｉｎｅ」の組み合わせになる英語の中間表現Ｇに変換する。 [0039] converts the intermediate representation F to an intermediate representation G of English to become a combination of "tomorrow" and "It will" and "fine". この中間表現Ｇから辞書Ｃ，Ｄを使った英語の表層文生成Ｈにより目的の言語Ｂ Dictionary C from the intermediate representation G, desired language B by the surface statement generation H English using D
「Ｉｔ ｗｉｌｌ ｆｉｎｅｔｏｍｏｒｒｏｗ」を生成する。 To generate "It will finetomorrow".
【００４０】図１１は、トランスファー方式とダイレクト方式及びピボット方式の３つの方式を組み合わせた変換方式を示す。 [0040] Figure 11 shows a conversion method that combines three methods of transfer method and the direct method and the pivot type. トランスファー方式は、前記のように元の言語Ａと変換目的の言語Ｂにそれぞれ特徴的な中間表現Ｆ，Ｇを生成した変換を行う。 The transfer system, the F respectively characteristic intermediate representation as the original language A to language B conversion purposes as performs conversion that generated the G.
【００４１】ダイレクト方式は、元の言語の単語を目的の言語の単語に置き換え、その単語の順序を並べ換えて変換し、ピボット方式は、元の言語の種類に依存しない共通の中間表現Ｉに変換し、その中間表現から目的とする言語を生成するが、これら両方式は、トランスファー方式に比べて変換精度が劣る。 [0041] Direct method replaces the word in the original language into words of the target language, and converts rearranged the order of the word, the pivot system, converted to a common intermediate representation I which does not depend on the type of original language and, although it generates the target language from the intermediate representation, both these equations, conversion accuracy is inferior to the transfer method.
【００４２】なお、上記の３つの変換方式の特徴を合わせ、より複雑な翻訳処理を可能にする方式もある。 [0042] Incidentally, combined the features of the three conversion methods described above, there is also a method that allows for more complex translation process.
【００４３】図１２は、画面レイアウト例である。 [0043] FIG. 12 is a screen layout example. この画面はマルチメディア機能の他、映像部４１、音声を字幕に切り替えた受信内容テキスト画面４２、相手に文字を入力して音声で内容を送信するための送信内容テキスト画面４３、翻訳した言語の選択画面４４及び入力した内容を送信する時、音声を男性の声が女性の声がを選択する音声モード４５の５つからなる。 In addition to this screen multimedia function, the video unit 41, the received content text screen 42 switching the audio to the caption, transmission contents text screen 43 for sending the contents by voice type the letter to the other party, translated language when you send a selection screen 44 and the input content, consisting of five of the audio mode 45 audio voices of men to choose the voice of women.
【００４４】なお、本発明は、図１の構成又は図２の構成の両方の装置を搭載するマルチメディア公衆電話システムとする他に、図１又は図２の一方の装置のみを単独に搭載するマルチメディア公衆電話システムとすることもできる。 [0044] The present invention, in addition to multimedia public telephone systems with both devices of construction or of Figure 2 arrangement 1 is mounted on a single only one of the apparatus of FIG. 1 or FIG. 2 It can also be a multi-media public telephone system.
【００４５】図１３は、相手の音声を字幕表示で受信する機能と、文字入力を相手に音声で送信する機能の両方を持つマルチメディア公衆電話システムのインタフェース構成例を示す。 [0045] Figure 13 shows a function of receiving a voice of the other party in the caption display, the interface configuration example of a multimedia public telephone system having both functions of transmitting voice to text input to the other party.
【００４６】同図の音声入力部は、図１４に処理手順で示すように、マイクロフォンから音声を入力し（Ｓ [0046] FIG speech input unit, as shown in the processing procedure in Figure 14, enter the voice from a microphone (S
１）、ノイズフィルタで音声に交じっている雑音を除去し（Ｓ２）、音声入力ボードによりクリアな音声をディジタル信号に変換し（Ｓ３）、音声入力ドライバの制御の基にニューラルネットワークによる学習機能を有して音声認識し（Ｓ４）、ファジイ推論部の推論により認識された音声信号に冗長な信号を除去し（Ｓ５）、知識ベースと知識ベースファイルと自動プログラミングエディタにより認識された音声信号が知識ベースファイルに無い場合に学習処理を行い記憶し（Ｓ６）、ウィンドウコントロールにより最終的に音声信号処理が完了・認識された結果をウィンドウのエディタアプリケーション画面に表示する（Ｓ７）。 1), to remove noise that magic in audio noise filter (S2), by the voice input board converts clear voice to a digital signal (S3), a learning function by a neural network under the control of the voice input driver has to voice recognition (S4), to remove redundant signals to the recognized speech signals by inference fuzzy inference unit (S5), the audio signal is knowledge which is recognized by the knowledge base and the knowledge base file and an automatic programming editor storing performs learning processing when not in base file (S6), and displays the results finally the audio signal processing by the window control is completed and recognition in editor application screen window (S7).
【００４７】図１３の文字入力部は、図１５に処理手順で示すように、テキストエディタとペンにより文字入力し（Ｓ１１）、入力された文字のパターン処理で認識するため、文字パターン認識部と学習部と専用知識ベース及び汎用知識べースエディタにより、入力した文字のパターンやデータベース（ｄｂ）に記憶されていない単語を学習して記憶し、そして文字のパターンが判別されることで認識する（Ｓ１２）。 The character input portion of FIG. 13, as shown in the process procedure in Figure 15, to recognize characters input by the text editor and pen (S11), the pattern processing of the input character, a character pattern recognition unit the learning unit dedicated knowledge base and general-purpose knowledge base Suedita learns and stores a word that is not stored in the pattern and database character entered (db), and recognizes by character pattern is discriminated (S12 ). 次いで、認識された文字（ディジタル）を音声に変換する（アナログ）ため、音声合成システムにより男性の声又は女性の声で音声合成し（Ｓ１３）、音声合成処理を完了した結果を音声出力部（マイクロホン）で出力する（Ｓ１４）。 Then, since recognized characters converts the (digital) to the voice (analog), and speech synthesis in the voice of male voice or female by speech synthesis system (S13), an audio output unit the result of completing the speech synthesis process ( output in microphone) (S14).
【発明の効果】以上のとおり、本発明によれば、従来のマルチメディア公衆電話機能に異なる言語の音声又は文字への自動翻訳機能を追加し、翻訳モードの選択で相手の音声又は入力文字を認識してそれを翻訳し、翻訳結果を音声合成して音声出力すること、又は字幕に変換処理してディスプレイ上に表示するようにしたため、以下の効果がある。 [Effect of the Invention] As described above, according to the present invention, to add the automatic translation function to the different languages ​​of voice or characters in the conventional multi-media public phone function, an opponent of voice or input characters in the translation mode selection recognize and translate it, to audio output a translation result to speech synthesis, or due to be displayed in the conversion process to the subtitle on the display, the following effects.
【００４９】（１）通話者と相手が互いに異なる言語を使って直接に会話できる。 [0049] (1) party and the other party can talk directly to using a different language from each other.
【００５０】（２）会話中、重要と思われる点を字幕で表示させる事ができるため、聞き違いなどのリスクを回避する事が可能になる。 [0050] (2) during a conversation, for the points that are considered important can be displayed in the subtitles, it becomes possible to avoid the risk of such misheard.
【００５１】（３）コンピュータが翻訳処理を行うため、翻訳サービスを利用する場合に比べてプライバシーが守られる。 [0051] (3) Since the computer to perform the translation process, privacy is protected as compared with the case of using a translation service.
【００５２】（４）コミュニケーション上のギャップを回避することが可能となる。 [0052] (4) it is possible to avoid the gap on the communication.
【図１】本発明の実施形態を示すマルチメディア公衆電話システムのブロック構成図（その１）。 1 is a block diagram of a multimedia public telephone system according to the embodiment of the present invention (Part 1).
【図２】本発明の実施形態を示すマルチメディア公衆電話システムのブロック構成図（その２）。 FIG. 2 is a block diagram of a multimedia public telephone system according to the embodiment of the present invention (Part 2).
【図３】本発明の実施形態を示すマルチメディア公衆電話システムのブロック構成図（その３）。 FIG. 3 is a block diagram of a multimedia public telephone system according to the embodiment of the present invention (Part 3).
【図４】本発明の実施形態を示すマルチメディア公衆電話システムのブロック構成図（その４）。 FIG. 4 is a block diagram of a multimedia public telephone system according to the embodiment of the present invention (Part 4).
【図５】実施形態における処理フロー（その１）。 [5] the process according to the embodiment flow (Part 1).
【図６】実施形態における処理フロー（その２）。 [6] the process according to the embodiment flow (Part 2).
【図７】実施形態における処理フロー（その３）。 [7] the process according to the embodiment Flow (Part 3).
【図８】実施形態における処理フロー（その４）。 [8] the process according to the embodiment flow (Part 4).
【図９】実施形態における処理フロー（その５）。 [9] the process according to the embodiment flow (Part 5).
【図１０】翻訳システムの構成図。 FIG. 10 is a block diagram of a translation system.
【図１１】他の翻訳システムの構成図。 FIG. 11 is a block diagram of the other translation system.
【図１２】実施形態における画面レイアウト例。 [12] screen layout example in the embodiment.
【図１３】実施形態におけるインタフェース構成例。 [13] Examples interface configuration in the embodiment.
【図１４】図１３における音声入力部の処理手順。 [14] processing procedure of a voice input section in FIG. 13.
【図１５】図１３における文字入力部の処理手順。 [15] processing procedure of the character input unit in FIG. 13.
【図１６】現在のマルチメディア公衆電話の図。 FIG. 16 is a diagram of the current multi-media public telephone.
１１…音声入力装置 １２…雑音除去ノイズフィルタ １３、３２…通信制御部 １４…音声受信装置 １５…翻訳変換スイッチ １６、２７…音声認識処理部 １７、２８…音声認識生成装置 １８…音声／文字切換スイッチ １９、２９…訳語変換処理部 ２３…音声／文字切換スイッチ ２５…訳語選択部 ２６…文体認識装置 ３０…音声合成処理部 11 ... audio input device 12 ... Noise Reduction noise filter 13, 32 ... communication control unit 14 ... audio receiving apparatus 15 ... translation conversion switch 16, 27 ... voice recognition processing section 17, 28 ... Voice recognition generating device 18 ... voice / text selection switch 19, 29 ... translation conversion processing unit 23 ... voice / text changeover switch 25 ... Word selection unit 26 ... stylistic recognition device 30 ... speech synthesis unit
【請求項１】 音声と映像の入出力手段と通信手段を有して互いに音声及び映像を使った通話を可能にしたマルチメディア公衆電話システムにおいて、 通話者の音声を通信制御部を介して受信する音声信号受信手段と、 前記音声信号をそのまま音声で出力又は翻訳して出力するかを選択する翻訳変換スイッチと、 前記スイッチが翻訳を選択したとき、受信した音声信号を認識する音声認識装置と、 前記音声認識装置が認識した音声を通話者が指定した言語に翻訳する訳語変換処理装置と、 前記翻訳した訳語を音声又は文字でディスプレイ上に文字で表示する変換装置とを備えたことを特徴とするマルチメディア公衆電話システム。 1. A multimedia public telephone system having communication means and output means for audio and video has enabled the call using voice and video with each other, it received through the communication control unit a voice caller a voice signal receiving means for the translation conversion switch for selecting whether to output the output or translating the audio signal as a voice, when the switch selects the translation, and recognizing the speech recognition system the audio signal received , characterized in that caller voice the voice recognition device recognizes is provided with a translated word conversion processing unit for translating the language specified, and a conversion device for displaying the translation mentioned above translated character on a display by voice or text multimedia public telephone system to be.
【請求項２】 音声と映像の入出力手段と通信手段を有して互いに音声及び映像を使った通話を可能にしたマルチメディア公衆電話システムにおいて、 通話者の音声又は入力文字をそのまま相手に送信するか、又は翻訳して音声又は文字で送信するかを選択する音声／文字変換スイッチと、 前記翻訳する訳語を選択する訳語選択部と、 前記スイッチが文字送信を選択したとき、通話者が入力した文字列を文字認識により文体として認識生成する文体認識装置と、 前記スイッチが音声送信を選択したとき、通話者が入力した音声を認識する音声認識装置と、 前記認識された文体又は音声を前記訳語選択部で選択した言語に翻訳する訳語変換処理装置と、 前記翻訳した訳語を音声合成により音声波形に変換する音声合成装置と、 前記音声合成 2. A multimedia public telephone system having communication means and output means for audio and video has enabled the call using voice and video together, sending the call's voice or input character as an opponent either, or a voice / text conversion switch for selecting whether to send a voice or text to be translated, the translation selecting unit for selecting the translation to the translation, when the switch selects the character transmission, caller input wherein a stylistic recognition device, when the switch selects the audio transmission, recognizing speech recognizer voice caller entered, the recognized style or speech recognizing generate character string as a stylistic by the character recognition and translation transformation processor for translating the language selected translated word selection unit, and a speech synthesizer for converting the speech waveform the translation mentioned above translated by voice synthesis, the voice synthesis 置が合成した音声波形を音声信号に変換して通信手段を介して通話相手に送信する音声変換装置とを備えたことを特徴とするマルチメディア公衆電話システム。 Multimedia public telephone system, characterized in that location has a speech conversion system to be transmitted to the communication partner through the communication means is converted into an audio signal and the synthesized speech waveform.
JP9146123A 1997-06-04 1997-06-04 Multimedia public telephone system Pending JPH10336354A (en)
JP9146123A JPH10336354A (en) 1997-06-04 1997-06-04 Multimedia public telephone system
JPH10336354A true JPH10336354A (en) 1998-12-18
ID=15400676
JP9146123A Pending JPH10336354A (en) 1997-06-04 1997-06-04 Multimedia public telephone system
JP (1) JPH10336354A (en)
1997-06-04 JP JP9146123A patent/JPH10336354A/en active Pending
CA2372061C (en) 2006-01-24 Real-time transcription correction system
JP3884851B2 (en) 2007-02-21 Radio communication terminal apparatus used communication system and to
ES2420559T3 (en) 2013-08-23 A large-scale system, independent of the user and independent of the device for converting the vocal message to text
CA2081904C (en) 1996-10-22 Audio-augmented data keying