(57)【要約】【課題】本発明は、複数の対話者の1名に設置された通訳装置を用いて、複数の言語間の双方向通訳が可能であるようにする双方向通訳システムに関する。【解決手段】本発明に係る双方向通訳システムは、 少なくとも一つ以上の聴音補助装置と通信する第１の通信部と、通信端末機と通信する第２の通信部と、音声を獲得するマイクと、音を放出させるスピーカーと、前記聴音補助装置により獲得された音声を含む第１の音声データと、前記マイクにより獲得された音声を含む第２の音声データとを生成して、前記第２の通信部を通して前記通信端末機に転送し、前記通信端末機から前記第１の音声データに対応する第１の通訳音声データと、前記第２の音声データに対応する第２の通訳音声データとを受信して、前記第１の通訳音声データに含まれた第１の通訳音声をスピーカーを介して放出させ、前記第２の通訳音声データを第１の通信部を通して聴音補助装置に印加して前記聴音補助装置で放出させるデータプロセッサとを含む通訳中継装置を備える。【選択図】図１
2020091472.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一つ以上の聴音補助装置と通信する第１の通信部と、
通信端末機と通信する第２の通信部と、
音声を獲得するマイクと、
音を放出させるスピーカーと、
前記聴音補助装置により獲得された音声を含む第１の音声データと、前記マイクにより獲得された音声を含む第２の音声データとを生成して、前記第２の通信部を通して前記通信端末機に転送し、前記通信端末機から前記第１の音声データに対応する第１の通訳音声データと、前記第２の音声データに対応する第２の通訳音声データとを受信して、前記第１の通訳音声データに含まれた第１の通訳音声をスピーカーを介して放出させ、前記第２の通訳音声データを第１の通信部を通して聴音補助装置に印加して前記聴音補助装置で放出させるデータプロセッサとを含む通訳中継装置を備えることを特徴とする、双方向通訳システム。
【請求項２】
前記データプロセッサは、前記第１の音声データに含まれた音声を反転させ、前記マイクで獲得された音声と合算し、合算された音声を含む第２の音声データを生成することを特徴とする、請求項１に記載の双方向通訳システム。
【請求項３】
前記データプロセッサは、前記第１の通信部を通して無線マイク装置と通信し、前記無線マイク装置により獲得された音声を含む第３の音声データを前記第２の通信部を通して前記通信端末機に転送し、前記通信端末機から前記第３の音声データに対応する第３の通訳音声データを受信し、前記第３の通訳音声データを前記第１の通信部を通して聴音補助装置に印加して前記聴音補助装置で放出させることを特徴とする、請求項１に記載の双方向通訳システム。
【請求項４】
前記双方向通訳システムは、前記通信端末機を含み、前記通信端末機は通訳中継装置から第１又は第２又は第３の音声データを受信し、受信された前記第１又は第２又は第３の音声データを直接通訳処理して、第１又は第２又は第３の通訳音声データを生成したり、受信された前記第１又は第２又は第３の音声データ及び通訳言語情報を含む第１又は第２又は第３の通訳データを生成して通訳サーバに転送し、前記通訳サーバから前記第１又は第２又は第３の通訳データに対応する第１又は第２又は第３の通訳音声データを受信して前記通訳中継装置に生成したり、受信された前記第１又は第２又は第３の通訳音声データを転送することを特徴とする、請求項１〜３の何れか一項に記載の双方向通訳システム。
【請求項５】
前記双方向通訳システムは、前記聴音補助装置を含み、前記聴音補助装置は少なくとも一部が使用者の聴覚器官に挿入可能であり、音声や音声振動を獲得するマイクを備え、獲得された音声や音声振動を含む第１の音声データを生成して前記通訳中継装置に印加し、前記通訳中継装置から第２又は第３の通訳音声データを受信して放出させることを特徴とする、請求項１〜３の何れか一項に記載の双方向通訳システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は通訳システムに関し、特に複数の対話者の１名に設置された通訳装置を用いて、複数の言語間の双方向通訳が可能であるようにする双方向通訳システムに関する。
【背景技術】
【０００２】
最近、自国を訪問する外国人訪問客及び海外を訪問する内国人の数が増加し続けている。特に、産業の全般的な分野において、中国との取引によって中国人の自国への訪問が急増しつつある。また、日本を始めとする世界各国の訪問客等が大挙訪問することは予想しやすい。また、事業を目的とした自国への訪問者の数も増加しつつある。したがって、世界各国の数多くの訪問者間のコミュニケーション及び韓国人間のコミュニケーションが非常に重要になっている。
【０００３】
このような外国人訪問客及び海外旅行者は、通常、サービスが徹底的なホテルなどを用いる。しかしながら、一般に、ホテルでは訪問客が自国の言語を用いてコミュニケーションを図りたい場合、或いは、自身とは異なる言語圏の言語を用いる人とコミュニケーションを図りたい場合、ホテルに常駐する通訳者によって意思疎通したり、インターネットを用いたイーメール(e-mail)やファクシミリなどを使用できるようにしている。また、ホテルに世界各国の言語を使いこなす通訳者を全部配置させることは現実的に困難があり、通訳者を常時伴うべきであり、１〜２名の通訳者によっては多数の訪問客に満足すべきサービスが提供できない不合理、所望の時間に通訳サービスが提供されないという問題点がある。
【０００４】
これにより、該当技術分野では、観光時に自身が持っている通信端末機を用いて外国人との対話時にリアルタイムで同時通訳のための技術開発が要求されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】大韓民国特許公開公報第10-2015-0021707号“同時通訳端末機”
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、複数の対話者の１名に設置された通訳装置を用いて、複数の対話者の言語間の双方向通訳(例えば、韓国語<-->日本語、韓国<-->英語等)が可能であるようにする双方向通訳システムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明に係る双方向通訳システムは、少なくとも一つ以上の聴音補助装置と通信する第１の通信部と、通信端末機と通信する第２の通信部と、音声を獲得するマイクと、音を放出させるスピーカーと、前記聴音補助装置により獲得された音声を含む第１の音声データと、前記マイクにより獲得された音声を含む第２の音声データとを生成して、前記第２の通信部を通して前記通信端末機に転送し、前記通信端末機から前記第１の音声データに対応する第１の通訳音声データと、前記第２の音声データに対応する第２の通訳音声データとを受信して、前記第１の通訳音声データに含まれた第１の通訳音声をスピーカーを介して放出させ、前記第２の通訳音声データを第１の通信部を通して前記聴音補助装置に印加して、前記聴音補助装置で放出させるデータプロセッサとを含む通訳中継装置を備える。
【０００８】
また、前記データプロセッサは、前記第１の音声データに含まれた音声を反転させて、前記マイクで獲得された音声と合算し、合算された音声を含む第２の音声データを生成することが望ましい。
【０００９】
また、前記データプロセッサは、前記第１の通信部を通して無線マイク装置と通信し、前記無線マイク装置により獲得された音声を含む第３の音声データを第２の通信部を通して前記通信端末機に転送し、前記通信端末機から前記第３の音声データに対応する第３の通訳音声データを受信し、前記第３の通訳音声データを前記第１の通信部を通して前記聴音補助装置に印加して、前記聴音補助装置で放出させることが望ましい。
【００１０】
また、前記通信端末機は、通訳中継装置から第１又は第２又は第３の音声データを受信し、受信された前記第１又は第２又は第３の音声データを直接通訳処理して、第１又は第２又は第３の通訳音声データを生成したり、受信された前記第１又は第２又は第３の音声データ及び通訳言語情報を含む第１又は第２又は第３の通訳データを生成して通訳サーバに転送し、前記通訳サーバから前記第１又は第２又は第３の通訳データに対応する第１又は第２又は第３の通訳音声データを受信して前記通訳中継装置に生成したり、受信された前記第１又は第２又は第３の通訳音声データを転送することが望ましい。
【００１１】
また、前記聴音補助装置は、少なくとも一部が使用者の聴覚器官に挿入可能であり、音声や音声振動を獲得するマイクを備え、獲得された音声や音声振動を含む第１の音声データを生成して通訳中継装置に印加し、前記通訳中継装置から第２又は第３の通訳音声データを受信して放出させることが望ましい。
【発明の効果】
【００１２】
本発明は、従来の同時通訳機が二つのイヤーセット(Ear-set)形態で話者及び聴者の全部がイヤーセットを着用するため、他人が着用したイヤーセットの着用に対する不便及び非衛生的な部分が存在したが、複数の対話者の1名に設置された通訳装置を用いて複数の対話者の言語間の双方向通訳(例えば、韓国語<-->日本語、韓国語<-->英語など)が可能であるようにする。
【００１３】
また、本発明は、使用者(着用者)の音声と相手の音声とを同時に認識する際において、目的音声以外の音声を除去しやすいので、音声認識率を増大させることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明に係る双方向通訳システムの構成図である。
【図２】図１に示す第1及び第２の聴音補助装置１０ａ、１０ｂ並びに通訳中継装置２０の斜視図である。
【発明を実施するための形態】
【００１５】
以下、添付図面に基づき、本発明の好適な実施例を詳細に説明する。しかしながら、本発明はこれに限定されず、本発明の実施例の多様な変更(modification)、均等物(equivalent)、及び/又は代替物(alternative)を含むものと理解しなければならない。図面の説明において、類似な構成要素に対しては類似な参照符号を用いることができる。
【００１６】
本文書において、“持つ”、“持つことができる”、“含む”又は“含むことができる”等のような表現は、該当特徴(例：数値、機能、動作又は部品などの構成要素)の存在を示し、追加的な特徴の存在を排除しない。
【００１７】
本文書において、“Ａ又はＢ”、“Ａ又は/及びＢの少なくとも一つ”、或いは、“Ａ又は/及びＢの一つ又はその以上”等のような表現は、共に羅列された項目等の全ての可能な組合を含むことができる。例えば、“Ａ又はＢ”、“Ａ及びＢの少なくとも一つ”、或いは“Ａ又はＢの少なくとも一つ”は、(１)少なくとも一つのＡを含む、(２)少なくとも一つのＢを含む、或いは(３)少なくとも一つのＡ及び少なくとも一つのＢの全部を含む場合を示すことができる。
【００１８】
本文書で使用される“第１”、“第２”、“一番目”或いは“二番目”等のような表現は、多様な構成要素を、順序及び/又は重要度に関係なしに数式でき、ある構成要素を他の構成要素と区分するために使用されるだけで、該当構成要素を限定しない。例えば、第1の使用者機器及び第２の使用者機器は、順序又は重要度と関係なしに、互いに異なる使用者機器を示すことができる。例えば、本文書に記載された権利範囲を逸脱しないと共に、第1の構成要素は第２の構成要素に命名でき、同様に第２の構成要素も第１の構成要素に変えて命名できる。
【００１９】
ある構成要素(例：第１の構成要素)が他の構成要素(例：第２の構成要素)に“(機能的に又は通信的に)連結されたり((operatively or communicatively) coupled with/to)”、“接続されたり(connected to)”すると言及された時には、ある構成要素が他の構成要素に直接的に連結されたり、他の構成要素(例：第３の構成要素)を通して連結されたりすると理解するべきである。反面に、ある構成要素(例：第１の構成要素)が他の構成要素(例：第２の構成要素)に“直接連結されたり”、“直接接続されたり”すると言及された時には、ある構成要素及び他の構成要素間にまた他の構成要素(例：第３の構成要素)が存在しないものと理解するべきである。
【００２０】
本文書で使用された表現の“〜ように構成された(又は設定された)(configured to)”は、状況に応じて例えば、“〜に適合した(suitable for)”、“〜する能力を持つ(having the capacity to)”、“〜ように設計された(designed to)”、“〜ように変更された(adapted to)”、“〜ように作られた(made to)”、或いは、“〜をすることができる(capable of)”に変えて使用できる。用語の“〜ように構成(又は設定)された”は、ハードウェアー的に“特別に設計された(specifically designed to)”だけを必ず意味するものではない。代わりに、どのような状況では“〜ように構成された装置”という表現は、その装置が他の装置又は部品等と共に“〜することができる”ことが意味できる。例えば、文句“Ａ、Ｂ及びＣを遂行するように構成(又は設定)されたプロセッサ”は、該当動作を遂行するための専用プロセッサ(例：組み込みプロセッサ)、或いは、メモリ装置に保存された一つ以上のソフトウェアプログラムを実行することで、該当動作を遂行できる汎用プロセッサ(generic-purpose processor)(例：ＣＰＵ又はアプリケーションプロセッサ)が意味できる。
【００２１】
本文書で使用された用語らは、但し特定の実施例を説明するために使用されたもので、他の実施例の範囲を限定する意図はない。単数の表現は文脈上明白に違うように意味しない限り、複数の表現を含むことができる。技術的或いは科学的な用語を含めてここで使用される用語らは、本文書に記載された技術分野における通常の知識を有する者により一般的に分かるものと同一の意味を持つことができる。本文書に使用された用語の中で、一般の辞書に定義されている用語らは関連技術の文脈上持つ意味と同一又は類似な意味として解析でき、本文書で明白に定義されない限り、理想的或いは過度に形式的な意味であると解析しない。場合によっては、本文書で定義された用語であっても、本文の実施例を排除するように理解してはいけない。
【００２２】
図１は、本発明に係る双方向通訳システムの構成図である。
【００２３】
双方向通訳システムは、音声獲得機能及び音声表出機能を持つ第１及び第２の聴音補助装置１０ａ、１０ｂと、第１及び第２の聴音補助装置１０ａ、１０ｂと有線又は無線で通信し、通信端末機３０と有線又は無線で通信する通訳中継装置２０と、通訳中継装置２０と有線又は無線で通信し、ネットワーク５０を介して通訳サーバ４０と無線で通信する通信端末機３０と、通訳動作を遂行して通信端末機３０と無線で通信する通訳サーバ４０と、通信端末機３０及び通訳サーバ４０間の無線通信を可能とするネットワーク５０とを含む。また、双方向通訳システムは、使用者が所望する位置に設置され、通訳中継装置２０と無線で通信する無線マイク装置６０を含むこともできる。
【００２４】
本実施例では、使用者(着用者)と、使用者と対話する相手とからなる複数の対話者間で異種の言語間の通訳がなされるようにし、第１及び第２の聴音補助装置１０ａ、１０ｂの少なくとも一つ以上の聴音補助装置が、使用者の左又は右の聴覚器官(例えば、耳孔)の各々の内部に少なくとも一部が挿入して動作し、通訳中継装置２０が使用者の人体や衣類などに掛けられて動作することを例示する。すなわち、第１及び第２の聴音補助装置１０ａ、１０ｂの少なくとも一つ以上の聴音補助装置と、通訳中継装置２０とを1名の使用者(着用者)が全部着用し、少なくとも1名以上の相手との通訳対話がなされる。
【００２５】
まず、使用者が、通信端末機３０に双方向通訳する言語らに対する情報(例えば、入力言語(着用者(使用者)−韓国語)、出力言語(相手−日本語)等)を入力することができ、通信端末機３０が独立的に双方向通訳する言語が決定することもできる。本実施例では、着用者(使用者)(韓国語使用)及び相手(日本語使用)の各々が第１の聴音補助装置１０ａ及び通訳中継装置２０を着用することで、第１の聴音補助装置１０ａ及び通訳中継装置２０間の通信、通訳中継装置２０及び通信端末機３０間の通信、及び/又は通信端末機３０及び通訳サーバ４０間の通信が全部可能な状態である。
【００２６】
まず、使用者の韓国語を相手の日本語に通訳して提供する過程を説明する。第１の聴音補助装置１０ａは、使用者の聴覚器官に少なくとも一部が挿入されるマイク(図１の１ａ)を介して使用者の音声を獲得し、獲得された音声を含む音声データを通訳中継装置２０に印加する。通訳中継装置２０は、印加された音声データを通信端末機３０に印加し、通信端末機３０は、印加された音声データを内蔵の通訳アルゴリズムによって印加された音声に対する通訳を遂行して、通訳音声を含む通訳音声データを生成したり、ネットワーク５０を介して通訳サーバ４０に音声データ及び通訳言語情報(韓国語から日本語への通訳)を含む通訳データを転送して、通訳サーバ４０から通訳音声データを受信する。ここで、通訳サーバ４０は、通訳データに含まれた通訳言語情報に基づいて転送された音声データを内蔵の通訳アルゴリズムによって印加された音声に対する通訳を遂行して、通訳音声を含む通訳音声データを生成して通信端末機３０に転送する。通信端末機３０は、生成された通訳音声データ又は受信された通訳音声データを通訳中継装置２０に印加する。通訳中継装置２０は、印加された通訳音声データをスピーカー１６を介して放出させることで、相手が使用者の韓国語から日本語に通訳された音声を聴くようになる。
【００２７】
次に、相手の日本語を使用者の韓国語に通訳して提供する過程を説明する。通訳中継装置２０は、マイク１２を介して相手の音声を獲得し、獲得された音声を含む音声データを通信端末機３０に印加する。通信端末機３０は、印加された音声データを内蔵の通訳アルゴリズムによって印加された音声に対する通訳を遂行して通訳音声を含む通訳音声データを生成したり、ネットワーク５０を介して通訳サーバ４０に音声データ及び通訳言語情報(日本語から韓国語への通訳)を含む通訳データを転送して、通訳サーバ４０から通訳音声データを受信する。ここで、通訳サーバ４０は、通訳データに含まれた通訳言語情報に基づいて転送された音声データを内蔵の通訳アルゴリズムによって印加された音声に対する通訳を遂行して、通訳音声を含む通訳音声データを生成して通信端末機３０に転送する。通信端末機３０は、生成された通訳音声データ又は受信された通訳音声データを通訳中継装置２０に印加する。通訳中継装置２０は、印加された通訳音声データに含まれた通訳音声を第１の聴音補助装置１０ａに印加し、第１の聴音補助装置１０ａは印加された通訳音声をレシーバー３ａを介して放出させることで、使用者が相手の日本語から韓国語に通訳された音声を聴くようになる。
【００２８】
前述した通訳言語情報は、使用者の音声を通訳する時の情報(入力言語−韓国語、出力言語−日本語)、及び、相手の音声を通訳する時の情報(入力言語−日本語、出力言語−韓国語)のように、通訳する対象者によって入力言語及び出力言語が互いに反対となる。
【００２９】
前述した使用者(着用者)の音声及び相手の音声間の双方向通訳のために、本発明に係る双方向通訳システムの第1及び第２の聴音補助装置１０ａ、１０ｂ、通訳中継装置２０、通信端末機３０及び通訳サーバ４０の細部構成について後述する。但し、ネットワーク５０は、有線及び/又は無線で通信するようにする通信システムであって、本発明が属する技術分野における通常の技術者に当然に認識される程度の技術に該当するので、詳細な説明は省略する。
【００３０】
まず、第１の聴音補助装置１０ａは、着用者の聴覚器官内に少なくとも一部が挿入されて着用者の音声を獲得するマイク１ａと、着用者の聴覚器官に音声放出(又は表出)を遂行するレシーバー３ａと、通訳中継装置２０と有線又は無線で通信する通信部５ａと、音声獲得及び音声表出(又は放出)機能を遂行するデータプロセッサ９ａとを含む。但し、第１の聴音補助装置１０ａ内に電源を供給する電源部(図示せず)を第１の聴音補助装置１０ａに備えるが、本発明が属する技術分野における通常の技術者に当然認識される程度の技術に該当するので、詳細な説明は省略する。
【００３１】
マイク１ａは、着用者の聴覚器官内に少なくとも一部が挿入される構造であり、聴覚器官に伝達される音声振動や聴覚器官内の音声を獲得し、音声振動や音声(以下、“音声”と通称する)をデータプロセッサ９ａに印加する。第１の聴音補助装置１０ａのケースは、マイク１ａを内蔵しながらマイク１ａの少なくとも一部が聴覚器官に挿入されるような構造形態を持つ。
【００３２】
レシーバー３ａは、データプロセッサ９ａから印加される通訳音声を放出させて着用者が通訳音声を聴くようにする。レシーバー３ａは、第１の聴音補助装置１０ａのケース内においてマイク１ａが装着された位置から外側に形成され、着用者の聴覚器官内に挿入されない位置のケース内に内蔵される。
【００３３】
通信部５ａは、通訳中継装置２０と有線又は無線で通信するための構成であるが、例えば、有線で通信するための音声伝達ケーブル、或いは、無線で通信するための無線通信モジュール(例えば、ブルートゥース（登録商標）等)で具現できる。
【００３４】
データプロセッサ９ａは、音声獲得機能及び音声表出機能を遂行するためのプロセッサ(例えば、ＣＰＵ、ＭＩＣＲＯＰＲＯＣＥＳＳＯＲ等)で具現される。データプロセッサ９ａは、マイク１ａから印加される音声を含む音声データ(第１の音声データ)を生成し、生成された第１の音声データを通信部５ａを通して又は通信部５ａを制御して通訳中継装置２０に印加又は転送する。また、データプロセッサ９ａは、通訳中継装置２０から印加又は転送される相手の通訳音声データ(第２の通訳音声データ)を通信部５ａから印加され、印加された第２の通訳音声データに含まれた通訳音声をレシーバー３ａに印加して放出させる。
【００３５】
第２の聴音補助装置１０ｂは、第１の聴音補助装置１０ａと同一の構造を持つ。
【００３６】
次に、通訳中継装置２０は、第１及び/又は第２の聴音補助装置１０ａ、１０ｂと有線又は無線で通信する第１の通信部１１と、音声や音響を獲得するマイク１２と、使用者(着用者)からの入力(例えば、電源オン/オフ、通訳機能のオン/オフやボリュームサイズ増減調節等)を獲得する入力部１３と、電源の状態(オン/オフ)や通訳機能の状態(オン/オフ)等を表示する表示部１５と、音声や音響を放出させるスピーカー１６と、通信端末機３０と無線で通信する第２の通信部１７と、音声の受信・転送機能及び通訳音声の受信・転送機能を遂行するデータプロセッサ１９とを含む。但し、通訳中継装置２０内に電源を供給する電源部(図示せず)、マイク１２、入力部１３、表示部１５及びスピーカー１６等は、本発明が属する技術分野における通常の技術者に当然に認識される程度の技術に該当するので、詳細な説明は省略する。
【００３７】
第１の通信部１１は、第１及び/又は第２の聴音補助装置１０ａ、１０ｂと有線又は無線で通信するための構成であるが、例えば、有線で通信するための音声伝達ケーブル、或いは、無線で通信するための無線通信モジュール(例えば、ブルートゥース等)で具現できる。
【００３８】
第２の通信部１７は、通信端末機３０と無線で通信するための構成であるが、例えば、無線で通信するための無線通信モジュール(例えば、ブルートゥース等)で具現できる。第１及び第２の通信部１１、１７は、一つの通信モジュールで具現することもできる。
【００３９】
データプロセッサ１９は、音声の受信・転送機能及び通訳音声の受信・転送機能及び/又は音声処理機能を遂行するプロセッサ(例えば、ＣＰＵ、ＭＩＣＲＯＰＲＯＣＥＳＳＯＲ等)と、音声処理機能のための音声処理アルゴリズム等を格納する格納空間とを含む。
【００４０】
まず、音声の受信・転送機能のために、データプロセッサ１９は、第１の通信部１１を通して又は第１の通信部１１を制御して、第１及び/又は第２の聴音補助装置１０ａ、１０ｂから第１の音声データを受信し、受信された第１の音声データを第２の通信部１７を制御して通信端末機３０に転送する。また、データプロセッサ１９は、マイク１２から獲得される音声(例えば、相手の音声及び/又は着用者の音声)を含む第２の音声データを生成し、第２の通信部１７を制御して通信端末機３０に転送する。
【００４１】
また、第２の音声データの生成において、データプロセッサ１９は、第１の音声データに含まれた音声(大部分又は全体が着用者の音声である)を用いて、第２の音声データに含まれた着用者の音声を除去又は減殺させる音声処理を遂行して相手の音声認識率を向上させる。例えば、データプロセッサ１９は、第１の音声データに含まれた着用者の音声(マイク１ａから獲得された音声)を位相反転させ、マイク１２から獲得される音声と合算し、合算された音声を第２の音声データに含めることで、着用者の音声が除去又は減殺され、相対的に第２の音声データで相手の音声が占める比率を増大させる。
【００４２】
また、通訳音声の受信・転送機能のために、データプロセッサ１９は、第２の通信部１７を通して通信端末機３０から第１の音声データに対応する第１の通訳音声データを受信し、第１の通訳音声データに含まれた通訳音声をスピーカー１６に印加して表出させることで、相手が着用者の通訳音声を聴くことができる。また、データプロセッサ１９は、第２の通信部１７を通して通信端末機３０から第２の音声データに対応する第２の通訳音声データを受信し、第２の通訳音声データを第１の通信部１１を通して第１及び/又は第２の聴音補助装置１０ａ、１０ｂに印加する。
【００４３】
次に、通信端末機３０は、通訳中継装置２０と無線で通信する第１の通信部２１と、使用者からの入力(通訳機能の設定/解除や双方向通訳する言語らに対する選択/入力等)を獲得する入力部２３と、通訳機能の設定/解除状態表示や双方向通訳する言語らの表示等を遂行する表示部２５と、ネットワーク５０を介して通訳サーバ４０と有線又は無線で通信する第２の通信部２７と、通訳中継装置２０から印加される第１及び第２の音声データに対する通訳動作を遂行させて、第１及び第２の通訳音声データを通訳中継装置２０に転送するデータプロセッサ２９とを含む。但し、通信端末機３０内に電源を供給する電源部(図示せず)、入力部２３及び表示部２５等は、本発明が属する技術分野における通常の技術者に当然認識される程度の技術に該当するので、詳細な説明は省略する。
【００４４】
第１の通信部２１は、通訳中継装置２０と無線で通信するための構成であるが、例えば、無線で通信するための無線通信モジュール(例えば、ブルートゥース等)で具現できる。
【００４５】
第２の通信部２７は、通訳サーバ４０と有線又は無線で通信するための構成であるが、例えば、無線で通信するための無線通信モジュールで具現できる。第１及び第２の通信部２１、２７は、一つの通信モジュールで具現することもできる。
【００４６】
データプロセッサ２９は、第１及び第２の音声データの受信・転送機能、第１及び第２の通訳音声データの受信・転送機能又は第１及び第２の通訳音声データの生成等を遂行するプロセッサ(例えば、ＣＰＵ、ＭＩＣＲＯＰＲＯＣＥＳＳＯＲ等)と、通訳機能の設定/解除に関する情報、双方向通訳する言語らに関する通訳言語情報、通訳音声の生成のための通訳アルゴリズム等を格納する格納空間とを含む。
【００４７】
データプロセッサ２９は、入力部２３を通して通訳機能の設定又は解除の入力を獲得して格納し、通訳機能の設定又は解除を遂行する。
【００４８】
また、データプロセッサ２９は、入力部２３を通して双方向通訳する言語らに対する入力又は選択を獲得し、獲得された双方向通訳する言語らに対応する通訳言語情報を格納する。
【００４９】
まず、音声データの受信及び転送について、データプロセッサ２９は、通訳中継装置２０から第１又は第２の音声データを第１の通信部２１を通して受信し、通訳サーバ４０で通訳を遂行する場合には、受信された第１又は第２の音声データ及び通訳言語情報を各々含む第１又は第２の通訳データを生成して、第２の通信部２７を通して通訳サーバ４０に転送する。例えば、第１の通訳データは、第１の音声データ及び通訳言語情報(韓国語から日本語に通訳)を含み、第２の通訳データは、第２の音声データ及び通訳言語情報(日本語から韓国語に通訳)を含む。また、データプロセッサ２９が直接通訳を遂行する場合には格納空間に格納する。
【００５０】
また、第１及び第２の通訳音声データの受信及び転送について、データプロセッサ２９は、通訳サーバ４０から第１又は第２の通訳データに各々対応する第１又は第２の通訳音声データを受信し、受信された第１又は第２の通訳音声データを第１の通信部２１を通して通訳中継装置２０に転送する。
【００５１】
また、データプロセッサ２９は、既で格納された通訳アルゴリズムによって、受信された第１又は第２の音声データに含まれた音声の各々に対する通訳音声を生成し、第１又は第２の通訳音声データを生成して、第１の通信部２１を通して通訳中継装置２０に転送する。
【００５２】
また、データプロセッサ２９は、通訳機能の設定/解除、双方向通訳する言語らの選択/入力、音声データの受信及び転送、通訳データの生成及び転送、直接通訳等を遂行するための通訳アプリケーションを格納し、通訳アプリケーションを遂行することもできる。
【００５３】
また、通訳サーバ４０は、第１又は第２の通訳データを受信し、第１又は第２の通訳音声データを転送する通信部(図示せず)と、通信部から第1又は第２の通訳データに含まれた音声を通訳言語情報に基づいて通訳し、第１又は第２の通訳音声データを生成して通信部に印加するデータプロセッサ(図示せず)とを含む。但し、通信部及びデータプロセッサは、本発明が属する技術分野における通常の技術者に当然認識される程度の技術に該当するので、詳細な説明は省略する。
【００５４】
無線マイク装置６０は、音声を獲得するマイク５１と、通訳中継装置２０と無線で通信する通信部５３と、音声獲得機能及び音声転送機能を遂行するデータプロセッサ５９とを含む。但し、電源を供給する電源部(図示せず)が無線マイク装置６０に具備されるが、本発明が属する技術分野における通常の技術者に当然認識される程度の技術に該当するので、詳細な説明は省略する。無線マイク装置６０は、移動が容易な装置であって、使用者が所望する位置に設置できる。
【００５５】
マイク５１は、外部の音声を獲得してデータプロセッサ５９に印加する。
【００５６】
通信部５３は、通訳中継装置２０と有線又は無線で通信するための構成であるが、例えば、無線通信を遂行するための無線通信モジュール(例えば、ブルートゥース等)で具現できる。通信部５３は、第１又は第２の通信部１１、１７と無線で通信することができ、本実施例では第１の通信部１１と無線で通信するものと説明する。
【００５７】
データプロセッサ５９は、音声獲得機能及び音声転送機能を遂行するためのプロセッサ(例えば、ＣＰＵ、ＭＩＣＲＯＰＲＯＣＥＳＳＯＲ等)で具現される。データプロセッサ５９は、マイク５１から印加される音声を含む第３の音声データを生成し、生成された第３の音声データを通信部５３を通して通訳中継装置２０に印加又は転送する。
【００５８】
また、データプロセッサ１９は、第１の通信部１１を通して第３の音声データを受信し、第２の通信部１７を通して受信された第３の音声データを通信端末機３０に転送する。通信端末機３０のデータプロセッサ２９は、第１の通信部２１を通して第３の音声データを受信し、受信された第３の音声データ及び通訳言語情報を含む第３の通訳データを生成し、第２の通信部２７を制御して、ネットワーク５０を介して通訳サーバ４０に転送したり、通訳アルゴリズムによって第３の音声データに対応する通訳音声を含む第３の通訳データを独立的に生成する。通訳サーバ４０は、第１及び第２の通訳データに対する処理と同様に、第３の通訳データに含まれた第３の音声データを通訳言語情報に基づいて通訳処理し、通訳音声を含む第３の通訳音声データを生成して通信端末機３０に転送する。通信端末機３０のデータプロセッサ２９は、第２の通信部２７を通して第３の通訳音声データを受信し、受信又は独立的に通訳処理した第３の通訳音声データを第１の通信部２１を通して通訳中継装置２０に転送する。通訳中継装置２０のデータプロセッサ１９は、第２の通信部１７を通して第３の通訳音声データを受信し、第３の通訳音声データを第１又は第２の聴音補助装置１０ａ、１０ｂに第１の通信部１１を通して印加する。第１又は第２の聴音補助装置１０ａ、１０ｂのデータプロセッサ９ａ、９ｂは、通信部５ａ、５ｂを通して第３の通訳音声データを受信し、第３の通訳音声データに含まれた通訳音声がレシーバー３ａ、３ｂを介して放出される。このような無線マイク装置６０により、遠距離の相手の音声も使用者が明確に聴くことができる。
【００５９】
また、通訳中継装置２０及び通信端末機３０において通訳機能の解除状態である場合、通信端末機３０は、マルチメディアデータ(例えば、音響や音楽等)を通訳中継装置２０に転送したり、マルチメディアデータの再生データを通訳中継装置２０に転送できる。通訳中継装置２０は、受信されたマルチメディアデータを再生したり再生データを受信して、スピーカー１６及び/又は第１又は第２の聴音補助装置１０ａ、１０ｂを通して放出させる。
【００６０】
第１及び第２の聴音補助装置１０ａ、１０ｂの他の実施例において、データプロセッサ９ａ、９ｂを備えることなく、通信部５ａ、５ｂは信号転送のための有線通信用ケーブル(例えば、電線等)で具現できる。すなわち、第１及び第２の聴音補助装置１０ａ、１０ｂにおけるマイク１ａ、１ｂの各々は、音声を獲得して通信部５ａ、５ｂの各々を通して通訳中継装置２０の第1の通信部１１に印加し、データプロセッサ１９は、獲得された音声を含む第１の音声データを生成して通信端末機３０に転送し、その後の通信端末機３０が処理する過程は前述したようである。また、データプロセッサ１９は、通信端末機３０から第２の音声データに対応する第２の通訳音声データを通信端末機３０から受信して、第２の通訳音声データに含まれた通訳音声を第１の通信部１１を通して第１及び第２の聴音補助装置１０ａ、１０ｂの通信部５ａ、５ｂに印加し、レシーバー３ａ、３ｂの各々が通信部５ａ、５ｂの各々に印加された通訳音声を受信して放出させる。本実施例において、通訳中継装置２０のデータプロセッサ１９がマイク１ａ、１ｂからの音声に対する処理及びレシーバー３ａ、３ｂへの音声の転送を制御して遂行する。
【００６１】
図２は、図１に示す第１及び第２の聴音補助装置１０ａ、１０ｂ並びに通訳中継装置２０の斜視図である。
【００６２】
通訳中継装置２０は、使用者の首周囲や肩上に掛けられるように少なくとも一部の開放空間が形成され、互いに分離されている両端部を連結してなる環状のケース２０ａと、第１及び第２の聴音補助装置１０ａ、１０ｂの各々に連結している第１及び第２の連結線１１ａ、１１ｂと、ケース２０ａの側面(外側面)に形成されたマイク１２ａ、１２ｂ(図１では１２と通称する)と、ケース２０ａの両端部の各々に形成された入力部１３ａ、１３ｂ(図１では１３と通称する)と、ケース２０ａの向かい合う両側面に形成されたスピーカー１６ａ、１６ｂ(図１では１６と通称する)とからなる。
【００６３】
第１及び第２の聴音補助装置１０ａ、１０ｂの各々は、聴覚器官内に少なくとも一部が挿入される挿入部Ａと、挿入部Ａに連結し、一端に第１及び第２の連結線１１ａ、１１ｂが連結する連結部Ｂとを備える。挿入部Ａ内にはマイク１ａ、１ｂの各々が設置され、連結部Ｂ内にはレシーバー３ａ、３ｂの各々が設置される。挿入部Ａは弾性材質からなる。
【００６４】
本実施例において、第１の通信部１１は、有線連結が可能な第１及び第２の連結線１１ａ、１１ｂを備える。
【００６５】
多様な実施例に係る装置(例:プロセッサ又はその機能ら)或いは方法(例:動作ら)の少なくとも一部は、例えば、プログラムモジュールの形態でコンピュータ読み取り可能な記憶媒体(computer-readable storage media)に格納された命令語で具現できる。前記命令語がプロセッサにより実行される場合、前記一つ以上のプロセッサが前記命令語に該当する機能が遂行できる。コンピュータ読み取り可能な記憶媒体は、例えば、メモリになり得る。
【００６６】
コンピュータ書き込み可能な記録媒体は、ハードディスク、フロッピーディスク、マグネチック媒体(magnetic media)(例：磁気テープ)、光記録媒体(optical media)(例:CD-ROM、DVD(Digital Versatile Disc)、磁気−光媒体(magneto-optical media)(例：フロプティカルディスク(floptical disk))、ハードウェア装置(例：ROM、RAM又はフラッシュメモリ等)などを含むことができる。また、プログラム命令には、コンパイラ(compiler)により作られるものような機械語コードだけでなく、インタプリター(interpreter)などを用いてコンピュータによって実行できる高級言語コードを含むことができる。前述したハードウェア装置は、多様な実施例の動作を遂行するために、一つ以上のソフトウェアモジュールとして作動するように構成でき、その反対も同様である。
【００６７】
多様な実施例に係るプロセッサ又はプロセッサによる機能らは、前述した構成要素の少なくとも一つ以上を含んだり、一部が省略されたり、或いは追加的な他の構成要素をさらに含むことができる。多様な実施例に係るモジュール、プログラムモジュール又は他の構成要素により遂行される動作らは、順次的、並列的、反復的又は経験的(heuristic)な方法により実行できる。また、一部動作は他の順序で実行されたり、省略されたり、或いは他の動作が追加できる。
【００６８】
なお、説明した通り、本発明は、前述した特定の好適な実施例に限定されず、請求の範囲で請求する本発明の要旨から逸脱しない範囲内において、当該発明が属する技術分野における通常の知識を有した者であれば、誰でも多様な変形の実施が可能であり、そのような変更は請求の範囲の記載の範囲内にある。
【符号の説明】
【００６９】
１０ａ  第１の聴音補助装置
１０ｂ  第２の聴音補助装置
２０  通訳中継装置
３０  通信端末機
【図１】
2020091472.tif 000003
【図２】
2020091472.tif 000004