(57)【要約】      （修正有）【課題】迅速に通訳でき、使用に便利で、且つ正確率が高い両面表示の同時通訳装置、方法、デバイス及び電子装置を提供する。【解決手段】両面表示の同時通訳方法は、音声入力を受信するステップと、所定規則に基づいて、入力した音声を通訳するステップと、通訳した内容を出力するステップとを含む。【効果】デュアルチャネルシステムに対応する双方向音声入力方式を採用することにより、同一の時間に同一の装置を利用することができ、双方が同時に発言する時に、それぞれの言語を正確に識別して正確に通訳することができる。【選択図】図４
2018195276.tif 000002
【特許請求の範囲】
【請求項１】
音声入力を受信するステップと、所定規則に基づいて、前記入力した音声を通訳するステップと、通訳した内容を出力するステップとを含み、
ここで、マイクロホンを介して音声入力し、受信した音声アナログ信号をデジタル信号に変換し、
前記音声入力は、一方向入力と双方向入力とを含み、
所定規則に基づいて前記入力した音声を通訳するステップ前に、入力した音声の語種を判断するステップを含み、入力した音声の語種判断は、ローカル判断又はクラウド判断であり、該ローカル判断は、ローカルで入力した音声の関連特徴を分析し、関連特徴がどの語種に属するかを判断することであり、該クラウド判断は、入力した音声をクラウドサーバーにアップロードし、入力した音声の関連特徴を分析し、関連特徴がどの語種に属するかを判断することであり、
入力した音声の語種を判断しない場合に、所定語種に基づいて、入力した音声の語種を認定し、
所定規則に基づいて前記入力した音声を通訳するステップは、所定規則に基づいて、入力した音声を対応する語種に通訳するステップを含み、
前記出力は、同一の装置の2つのディスプレイでそれぞれ画像出力し、又はスピーカーにより音声出力することを含み、該画像出力は、翻訳した内容をそれぞれディスプレイで交互又は同時に表示することであり、該音声出力は、翻訳した内容をピーカーにより交互又は同時に出力することであることを特徴とする両面表示の同時通訳方法。
【請求項２】
2つのディスプレイと、2つのカメラと、2つのマイクロホンと、スピーカーと、台座とを含む両面表示の同時通訳装置であって、
前記2つのディスプレイは、タッチディスプレイであり、前記2つのディスプレイは、外殻に互いに対向設置され、各ディスプレイの上側にそれぞれ1つのカメラが設置され、前記2つのカメラも対向設置され、前記2つのマイクロホンは、各ディスプレイの下側に互いに対向設置され、前記2つのディスプレイと外殻との間に内部空間が形成され、スピーカーが該内部空間内に設置され、前記台座は、両面表示の同時通訳装置の全体を支持するように、2つのディスプレイの下に設置され、
前記両面表示の同時通訳装置は、全体として台形状であり、その上面にパイロットランプ、音量ボタン、及び電源ボタンが設置され、前記パイロットランプ、音量ボタン、及び電源ボタンは、同一直線上に位置し、前記両面表示の同時通訳装置の側面に、オーディオインターフェイス及びマイクロホンインターフェイスを外部接続するスピーカー孔が設置されていることを特徴とする両面表示の同時通訳装置。
【請求項３】
少なくとも1つのプロセッサーと
前記少なくとも1つのプロセッサーに通信接続されるメモリと、
を含み、
前記メモリに前記少なくとも1つのプロセッサーにより実行可能な命令が記憶されており、前記命令が前記少なくとも1つのプロセッサーにより実行されることにより、前記少なくとも1つのプロセッサーが請求項1に記載の方法を実行することができることを特徴とする電子装置。
【請求項４】
不揮発性コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な記憶媒体に、コンピュータ実行可能命令が記憶されており、前記コンピュータ実行可能命令が電子装置により実行される時に、前記電子装置が請求項1に記載の方法を実行することを特徴とする不揮発性コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報技術分野に関し、特に両面表示の同時通訳装置、方法、デバイス及び電子装置に関する。
【背景技術】
【０００２】
同時通訳、特に、顔を合わせる異言語間コミュニケーションについて、現在、人工通訳と機械通訳との2種類がある。人工通訳は、外国語が堪能な通訳者が第三者として、言語が異なる甲乙の話を相手の言語に通訳することである。人工通訳には、以下の欠点がある。コストが高く、随時対応サービスを提供できず、通訳者のレベル、状態等による影響があり、甲方と乙方は、自分の話を第三者である通訳者が正確に理解したかどうか、また相手に正確に通訳したかどうかを判断できず、通訳者が甲乙の話を完全に通訳しないことも、気づきにくい。
【０００３】
機械通訳は、主に携帯のAPPにより行われ、音声認識と通訳アルゴリズムにより、双方は自分の話がシステムに正確に入力されたかどうかを判断できる。音声認識が正確である場合に、通訳の結果は、通訳アルゴリズムのレベルに依存する。携帯APPで顔を合わせる同時通訳を行う時に、双方が一台の装置で通訳する場合に、交互に使用する必要があり、且つ2人が同時に話すと、システムが正確に通訳できない。二台の装置で通訳する場合に、双方が同一のAPPをダウンロードする必要があり、且つ双方ともにAPPの操作に熟練する必要がある。この方式は、ソフトウェアの使用習慣の差異があり、ダウンロードを必要とし、また、言語、ネットワーク環境、携帯操作等に制限されるため、外国人にとって非常に不便である。
【発明の概要】
【０００４】
本発明は、迅速に通訳でき、使用に便利で、且つ正確率が高い両面表示の同時通訳装置、方法、デバイス及び電子装置を提供することを解決しようとする課題とする。
【０００５】
前記問題を解決するために、本発明の技術手段は、
音声入力を受信するステップと、所定規則に基づいて、前記入力した音声を通訳するステップと、通訳した内容を出力ステップとを含み、
ここで、マイクロホンを介して音声入力し、受信した音声アナログ信号をデジタル信号に変換し、
前記音声入力は、一方向入力と双方向入力とを含み、
所定規則に基づいて前記入力した音声を通訳するステップ前に、入力した音声の語種を判断するステップを含み、入力した音声の語種判断は、ローカル判断又はクラウド判断であり、該ローカル判断は、ローカルで入力した音声の関連特徴を分析し、関連特徴がどの語種に属するかを判断することであり、該クラウド判断は、入力した音声をクラウドサーバーにアップロードし、入力した音声の関連特徴を分析し、関連特徴がどの語種に属するかを判断することであり、
入力した音声の語種を判断しない場合に、所定語種に基づいて、入力した音声の語種を認定し、
所定規則に基づいて前記入力した音声を通訳するステップは、所定規則に基づいて、入力した音声を対応する語種に通訳するステップを含み、
前記出力は、同一の装置の2つのディスプレイでそれぞれ画像出力し、又はスピーカーにより音声出力するステップを含み、該画像出力は、翻訳した内容をそれぞれディスプレイで交互又は同時に表示することであり、該音声出力は、翻訳した内容をピーカーにより交互又は同時に出力することであることを特徴とする両面表示の同時通訳方法を提供する。
【０００６】
従来技術に比べて、本発明の実施例が提供する両面表示の同時通訳方法は、デュアルチャネルシステムに対応する双方向音声入力方式を採用することにより、同一の時間に同一の装置を利用することができ、双方が同時に発言する時に、それぞれの言語を正確に識別して正確に通訳することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態が提供する両面表示の同時通訳装置の構造図である。
【図２】本発明の実施形態が提供する両面表示の同時通訳装置の別の構造図である。
【図３】本発明の実施形態が提供する両面表示の同時通訳装置の別の構造図である。
【図４】本発明の実施形態が提供する両面表示の同時通訳方法のフロー図である。
【図５】本発明の実施形態が提供する両面表示の同時通訳方法の応用例図である。
【図６】本発明の実施形態が提供する両面表示の同時通訳方法の別の応用例図である。
【図７】本発明の実施形態が提供する両面表示の同時通訳装置のブロック図である。
【図８】本発明の実施形態の電子装置の構造図である。
【発明を実施するための形態】
【０００８】
以下、本発明を分かりやすくするために、図面及び実施形態を参照しながら、本発明をさらに詳しく説明する。なお、部品が他の部品に「固定」されるとは、そのまま他の部品に位置すること、若しくは1つ又は複数の介在部品を介して他の部品に位置することをいう。部品が他の部品に「接続」されるとは、そのまま他の部品に接続されること、若しくは1つ又は複数の介在部品を介して他の部品に接続されることをいう。本明細書に用いられる用語、例えば、「垂直」、「水平」、「左」、「右」等は、本発明を説明するものに過ぎない。
【０００９】
特に定義しない限り、本明細書に用いられる技術・科学用語は、当業者が通常理解できる意味と同一である。本明細書に用いられる技術・科学用語は、本発明の具体的な実施形態を説明するものに過ぎず、本発明を制限しない。本明細書に用いられる「及び/又は」は、1つ又は複数の関連事情のいずれか1つ及びすべての組み合わせを含む。
【００１０】
図1に示すように、本発明の実施例は、両面表示の同時通訳装置を提供する。該装置は、2つのディスプレイ1と、2つのカメラ2と、2つのマイクロホン3と、スピーカー4と、台座5とを含む。そのうち、2つのディスプレイ1はタッチディスプレイであり、該2つのディスプレイ1はそれぞれ外殻（図示せず）に設けられている。各ディスプレイ1の上側にそれぞれ1つのカメラ2が設置され、該2つのカメラ2も対向設置されている。2つのマイクロホン3はそれぞれ各ディスプレイ1の下側に互いに対向設置されている。前記2つのディスプレイ1と外殻との間に内部空間が形成され、スピーカーが該内部空間内に設置されている。台座5は、両面表示の同時通訳装置の全体を支持するように、2つのディスプレイ1の下に設置されている。
【００１１】
図2、3に示すように、該両面表示の同時通訳装置は、全体として台形状であり、その上面にパイロットランプ21、音量ボタン22、及び電源ボタン23が設置され、該パイロットランプ21、音量ボタン22以及電源ボタン23は、同一直線上に位置する。
【００１２】
台形状の両面表示の同時通訳装置の側面に、スピーカー孔31、外部接続オーディオインターフェイス32、USBインターフェイス33及び、外部接続マイクロホンインターフェイス34が設置されている。
【００１３】
図4に示すように、上記の両面表示の同時通訳装置に基づいて、本発明の実施例は、両面表示の同時通訳方法をさらに提供する。該方法は、以下のステップを含む。
【００１４】
ステップ401:マイクロホンを介して音声入力を受信する。
ディスプレイの下にあるマイクロホンを介して音声入力し、受信した音声アナログ信号をデジタル信号に変換する。
前記音声入力は、一方向入力と双方向入力とを含む。一方向入力とは、1つのマイクロホンを介して一方向の音声入力を受信することをいう。双方向入力とは、2つのマイクロホンを介して双方向の音声入力を受信することをいう。
上記一方向入力、双方向入力の後、音声入力信号をデジタル信号に変換する。
【００１５】
ステップ402:所定規則に基づいて、前記入力した音声を通訳する。
ステップ402の前に、入力した音声の語種を判断するステップを含んでもよい。入力した音声の語種判断は、ローカル判断、及びクラウド判断を含む。ローカル判断は、ローカルで入力した音声の関連特徴を分析し、関連特徴がどの語種に属するかを判断することである。クラウド判断は、入力した音声をクラウドサーバーにアップロードし、入力した音声の関連特徴を分析し、関連特徴がどの語種に属するかを判断することである。
入力した音声の語種を判断しない場合に、所定語種に基づいて、入力した音声の語種を認定してもよい。例えば、所定語種が中国語であると、入力する音声の語種を中国語に認定する。
所定規則に基づいて前記入力した音声を通訳するステップは、所定規則に基づいて、入力した音声を対応する語種に通訳するステップを含む。
例えば、入力した語種が中国語で、所定規則が英語への通訳であることが識別される時、入力した中国語を英語に通訳する。
【００１６】
ステップ403:通訳した内容を出力する。
前記出力は、同一の装置の2つのディスプレイでそれぞれ画像出力し、又はスピーカーにより音声出力することを含み、画像出力は、翻訳した内容をそれぞれディスプレイで交互又は同時に表示することであり、該音声出力は、翻訳した内容をピーカーにより交互又は同時に出力する。
【００１７】
双方向独立音声入出力、及び独立ビデオ出力を例として説明する。ユーザーAのユーザー端末から入力した音声は、システムにより処理された後、クラウドで識別され、翻訳され、その後、ユーザーBに向いているディスプレイに他の言語で表示されるとともに、スピーカーで翻訳した音声が出力される。該方法は、一方向で使用してもよいが、双方向で同時に使用してもよい。双方向で同時に発言する時に、システムは同期に翻訳し、それぞれ音声とビデオを出力する。
【００１８】
又は、双方向同期の機械通訳の場合に、ユーザーAのユーザー端末から出力した音声は、システムにより処理された後、クラウドで識別され、翻訳され、その後、ユーザーBに向いているディスプレイに他の言語で表示されるとともに、スピーカーで翻訳した音声が出力される。該方法は、一方向で使用してもよいが、双方向で同時に使用してもよい。双方向で同時に発言する時に、システムは同期して翻訳し、それぞれ音声とビデオを出力する。
【００１９】
図5に示すように、両面表示の同時通訳方法において、ユーザーA、ユーザーBは、同時に両面表示の同時通訳装置に向かい、ここで、ユーザーAはAディスプレイに向かい、ユーザーBはBディスプレイに向かう。ユーザーAの言語を中国語の標準語、ユーザーBの言語を英語に設定する。ユーザーAが「我是中国人」と話し出すと、Aディスプレイの下のマイクロホンは該音声入力を受信し、判断し、入力した音声「我是中国人」の語種が中国語であり、且つ所定規則が中英翻訳であると判断した場合に、該音声「我是中国人」を英語の「I am Chinese」に翻訳し、Bディスプレイに表示するとともに、スピーカーにより「I am Chinese」の音声を出力する。この時に、AディスプレイにユーザーAが話した「我是中国人」が表示されている。
【００２０】
図6に示すように、ユーザーBが「I am American」と話し出すと、Bディスプレイの下のマイクロホンは該音声入力を受信し、判断し、入力した音声「I am American」の語種が英語であり、且つ所定規則が英中翻訳であると判断した場合に、該音声「I am American」を中国語の「我是美国人」に翻訳し、Aディスプレイでの前回入力した「我是中国人」の下に表示するとともに、スピーカーにより「我是美国人」の音声を出力する。この時に、Bディスプレイでの前回入力した「I am Chinese」の下に、ユーザーBが話した「I am American」が表示されている。
【００２１】
従来技術に比べて、本発明の実施例が提供する両面表示の同時通訳方法は、デュアルチャネルシステムに対応する双方向音声入力方式を採用することにより、同一の時間に同一の装置を利用することができ、双方が同時に発言する時に、それぞれの言語を正確に識別して正確に通訳することができる。
【００２２】
デュアルチャネルシステムにより、ビデオの差異を実現し、双方が各自界面により各自の言語、相手の翻訳言語を見ることができる。
【００２３】
図7に示すように、本発明の実施例が提供する両面表示の同時通訳装置は、第1表示モジュール、第1音声入力モジュール、第1音声出力モジュール、第1ビデオ入力モジュール、第1パネル操作モジュール、A資源管理モジュール、B資源管理モジュール、システム同期計画モジュール、第2表示モジュール、第2音声入力モジュール、第2音声出力モジュール、第2ビデオ入力モジュール、第2パネル操作モジュールを含む。
【００２４】
第1表示モジュール、第1音声入力モジュール、第1音声出力モジュール、第1ビデオ入力モジュール、第1パネル操作モジュールは、それぞれA資源管理モジュールに接続されている。
【００２５】
A資源管理モジュールは、第1表示モジュール、第1音声入力モジュール、第1音声出力モジュール、第1ビデオ入力モジュール、第1パネル操作モジュールの動作を制御する。第1表示モジュールは、通訳した内容を表示し、第1音声入力モジュールは、音声入力を行い、第1音声出力モジュールは、スピーカーから音声を出力するように制御し、第1ビデオ入力モジュールはビデオを入力し、第1パネル操作モジュールは、命令の入力を受信し、対応する命令を実行する。
【００２６】
第2表示モジュール、第2音声入力モジュール、第2音声出力モジュール、第2ビデオ入力モジュール、第2パネル操作モジュールは、それぞれB資源管理モジュールに接続されている。
【００２７】
B資源管理モジュールは、第2表示モジュール、第2音声入力モジュール、第2音声出力モジュール、第2ビデオ入力モジュール、第2パネル操作モジュールの動作を制御する。第2表示モジュールは、通訳した内容を表示し、第2音声入力モジュールは、音声入力を行い、第2音声出力モジュールは、スピーカーから音声を出力するように制御し、第2ビデオ入力モジュールは、ビデオを入力し、第2パネル操作モジュールは、命令の入力を受信し、対応する命令を実行する。
【００２８】
A資源管理モジュールは、B資源管理モジュールに接続され、A資源管理モジュールとB資源管理模は、クラウドに接続されている。
【００２９】
図8は、本発明の実施例が提供する両面表示の同時通訳方法の電子装置800のハードウェア構造模式図である。図8に示すように、該電子装置800は、1つ又は複数のプロセッサー810とメモリ820を含むが、図8に、1つのプロセッサー810のみを示す。
【００３０】
プロセッサー810とメモリ820とは、バス又は他の方式により接続されることができるが、図8に、バスにより接続される例を示す。
【００３１】
メモリ820は、不揮発性コンピュータ読み取り可能な記憶媒体として、不揮発性ソフトウェアプログラム、不揮発性コンピュータ実行可能なプログラム及びモジュール、例えば、本発明の実施例に係る両面表示の同時通訳方法に対応するプログラム命令/モジュールを記憶することができる。プロセッサー810は、メモリ820に記録されている不揮発性ソフトウェアプログラム、命令、及びモジュールを実行することにより、サーバーの各機能及びデータ処理を実行し、即ち、上記実施例に係る両面表示の同時通訳方法を実現する。
【００３２】
メモリ820は、プログラム記憶エリアとデータ記憶エリアを含んでもよい。プログラム記憶エリアは、オペレーティングシステム、少なくとも1つの機能に必要なアプリケーションを記憶することができる。データ記憶エリアは、構築されるデータなどを記憶することができる。さらに、メモリ820は、高速ランダムアクセスメモリを含んでもよく、さらに、不揮発性メモリ、例えば、少なくとも1つのディスクメモリ、フラッシュメモリ、又は他の不揮発性固体メモリを含んでもよい。いくかの実施例において、メモリ820は、プロセッサー810に対してリモート設置されるメモリを選択的に含んでもよい。このリモートメモリは、ネットワークを介して通訳装置に直接接続されることができる。上記ネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、移動体通信ネットワーク、及びそれらの組合せを含むが、この限りではない。
【００３３】
前記1つ又は複数のモジュールが前記メモリ820に記憶されており、前記1つ又は複数のプロセッサー810により実行される際に、前記任意の実施例における両面表示の同時通訳方法を実行する。
【００３４】
前記製品は、本発明の実施例が提供する方法を実行することができ、実行に対応する機能モジュール及び有益な効果を有する。本実施例に詳しく説明していない技術について、本発明の実施例に記載の方法を参照されたい。
【００３５】
本発明の実施例提は、不揮発性コンピュータ読み取り可能な記憶媒体を提供する。前記コンピュータ読み取り可能な記憶媒体に、コンピュータ実行可能命令が記憶されており、該コンピュータ実行可能命令は、1つ又は複数のプロセッサー、例えば、図8のプロセッサー810により実行されることができ、前記1つ又は複数のプロセッサーが前記任意の方法実施例における通訳方法を実行することができる。
【００３６】
以上説明した装置実施例は、模式的なものに過ぎず、そのうち、上記の分離部品として説明した部品は、又は物理的に分離するものであってもよいが、そうでなくてもよい。ユニットとして表示される部品は、物理ユニットであってもよいが、そうでなくてもよく、1つの場所に位置してもよく、又は複数のネットワークユニットに分布されてもよい。必要に応じて、一部又は全部モジュールを選択して本実施例の目的を達成することができる。
【００３７】
上記の実施形態に対する説明から、当業者であれば、各実施形態は可借助ソフトウェアと共通のハードウェアプラットフォームにより実現でき、ハードウェアプラットにより実現してもよいことが分かる。上記実施例方法の全部又は一部は、コンピュータプログラムにより関連するハードウェアを命令することで実現されることができ、前記プログラムは、コンピュータ読み取り可能な記憶媒体に記憶でき、該プログラムが実行される時に、前記各方法の実施例の流れを含んでもよいことが、当業者であれば理解できる。前記記憶媒体は、ディスク、CD、読み取り専用メモリ(Read-Only Memory, ROM)、又はランダム・アクセス・メモリ(Random Access Memory, RAM)等であることができる。
【００３８】
なお、本発明の明細書及び図面に、本発明の好ましい実施形態を示すが、本発明は、他の手段により実現されてもよく、これらの実施形態に何ら制限されない。本発明の実施形態は、本発明の内容を分かりやすくするために提供されるものである。また、前記各技術特徴は、相互に組み合わせて、以上に挙げられていない各実施形態を形成してもよく、何れも本発明の明細書の範囲に含まれる。当業者であれば、以上の説明に基づいて、上記の実施形態を変更、改良することができ、変更、改良したものは、すべて本発明の特許請求の範囲に含まれるべきである。 
【図１】
2018195276.tif 000003
【図２】
2018195276.tif 000004
【図３】
2018195276.tif 000005
【図４】
2018195276.tif 000006
【図５】
2018195276.tif 000007
【図６】
2018195276.tif 000008
【図７】
2018195276.tif 000009
【図８】
2018195276.tif 000010