(57)【要約】【課題】本発明は、異なる言語を使用する２者間のコミュニケーションを円滑に補助することができるビデオ会議装置を提供する。【解決手段】利用者の音声から音声データを取得する音声データ取得手段と、前記利用者の容姿を含む画像を示す撮像撮像データを取得する撮像画像データ取得手段と、前記音声データ取得手段により取得された前記音声データを翻訳前文字データに変換する音声認識手段と、該音声認識手段により変換された前記翻訳前文字データを翻訳後文字データに翻訳する翻訳手段と、吹き出しデータに、前記翻訳後文字データを合成し文字画像データを生成する文字画像データ生成手段と、前記撮像画像データ取得手段により取得された前記撮像画像データのうち、前記文字画像データを背景領域に合成する文字画像データ合成手段と、を備える。これにより、異なる言語を使用する２者間のコミュニケーションを円滑に補助することができる【選択図】図１
2020129708.tif 000002
【特許請求の範囲】
【請求項１】
利用者の音声から音声データを取得する音声データ取得手段と、
前記利用者の容姿を含む画像を示す撮像画像データを取得する撮像画像データ取得手段と、
前記音声データ取得手段により取得された前記音声データを翻訳前文字データに変換する音声認識手段と、
該音声認識手段により変換された前記翻訳前文字データを翻訳後文字データに翻訳する翻訳手段と、
吹き出しデータに、前記翻訳後文字データを合成し文字画像データを生成する文字画像データ生成手段と、
前記撮像画像データ取得手段により取得された前記撮像画像データのうち、前記文字画像データを背景領域に合成する文字画像データ合成手段と、を備えたビデオ会議装置。
【請求項２】
前記音声データ取得手段は、利用者のうち、話者を特定するための話者特定手段を備えた請求項１に記載のビデオ会議装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、合成された人物と文字とを含む画像を送受信することで、言語の異なる地域間のコミュニケーションを補助するためのビデオ会議装置に関する。
【背景技術】
【０００２】
従来から遠隔地同士のコミュニケーションを補助するためのビデオ会議装置は知られている。
【０００３】
例えば、特許文献１には、人物と文字とが重ならないように、人物の映像を縮小するなどにより背景領域を増やし、その背景領域に文字を配置するビデオ会議装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−０８７９０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のビデオ会議装置は、人物の映像を縮小する処理等について主眼が置かれており、文字については特に記載がない。このため遠隔地が異国の場合または方言の異なる地域の場合、会話の途中で聞き取れないまたは理解できない状況が発生し会議にならないことがあった。  
【０００６】
本発明は、言語の異なる地域間のコミュニケーションを円滑に補助することができるビデオ会議装置を提供する事を目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１に記載の発明に係るビデオ会議装置は、利用者の音声から音声データを取得する音声データ取得手段と、前記利用者の容姿を含む画像を示す撮像画像データを取得する撮像画像データ取得手段と、前記音声データ取得手段により取得された前記音声データを翻訳前文字データに変換する音声認識手段と、該音声認識手段により変換された前記翻訳前文字データを翻訳後文字データに翻訳する翻訳手段と、吹き出しデータに、前記翻訳後文字データを合成し文字画像データを生成する文字画像データ生成手段と、前記撮像画像データ取得手段により取得された前記撮像画像データのうち、前記文字画像データを背景領域に合成する文字画像データ合成手段と、を備える。
【０００８】
請求項１に記載の発明に係るビデオ会議装置において、前記音声データ取得手段は、利用者のうち、話者を特定するための話者特定手段を備える。
【発明の効果】
【０００９】
本発明によれば、言語の異なる地域間のコミュニケーションを円滑に補助することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係るビデオ会議システムのシステム構成を示すイメージ図である。
【図２】本実施形態に係るビデオ会議システムの構成を示すブロック図である。
【図３】本実施形態におけるビデオ会議装置のディスプレイに表示される映像を示す図である。
【図４】本実施形態におけるビデオ会議装置において音声が文字として変換され、撮像画像データに合成される処理を示すフロー図である。
【図５】本実施形態におけるビデオ会議装置のディスプレイに表示された開始直後の映像を示す図である。
【図６】本実施形態におけるビデオ会議装置のディスプレイに表示された会議中の映像を示す図である。
【発明を実施するための形態】
【００１１】
［実施形態］
本発明の実施形態に係るビデオ会議システムについて、図面を参照して説明する。
【００１２】
図１に示すように、ビデオ会議システムは、第１の地域Ｃ１に設置されたビデオ会議装置Ａ１と、第２の地域Ｃ２に設置されたビデオ会議装置Ａ２と、を備える。
【００１３】
ビデオ会議装置Ａ１およびビデオ会議装置Ａ２は、ディスプレイおよび図示しないスピーカーを備える。なお、スピーカーはディスプレイに内蔵されていてもよい。
【００１４】
図２は、本実施形態のビデオ会議システムの全体構成を示すブロック図である。図２に示すようにビデオ会議システムは、ビデオ会議装置Ａ１およびビデオ会議装置Ａ２を備える。なお、ビデオ会議装置Ａ２は、ビデオ会議装置Ａ１と同じ構成のため図２のブロック図および説明を省略する。このため、図２のブロック図上でビデオ会議装置Ａ２は、ブランクとなっているが、Ａ１と同じブロック図で構成されているものとする。ビデオ会議装置Ａ１は、ビデオ会議装置Ａ２とＬＡＮ２００を介して接続されている。  
【００１５】
ビデオ会議装置Ａ１は、操作部１１１と、操作処理部１１２と、ＣＰＵ１１３、ＲＡＭ１１４、ＲＯＭ１１５と、マイク１１６と、音声処理部１１７と、カメラ１１８と、撮像処理部１１９と、通信部１２０と、画像処理部１２１と、ディスプレイ１２２と、を備える。
【００１６】
操作部１１１は、ビデオ会議装置Ａ１の筐体表面側に備えられる。操作部１１１は、電源スイッチと、ビデオ会議を行うためにビデオ会議装置Ａ２を呼び出すためのスイッチと、ビデオ会議装置Ａ２からの呼び出しに応答するためのスイッチと、ビデオ会議装置Ａ１を操作するためのスイッチと、を備える。操作部１１１は利用者によって操作される。
【００１７】
操作処理部１１２は、利用者が操作部１１１を操作したときに、操作部１１１の操作位置に応じた操作データを生成し、ＣＰＵ１１３へ出力する。
【００１８】
ＣＰＵ１１３は、ＲＯＭ１１５に予め記憶された各種プログラムに基づいてデータを処理する。ＣＰＵ１１３は、操作処理部１１２から入力された操作データと、音声処理部１１７から入力された音声データと、撮像処理部１１９から入力された撮影画像データと、を各種プログラムに基づき処理し、通信部１２０および画像処理部１２１に各種処理を指令する。
【００１９】
ＲＡＭ１１４は、ＣＰＵ１１３で処理したデータを一時的に記憶する。ＲＡＭ１１４は、第１記憶領域と第２記憶領域と第３記憶領域と第４記憶領域と第５記憶領域と第６記憶領域と第７記憶領域とを備える。
【００２０】
ＲＯＭ１１５は、各種プログラム、データベース、モデル、および吹き出しフォーマットを記憶する。
【００２１】
各種プログラムは、ビデオ会議装置Ａ１の電源が投入されると読み出される基本的な処理を行うためのオペレーティングシステムプログラムと、ビデオ会議装置Ａ２を呼び出す操作を示す操作データがＣＰＵ１１３に入力されるとＣＰＵ１１３によって読み出される音声認識の処理を行うためのプログラムと、翻訳処理を行うためのプログラムと、画像処理を行うためのプログラムと、である。
【００２２】
データベースは、音声認識処理および翻訳処理に必要となる各種コーパスである。具体的に各種コーパスは、日本語と英語との間で翻訳を行う場合には、日本語音声コーパス、日本語文字コーパス、日本語辞書、英語音声コーパス、英語文字コーパス、英語辞書等である。日本語と英語以外の言語との間で翻訳を行う場合には、上記に加えて英語以外の音声コーパス、言語文字コーパス、英語以外の言語辞書等が必要となる。
【００２３】
モデルは、音声認識に使用する音響モデル、言語モデル等である。
【００２４】
マイク１１６は、ビデオ会議装置Ａ１の筐体表面側に備えられる。マイク１１６は、利用者が話した音声を拾う。
【００２５】
音声処理部１１７は、マイク１１６で拾われた音声に基づいて音声データを生成し、ＣＰＵ１１３に出力する。
【００２６】
カメラ１１８は、ビデオ会議装置Ａ１の筐体表面側に備えられる。カメラ１１８は、利用者を撮影する。
【００２７】
撮像処理部１１９は、カメラ１１８で撮影された撮像画像に基づいて撮像画像データを生成し、ＣＰＵ１１３に出力する。
【００２８】
通信部１２０は、ＣＰＵ１１３からの指令に基づき、ＲＡＭ１１４の第１記憶領域に記憶された撮像画像データおよび第２記憶領域に記憶された音声データを、ＬＡＮ２００を介してビデオ会議装置Ａ２に送信する。また、画像処理部１２１で合成された撮像画像データおよび吹き出しデータを、ＬＡＮ２００を介してビデオ会議装置Ａ２に送信する。また、ビデオ会議装置Ａ２から受信した撮像画像データと、音声データと、合成された撮像画像データおよび吹き出しデータとをＣＰＵ１１３に出力する。
【００２９】
画像処理部１２１は、ＣＰＵ１１３の指令に従いＲＡＭ１１４の第１記憶領域から撮像画像データを読み出す。またＲＡＭ１１４の第７記憶領域から配置位置データおよび吹き出しデータを読み出す。撮像画像データと吹き出しデータとを合成し、合成された撮像データと吹き出しデータとを通信部１２０に出力する。また、ＣＰＵ１１３の指令に従いビデオ会議装置Ａ２から送信された撮像画像データ、または合成された撮像データおよび吹き出しデータをディスプレイ１２２に出力する。
【００３０】
ディスプレイ１２２は、画像処理部１２１から入力された撮像画像データまたは合成された撮像画像データおよび吹き出しデータに基づいて映像を表示する。
【００３１】
図３は、ディスプレイ１２２の映像を示す。図３に示す映像には、人物を示す人物領域Ｒ１と、背景を示す背景領域Ｒ２と、文字画像領域Ｒ３と、を備える。人物を示す人物領域Ｒ１は、ビデオ会議装置Ａ２のカメラが撮像した利用者の画像を示す領域である。背景を示す背景領域Ｒ２は、ビデオ会議装置Ａ２のカメラが撮像した人物以外の背景を示す領域である。文字画像領域Ｒ３は、背景領域Ｒ２の一部に含まれ、人物領域Ｒ１には含まれない領域であり、ビデオ会議装置Ａ２のマイクが拾った音声に対応する文字が示される領域である。
【００３２】
＜本実施形態の動作および作用＞
本実施形態の動作および作用について、図4を参照して説明する。図4に示すステップＳ０１からステップＳ１３までの処理は、ＣＰＵ１１３の処理を示し、すでにビデオ会議装置Ａ１およびビデオ会議装置Ａ２が互いに通信している状態からの処理を示す。
【００３３】
撮像画像データが取得されたか否かが判断される（ステップＳ０１）。具体的には、カメラ１１８によって撮影された撮像画像に基づいて撮像処理部１１９により撮像画像データが生成される。撮像画像データが撮像処理部１１９からＣＰＵ１１３に出力され、ＲＡＭ１１４の第１記憶領域に記憶される。撮像画像データが、ＲＡＭ１１４の第１記憶領域に記憶されたか否かが判断される。撮像画像データが取得されたと判断される場合（ステップＳ０１：ＹＥＳ）、処理がステップＳ０２に進められる。撮像画像データが取得されていないと判断された場合（ステップＳ０１：ＮＯ）、ステップＳ０５に進められる。
【００３４】
撮像画像データが送信される（ステップＳ０２）。具体的には、ＲＡＭ１１４の第１領域に記憶された撮像画像データが読み出され、複製された撮像画像データが通信部１２０に出力される。複製された撮像画像データが通信部１２０からＬＡＮ２００を介してビデオ会議装置Ａ２に送信される。
【００３５】
人物領域Ｒ１が検出される（ステップＳ０３）。具体的には、ＲＡＭ１１４の第１記憶領域に記憶された撮像画像データが読み出され、既存の技術である口、目、鼻、肩などの特徴を撮像画像データから特定することで、人物領域Ｒ１が検出される。
【００３６】
口の位置が検出される（ステップＳ０４）。具体的には、ＲＡＭ１１４の第１記憶領域に記憶された撮像画像データが読み出され、撮像画像データの人物領域Ｒ１から、口の位置が検出される。
【００３７】
音声データが取得されたか否かが判断される（ステップＳ０５）。具体的には、マイク１１６で拾われた音声に基づいて、音声処理部１１７により音声データが生成される。音声データがＣＰＵ１１３に出力され、ＲＡＭ１１４の第２記憶領域に記憶される。音声データがＲＡＭ１１４の第２記憶領域に記憶されたか否かが判断される。音声データが取得されたと判断される場合（ステップＳ０５：ＹＥＳ）、処理がステップＳ０６に進められる。音声データが取得されていないと判断される場合（ステップＳ０５：ＮＯ）、ステップＳ０１の処理が繰り返される。
【００３８】
音声データが送信される（ステップＳ０６）。具体的には、ＲＡＭ１１４の第２領域に記憶された音声データが読み出され、複製された音声データが通信部１２０に出力される。複製された音声データが通信部１２０からＬＡＮ２００を介してビデオ会議装置Ａ２に送信される。
【００３９】
撮像画像データがあるか否かが判断される（ステップＳ０７）。具体的には、ＲＡＭ１１４の第１記憶領域に記憶されているか否かが判断される。撮像画像データがあると判断される場合（ステップＳ０７：ＹＥＳ）、処理がステップＳ０８に進められる。撮像画像がないと判断される場合（ステップＳ０７：ＮＯ）、ステップＳ０１の処理が繰り返される。
【００４０】
話者の位置が検出される（ステップＳ０８）。具体的には、ステップＳ０４で検出された口の位置が複数ある場合に、複数の口のうちどの人物が話者であるのかが検出される。マイク１１６により三角測量の方法で音声の発生元が特定される。撮像画像データの人物領域Ｒ１のうち、この発生元の位置データに対応する口の位置が話者として検出され、撮像画像データと話者特定データとが紐づけされてＲＡＭ１１４の第３記憶領域に記憶される。
【００４１】
音声が認識される（ステップＳ０９）。具体的には、ＲＡＭ１１４の第２記憶領域に記憶された音声データが読み出され、ＲＯＭ１１５に記憶された音声認識の処理を行うためのプログラムと、日本語等の音声コーパス等のデータベースと、音響モデルおよび言語モデル等のモデルとが、読み出される。音声データが文字データに変換され、文字データが翻訳前文字データとして、ＲＡＭ１１４の第４記憶領域に記憶される。
【００４２】
文字データが翻訳される（ステップＳ１０）。具体的には、ＲＡＭ１１４の第４記憶領域に記憶された翻訳前文字データが読み出される。ＲＯＭ１１５に記憶された翻訳処理を行うためのプログラムと、日本語音声コーパスと、日本語文字コーパスと、日本語辞書とが読み出され、操作データに関連される文字コーパスと、辞書等とが、読み出される。翻訳前文字データが示す翻訳前文字を構成する単語に対応した翻訳後の単語を示す単語データが抽出され、文法に従って並び替えて自然な句、節、文等へと変換されることにより翻訳前文字データから翻訳後文字データへ翻訳が行われ、翻訳後文字データがＲＡＭ２４の第５記憶領域に記憶される。
【００４３】
文字画像データが生成される（ステップＳ１１）。具体的には、ＲＡＭ１１４の第５記憶領域に記憶された翻訳後文字データが読み出され、ＲＯＭ１１５に予め記憶されている吹き出しフォーマットデータが読み出される。吹き出しフォーマットデータが示す吹き出しフォーマットに文字が配置され、文字画像データとして吹き出しデータが生成され、ＲＡＭ１１４の第６記憶領域に記憶される。
【００４４】
撮像画像データに対する文字画像データの配置位置が決定される（ステップＳ１２）。具体的には、ＲＡＭ１１４の第６記憶領域に記憶された吹き出しデータが読み出され、ＲＡＭ１１４の第３記憶領域に記憶された撮像画像データおよび話者特定データが読み出される。撮像画像データが示す撮像画像の話者に起点となり、さらに背景領域Ｒ２内に収まるように、吹き出しの配置位置および吹き出しサイズが決定され、配置位置データおよび吹き出しデータが紐づけされてＲＡＭ１１４の第７記憶領域に記憶される。
【００４５】
合成された撮像画像データが送信される（ステップＳ１３）。具体的には、RAM１１４の第１記憶領域に記憶された撮像画像データが読み出される。またＲＡＭ１１４の第７記憶領域に記憶された配置位置データおよび吹き出しデータが読み出される。撮像画像データおよび吹き出しデータが、配置位置データに基づいて合成され、通信部１２０に出力される。合成された撮像画像データおよび吹き出しデータが通信部１２０からＬＡＮ２００を介してビデオ会議装置Ａ２に送信される。
【００４６】
＜本実施形態の使用形態＞
次に、本実施形態の使用形態について、図５および図６を参照して説明する。本使用形態は、ビデオ会議を開始する操作が受付されてから話者の文字が表示されるまでの使用形態である。
【００４７】
ビデオ会議を行うためにビデオ会議装置Ａ２を呼び出すための操作部１１１が操作されると、ビデオ会議装置Ａ２のディスプレイに呼び出しを知らせる通知が表示される。
【００４８】
ビデオ会議装置Ａ２において、呼び出しに対する応答を示す操作部が操作されると、ビデオ会議装置Ａ１およびビデオ会議装置Ａ２がお互いに通信している状態になる。ビデオ会議装置Ａ１およびビデオ会議装置Ａ２のそれぞれのディスプレイには、相手側の画像が表示される。図５は、ビデオ会議装置Ａ２のディスプレイにビデオ会議装置Ａ１を使用する３人の利用者が表示されていることを示す。
【００４９】
ビデオ会議装置Ａ１の３人の利用者のうち1人が「Ｈｅｌｌｏ」と話すと、ビデオ会議装置Ａ２のディスプレイには、図６に示すように翻訳された「こんにちは」の吹き出しが、話した人を視覚的に理解できるように表示される。
【００５０】
＜本実施形態の効果＞
本実施形態によれば、異なる地域間、例えば、日本と海外との間でコミュニケーションを行う場合に、話者からの言葉を相手側のビデオ会議装置に翻訳された文字として表示されるとともに、その翻訳された文字が人物領域Ｒ１にかからない配置及び大きさで表示されるため相手の顔色を伺いながらコミュニケーションを行うことができる。
【００５１】
本発明の実施形態について以上説明したが、本発明の趣旨を逸脱しない範囲において、当業者であれば種々の変更を加える事ができる。
【００５２】
（変形例１）
本実施形態において、音声データ取得手段は、マイクによる三点測量にて発話者を特定する。この実施形態に代えて、四点測量など別の方法で話者を特定してもよい。
【符号の説明】
【００５３】
Ａ１・・・ビデオ会議装置
Ａ２・・・ビデオ会議装置
１１１・・操作部
１１２・・操作処理部
１１３・・ＣＰＵ
１１４・・ＲＡＭ
１１５・・ＲＯＭ
１１６・・マイク
１１７・・音声処理部
１１８・・カメラ
１１９・・撮像処理部
１２０・・通信部
１２１・・画像処理部
１２２・・ディスプレイ
２００・・ＬＡＮ
【図１】
2020129708.tif 000003
【図２】
2020129708.tif 000004
【図３】
2020129708.tif 000005
【図４】
2020129708.tif 000006
【図５】
2020129708.tif 000007
【図６】
2020129708.tif 000008