(57)【要約】【課題】発話から音声認識に至る時間を短縮する。【解決手段】翻訳システム（１０１）は、カメラ（１１）と、マイク（１２）と、翻訳処理部（３）とを備える。翻訳処理部（３）は、カメラ（１１）により撮像された、複数の人物のうちの少なくとも発話者について、当該発話者が使用する使用言語を特定するための特徴となる言語特定特徴を含む特徴画像を取得するとともに、前記言語特定特徴を抽出するように、取得された前記特徴画像を認識する画像認識処理と、抽出された前記言語特定特徴によって特定される前記使用言語を決定するとともに、翻訳すべき翻訳言語を決定する言語決定処理と、前記音声入力装置により取得される前記発話者の発話音声を決定された前記使用言語で認識する音声認識処理と、認識された前記発話音声を決定された前記翻訳言語で翻訳する翻訳処理と、を実行する。【選択図】図１
2019191339.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの撮像装置と、少なくとも１つの音声入力装置と、少なくとも１つの制御装置とを備える電子機器であって、
前記制御装置は、
前記撮像装置により撮像された、複数の人物のうちの少なくとも発話者について、当該発話者が使用する使用言語を特定するための特徴となる言語特定特徴を含む特徴画像を取得するとともに、前記言語特定特徴を抽出するように、取得された前記特徴画像を認識する画像認識処理と、
抽出された前記言語特定特徴によって特定される前記使用言語を決定するとともに、翻訳すべき翻訳言語を決定する言語決定処理と、
前記音声入力装置により取得される前記発話者の発話音声を決定された前記使用言語で認識する音声認識処理と、
認識された前記発話音声を決定された前記翻訳言語で翻訳する翻訳処理と、を実行することを特徴とする電子機器。
【請求項２】
前記特徴画像は、前記発話者のみの顔画像を含んでおり、
前記制御装置は、
前記画像認識処理において、前記顔画像の特徴を前記言語特定特徴として抽出し、当該言語特定特徴を予め登録されている前記人物の登録顔画像と照合することにより前記発話者を同定し、
前記言語決定処理において、予め対応付けられた前記発話者と前記使用言語との関係を参照して、同定された前記人物の前記使用言語を決定することを特徴とする請求項１に記載の電子機器。
【請求項３】
前記制御装置は、
前記画像認識処理において、撮像された複数の前記人物の前記特徴画像から口の動きを検出した前記人物を前記発話者として特定することを特徴とする請求項１に記載の電子機器。
【請求項４】
前記制御装置は、前記画像認識処理において、撮像された複数の前記人物の前記特徴画像から発話に伴う特有の姿勢を検出した前記人物を前記発話者として特定することを特徴とする請求項１に記載の電子機器。
【請求項５】
前記人物は、各人物が使用する前記使用言語を特定する言語情報を前記言語特定特徴として記した言語情報記録物をそれぞれ装着しており、
前記制御装置は、前記画像認識処理において、前記撮像装置が前記発話者となる前記人物の前記言語情報記録物を含むように撮像することによって前記特徴画像として取得された前記言語情報記録物の画像から前記言語情報を抽出することを特徴とする請求項１に記載の電子機器。
【請求項６】
請求項１から５のいずれか１項に記載の電子機器としてコンピュータを機能させるための制御プログラムであって、前記制御装置としてコンピュータを機能させるための制御プログラム。
【請求項７】
少なくとも１つの撮像装置と、少なくとも１つの音声入力装置と、少なくとも１つの制御装置とを備える電子機器を制御する制御方法であって、
前記撮像装置により撮像された、複数の人物のうちの少なくとも発話者について、当該発話者が使用する使用言語を特定するための特徴となる言語特定特徴を含む特徴画像を取得するとともに、前記言語特定特徴を抽出するように、取得された前記特徴画像を認識する画像認識工程と、
抽出された前記言語特定特徴によって特定される前記使用言語を決定するとともに、翻訳すべき翻訳言語を決定する言語決定工程と、
前記音声入力装置により取得される前記発話者の発話音声を決定された前記使用言語で認識する音声認識工程と、
認識された前記発話音声を決定された前記翻訳言語で翻訳する翻訳工程と、を含んでいることを特徴とする制御方法。
【請求項８】
少なくとも１つの撮像装置と、少なくとも１つの音声入力装置とを備える電子機器を制御する制御装置であって、
前記撮像装置により撮像された、複数の人物のうちの少なくとも発話者について、当該発話者が使用する使用言語を特定するための特徴となる言語特定特徴を含む特徴画像を取得するとともに、前記言語特定特徴を抽出するように、取得された前記特徴画像を認識する画像認識部と、
抽出された前記言語特定特徴によって特定される前記使用言語を決定するとともに、翻訳すべき翻訳言語を決定する言語決定部と、
前記音声入力装置により取得される前記発話者の発話音声を決定された前記使用言語で認識する音声認識部と、
認識された前記発話音声を決定された前記翻訳言語で翻訳する翻訳部と、を備えていることを特徴とする制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発話者が使用する言語を決定して翻訳を行う電子機器に関する。
【背景技術】
【０００２】
会議などにおいて、複数の参加者の会話を翻訳する装置においては、発話者が使用する言語を特定して、発話者の発話内容を特定された言語から指定された言語に翻訳するという処理を行う。
【０００３】
例えば、特許文献１には、各発話者の音声を分析して発話者を同定し、各音声を分析して発話された言語を判定し、判定した言語で発話音声の音声認識を行って翻訳する翻訳装置が開示されている。この翻訳装置では、発話者と発話者が使用する言語との対応関係が予め記録されており、この対応関係に基づいて、同定した発話者の音声をどの言語で認識して、どの言語に翻訳するかを決定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３２２５２３号公報（２００７年１２月１３日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した装置では、音声の入力から発話者の使用言語での音声認識に至るまでに、基本的に、発話者同定、発話言語判定および音声認識という３つのステップが必要となる。このため、発話から翻訳までに時間がかかり、円滑な翻訳を困難にするという不都合が生じる。
【０００６】
本発明の一態様は、発話から音声認識に至る時間を短縮することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の一態様に係る電子機器は、少なくとも１つの撮像装置と、少なくとも１つの音声入力装置と、少なくとも１つの制御装置とを備える電子機器であって、前記制御装置が、前記撮像装置により撮像された、複数の人物のうちの少なくとも発話者について、当該発話者が使用する使用言語を特定するための特徴となる言語特定特徴を含む特徴画像を取得するとともに、前記言語特定特徴を抽出するように、取得された前記特徴画像を認識する画像認識処理と、抽出された前記言語特定特徴によって特定される前記使用言語を決定するとともに、翻訳すべき翻訳言語を決定する言語決定処理と、前記音声入力装置により取得される前記発話者の発話音声を決定された前記使用言語で認識する音声認識処理と、認識された前記発話音声を決定された前記翻訳言語で翻訳する翻訳処理とを実行する。
【発明の効果】
【０００８】
本発明の一態様によれば、発話から音声認識に至る時間を短縮することができるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態１〜３に係る翻訳システムの構成を示すブロック図である。
【図２】上記翻訳システムの記憶部に格納される個人情報データベースの構成を示す図である。
【図３】上記翻訳システムの翻訳言語を決定するまでの処理手順を示すフローチャートである。
【図４】本発明の実施形態２に係る翻訳システムの翻訳言語を決定するまでの処理手順を示すフローチャートである。
【図５】実施形態２に係る翻訳システムの話者特定の処理手順を示すフローチャートである。
【図６】上記話者特定のために用いる顔の部位の検出を示す図である。
【図７】本発明の実施形態３に係る翻訳システムの話者特定の処理手順を示すフローチャートである。
【図８】上記話者特定のために用いる体の部位の位置の特定を示す図である。
【図９】本発明の実施形態４に係る翻訳システムの構成を示すブロック図である。
【図１０】図９に示す翻訳システムによる発話者に装着された二次元コードを読み取る状態を示す図である。
【図１１】図９に示す翻訳システムの翻訳言語を決定するまでの処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１０】
〔実施形態１〕
本発明の実施形態１について図１〜図３に基づいて説明すれば、以下のとおりである。
【００１１】
図１は、本実施形態に係る翻訳システム１０１の構成を示すブロック図である。図２は、翻訳システム１０１の記憶部２に格納される個人情報データベースの構成を示す図である。
【００１２】
図１に示すように、翻訳システム１０１（電子機器）は、入力装置１と、記憶部２と、翻訳処理部３（制御装置）と、出力装置４とを備えている。翻訳システム１０１は、スマートグラスのような装着型装置、ロボット型の装置、スマートフォンのようなモバイル機器などとして構成される。
【００１３】
入力装置１は、カメラ１１（撮像装置）と、マイク１２（音声入力装置）とを有している。
【００１４】
カメラ１１は、デジタルカメラ、ビデオガメラなどの撮像機能を有する装置である。カメラ１１は、撮像した画像（画像データ）を出力する。本実施形態において、カメラ１１は、翻訳システム１０１が装着型装置である場合、翻訳システム１０１を装着している利用者の顔面が向いた方向の画像を撮像する。したがって、利用者は、原則的に、会話に参加している参加者（人物）のうち、発話している発話者に注目するように、当該発話者に顔面を向けるものとする。カメラ１１によって撮像された発話者の画像は、発話者の顔画像を含んでいる。
【００１５】
マイク１２は、各参加者の発話音声を取得できるように配置されている。具体的には、本実施形態において、マイク１２は、画像を取得する翻訳システム１０１が装着型装置である場合、その集音部がカメラ１１の撮像部が向く方向と同じ方向に向くように配置されている。したがって、利用者が発話者に顔面を向けると、マイク１２の集音部が発話者に向く。
【００１６】
記憶部２は、参加者の個人情報を登録した個人情報データベースＰＤＢを格納するように、各種の記憶装置によって構成されている。図２に示すように、個人情報データベースＰＤＢは、参加者の個々に付与されたＩＤ、参加者の氏名、参加者の顔写真（登録顔画像）および参加者の使用言語が対応付けられて構築されている。
【００１７】
ＩＤは、例えば１以上の自然数で定められており、ＩＤの筆頭番号“１”は装置の利用者に付与される。顔写真は、例えばＪＰＥＧ形式のデータとして用意されている。使用言語は、参加者が会話において使用する言語であって、通常は母国語であるが、母国語以外の言語であってもよい。また、使用言語から翻訳される翻訳言語は、利用者の使用言語に設定されている。
【００１８】
発話者の顔画像は、顔写真と同一人物の顔を表していることが特定されると、顔写真に対応する使用言語と関連付けられる。これにより、当該顔画像は、発話者が使用する使用言語を特定するための言語特定特徴を顔の特徴として含んでいる特徴画像として扱うことができる。
【００１９】
翻訳処理部３は、カメラ１１が撮像した参加者の画像に基づいて、個人情報データベースＰＤＢを参照して発話者の使用言語および翻訳言語を決定し、マイク１２から入力される発話者の音声を認識し、決定した使用言語で翻訳言語に翻訳して出力する処理を行う。翻訳処理部３は、翻訳処理を行うために、画像認識部３１と、言語決定部３２と、音声認識部３３と、翻訳部３４と、音声出力制御部３５と、表示制御部３６とを有している。
【００２０】
画像認識部３１は、カメラ１１から出力された発話者の画像を所定のアルゴリズムにしたがって解析することにより、発話者の顔の特徴情報（顔特徴情報）を抽出する。また、画像認識部３１は、抽出した顔特徴情報を個人情報データベースＰＤＢに登録されている顔写真と符合する人物を特定する。
【００２１】
言語決定部３２は、画像認識部３１によって特定された人物についての使用言語の情報と、翻訳言語の情報とを個人情報データベースＰＤＢから取得して、当該情報により使用言語および翻訳言語を決定する。
【００２２】
音声認識部３３は、言語決定部３２によって決定された使用言語で、マイク１２から出力される音声データをテキストデータに変換する。
【００２３】
翻訳部３４は、音声認識部３３から出力されるテキストデータを、言語決定部３２によって決定された翻訳言語のテキストデータに翻訳する。
【００２４】
音声出力制御部３５は、翻訳部３４によって翻訳されたテキストデータを音声データに変換するとともに、音声データに基づいた音声を出力するように後述するスピーカー４１を制御する。
【００２５】
表示制御部３６は、翻訳部３４によって翻訳されたテキストデータを表示データに変換するとともに、表示データに基づいた翻訳画像を出力するように後述するディスプレイ４２を制御する。翻訳画像は、翻訳された発話内容の文章として含んでいる。
【００２６】
出力装置４は、翻訳部３４による翻訳結果を出力する装置であり、スピーカー４１と、ディスプレイ４２とを有している。
【００２７】
スピーカー４１は、音声出力制御部３５に制御されることによって、翻訳された発話内容を音声として出力する。
【００２８】
ディスプレイ４２は、表示制御部３６に制御されることによって、翻訳された発話内容を文章として表示する。
【００２９】
続いて、上記のように構成される翻訳システム１０１の翻訳言語を決定するまでの動作について説明する。
【００３０】
図３は、翻訳システム１０１の翻訳言語を決定するまでの処理手順を示すフローチャートである。
【００３１】
図３に示すように、まず、カメラ１１が発話者の画像を撮像すると、画像認識部３１は、カメラ１１から出力される画像（顔画像）に基づいて人物を認識する（ステップＳ１００，画像認識工程，画像認識処理）。画像認識部３１は、言語特定特徴としての顔の特徴を一般的な顔認識アルゴリズムを利用して抽出することにより人物を認識する。顔認識アルゴリズムとしては、主成分分析を用いた固有顔、線形判別分析、弾性バンチグラフマッチング、隠れマルコフモデル、ニューロン動機づけによるダイナミックリンク照合などが挙げられる。
【００３２】
画像認識部３１は、認識した人物の顔の特徴に基づいて、当該人物が個人情報データベースＰＤＢに登録されている参加者であるか否かを判定する（ステップＳ１０１）。画像認識部３１は、ステップＳ１０１において、認識した人物の顔の特徴を、個人情報データベースＰＤＢに登録されている参加者の顔写真から把握される顔の特徴と照合して、一致するか否かを判定する。
【００３３】
画像認識部３１がステップＳ１０１において認識した人物が個人情報データベースＰＤＢに登録されていると判定すると（ＹＥＳ）、言語決定部３２は、当該人物に基づいて当該人物の使用言語を決定する（ステップＳ１０２，言語決定工程，言語決定処理）。そして、言語決定部３２は、個人情報データベースＰＤＢから翻訳言語を決定するための情報（例えば利用者の使用言語）を取得して、翻訳言語を決定する（ステップＳ１０３，言語決定工程，言語決定処理）。
【００３４】
ステップＳ１０２において、画像認識部３１は、認識された人物の顔の特徴と一致する顔写真に該当する参加者のＩＤを、個人情報データベースＰＤＢから取得して、当該人物を特定する情報として言語決定部３２に与える。言語決定部３２は、個人情報データベースＰＤＢから上記のＩＤに対応する人物の使用言語の情報（使用言語の名称等）を取得して、その情報により発話者の使用言語を決定する。
【００３５】
また、画像認識部３１は、ステップＳ１０１において、認識した人物が個人情報データベースＰＤＢに登録されていないと判定すると（ＮＯ）、当該人物の個人情報を個人情報データベースＰＤＢに登録する（ステップＳ１０４）。画像認識部３１は、カメラ１１から取得した登録する人物の顔画像を顔写真として個人情報データベースＰＤＢに登録する。また、画像認識部３１は、当該人物についての氏名および使用言語について利用者に入力を促し、入力された氏名および使用言語を顔写真およびＩＤと対応付けて登録する。これにより、個人情報データベースＰＤＢにおいては、上記の人物の個人情報がＩＤと関連付けられた状態で登録される。その後、処理はステップＳ１０１に戻る。
【００３６】
使用言語および翻訳言語が決定された後は、図３には示さないが、マイク１２が発話者の音声データを取得し、音声認識部３３が、取得された音声データを使用言語で認識してテキストデータに変換する（音声認識工程，音声認識処理）。そして、翻訳部３４は、変換されたテキストデータを翻訳言語のテキストデータに翻訳する（翻訳工程，翻訳処理）。
【００３７】
以上のように、本実施形態に係る翻訳システム１０１は、カメラ１１が撮像する発話者の顔画像（特徴画像）に基づいて発話者の使用言語および発話内容を翻訳する翻訳言語を決定する翻訳処理部３を備えている。また、記憶部２に設けられた個人情報データベースＰＤＢにおいて、参加者の顔写真と使用言語とが対応付けられている。撮像された顔画像は、個人情報データベースＰＤＢに登録された顔写真と特徴が一致すれば、使用言語を特定するための特徴を含んでいるといえる。
【００３８】
画像認識部３１は、カメラ１１から取得される発話者の顔画像を、個人情報データベースＰＤＢに登録されている顔写真と対比することで発話者を同定する。言語決定部３２は、個人情報データベースＰＤＢにおいて予め対応付けられた発話者と使用言語との関係を参照して、同定された人物の使用言語を決定する。
【００３９】
このように、発話者の顔画像によって使用言語と特定することが可能になる。また、言語決定部３２は、発話者が参加者の人物に該当すると画像認識部３１によって認識された結果に基づいて、個人情報データベースＰＤＢから翻訳言語に関する情報を取得して翻訳言語を決定する。
【００４０】
これにより、発話者が発話する前に、発話者の画像に基づいて発話者の使用言語を決定するとともに、翻訳言語を決定することができる。それゆえ、発話から速やかに音声認識を行って翻訳処理に移行することができる。したがって、発話から音声認識に至る時間を短縮することができる。よって、翻訳を円滑に行うことができる。
【００４１】
なお、本実施形態において、翻訳システム１０１の翻訳処理部３は、音声出力制御部３５および表示制御部３６を有しているが、音声出力制御部３５および表示制御部３６を有していなくてもよい。翻訳結果を出力するための各種の制御部については、拡張機能として翻訳処理部３に別途付加されるようにしてもよい。
【００４２】
〔実施形態２〕
本発明の実施形態２について、図１、図４、図５および図６に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を省略する。
【００４３】
図１に示すように、本実施形態に係る翻訳システム１０２（電子機器）も、上述の翻訳システム１０１と同じく、入力装置１と、記憶部２と、翻訳処理部３と、出力装置４とを備えている。
【００４４】
翻訳システム１０２では、カメラ１１が複数の参加者を撮像するように構成されている。このため、画像認識部３１は、カメラ１１から出力される複数の参加者の顔画像に基づいて、各参加者の顔を認識するとともに、口の動きを検出することにより、発話している人物を特定する。
【００４５】
ここで、翻訳システム１０２の翻訳動作および話者決定の動作について説明する。
【００４６】
図４は、翻訳システム１０２の翻訳言語を決定するまでの処理手順を示すフローチャートである。図５は、翻訳システム１０２の話者特定の処理手順を示すフローチャートである。図６は、話者特定のために用いる顔の部位の検出を示す図である。
【００４７】
図４に示すステップＳ１００〜Ｓ１０４の各処理は、実施形態１において図３に示す翻訳システム１０１によるステップＳ１００〜Ｓ１０４の各処理と同じである。翻訳システム１０２では、ステップＳ１００とステップＳ１０１との間に、発話者特定の処理（ステップＳ２００）がサブルーチンの処理として追加される。
【００４８】
図５に示すように、発話者特定の処理において、まず、画像認識部３１は、カメラ１１から取得された画像より複数の人物の顔画像を検出したか否かを判定する（ステップＳ２０１）。画像認識部３１は、ステップＳ２０１において、複数の人物の顔画像を検出したと判定すると（ＹＥＳ）、各顔画像から顔における特徴部位を検出し、検出した各特徴部位から口の位置を特定する（ステップＳ２０２）。
【００４９】
画像認識部３１は、口の位置の特定において、図６に示すように、公知のアルゴリズムにしたがって、認識した顔における、輪郭、眉、目、鼻および口の各部位の特徴量を学習することにより、入力される顔画像より各部位の座標位置を検出する。
【００５０】
さらに、画像認識部３１は、口の動いている人物を発話者として特定して（ステップＳ２０３）、図４に示すメインルーチンに処理を戻す。画像認識部３１は、口の動きの検出において、連続的に入力される顔画像における各部位の座標位置の変化を監視している。そして、画像認識部３１は、喋っているときの口の座標位置の動きの変化についての学習データを参照することにより、口の座標位置の変化が喋っているときの口の動きを表していると判断すると、喋っている人物の顔画像を特定する。
【００５１】
また、画像認識部３１は、ステップＳ２０１において、複数の人物の顔画像を検出しなかったと判定すると（ＮＯ）、メインルーチンに処理を戻す。
【００５２】
このように、本実施形態に係る翻訳システム１０２において、画像認識部３１は、複数の人物の顔画像を検出し、検出した顔画像の特徴部位から特定した口の位置に基づいて、口の動いている人物を発話者として特定する。
【００５３】
これにより、カメラ１１からの画像に複数の参加者の顔画像が含まれていても、口の動きから発話者を特定することができる。それゆえ、即座に発話者を特定することができる。したがって、発話者の使用言語を遅滞なく決定することができる。
【００５４】
なお、本実施形態において、翻訳言語は、実施形態１のように利用者の使用言語に限定される必要はない。例えば、カメラ１１に撮像され、画像認識部３１によって認識された全ての参加者の使用言語を翻訳言語として設定してもよい。これにより、撮像された参加者の全てに対して発話者の発話内容が翻訳される。このような翻訳言語の設定は、後述する実施形態３にも適用される。
【００５５】
〔実施形態３〕
本発明の実施形態３について、図１、図４、図７および図８に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、実施形態１および２にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を省略する。
【００５６】
図１に示すように、本実施形態に係る翻訳システム１０３（電子機器）も、上述の翻訳システム１０１と同じく、入力装置１と、記憶部２と、翻訳処理部３と、出力装置４とを備えている。
【００５７】
翻訳システム１０３では、カメラ１１が複数の参加者を撮像するように構成されている。このため、画像認識部３１は、カメラ１１から出力される複数の参加者の画像に基づいて、各参加者の顔を含む体（全身または上半身などの一部）を認識する。また、画像認識部３１は、各参加者の体における各部の位置を特定することにより、身振り手振りをしている人物を発話者として特定する。
【００５８】
ここで、翻訳システム１０３の翻訳動作および話者決定の動作について説明する。
【００５９】
図７は、翻訳システム１０３の翻訳言語を決定するまでの処理手順を示すフローチャートである。図８は、話者特定のために用いる体の部位の位置の特定を示す図である。
【００６０】
図４に示すステップＳ１００〜Ｓ１０４の各処理は、実施形態１において図３に示す翻訳システム１０１によるステップＳ１００〜Ｓ１０４の各処理と同じである。翻訳システム１０３では、ステップＳ１００とステップＳ１０１との間に、発話者特定の処理（ステップＳ３００）がサブルーチンの処理として追加される。
【００６１】
図７に示すように、発話者特定の処理において、まず、画像認識部３１は、カメラ１１からの画像より複数の人物の画像を検出したか否かを判定する（ステップＳ３０１）。画像認識部３１は、ステップＳ３０１において、複数の人物の画像を検出したと判定すると（ＹＥＳ）、各人物の画像から体の各部位を検出し、検出した部位から腕の位置を特定する（ステップＳ３０２）。
【００６２】
画像認識部３１は、腕の位置の特定において、図８に示すように、公知の姿勢推定アルゴリズムにしたがって、様々な人の姿勢を学習した姿勢学習データを参照して、認識した各人物の体における各部の位置を特定することにより、腕の座標位置を検出する。
【００６３】
そして、画像認識部３１は、挙手などによって腕を上げた人物を発話者として特定して（ステップＳ３０３）、図４に示すメインルーチンに処理を戻す。画像認識部３１は、腕の位置の特定において、連続的に入力される画像における腕の座標位置の変化を監視している。そして、画像認識部３１は、腕が上がっている状態の肘や手の位置関係を含む姿勢学習データを参照することにより、腕が上がっていると判断すると、腕を上げた人物の画像を特定する。
【００６４】
また、画像認識部３１は、ステップＳ３０１において、複数の人物の顔画像を検出しなかったと判定すると（ＮＯ）、メインルーチンに処理を戻す。
【００６５】
このように、本実施形態に係る翻訳システム１０３において、画像認識部３１は、複数の人物の画像を検出し、検出した画像の特徴部位から特定した腕の位置に基づいて、腕の位置が上がっている人物を発話者として特定する。
【００６６】
これにより、カメラ１１からの画像に複数の参加者の顔画像が含まれていても、腕の位置から発話者を特定することができる。それゆえ、即座に発話者を特定することができる。したがって、発話者の使用言語を遅滞なく決定することができる。
【００６７】
なお、本実施形態では、発話に伴う特有の姿勢として、腕を上げた姿勢を挙げているがこれには限定されない。例えば、発話に伴う特有の姿勢としては、手を動かす動作などであってもよい。
【００６８】
〔実施形態４〕
本発明の実施形態４について、図９〜図１１に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を省略する。
【００６９】
上述した実施形態１〜３では、参加者の画像に基づいて使用言語を決定することについて説明した。これに対し、本実施形態では、参加者が装着するプレートなどに記録されたカメラ１１によって読み取り可能な情報に基づいて使用言語を決定することについて説明する。
【００７０】
図９は、本実施形態に係る翻訳システム１０４の構成を示すブロック図である。
【００７１】
図９に示すように、本実施形態に係る翻訳システム１０４も、上述の翻訳システム１０１と同じく、入力装置１を備えている。また、翻訳システム１０４は、翻訳処理部３Ａを備えている。
【００７２】
翻訳処理部３Ａは、実施形態１における翻訳処理部３と同じく、言語決定部３２と、音声認識部３３と、翻訳部３４とを有している。また、翻訳処理部３Ａは、画像認識部３１Ａを有している。なお、翻訳処理部３Ａは、翻訳処理部３と異なり、音声出力制御部３５および表示制御部３６を有していないが、これらを有していてもよい。
【００７３】
本実施形態において、カメラ１１の撮像対象となるのは、参加者に装着されたプレートであるので、少なくともプレートを含むように参加者が撮像されてもよい。プレートには、プレートを装着した参加者の使用言語および翻訳言語を特定するための言語情報（言語特定特徴）として、それぞれの言語名称がカメラ１１によって読み取りが可能な形態で記録されている。その記録形態としては、例えばＱＲコード（登録商標）のような二次元コードが挙げられる。
【００７４】
画像認識部３１Ａは、カメラ１１からのプレートを含む画像（特徴画像）に含まれる言語情報を表した部分を認識することによって、言語情報を抽出する。
【００７５】
ここで、翻訳システム１０４の翻訳言語を決定するまでの動作について説明する。
【００７６】
図１０は、翻訳システム１０４による発話者に装着された二次元コードを読み取る状態を示す図である。図１１は、翻訳システム１０４の翻訳言語を決定するまでの処理手順を示すフローチャートである。
【００７７】
まず、図１０に示すように、各参加者は、二次元コードが印刷されたプレート５００（言語情報記録物）を装着している。この二次元コードには、少なくとも参加者の使用言語と、発話内容を翻訳すべき翻訳言語とが、言語特定特徴として含まれている。また、翻訳システム１０４は、スマートグラスとして構成されている。これにより、翻訳システム１０４を装着した利用者が参加者のプレート５００に顔を向けることによって、カメラ１１がプレート５００を含む画像を撮像する。
【００７８】
図１１に示すように、まず、カメラ１１が発話者の画像を撮像すると、画像認識部３１Ａは、カメラ１１から出力される画像に基づき、二次元コードを読み取って（認識して）、（ステップＳ４００）、二次元コードより言語情報を取得する（ステップＳ４０１）。
【００７９】
言語決定部３２は、画像認識部３１Ａから与えられた言語情報に基づいて、使用言語および翻訳言語を決定する（ステップＳ４０２）。
【００８０】
このように、本実施形態に係る翻訳システム１０４は、画像認識部３１Ａを備えている。画像認識部３１Ａは、参加者のプレート５００に記録された言語情報を解析して、言語情報を取得する。
【００８１】
これにより、実施形態１〜３の翻訳システム１０１〜１０３のように、個人情報データベースＰＤＢを参照することなく、カメラ１１によって取得された画像から言語情報を直接得ることができる。それゆえ、個人情報データベースＰＤＢおよび個人情報データベースＰＤＢを保存するための記憶部２を必要とすることがない。
【００８２】
なお、本実施形態では、言語情報を記した言語情報記録物としてプレート５００を挙げた。しかしながら、言語情報記録物は、これに限定されず、言語情報を印刷などの手段によって記すことが可能な衣服（Ｔシャツ等）、帽子、プラカードなどであってもよい。
【００８３】
また、言語情報としては、二次元コード以外に、文字で記した言語名称であってもよい。言語情報が言語名称である場合、画像認識部３１は、カメラ１１によって撮像された画像から文字を認識するＯＣＲ（Optical Character Reader）の機能を有しており、文字を認識することで、言語名称を取得してもよい。
【００８４】
〔ソフトウェアによる実現例〕
翻訳システム１０１〜１０４の制御ブロック（特に翻訳処理部３，３Ａ）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【００８５】
後者の場合、翻訳システム１０１〜１０４は、各機能を実現するソフトウェアである制御プログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサを備えているとともに、制御方法の処理手順を記述した制御プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。
【００８６】
上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、制御プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、制御プログラムは、該制御プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００８７】
〔まとめ〕
本発明の態様１に係る電子機器は、少なくとも１つの撮像装置（カメラ１１）と、少なくとも１つの音声入力装置（マイク１２）と、少なくとも１つの制御装置（翻訳処理部）とを備える電子機器であって、前記制御装置が、前記撮像装置により撮像された、複数の人物のうちの少なくとも発話者について、当該発話者が使用する使用言語を特定するための特徴となる言語特定特徴を含む特徴画像を取得するとともに、前記言語特定特徴を抽出するように、取得された前記特徴画像を認識する画像認識処理と、抽出された前記言語特定特徴によって特定される前記使用言語を決定するとともに、翻訳すべき翻訳言語を決定する言語決定処理と、前記音声入力装置により取得される前記発話者の発話音声を決定された前記使用言語で認識する音声認識処理と、認識された前記発話音声を決定された前記翻訳言語で翻訳する翻訳処理とを実行する。
【００８８】
上記の構成によれば、発話者を撮像することによって取得された特徴画像に基づいて発話者の使用言語が決定される。これにより、発話者が発話する前に使用言語を決定することが可能になる。それゆえ、発話から音声認識に至る処理時間を短縮して、翻訳結果の出力を早めることができる。
【００８９】
本発明の態様２に係る電子機器は、上記態様１において、前記特徴画像が、前記発話者のみの顔画像を含んでおり、前記制御装置が、前記画像認識処理において、前記顔画像の特徴を前記言語特定特徴として抽出し、当該言語特定特徴を予め登録されている前記人物の登録顔画像と照合することにより前記発話者を同定し、前記言語決定処理において、予め対応付けられた前記発話者と前記使用言語との関係を参照して、同定された前記人物の前記使用言語を決定してもよい。
【００９０】
上記の構成によれば、発話者の顔画像の特徴が言語特定特徴として抽出されるので、発話者の顔画像の特徴から発話者の使用言語を特定することができる。
【００９１】
本発明の態様３に係る電子機器は、上記態様１において、前記制御装置が、前記画像認識処理において、撮像された複数の前記人物の前記特徴画像から口の動きを検出した前記人物を前記発話者として特定してもよい。
【００９２】
上記の構成によれば、特徴画像から発話に特徴的な口の動きを検出された人物が発話者として特定されるので、複数の人物が撮像された場合でも、即座に発話者を特定することができる。これにより、発話者の使用言語を遅滞なく決定することができる。
【００９３】
本発明の態様４に係る電子機器は、上記態様１において、前記制御装置が、前記画像認識処理において、撮像された複数の前記人物の前記特徴画像から発話に伴う特有の姿勢を検出した前記人物を前記発話者として特定してもよい。
【００９４】
上記の構成によれば、発話に伴う特有の姿勢、例えば挙手や身振り手振りを検出された人物が発話者として特定されるので、複数の人物が撮像された場合でも、即座に発話者を特定することができる。これにより、発話者の使用言語を遅滞なく決定することができる。
【００９５】
本発明の態様５に係る電子機器は、上記態様１において、前記人物が、各人物が使用する前記使用言語を特定する言語情報を前記言語特定特徴として記した言語情報記録物（プレート５００）をそれぞれ装着しており、前記制御装置が、前記画像認識処理において、前記撮像装置が前記発話者となる前記人物の前記言語情報記録物を含むように撮像することによって前記特徴画像として取得された前記言語情報記録物の画像から前記言語情報を抽出してもよい。
【００９６】
上記の構成によれば、画像認識処理において取得された言語情報記録物の画像から抽出された言語情報によって使用言語が決定される。これにより、各人物と使用言語とを対応付ける個人情報などを必要としない。
【００９７】
本発明の各態様に係る電子機器は、コンピュータによって実現してもよく、この場合には、コンピュータを上記電子機器が備える制御装置（ソフトウェア要素）として動作させることにより上記電子機器をコンピュータにて実現させる制御プログラムも、本発明の範疇に入る。
【００９８】
本発明の態様６に係る制御方法は、少なくとも１つの撮像装置（カメラ１１）と、少なくとも１つの音声入力装置（マイク１２）と、少なくとも１つの制御装置（翻訳処理部）とを備える電子機器（翻訳システム１０１〜１０３）の制御方法であって、前記撮像装置により撮像された、複数の人物のうちの少なくとも発話者について、当該発話者が使用する使用言語を特定するための特徴となる言語特定特徴を含む特徴画像を取得するとともに、前記言語特定特徴を抽出するように、取得された前記特徴画像を認識する画像認識工程と、抽出された前記言語特定特徴によって特定される前記使用言語を決定するとともに、翻訳すべき翻訳言語を決定する言語決定工程と、前記音声入力装置により取得される前記発話者の発話音声を決定された前記使用言語で認識する音声認識工程と、認識された前記発話音声を決定された前記翻訳言語で翻訳する翻訳工程と、を含んでいる。
【００９９】
上記の方法によれば、発話者を撮像することによって取得された特徴画像に基づいて発話者の使用言語が決定される。これにより、発話者が発話する前に使用言語を決定することが可能になる。それゆえ、発話から音声認識に至る処理時間を短縮して、翻訳結果の出力を早めることができる。
【０１００】
本発明の態様７に係る制御装置は、少なくとも１つの撮像装置（カメラ１１）と、少なくとも１つの音声入力装置（マイク１２）とを備える電子機器を制御する制御装置であって、前記撮像装置により撮像された、複数の人物のうちの少なくとも発話者について、当該発話者が使用する使用言語を特定するための特徴となる言語特定特徴を含む特徴画像を取得するとともに、前記言語特定特徴を抽出するように、取得された前記特徴画像を認識する画像認識部３１と、抽出された前記言語特定特徴によって特定される前記使用言語を決定するとともに、翻訳すべき翻訳言語を決定する言語決定部３２と、前記音声入力装置により取得される前記発話者の発話音声を決定された前記使用言語で認識する音声認識部３３と、認識された前記発話音声を決定された前記翻訳言語で翻訳する翻訳部３４とを備えている。
【０１０１】
上記の構成によっても、発話者が発話する前に使用言語を決定することが可能になる。それゆえ、発話から音声認識に至る処理時間を短縮して、翻訳結果の出力を早めることができる。
【０１０２】
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【０１０３】
３  翻訳処理部（制御装置）
１１  カメラ（撮像装置）
１２  マイク（音声入力装置）
３１  画像認識部
３２  言語決定部
３３  音声認識部
３４  翻訳部
１０１〜１０４  翻訳システム（電子機器）
５００  プレート（言語情報記録物）
【図１】
2019191339.tif 000003
【図２】
2019191339.tif 000004
【図３】
2019191339.tif 000005
【図４】
2019191339.tif 000006
【図５】
2019191339.tif 000007
【図６】
2019191339.tif 000008
【図７】
2019191339.tif 000009
【図８】
2019191339.tif 000010
【図９】
2019191339.tif 000011
【図１０】
2019191339.tif 000012
【図１１】
2019191339.tif 000013