(57)【要約】【課題】翻訳を適切に行うこと。【解決手段】情報処理装置は、第１言語の文章を示す第１文章情報を取得する取得部と、前記第１文章情報が示す文章を、前記第１言語とは異なる第２言語に翻訳した文章を示す第２文章情報を生成する翻訳処理を実行する翻訳部と、前記翻訳処理における異常の有無を評価する第２評価部と、前記第２評価部による第２評価に基づいてキャラクタを動作させる動作制御部と、を備える。また、例えば、情報処理装置は、第１言語の音声を示す音声情報から、前記第１文章情報を生成する音声認識処理における異常の有無を評価する第１評価部、を備え、前記取得部は、前記音声認識処理を実行することにより、前記第１文章情報を取得し、前記動作制御部は、前記第１評価部による第１評価と、前記第２評価部による第２評価とのいずれか又は両方に基づいてキャラクタを動作させる。【選択図】図１
2017009685.tif 000002
【特許請求の範囲】
【請求項１】
第１言語の文章を示す第１文章情報を取得する取得部と、
前記第１文章情報が示す文章を、前記第１言語とは異なる第２言語に翻訳した文章を示す第２文章情報を生成する翻訳処理を実行する翻訳部と、
前記翻訳処理における異常の有無を評価する第２評価部と、
前記第２評価部による第２評価に基づいてキャラクタを動作させる動作制御部と、
を備える情報処理装置。
【請求項２】
前記第１言語の音声を示す音声情報から、前記第１文章情報を生成する音声認識処理における異常の有無を評価する第１評価部、
を備え、
前記取得部は、前記音声認識処理を実行することにより、前記第１文章情報を取得し、
前記動作制御部は、前記第１評価部による第１評価と、前記第２評価部による第２評価とのいずれか又は両方に基づいてキャラクタを動作させる
請求項１に記載の情報処理装置。
【請求項３】
前記動作制御部は、前記音声認識処理において異常が無く、且つ、前記翻訳処理において異常が無い場合に、前記第２文章情報に基づいて、前記キャラクタを動作させる
請求項２に記載の情報処理装置。
【請求項４】
前記動作制御部は、前記音声認識処理において異常が無く、且つ、前記翻訳処理において異常がある場合に、前記第１文章情報に基づいて、前記キャラクタを動作させる
請求項２又は請求項３に記載の情報処理装置。
【請求項５】
前記第１評価と前記第２評価との両方又はいずれかと、前記キャラクタの動作との対応関係を定める動作規定情報であって、言語ごとに互いに異なる動作規定情報を記憶する言語動作情報記憶部、
を備え、
前記動作制御部は、前記第１言語又は前記第２言語に応じた動作規定情報を参照して前記第１評価と前記第２評価とのいずれか又は両方に対応する動作を選択し、選択した動作を前記キャラクタに行わせる
請求項２から請求項４のいずれか一項に記載の情報処理装置。
【請求項６】
利用場面ごとに異なる動作規定情報であって、前記言語ごとの動作規定情報に定められていない前記対応関係を定める動作規定情報を記憶する場面動作記憶部、
を備え、
前記動作制御部は、自装置の利用場面に応じた動作規定情報を参照して前記第１評価と前記第２評価とのいずれか又は両方に対応する動作を選択し、選択した動作を前記キャラクタに行わせる
請求項５に記載の情報処理装置。
【請求項７】
前記動作規定情報を設定する操作を受け付ける操作受付部と、
前記操作受付部が受け付けた前記操作に基づいて、前記言語動作情報記憶部と前記場面動作記憶部とのいずれか又は両方に、前記動作規定情報を記憶させる動作登録部と、
を備える
請求項６に記載の情報処理装置。
【請求項８】
情報処理装置が、第１言語の文章を示す第１文章情報を取得する第１ステップと、
前記情報処理装置が、前記第１文章情報が示す文章を、前記第１言語とは異なる第２言語に翻訳した文章を示す第２文章情報を生成する翻訳処理を実行する第２ステップと、
前記情報処理装置が、前記翻訳処理における異常の有無を評価する第３ステップと、
前記情報処理装置が、前記第３ステップにおける評価に基づいてキャラクタを動作させる第４ステップと、
を含む情報処理方法。
【請求項９】
コンピュータに、
第１言語の文章を示す第１文章情報を取得する第１ステップと、
前記第１文章情報が示す文章を、前記第１言語とは異なる第２言語に翻訳した文章を示す第２文章情報を生成する翻訳処理を実行する第２ステップと、
前記翻訳処理における異常の有無を評価する第３ステップと、
前記第３ステップにおける評価に基づいてキャラクタを動作させる第４ステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、ある言語の文章を、他の言語の文章に翻訳する装置が開発されている。このような機械翻訳の利便性を高めるため、翻訳精度を高めること、翻訳の良否を評価すること等が考えられている。
例えば、特許文献１には、第１データから第２データへのデータ変換手段と、第２データから第１データへのデータ逆変換手段とが併存するデータ変換装置を用いて、該第１データに対して、データ変換手段における変換適性を評価して変換適性値を算出するデータ変換適性評価方法であって、該データ変換手段により第１データを変換して変換後第２データを取得するデータ変換ステップ、該データ逆変換手段により該変換後第２データを逆変換して逆変換後第１データを取得するデータ逆変換ステップ、該第１データと該逆変換後第１データとを類似度算出手段に入力して、所定の類似度算出式により類似度を算出する類似度算出ステップ、該類似度を第１データのデータ変換手段における変換適性値として出力手段から出力する変換適性値出力ステップを含むことを特徴とするデータ変換適性評価方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２５２３２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、音声認識技術や音声合成技術を適用して、通訳のような翻訳サービスを提供する場合、翻訳が困難となる原因は多岐に渡る。例えば、発言が不明瞭であるために、発言内容を特定することが難しかったり、発言内容が特定できても、翻訳文を生成することが難しかったりする場合がある。このような場合には、発話者に対して翻訳を困難にしている原因やその対処法を示すことで、より翻訳しやすい音声の入力を促し再発話させることで、発言者の意図に沿った翻訳を適切に行うことができる。しかしながら、翻訳を困難にしている原因やその対処法をユーザに分かり易く示すことは行われてこなかった。従って、翻訳を適切に行えない場合があった。
【０００５】
本発明のいくつかの態様は、翻訳を適切に行うことができる情報処理装置、情報処理方法、及びプログラムを提供することを目的の一つとする。
【０００６】
また、本発明の他の態様は、後述する実施形態に記載した作用効果を奏することを可能にする情報処理装置、情報処理方法、及びプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【０００７】
（１）上述した課題を解決するために、本発明の一態様は、第１言語の文章を示す第１文章情報を取得する取得部と、前記第１文章情報が示す文章を、前記第１言語とは異なる第２言語に翻訳した文章を示す第２文章情報を生成する翻訳処理を実行する翻訳部と、前記翻訳処理における異常の有無を評価する第２評価部と、前記第２評価部による第２評価に基づいてキャラクタを動作させる動作制御部と、を備える情報処理装置である。
【０００８】
（２）また、本発明の一態様は、前記第１言語の音声を示す音声情報から、前記第１文章情報を生成する音声認識処理における異常の有無を評価する第１評価部、を備え、前記取得部は、前記音声認識処理を実行することにより、前記第１文章情報を取得し、前記動作制御部は、前記第１評価部による第１評価と、前記第２評価部による第２評価とのいずれか又は両方に基づいてキャラクタを動作させる情報処理装置である。
【０００９】
（３）また、本発明の一態様は、（２）に記載の情報処理装置であって、前記動作制御部は、前記音声認識処理において異常が無く、且つ、前記翻訳処理において異常が無い場合に、前記第２文章情報に基づいて、前記キャラクタを動作させる。
【００１０】
（４）また、本発明の一態様は、（２）又は（３）に記載の情報処理装置であって、前記動作制御部は、前記音声認識処理において異常が無く、且つ、前記翻訳処理において異常がある場合に、前記第１文章情報に基づいて、前記キャラクタを動作させる。
【００１１】
（５）また、本発明の一態様は、（２）から（４）のいずれかに記載の情報処理装置であって、前記第１評価と前記第２評価との両方又はいずれかと、前記キャラクタの動作との対応関係を定める動作規定情報であって、言語ごとに互いに異なる動作規定情報を記憶する言語動作情報記憶部を備え、前記動作制御部は、前記第１言語又は前記第２言語に応じた動作規定情報を参照して前記第１評価と前記第２評価とのいずれか又は両方に対応する動作を選択し、選択した動作を前記キャラクタに行わせる。
【００１２】
（６）また、本発明の一態様は、（５）に記載の情報処理装置であって、利用場面ごとに異なる動作規定情報であって、前記言語ごとの動作規定情報に定められていない前記対応関係を定める動作規定情報を記憶する場面動作記憶部を備え、前記動作制御部は、自装置の利用場面に応じた動作規定情報を参照して前記第１評価と前記第２評価とのいずれか又は両方に対応する動作を選択し、選択した動作を前記キャラクタに行わせる。
【００１３】
（７）また、本発明の一態様は、（６）に記載の情報処理装置であって、前記動作規定情報を設定する操作を受け付ける操作受付部と、前記操作受付部が受け付けた前記操作に基づいて、前記言語動作情報記憶部と前記場面動作記憶部とのいずれか又は両方に、前記動作規定情報を記憶させる動作登録部と、を備える。
【００１４】
（８）また、本発明の一態様は、情報処理装置が、第１言語の文章を示す第１文章情報を取得する第１ステップと、前記情報処理装置が、前記第１文章情報が示す文章を、前記第１言語とは異なる第２言語に翻訳した文章を示す第２文章情報を生成する翻訳処理を実行する第２ステップと、前記情報処理装置が、前記翻訳処理における異常の有無を評価する第３ステップと、前記情報処理装置が、前記第３ステップにおける評価に基づいてキャラクタを動作させる第４ステップと、を含む情報処理方法である。
である。
【００１５】
（９）また、本発明の一態様は、コンピュータに、第１言語の文章を示す第１文章情報を取得する第１ステップと、前記第１文章情報が示す文章を、前記第１言語とは異なる第２言語に翻訳した文章を示す第２文章情報を生成する翻訳処理を実行する第２ステップと、前記翻訳処理における異常の有無を評価する第３ステップと、前記第３ステップにおける評価に基づいてキャラクタを動作させる第４ステップと、を実行させるプログラムである。
【発明の効果】
【００１６】
本発明の実施形態によれば、翻訳を適切に行うことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態に係る情報処理装置の概要を説明するための図である。
【図２】同実施形態に係る動作規定情報の一例を示す図である。
【図３】同実施形態に係るキャラクタの動作の例を示す図である。
【図４】同実施形態に係るキャラクタの動作パターンの概要を示す図である。
【図５】同実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。
【図６】同実施形態に係る情報処理装置の機能構成の一例を示す図である。
【図７】同実施形態に係る情報処理装置による処理の流れの一例を示すフローチャートである。
【図８】本発明の第２の実施形態に係る情報処理装置の概要を説明するための図である。
【図９】同実施形態に係る情報処理装置の機能構成の一例を示す図である。
【図１０】本発明の第３の実施形態に係る情報処理装置の概要を説明するための図である。
【図１１】同実施形態に係る情報処理装置の機能構成の一例を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明の一実施形態について、図面を参照して説明する。
[第１の実施形態]
〔情報処理装置の概要〕
本発明の第１の実施形態について説明する。まず、本実施形態に係る情報処理装置１０の概要について説明する。
本実施形態に係る情報処理装置１０（図６）は、互いに異なる２つ以上の言語における会話の通訳を支援する装置である。つまり、情報処理装置１０には、複数のユーザが存在し、これら複数のユーザは、それぞれ、異なる言語により会話をする。ただし、ユーザが３人以上である場合、これら３人以上のユーザにより用いられる言語は、２つ以上であればよい。例えば、３人のユーザがいる場合は、そのうちの２人が同じ言語を用いてもよい。
【００１９】
図１は、本実施形態に係る情報処理装置１０の概要を説明するための図である。
図１には、情報処理装置１０の利用に係る３つの場面Ｃ１１〜Ｃ１３を示す。これら第１〜第３場面Ｃ１１〜Ｃ１３には、音声受付部１３１−１、１３１−２、キャラクタＣＲと、発話者ＳＰと、受話者ＲＥと、がそれぞれ示されている。
発話者ＳＰとは、情報処理装置１０の複数のユーザのうち、該複数のユーザによる会話における発話側のユーザである。
受話者ＲＥとは、情報処理装置１０の複数のユーザのうち、該複数のユーザによる会話における受話側のユーザである。図１には、発話者ＳＰと受話者ＲＥとが、それぞれ、１人ずつである例を示すが、情報処理装置１０のユーザは、３人以上であってもよい。ただし、この場合であっても、基本的に発話者ＳＰは１人である。発話者ＳＰと受話者ＲＥとの関係は、固定でなく、会話の進行に応じて、発話者ＳＰと受話者ＲＥとが入れ替わってもよい。本実施形態では、一例として、発話者ＳＰが会話に用いる言語が日本語であり、受話者ＲＥが会話に用いる言語が英語である場合について説明する。
【００２０】
キャラクタＣＲとは、情報処理装置１０の複数のユーザによる会話において、通訳者の役割を果たすキャラクタである。キャラクタＣＲの動作は、情報処理装置１０により制御される。キャラクタＣＲは、例えば、ロボットのように現実の物体であってもよいし、例えば画面に表示されたキャラクタアニメーションであってもよい。画面にキャラクタＣＲを表示する場合、キャラクタＣＲは、２次元的に描画されてもよいし、３次元的に描画されてもよい。キャラクタＣＲは、動きを表現できるキャラクタであれば、どのような形状を有していてもよい。以下では、一例として、キャラクタＣＲが、情報処理装置１０が備える表示部に表示された人型ロボットの画像である場合について説明する。
【００２１】
音声受付部１３１−１、１３１−２は、情報処理装置１０の複数のユーザによる会話を集音するマイク等の装置である。図１には、ユーザごとに設置された２つの音声受付部１３１−１、１３１−２を示すが、音声受付部１３１−１、１３１−２は、ユーザごとに設けられなくてもよい。以下では、音声受付部１３１−１、１３１−２を特に区別する必要がない場合、音声受付部１３１と総称する。
【００２２】
次に、図１に示す第１場面Ｃ１１〜第３場面Ｃ１３を説明する。図１に示す例において、各場面は、第１場面Ｃ１１、第２場面Ｃ１２、第３場面Ｃ１３の順に時系列に進行している。
第１場面Ｃ１１では、発話者ＳＰは、日本語により発言を行っている。この発言は、音声受付部１３１−１により集音される。ここで、情報処理装置１０は、集音した音声から発話者ＳＰが話した内容を解析する。そして、解析した発言内容の第１文章（テキスト）を表す第１文章情報を生成する。つまり、第１文章とは、発話者ＳＰが発話した内容を、発話者ＳＰが用いる言語で表す文章である。また、情報処理装置１０は、日本語の第１文章を英語に翻訳した第２文章（テキスト）を表す第２文章情報を生成する。つまり、第２文章とは、発話者ＳＰが発話した内容を、受話者ＲＥが用いる言語で表す文章である。情報処理装置１０は、これらの音声認識処理や翻訳処理において、異常の有無を評価する。
【００２３】
ここで、音声認識処理における異常の有無の評価とは、音声情報からの発言内容の文章化における確からしさである。また、音声認識処理における異常の有無の評価とは、第１文章の精度を評価することでもある。第１文章の精度とは、発言内容と第１文章との整合の程度である。例えば、発言内容が第１文章とよく整合すると考えられる場合は第１文章の精度は高く、発言内容が第１文章と整合しない可能性が高い場合や第１文章情報を生成することが困難な場合は第１文章の精度は低い。情報処理装置１０は、第１文章の精度が所定の閾値より低い場合、音声認識処理に異常があると判定する。以下では、音声認識処理における異常の有無の評価を音声認識評価処理と称することがある。
【００２４】
また、翻訳処理における異常の有無の評価とは、第１文章から第２文章への翻訳の確からしさであるとも言える。また、翻訳処理における異常の有無の評価とは、第２文章の精度を評価することでもある。第２文章の精度とは、第２文章の翻訳の精度である。例えば、第１文章と第２文章との意味するところが多くの部分で一致すると考えられる場合等は第２文章情報の精度は高く、第１文章と第２文章との意味するところがあまり一致しない可能性がある場合や、第１文章から第２文章の翻訳において複数の選択肢があり、翻訳を誤る可能性がある場合等は第２文章情報の精度は低い。情報処理装置１０は、第２文章の精度が所定の閾値より低い場合、翻訳処理に異常があると判定する。以下では、翻訳処理における異常の有無の評価を翻訳評価処理と称することがある。
【００２５】
第１文章の精度や第２文章の精度の評価方法は、既に開示されている任意の方法を用いてよい。例えば、第１文章や第２文章の精度の評価指標として、確信度を用いることができる。音声認識評価処理における確信度とは、音声情報から生成した第１文章の確からしさを表す指標である。情報処理装置１０は、例えば、音声受付部１３１が受け付けた音声情報を、予め用意しておいたテンプレートの音声情報と比較することにより、発言内容を特定する。このとき、情報処理装置１０は、音声受付部１３１が受け付けた音声情報と、テンプレートの音声情報との一致の程度等を算出することにより、確信度を算出することができる。
【００２６】
また、翻訳評価処理における確信度とは、第１文章から生成した第２文章の確からしさを表す指標である。情報処理装置１０は、例えば、第２言語から第１言語へと、第２文章を逆翻訳する。そして、情報処理装置１０は、翻訳語の第１言語の文章を、元々の第１文章と比較し、２つの文章間の一致の程度を算出することにより確信度を取得することができる。以下では、音声認識評価処理による評価を第１評価と称することがある。また、翻訳評価処理による評価を第２評価と称することがある。
【００２７】
次に、第２場面Ｃ１２では、キャラクタＣＲが第１場面Ｃ１１の発話者ＳＰの発言に対して反応している。ここで、情報処理装置１０は、第１評価や第２評価に応じてキャラクタＣＲの動作を選択する。例えば、上述した第１場面Ｃ１１では、発話者ＳＰの声が小さかったため、情報処理装置１０は、第１文章の精度が低いと判定する。従って、第２場面Ｃ１２において、情報処理装置１０は、例えば、発話者ＳＰに対して口の前で手を広げる動作をキャラクタＣＲに行わせ、大きな声での発話を促す。これにより、発話者ＳＰは、声が小さかったことを認識することができるため、より大きな声で言い直す等の対応を行うことができる。
【００２８】
次に、第３場面Ｃ１３では、情報処理装置１０は、第２場面Ｃ１２における発話者ＳＰの言い直しにより発言内容を認識することができたため、その内容を英語に翻訳した文章を生成する。そして、情報処理装置１０は、キャラクタＣＲに文章に則したジェスチャーを行わせながら、英語の翻訳文を音声出力する。これにより、受話者ＲＥは、発話者ＳＰが日本語で話した内容を、正しい英語で認識することができる。
【００２９】
以上のように、本実施形態に係る情報処理装置１０は、第１言語（例えば、日本語）の音声を示す音声情報から、第１言語の文章を示す第１文章情報を生成する音声認識処理を実行する。また、情報処理装置１０は、第１文章情報が示す文章を、第１言語とは異なる第２言語（例えば、英語）に翻訳した文章を示す第２文章情報を生成する翻訳処理を実行する。また、情報処理装置１０は、音声認識処理と翻訳処理とにおける異常の有無を評価する。そして、情報処理装置１０は、評価結果に基づいてキャラクタＣＲを動作させる。
これにより、情報処理装置１０は、キャラクタＣＲに適切な動作を行わせ、翻訳を困難にしている原因やその対処法をユーザに分かり易く示すことができる。従って、情報処理装置１０は、翻訳を適切に行うことができる。
【００３０】
〔動作規定情報〕
次に、本実施形態に係る情報処理装置１０が処理する動作規定情報について説明する。
動作規定情報とは、音声認識処理や翻訳処理の評価結果に応じた動作を定める情報である。
まず、動作規定情報のデータ構成について説明する。
図２は、本実施形態に係る動作規定情報の一例を示す図である。
動作規定情報とは、会話の状況に応じたキャラクタＣＲの動作を定める情報である。図２には、一例として、第１評価と第２評価とに応じてキャラクタＣＲを動作させる場合の動作規定情報を示す。図２に示す例において、動作規定情報は、分類情報（図２における「分類」）と、物理入力情報（図２における「物理入力」）と、音声識別情報（図２における「音声識別」）と、音声認識意味解析情報（図２における「音声認識意味解析」）と、テキスト解析情報（図２における「テキスト解析」）と、文法解析情報（図２における「文法解析」）と、目的言語デコード情報（図２における「目的言語デコード」）と、完了判断情報（図２における「完了判断情報」）と、アクションＩＤ（ＩＤｅｎｔｉｆｉｅｒ）（図２における「アクションＩＤ」）と、想定状況情報（図２における「想定状況」）と、を互いに対応付けた情報である。
【００３１】
分類情報とは、第１評価と第２評価との分類を表す情報である。換言すると、分類情報とは、動作規定情報の各レコードを識別する情報である。
物理入力情報とは、第１文章情報の生成において、集音された音声の物理特性についての異常の有無を表す情報である。物理入力情報には、集音された音声の品質に異常がある場合に、その異常の詳細が記述される。音声の品質における異常の有無の判定は、例えば、音声の品質を測定し、その測定値を所定の閾値と比較することにより行われる。このように、物理入力情報とは、第１評価を表す情報の一例である。つまり、本実施形態において、異常が無いということは、必ずしも全く異常が無い、ということとは限らない。例えば、処理に差支えが無い程度の軽度の異常や部分的にその後の処理が可能である場合には、異常が無いと判定される場合がある。
【００３２】
音声識別情報とは、第１文章情報の生成において、集音された音声の明瞭性についての異常の有無を表す情報である。音声識別情報には、集音された音声の明瞭性に異常がある場合に、その異常の詳細が記述される。音声の明瞭性における異常の有無の判定は、例えば、音声の明瞭性を測定し、その測定値を所定の閾値と比較することにより行われる。このように、音声識別情報とは、第１評価を表す情報の一例である。
【００３３】
音声認識意味解析情報とは、音声から生成された第１文章の言語的表現性における異常の有無を表す情報である。音声認識意味解析情報には、第１文章の言語的表現性に異常がある場合に、その異常の詳細が記述される。第１文章の言語的表現性における異常の有無の判定は、例えば、第１文章の言語的表現性を測定し、その測定値を所定の閾値と比較することにより行われる。このように、音声認識意味解析情報とは、第１評価を表す情報の一例である。
【００３４】
テキスト解析情報とは、第２文章情報の生成において、第１文章の翻訳に係るテキスト解析の異常の有無を表す情報である。テキスト解析の異常の有無の判定は、例えば、第１文章の尤もらしさを測定し、その測定値を所定の閾値と比較することにより行われる。このように、テキスト解析情報とは、第２評価を表す情報の一例である。
文法解析情報とは、第２文章情報の生成において、第１文章の文法解析における異常の有無を表す情報である。第１文章の文法解析における異常の有無の判定は、例えば、第１文章の文法的な正しさを測定し、その測定値を所定の閾値と比較することにより行われる。このように、文法解析情報とは、第２評価を表す情報の一例である。
【００３５】
目的言語デコード情報とは、第２文章情報の生成において、第１文章から第２文章への翻訳変換における異常の有無を表す情報である。目的言語デコード情報には、翻訳変換に異常がある場合に、その異常の詳細が記述される。このように、目的言語デコード情報とは、第２評価を表す情報の一例である。
完了判断情報とは、第２文章の音声出力段階における異常の有無を表す情報の一例である。
【００３６】
アクションＩＤとは、キャラクタＣＲの動作を識別する情報である。
想定情報とは、物理入力情報、音声識別情報、音声認識意味解析情報、テキスト解析情報、文法解析情報、目的言語デコード情報、及び完了判断情報の値に基づいて想定される会話、翻訳の状況を表す情報である。
なお、後述するように、情報処理装置１０は、キャラクタＣＲを第１文章や第２文章に基づいて動作させてもよい。この場合、動作規定情報には、例えば、単語や句、節等の表現に応じた動作が記述される。
【００３７】
図３は、本実施形態に係るキャラクタＣＲの動作の例を示す図である。
図３には、上述したアクションＩＤごとの、動作（アクション）と、動作の意味との対応関係を示す。情報処理装置１０は、動作規定情報に基づいて、第１評価、第２評価に応じたアクションＩＤを特定し、アクションＩＤに対応する動作をキャラクタＣＲに行わせる。
【００３８】
以上のように、動作規定情報の各レコードは、第１評価及び第２評価から想定される発言の状況や処理の異常に応じた動作を定める。従って、情報処理装置１０は、動作規定情報に基づいて、キャラクタＣＲを動作させることにより、翻訳を困難としている状況に対応することができる。
【００３９】
図４は、本実施形態に係るキャラクタＣＲの動作パターンの概要を示す図である。
ここで、動作パターンとは、特定の基準に基づいて複数の動作を分類したものである。
一般に言語と文化圏には相関がある。また、一般にジェスチャーは文化圏ごとに類似したものとなる傾向がある。従って、キャラクタＣＲの動作パターンを翻訳に用いる言語ごとに定めることにより、キャラクタＣＲを適切に動作させることができる。
【００４０】
また、ジェスチャーは、文化圏の他、会話が行われる状況に応じて異なる場合がある。つまり、ジェスチャーは、情報処理装置１０が用いられる場面に応じて異なる場合がある。具体的には、友人同士の間で用いられるジェスチャーと、店舗において従業員と顧客との間で用いられるジェスチャーは異なる。従って、キャラクタＣＲの動作パターンを利用場面（サービス、シチュエーション）ごとに定めることにより、キャラクタＣＲを適切に動作させることができる。
【００４１】
以上から、動作規定情報を言語ごと、利用場面ごとに用意し、会話に用いられる言語や、情報処理装置１０が用いられる場面に応じて動作規定情報を選択することにより、キャラクタＣＲを適切に動作させることができる。
なお、ジェスチャーの違いは、文化圏によるところが大きいため、動作規定情報を言語ごとに用意しておき、利用場面ごとの動作規定情報は差分ファイルとして用意されてもよい。つまり、図４に示すように、動作パターンは、階層的に定められてもよい。具体的には、言語ごとの動作パターンを基本とし、利用場面ごとの特徴的な動作パターン、すなわちサービスに固有の動作パターンを例外、応用等として定めてよい。これにより、キャラクタＣＲの動作パターンを効率的に規定することができる。なお、このような動作パターンの規定において、階層は、３つ以上の複数であってもよい。また、各階層の分類は、言語、サービスの他、任意に定められてよい。
【００４２】
〔情報処理装置の構成〕
次に、情報処理装置１０の構成について説明する。
まず、情報処理装置１０のハードウェア構成について説明する。
図５は、本実施形態に係る情報処理装置１０のハードウェア構成の一例を示す図である。
情報処理装置１０は、例えば、パーソナルコンピュータ、携帯電話、タブレット、スマートフォン、ＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙ−ｐｈｏｎｅ  Ｓｙｓｔｅｍ）端末装置、又はＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）などの電子機器である。
【００４３】
情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、記憶部１２と、入力部１３と、音声出力部１４と、表示部１５と、を備える。
記憶部１２は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含み、ＣＰＵ１１が実行するプログラムや、ＣＰＵ１１が処理する各種情報、ＣＰＵ１１による処理結果等を記憶する。
【００４４】
入力部１３は、例えば、マウス、タッチパネル等のポインティングデバイス、キーボード、マイク等の各種入力装置を含む。入力部１３が受け付け可能な操作の内容は、例えば、表示部１５が備える表示装置により表示されてもよい。
音声出力部１４は、例えば、スピーカー等の音響機器を含む。
表示部１５は、例えば、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示装置を含む。
以上が、情報処理装置１０のハードウェア構成の説明である。
【００４５】
次に、情報処理装置１０の機能構成について説明する。
図６は、本実施形態に係る情報処理装置１０の機能構成の一例を示す図である。
情報処理装置１０は、記憶部１２と、音声出力部１４と、表示部１５と、制御部１１０と、音声受付部１３１と、操作受付部１３２と、を備える。
記憶部１２は、動作規定情報を記憶する動作情報記憶部１２１を備える。また、動作情報記憶部１２１は、言語動作情報記憶部１２２と、場面動作情報記憶部１２３と、を備える。
【００４６】
言語動作情報記憶部１２２は、言語ごとの動作規定情報を記憶する。言語ごとの動作規定情報は、例えば、各種言語に対応する文化圏に共通の基本的な動作パターン全般を定める。
場面動作情報記憶部１２３は、利用場面ごとの動作規定情報を記憶する。利用場面ごとの動作規定情報は、例えば、各種利用場面に対応するサービスに共通の動作パターンのうち、上述した言語ごとの動作規定情報には記述されていないサービス固有の動作パターンを定める。利用場面ごとの動作規定情報は、例えば、言語ごとの動作規定情報とは、分離した差分ファイルとして用意されてもよい。
【００４７】
音声受付部１３１は、音声入力を受け付ける。具体的には、例えば、音声受付部１３１は、情報処理装置１０の周囲の音声を集音する。つまり、音声受付部１３１は、発話者ＳＰの発言を集音する。音声受付部１３１は、集音した音声を示す音声情報を制御部１１０に出力する。
操作受付部１３２は、操作入力を受け付ける。具体的には、例えば、操作受付部１３２は、情報処理装置１０のユーザが用いる言語や、情報処理装置１０が用いられる場面等の選択を受け付ける。また、操作受付部１３２は、ユーザが独自に定める動作規定情報の入力を受け付けてもよい。つまり、操作受付部１３２は、動作規定情報を設定する操作を受け付けてもよい。操作受付部１３２は、受け付けた操作を示す操作情報を制御部１１０に出力する。
【００４８】
制御部１１０は、情報処理装置１０が備える各種構成の動作を制御する。制御部１１０は、例えば、ＣＰＵ１１が記憶部１２に記憶されたプログラムを実行することにより実現される。
制御部１１０は、音声認識部（取得部）１１１と、翻訳部１１２と、音声合成部１１３と、第１評価部１１４と、第２評価部１１５と、動作制御部１１６と、動作登録部１１７と、を備える。
【００４９】
音声認識部１１１は、音声認識処理を実行する。具体的には、音声認識部１１１は、音声受付部１３１から音声情報を取得する。音声認識部１１１は、取得した音声情報を解析し、音声情報に含まれる発話者ＳＰの発言をテキスト化する。つまり、音声認識部１１１は、第１文章を示す第１文章情報を生成する。音声認識部１１１は、生成した第１文章情報を翻訳部１１２に出力する。
【００５０】
翻訳部１１２は、翻訳処理を実行する。具体的には、翻訳部１１２は、音声受付部１３１から第１文章情報を取得する。翻訳部１１２は、取得した第１文章情報を解析し、第１文章情報が示す文章を受話者ＲＥの言語に翻訳する。つまり、翻訳部１１２は、第２文章を示す第２文章情報を生成する。翻訳部１１２は、生成した第２文章情報を音声合成部１１３に出力する。
【００５１】
音声合成部１１３は、翻訳結果を出力する。具体的には、音声合成部１１３は、翻訳部１１２から第２文章情報を取得する。音声合成部１１３は、取得した第２文章情報が示す第２文章を音声化した音声情報を生成する。音声合成部１１３は、生成した音声情報を音声出力部１４に出力する。これにより、音声受付部１３１に入力された第１言語の音声が、第１言語とは異なる第２言語の音声として音声出力部１４から発せられる。
また、音声合成部１１３は、第１評価、第２評価において、異常が発見された場合は、キャラクタＣＲの動作に合わせて異常の内容を音声出力する。
【００５２】
第１評価部１１４は、音声認識評価処理を実行する。具体的には、第１評価部１１４は、音声認識処理の各過程において、上述した物理入力情報、音声識別情報、音声認識意味解析情報等の第１評価情報を生成する。第１評価部１１４は、生成した第１評価情報を動作制御部１１６に出力する。
【００５３】
第２評価部１１５は、翻訳評価処理を実行する。具体的には、第２評価部１１５は、翻訳処理の各過程において、上述したテキスト解析情報、文法解析情報、目的言語デコード情報等の第２評価情報を生成する。第２評価部１１５は、生成した第２評価情報を動作制御部１１６に出力する。
【００５４】
動作制御部１１６は、キャラクタＣＲの動作を制御する。動作制御部１１６は、主に動作規定情報の選択、動作の特定を行う。
まず、動作規定情報の選択について説明する。動作制御部１１６は、操作受付部１３２から取得する操作情報に基づいて、キャラクタＣＲの動作の決定に用いる動作規定情報を選択する。この操作情報には、例えば、情報処理装置１０のユーザによって選択された発話者ＳＰが用いる言語の情報、受話者ＲＥが用いる言語の情報、情報処理装置１０の利用場面の情報等が含まれている。動作制御部１１６は、動作情報記憶部１２１に記憶されている言語ごと、利用場面ごとの動作規定情報のうち、ユーザにより選択された言語、利用場面の動作規定情報を取得する。これにより、動作制御部１１６は、言語圏、利用場面ごとに適した動作をキャラクタＣＲに行わせることができる。
【００５５】
なお、発話者ＳＰの言語は、音声認識部１１１による音声認識処理において特定されてもよい。この場合であっても、動作制御部１１６は、発話者ＳＰの言語に応じた動作規定情報を選択することができるため、情報処理装置１０のユーザに不要な操作を行わせることなく、発話者ＳＰの言語に応じた適切な動作をキャラクタＣＲに行わせることができる。
【００５６】
次に、動作の特定について説明する。動作制御部１１６は、第１評価部１１４から第１評価情報を取得する。また、動作制御部１１６は、第２評価部１１５から第２評価情報を取得する。動作制御部１１６は、上述した処理により選択された動作規定情報を参照し、第１評価情報の値、及び、第２評価情報の値に対応するアクションＩＤを特定する。つまり、動作制御部１１６は、第１評価と第２評価とに応じた動作を特定する。このとき、動作制御部１１６は、キャラクタＣＲを発話者ＳＰに対して動作させるときは、発話者ＳＰの言語に応じた動作規定情報を参照して動作を特定する。また、キャラクタＣＲを受話者ＲＥに対して動作させるときは、受話者ＲＥの言語に応じた動作規定情報を参照して動作を特定する。そして、動作制御部１１６は、特定した動作をキャラクタＣＲに行わせる。この動作は、例えば、音声出力部１４による音声の出力と協調させる。これにより、情報処理装置１０は、翻訳が困難である原因やその対処法をさらに分かり易くユーザに示すことができる。
【００５７】
また、動作制御部１１６は、第１文章情報、第２文章情報を参照し、その内容に応じた動作を選択してもよい。例えば、動作制御部１１６は、第１文章や第２文章に現れる名詞（例えば、料理等）の画像を表示させたり、感嘆詞に応じて感情を表現する動作をキャラクタＣＲに行わせたりしてもよい。これにより、情報処理装置１０は、キャラクタＣＲを発話者ＳＰの発言内容に応じて動作させることができるため、会話をより円滑に進めることができる。
第１文章情報に基づく動作の選択は、例えば、翻訳処理において異常が検出された場合に行われるようにしてもよい。また、音声認識処理や翻訳処理に異常が検出された場合であっても、テキスト化できた部分に基づいてキャラクタＣＲを動作させてもよい。これにより、情報処理装置１０は、発話者ＳＰの発言内容を翻訳することができない場合であっても、発話者ＳＰの発言内容の少なくとも一部を、受話者ＲＥに通知することができる。
【００５８】
また、動作制御部１１６は、音声認識処理、翻訳処理が全て完了する前にキャラクタＣＲを動作させてもよい。例えば、音声認識処理において、音声受付部１３１から取得した音声情報のうち、音声認識が完了した部分（つまり、聞き取れた部分）に基づいて、キャラクタＣＲを動作させてもよい。
【００５９】
また、動作制御部１１６は、キャラクタＣＲの向きを制御してよい。この場合、動作制御部１１６は、情報処理装置１０のユーザから発言があった場合に、そのユーザに対してキャラクタＣＲが向くようにキャラクタＣＲの向きを制御する。また、動作制御部１１６は、発言が終了した場合に、キャラクタＣＲが受話者ＲＥの方に向くように制御する。情報処理装置１０の複数のユーザ各々の配置は、任意の方法により特定されてよい。各ユーザの配置は、例えば、音声受付部１３１が受け付ける音声入力の強さに基づいて特定されてもよいし、情報処理装置１０が備える撮像部の撮像画像から、画像認識により特定されてもよい。
【００６０】
また、キャラクタＣＲは、情報処理装置１０ごとに１つでなくてもよい。例えば、情報処理装置１０は、複数のユーザそれぞれに対応するキャラクタＣＲを制御してもよい。また、情報処理装置１０は、第１評価、第２評価それぞれに対応するキャラクタＣＲを制御してもよい。具体的には、例えば、音声認識処理における異常を検出した場合に動作するキャラクタＣＲと、翻訳処理における異常を検出した場合に動作するキャラクタＣＲとがそれぞれ用意されてもよい。これにより、情報処理装置１０は、翻訳が困難である原因やその対処法をさらに分かり易くユーザに示すことができる。
【００６１】
動作登録部１１７は、操作受付部１３２が受け付けた操作に基づいて、動作規定情報を生成する。このとき、動作登録部１１７は、例えば、表示部１５に動作の種類と、音声認識処理及び翻訳処理において検出可能な異常の種類とを選択可能に表示し、ユーザによる選択に基づいて動作規定情報を生成する。そして、動作登録部１１７は、生成した動作規定情報を動作情報記憶部１２１に記憶させる。なお、動作登録部１１７は、言語、利用場面等に対応した動作規定情報を登録可能としてもよいし、各ユーザに対応した動作規定情報を登録可能としてもよい。また、動作情報記憶部１２１は、既に動作情報記憶部１２１に記憶されている動作規定情報を編集可能としてもよい。
以上が情報処理装置１０の構成についての説明である。
【００６２】
〔情報処理装置の動作〕
次に、情報処理装置１０の動作について説明する。
図７は、本実施形態に係る情報処理装置１０による処理の流れの一例を示すフローチャートである。
ここでは、一例として、発話者ＳＰが発話を行い、発話に応じた動作をキャラクタＣＲに行わせるまでの処理の流れを示すフローチャートである。
（ステップＳ１００）音声受付部１３１は、発話者ＳＰによる音声入力を受け付ける。音声受付部１３１は、受け付けた音声を示す音声情報を音声認識部１１１に出力する。その後、制御部１１０は、ステップＳ１０２に処理を進める。
【００６３】
（ステップＳ１０２）音声認識部１１１は、音声受付部１３１から音声情報を取得する。音声受付部１３１は、取得した音声情報を解析し、第１文章情報を生成する。音声認識部１１１は、生成した第１文章情報を翻訳部１１２に出力する。その後、制御部１１０は、ステップＳ１０４に処理を進める。
（ステップＳ１０４）第１評価部１１４は、音声認識処理における異常の有無を評価し、第１評価情報を生成する。音声認識部１１１は、生成した第１評価情報を動作制御部１１６に出力する。その後、制御部１１０は、ステップＳ１０６に処理を進める。
【００６４】
（ステップＳ１０６）翻訳部１１２は、音声認識部１１１から第１文章情報を取得する。翻訳部１１２は、取得した第１文章情報を解析し、第２文章を示す第２文章情報を生成する。その後、制御部１１０は、ステップＳ１０８に処理を進める。
（ステップＳ１０８）第２評価部１１５は、翻訳処理における異常の有無を評価し、第２評価情報を生成する。翻訳部１１２は、生成した第２評価情報を動作制御部１１６に出力する。その後、制御部１１０は、ステップＳ１１０に処理を進める。
【００６５】
（ステップＳ１１０）動作制御部１１６は、動作情報記憶部１２１に記憶されている動作規定情報を参照し、第１評価情報、第２評価情報に基づいて動作を選択する。このとき、動作制御部１１６は、第１文章情報、第２文章情報を参照し、その内容に応じた動作を選択してもよい。その後、制御部１１０は、ステップＳ１１２に処理を進める。
（ステップＳ１１２）動作制御部１１６は、ステップＳ１１０の処理で選択した動作を、キャラクタＣＲに行わせる。また、音声合成部１１３は、異常の情報、翻訳結果等を表す音声情報を生成し、キャラクタＣＲの動作と協調させて音声を出力させる。そして、制御部１１０は、図７に示す処理を終了する。
以上が情報処理装置１０の動作についての説明である。
【００６６】
〔第１の実施形態のまとめ〕
以上説明してきたように、本実施形態による情報処理装置１０は、第１言語（例えば、日本語）の文章を示す第１文章情報を取得する音声認識部１１１（取得部の一例）と、第１文章情報が示す文章を、第１言語とは異なる第２言語（例えば、英語）に翻訳した文章を示す第２文章情報を生成する翻訳処理を実行する翻訳部１１２と、翻訳処理における異常の有無を評価する第２評価部１１５と、第２評価部１１５による第２評価に基づいてキャラクタ（例えば、キャラクタＣＲ）を動作させる動作制御部１１６と、を備える。
【００６７】
これにより、情報処理装置１０は、翻訳処理において、翻訳の精度を低下させる異常を検出し、その原因や対処法をユーザに分かり易く示すため、翻訳を適切に行うことができる。具体的には、情報処理装置１０は、言い回しが翻訳に適していない等の問題や、問題ごとの対処法をユーザに分かり易く示すことができる。
【００６８】
また、情報処理装置１０は、第１言語の音声を示す音声情報から、第１文章情報を生成する音声認識処理における異常の有無を評価する第１評価部１１４、を備え、音声認識部１１１は、音声認識処理を実行することにより、第１文章情報を取得し、動作制御部１１６は、第１評価部による第１評価と、第２評価部による第２評価とのいずれか又は両方に基づいてキャラクタを動作させる。
これにより、情報処理装置１０は、音声認識処理において、翻訳の精度を低下させる異常を検出し、その原因や対処法をユーザに分かり易く示す。従って、翻訳を適切に行うことができる。具体的には、情報処理装置１０は、発言が不明瞭である、声が小さい等の問題や問題ごとの対処法をユーザに分かり易く示すことができる。
【００６９】
また、動作制御部１１６は、音声認識処理において異常が無く、且つ、翻訳処理において異常が無い場合に、第２文章情報に基づいて、キャラクタを動作させる。
これにより、動作制御部１１６は、音声認識処理や翻訳処理に異常が無い場合には、翻訳語の文章の内容に応じてキャラクタを動作させること等ができるため、ユーザ同士の会話をより円滑に進めることができる。
【００７０】
また、動作制御部１１６は、第１評価において異常が無く、且つ、第２評価において異常がある場合に、第１文章情報に基づいて、キャラクタを動作させる。
これにより、動作制御部１１６は、音声認識処理において異常が無く、翻訳処理に異常がある場合には、翻訳前の文章の内容に応じてキャラクタを動作させること等ができる。つまり、翻訳語の音声を出力することができない場合であっても、少なくとも部分的に発話者ＳＰの発言内容を受話者ＲＥに通知することができる。
【００７１】
また、情報処理装置１０は、第１評価と第２評価との両方又はいずれかと、キャラクタの動作との対応関係を定める動作規定情報であって、言語ごとに互いに異なる動作規定情報を記憶する言語動作情報記憶部を備え、動作制御部は、第１言語又は第２言語に応じた動作規定情報を参照して第１評価と第２評価とのいずれか又は両方に対応する動作を選択し、選択した動作をキャラクタに行わせる。
これにより、情報処理装置１０は、文化圏ごとに異なるジェスチャーを適切に選択し、キャラクタを動作させることができる。
【００７２】
また、情報処理装置１０は、利用場面ごとに異なる動作規定情報であって、言語ごとの動作規定情報に定められていない対応関係を定める動作規定情報を記憶する場面動作記憶部を備え、動作制御部は、自装置の利用場面に応じた動作規定情報を参照して第１評価と第２評価とのいずれか又は両方に対応する動作を選択し、選択した動作をキャラクタに行わせる。
これにより、情報処理装置１０は、利用場面ごとに異なるパターンでキャラクタを動作させることができる。また、情報処理装置１０は、言語ごとの動作規定情報に定められている動作については、利用場面ごとの動作規定情報に定める必要がないため、キャラクタの動作パターンを効率的に規定することができる。
【００７３】
また、情報処理装置１０は、動作規定情報を設定するキャラクタの動作を選択する操作を受け付ける操作受付部１３２と、操作受付部１３２が受け付けた操作に基づいて、言語動作情報記憶部１２２と場面動作情報記憶部１２３とのいずれか又は両方に、動作規定情報を記憶させる動作登録部１１７と、を備える。
これにより、情報処理装置１０は、キャラクタの動作を、ユーザにより設定可能とするため、より自由度の高いコミュニケーションを提供することができる。
【００７４】
[第２の実施形態]
〔情報処理装置の概要〕
本発明の第２の実施形態について説明する。ここでは、上述した実施形態と同様の構成には、同一の符号を付し、説明を援用する。
本実施形態に係る情報処理装置１０Ａは、第１の実施形態に係る情報処理装置１０と同様に、互いに異なる２つ以上の言語における会話の通訳を支援する装置である。ただし、情報処理装置１０Ａは、音声認識処理や翻訳処理において異常が検出された場合に、発話者ＳＰだけでなく、受話者ＲＥに向けた動作をキャラクタＣＲに行わせる。
【００７５】
図８は、本実施形態に係る情報処理装置１０Ａの概要を説明するための図である。
図８には、情報処理装置１０Ａの利用に係る３つの場面Ｃ２１〜Ｃ２３を示す。これら第１〜第３場面Ｃ２１〜Ｃ２３には、音声受付部１３１−１、１３１−２、キャラクタＣＲと、発話者ＳＰと、受話者ＲＥと、がそれぞれ示されている。
第１場面Ｃ２１では、発話者ＳＰが発言を行っている。
次に、第２場面Ｃ２２では、発話者ＳＰが話している最中に、受話者ＲＥ（発話者ＳＰとは別のユーザ）が発言し始めている。この場合、発話者ＳＰの発言と受話者ＲＥとの発言が混ざるため、音声認識の精度が低下する恐れがあり、好ましくない。そこで、情報処理装置１０Ａは、受話者ＲＥの発言を制止する動作をキャラクタＣＲに行わせる。
その後の第３場面では、キャラクタＣＲの動作により受話者ＲＥは発言を取り止めている。このように、情報処理装置１０Ａは、発話者ＳＰだけでなく、受話者ＲＥに対しても翻訳を困難にしている原因やその対処法を示すことができるため、翻訳を適切に行うことができる。
【００７６】
〔情報処理装置の構成〕
次に、情報処理装置１０Ａの構成について説明する。
図９は、本実施形態に係る情報処理装置１０Ａの機能構成の一例を示すブロック図である。
情報処理装置１０Ａは、第１の実施形態に係る情報処理装置１０が備える制御部１１０に代えて制御部１１０Ａを備える。また、制御部１１０Ａは、制御部１１０が備える動作制御部１１６に代えて動作制御部１１６Ａを備える。
動作制御部１１６Ａは、動作制御部１１６と同様に動作規定情報を参照して、キャラクタＣＲの動作を選択する。ただし、動作制御部１１６Ａが参照する動作規定情報には、例えば、発話者ＳＰ向け、受話者ＲＥ向け等、キャラクタＣＲが行う動作の対象者の情報が記述されている。
以上が情報処理装置１０Ａの構成についての説明である。
【００７７】
〔第２の実施形態のまとめ〕
以上説明してきたように、本実施形態による情報処理装置１０Ａにおいて、動作制御部１１６Ａは、受話者ＲＥに対する動作をキャラクタに行わせる。
これにより、情報処理装置１０Ａは、音声認識処理や翻訳処理において異常が検出された場合に、発話者ＳＰだけでなく、受話者ＲＥに向けた動作をキャラクタＣＲに行わせる。従って、情報処理装置１０Ａは、発話者ＳＰの発言を翻訳しやすい環境を整え、翻訳を適切に行うことができる。
【００７８】
[第３の実施形態]
〔情報処理装置の概要〕
本発明の第３の実施形態について説明する。ここでは、上述した実施形態と同様の構成には、同一の符号を付し、説明を援用する。
本実施形態に係る情報処理装置１０Ｂは、第１の実施形態に係る情報処理装置１０と同様に、互いに異なる２つ以上の言語における会話の通訳を支援する装置である。ただし、情報処理装置１０Ｂは、自装置から出力した音声に対する受話者ＲＥの反応に応じて翻訳の誤りを検出する。
【００７９】
図１０は、本実施形態に係る情報処理装置１０Ｂの概要を説明するための図である。
図１０には、情報処理装置１０Ｂの利用に係る３つの場面Ｃ３１〜Ｃ３３を示す。これら第１〜第３場面Ｃ３１〜Ｃ３３には、音声受付部１３１−１、１３１−２、キャラクタＣＲと、発話者ＳＰと、受話者ＲＥと、がそれぞれ示されている。
第１場面Ｃ３１では、情報処理装置１０Ｂが、発話者ＳＰの発言を翻訳した音声を出力している。
次に、第２場面Ｃ３２では、受話者ＲＥが情報処理装置１０Ｂからの発言を理解できなかったため、聞き直している。
その後の第３場面Ｃ３３では、情報処理装置１０Ｂは、第１場面Ｃ３１において出力した音声の翻訳に誤りがあった可能性があるため、受話者ＲＥに謝罪を示す動作を行い、謝罪および発話者に確認を行う音声を出力している。このように情報処理装置１０Ｂは、自装置から出力した音声に対する受話者ＲＥの反応により翻訳結果の確認を行い、適切な意図伝達のための対応を行うことができる。
【００８０】
〔情報処理装置の構成〕
次に、情報処理装置１０Ｂの構成について説明する。
図１１は、本実施形態に係る情報処理装置１０Ｂの機能構成の一例を示すブロック図である。
情報処理装置１０Ｂは、第１の実施形態に係る情報処理装置１０が備える制御部１１０に代えて制御部１１０Ｂを備える。また、制御部１１０Ｂは、制御部１１０が備える動作制御部１１６に代えて動作制御部１１６Ｂを備える。
【００８１】
動作制御部１１６Ｂは、動作制御部１１６と同様に動作規定情報を参照して、キャラクタＣＲの動作を選択する。ただし、動作制御部１１６Ｂは、第１文章の精度や第２文章の精度が所定の閾値に比して低い場合に出力した翻訳音声に対して、受話者ＲＥが所定の言葉や文章を発した場合に、特定の動作を選択する。ここで、所定の言葉や文章とは、例えば、聞き返しに用いられる言葉や文章である。また、特定の動作とは、例えば、受話者ＲＥに対して謝罪を示す動作や、発話者ＳＰに対して再度の発言を促す動作である。所定の言葉や文章や、これらに対応する動作は、例えば、動作規定情報に記述されている。
【００８２】
なお、動作制御部１１６Ｂは、例えば、音声出力部１４から音声を出力してからの所定期間に、上記所定の言葉や文章が入力された場合にのみ、上記特定の動作をキャラクタＣＲに行わせるようにしてもよい。また、音声合成部１１３は、動作に合わせて、その動作に対応する音声を音声出力部１４に出力させてもよい。
以上が情報処理装置１０Ｂの構成についての説明である。
【００８３】
〔第３の実施形態のまとめ〕
以上説明してきたように、本実施形態による情報処理装置１０Ｂにおいて、動作制御部１１６Ｂは、音声出力部１４が出力した音声に対して特定の音声入力が行われた場合に、キャラクタを動作させる。
これにより、情報処理装置１０Ｂは、自装置から出力した音声に対する受話者ＲＥの反応に応じて翻訳の誤りを検出する。
【００８４】
［変形例］
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の第１から第３の実施形態において説明した各構成は、任意に組み合わせたり、分離したりすることができる。
【００８５】
例えば、情報処理装置１０、１０Ａ、１０Ｂは、ネットワークを介して接続された端末装置であってよい。この場合、発話者ＳＰと受話者ＲＥがそれぞれ情報処理装置１０、１０Ａ、１０Ｂを所有し、各情報処理装置１０、１０Ａ、１０Ｂ間で第１文章情報、第２文章情報、第１評価情報、第２評価情報等を送受信することにより、上述した各実施形態に係る情報処理装置１０、１０Ａ、１０Ｂの動作を実現してもよい。また、情報処理装置１０、１０Ａ、１０Ｂはサーバ装置であってもよい。この場合、発話者ＳＰと受話者ＲＥとは、それぞれ、サーバ装置と通信する端末装置を使用し、該端末装置に表示されたキャラクタＣＲを介して翻訳サービスを受けてもよい。
【００８６】
また、第１評価部１１４は、音声認識評価処理のうちの一部のみを行ってもよい。この場合、例えば、音声認識部１１１が確信度等の評価指標の測定を行い、測定結果を第１評価部１１４に出力する。そして、第１評価部１１４は、取得した測定結果と、所定の閾値とを比較して音声認識処理における異常の有無を判定する。また、別の例では、第１評価部１１４が確信度等の評価指標の測定を行い、測定結果を動作制御部１１６、１１６Ａ、１１６Ｂに出力する。そして、動作制御部１１６、１１６Ａ、１１６Ｂは、取得した測定結果と、所定の閾値とを比較して音声認識処理における異常の有無を判定する。
【００８７】
同様に、第２評価部１１５は、翻訳評価処理のうちの一部のみを行ってもよい。この場合、例えば、翻訳部１１２が確信度等の評価指標の測定を行い、測定結果を第２評価部１１５に出力する。そして、第２評価部１１５は、取得した測定結果と、所定の閾値とを比較して翻訳処理における異常の有無を判定する。また、別の例では、第２評価部１１５が確信度等の評価指標の測定を行い、測定結果を動作制御部１１６、１１６Ａ、１１６Ｂに出力する。そして、動作制御部１１６、１１６Ａ、１１６Ｂは、取得した測定結果と、所定の閾値とを比較して翻訳処理における異常の有無を判定する。
このように、上述した各実施形態における情報処理装置１０、１０Ａ、１０Ｂの各構成が行う処理は、任意に分離されたり、他の構成により行われてもよい。
【００８８】
また、上述した実施形態において、音声認識評価処理や翻訳評価処理に用いる各種閾値は、固定でなくてもよい。例えば、これらの閾値は言語や利用場面に応じて予め定められたものを採用してもよい。この場合、これらの閾値は、言語ごとの動作規定情報や利用場面ごとの動作規定情報に予め記述されていてもよい。
【００８９】
また、上述した実施形態では、発話者ＳＰの音声による発言を翻訳する場合について説明したが、これには限られない。情報処理装置１０は、例えば、音声認識することなく、直接的に第１文章情報を取得してもよい。具体的には、情報処理装置１０は、キーボード等の文字入力用の入力装置を備え、該入力装置への入力に基づいて、第１文章情報を取得してもよい。また、例えば、情報処理装置１０は、外部装置から送信された第１文章情報を取得してもよい。このように、情報処理装置１０は、文字入力や、他の装置との通信等を介して第１文章情報を取得する取得部を備えてもよい。
【００９０】
また、上述の情報処理装置１０、１０Ａ、１０Ｂの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより情報処理装置１０、１０Ａ、１０Ｂとしての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。
【００９１】
ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００９２】
このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。
【００９３】
さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【００９４】
１０、１０Ａ、１０Ｂ…情報処理装置、１１…ＣＰＵ、１２…記憶部、１２１…動作情報記憶部、１３…入力部、１３１…音声受付部、１３２…操作受付部、１４…音声出力部、１５…表示部、１１０、１１０Ａ、１１０Ｂ…制御部、１１１…音声認識部、１１２…翻訳部、１１３…音声合成部、１１６、１１６Ａ、１１６Ｂ…動作制御部
【図１】
2017009685.tif 000003
【図２】
2017009685.tif 000004
【図３】
2017009685.tif 000005
【図４】
2017009685.tif 000006
【図５】
2017009685.tif 000007
【図６】
2017009685.tif 000008
【図７】
2017009685.tif 000009
【図８】
2017009685.tif 000010
【図９】
2017009685.tif 000011
【図１０】
2017009685.tif 000012
【図１１】
2017009685.tif 000013