(57)【要約】【課題】集音された音声の音声認識に基いて特定される文字列群のまとまりの単位をより適切に決定することが可能な、情報処理装置、情報処理方法、およびプログラムを提案する。【解決手段】集音された音声の音の属性の変化に関する検出結果を取得する取得部と、前記音声の音声認識に基いて特定される文字列群に関するまとまりの単位を、前記検出結果に基づいて決定する決定部と、を備える、情報処理装置。【選択図】図５
2018016143.tif 000002
【特許請求の範囲】
【請求項１】
集音された音声の音の属性の変化に関する検出結果を取得する取得部と、
前記音声の音声認識に基いて特定される文字列群に関するまとまりの単位を、前記検出結果に基づいて決定する決定部と、
を備える、情報処理装置。
【請求項２】
前記音の属性は、音の速度を含む、請求項１に記載の情報処理装置。
【請求項３】
前記音の属性は、音量を含む、請求項１に記載の情報処理装置。
【請求項４】
前記音の属性は、音の周波数を含む、請求項１に記載の情報処理装置。
【請求項５】
前記音声の音の属性の変化に関する検出結果は、無音状態と判定される所定の期間の検出結果を含む、請求項１に記載の情報処理装置。
【請求項６】
前記無音状態と判定される所定の期間は、音の振幅が第１の閾値以上である振幅の零交差数が第２の閾値未満である所定の単位期間が一以上連続する期間である、請求項５に記載の情報処理装置。
【請求項７】
前記決定部は、前記検出結果に基づいて、前記音の属性が所定の条件を満たす区間を一以上特定し、かつ、特定した一以上の前記区間に基いて前記文字列群に関するまとまりの単位を決定する、請求項１に記載の情報処理装置。
【請求項８】
前記決定部は、前記区間に対応する音声の認識結果に応じた文字列群を一つのまとまり単位として決定する、請求項７に記載の情報処理装置。
【請求項９】
前記区間は、前記区間の開始タイミングから、前記開始タイミングにおいて検出された前記音の属性の値との差分の絶対値が所定の閾値よりも大きい値が検出されるタイミングまでの間に応じた期間である、請求項８に記載の情報処理装置。
【請求項１０】
前記区間の開始タイミングは、直前の、無音状態と判定される所定の期間の終了が検出されるタイミングに応じたタイミングである、請求項８に記載の情報処理装置。
【請求項１１】
前記区間は、無音状態と判定される第１の期間と、前記無音状態と判定される第２の期間との間に応じた期間である、請求項８に記載の情報処理装置。
【請求項１２】
前記区間は、前記音の属性の検出値の上限値と下限値との差分の絶対値が所定の閾値以下である、連続する期間である、請求項８に記載の情報処理装置。
【請求項１３】
前記取得部は、前記音声をさらに取得し、
前記情報処理装置は、前記区間に対応する音声の認識を行う音声認識部をさらに備え、
前記決定部は、前記音声認識部による認識結果に基いて、前記文字列群に関するまとまりの単位を決定する、請求項８に記載の情報処理装置。
【請求項１４】
前記決定部は、前記検出結果に基づいて前記区間を複数特定し、
前記音声認識部は、前記複数の前記区間の各々に対応する音声の認識をそれぞれ行い、
前記決定部は、前記複数の前記区間の各々に関して、前記音声認識部による当該区間に対応する音声の認識結果に応じた文字列群を一つのまとまり単位としてそれぞれ決定する、請求項１３に記載の情報処理装置。
【請求項１５】
前記決定部は、さらに、前記音声に含まれるノイズの検出結果に基づいて、前記文字列群に関するまとまりの単位を決定する、請求項１に記載の情報処理装置。
【請求項１６】
前記決定部は、さらに、前記検出結果に基いて特定される前記音声の発話者に関する情報に基づいて、前記文字列群に関するまとまりの単位を決定する、請求項１に記載の情報処理装置。
【請求項１７】
前記音声は、第１の言語の音声と第２の言語の音声とを含み、
前記決定部は、さらに、前記第１の言語の音声と前記第２の言語の音声との切り替わりの検出結果に基いて、前記文字列群に関するまとまりの単位を決定する、請求項１に記載の情報処理装置。
【請求項１８】
前記情報処理装置は、前記決定部により決定された一以上のまとまりの単位を表示画面に表示させる表示制御部をさらに備え、
前記表示制御部は、前記一以上のまとまりの単位の各々に基いて、修正候補の文字列群を前記表示画面にさらに表示させる、請求項１に記載の情報処理装置。
【請求項１９】
集音された音声の音の属性の変化に関する検出結果を取得することと、
前記音声の音声認識に基いて特定される文字列群に関するまとまりの単位を、前記検出結果に基づいてプロセッサが決定することと、
を含む、情報処理方法。
【請求項２０】
コンピュータを、
集音された音声の音の属性の変化に関する検出結果を取得する取得部と、
前記音声の音声認識に基いて特定される文字列群に関するまとまりの単位を、前記検出結果に基づいて決定する決定部、
として機能させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、自然言語処理に関する技術が各種提案されている。例えば、下記特許文献１には、複数の語句のうちユーザに選択された語句に基いて文を作成する技術が開示されている。【０００３】
また、音声認識に関する技術も各種提案されている。音声認識では、ユーザの発話時の音声を文字列に変換することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−５３６３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、集音された音声の音声認識結果から得られる文字列群が複数のまとまりにまとめられることも望まれる。しかしながら、従来の技術は、集音された音声の音の属性によらずに、当該文字列群のまとまりの単位を固定的に決定する。このため、従来の技術では、例えば文字列群によっては、まとまりの単位が不適切に決定され得る。【０００６】
そこで、本開示では、集音された音声の音声認識に基いて特定される文字列群のまとまりの単位をより適切に決定することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、集音された音声の音の属性の変化に関する検出結果を取得する取得部と、前記音声の音声認識に基いて特定される文字列群に関するまとまりの単位を、前記検出結果に基づいて決定する決定部と、を備える、情報処理装置が提供される。【０００８】
また、本開示によれば、集音された音声の音の属性の変化に関する検出結果を取得することと、前記音声の音声認識に基いて特定される文字列群に関するまとまりの単位を、前記検出結果に基づいてプロセッサが決定することと、を含む、情報処理方法が提供される。【０００９】
また、本開示によれば、コンピュータを、集音された音声の音の属性の変化に関する検出結果を取得する取得部と、前記音声の音声認識に基いて特定される文字列群に関するまとまりの単位を、前記検出結果に基づいて決定する決定部、として機能させるための、プログラムが提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、集音された音声の音声認識に基いて特定される文字列群のまとまりの単位をより適切に決定することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１１】
【図１】本開示の実施形態による情報処理システムの構成例を示した説明図である。
【図２】本開示の比較例による、音声認識結果から得られる文字列群３２に関してまとまり単位が決定される例を示した図である。
【図３】同実施形態によるサーバ１０の構成例を示した機能ブロック図である。
【図４】同実施形態によるまとまり単位の決定例の一部を示した説明図である。
【図５】同実施形態によるまとまり単位の決定例の一部を示した説明図である。
【図６】同実施形態によるまとまり単位の表示例を示した説明図である。
【図７】同実施形態による動作例の一部を示したフローチャートである。
【図８】同実施形態による動作例の一部を示したフローチャートである。
【図９】同実施形態によるサーバ１０のハードウェア構成例を示した説明図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じてサーバ１０ａおよびサーバ１０ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、サーバ１０ａおよびサーバ１０ｂを特に区別する必要が無い場合には、単にサーバ１０と称する。
【００１４】
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．情報処理システムの構成
２．実施形態の詳細な説明
３．ハードウェア構成
４．変形例
【００１５】
＜＜１．情報処理システムの構成＞＞
まず、本開示の実施形態による情報処理システムの構成について、図１を参照して説明する。図１に示すように、当該情報処理システムは、サーバ１０、端末２０、および、通信網２２を含む。
【００１６】
＜１−１．端末２０＞
端末２０は、ユーザが使用する情報処理端末である。例えば、端末２０は、ユーザの発話時の音声を集音したり、表示画面を表示することが可能である。
【００１７】
この端末２０は、図１に示すように、例えば、集音部２００、および、操作表示部２０２を含む。集音部２００は、例えばマイクロフォンである。集音部２００は、外部の音（空気振動）を検出し、そして、電気信号に変換する。
【００１８】
操作表示部２０２は、表示画面を表示する表示部、および、ユーザによるタッチ操作を検出する操作部を含む。当該表示部は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）装置やＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置により構成される。また、当該操作部は、例えばタッチパネルにより構成される。
【００１９】
また、端末２０は、後述する通信網２２を介して他の装置と通信することが可能である。例えば、端末２０は、集音部２００により集音された音声データを、通信網２２を介してサーバ１０へ送信する。なお、端末２０は、例えば一回の音声入力時の音声データをまとめてサーバ１０へ送信してもよいし、または、所定の時間間隔で音声が集音される度に、該当の時間において集音された音声のみをサーバ１０へ逐次的に（リアルタイムに）送信してもよい。
【００２０】
｛１−１−１．変形例｝
なお、図１では、端末２０がスマートフォンである例を示しているが、かかる例に限定されない。例えば、端末２０は、汎用ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、タブレット型端末、ゲーム機、スマートフォン以外の電話機、携帯型音楽プレーヤ、テレビジョン受信機、ロボット、または、例えばＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）、ヘッドセット、または、スマートウォッチなどのウェアラブルデバイスであってもよい。
【００２１】
また、端末２０の構成は上述した例に限定されない。例えば、端末２０は操作表示部２０２を有しなくてもよい。この場合、上述した表示部および上述した操作部を含む他の装置（図示せず）が通信網２２に接続され得る。なお、上述した表示部と、上述した操作部とは、同一の装置に含まれてもよいし、または、別々の装置に含まれてもよい。
【００２２】
＜１−２．サーバ１０＞
サーバ１０は、本開示における情報処理装置の一例である。サーバ１０は、音声認識機能を有する。例えば、サーバ１０は、通信網２２を介して端末２０から受信される音声データに対して音声認識（クラウド音声認識）を行うことが可能である。また、サーバ１０は、音声認識結果から得られる文字列群に対して各種の言語処理を行うことが可能である。ここで、文字列群は、一以上の文字列である。
【００２３】
また、サーバ１０は、当該文字列群に対する言語処理の結果に基づいて、当該文字列群に関して一以上のまとまりの単位（以下、「まとまり単位」と称する）を決定することが可能である。ここで、まとまり単位は、一以上の文字から構成される。例えば、まとまり単位は、一以上の語から構成され得る。より具体的には、言語が英語やドイツ語などである場合には、まとまり単位は一以上の単語から構成され、また、言語が日本語である場合には、まとまり単位は一以上の文節から構成され得る。
【００２４】
＜１−３．通信網２２＞
通信網２２は、通信網２２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網２２は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網２２は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【００２５】
＜１−４．課題の整理＞
以上、本実施形態による情報処理システムの構成について説明した。ここで、本実施形態の特徴をより明確に示すために、本開示の比較例によるまとまり単位の決定方法について説明する。本比較例では、集音された音声の音声認識結果から得られる文字列群に関して、当該文字列群に対する言語処理の結果のみを用いてまとまり単位を決定する。しかしながら、この方法では、ユーザの意図とは無関係にまとまり単位が決定され得るという問題がある。
【００２６】
ここで、図２を参照して、上記の内容についてより詳細に説明する。図２は、本比較例によるまとまり単位の決定例を示した説明図である。図２に示した例では、まず、“Ｉ  ｄｒｏｖｅ  ｙｏｕｒ  ｃａｒ  ｔｏ  ａｉｒｐｏｒｔｓ  ｅｖｅｒｙ  ｄａｙ”という発話３０がユーザによりなされたとする。この場合、本比較例は、発話３０の音声データに対して音声認識を行い、文字列群３２に変換する。なお、図２では、“ｅｖｅｒｙ  ｄａｙ”という発話の音声が“ｂｕｄｄｙ”と誤って音声認識された例を示している。
【００２７】
そして、本比較例では、文字列群３２に対して言語処理を行い、そして、言語処理の結果のみに基いて、図２に示したように複数のまとまり単位４００を決定する。
【００２８】
ところで、図２に示した例においてユーザが自然に発話をすると、通常、“ｔｏ  ａｉｒｐｏｒｔｓ”に対応する音声と“ｅｖｅｒｙ  ｄａｙ”に対応する音声とは、音の属性（例えば音のスピードや音量など）が異なっていたり、または、当該２つの音声の区間のあいだに無音状態と判定される期間が含まれ得る。このため、“ｔｏ  ａｉｒｐｏｒｔｓ”と“ｂｕｄｄｙ”とは別々のまとまり単位として決定されることが自然であり、望ましい。
【００２９】
しかしながら、本比較例では、言語処理結果（つまり、文字列群３２に含まれる文法情報）のみに基いてまとまり単位を決定するので、“ｔｏ  ａｉｒｐｏｒｔｓ  ｂｕｄｄｙ”というまとまり単位４００ｃが決定されてしまう。そして、この場合、ユーザは、“ｂｕｄｄｙ”だけを修正することを希望しても、まとまり単位４００ｃ全体を削除しなければならず、修正の手間が大きい。
【００３０】
そこで、上記事情を一着眼点にして、本実施形態によるサーバ１０を創作するに至った。本実施形態によるサーバ１０は、集音された音声の音の属性の変化に関する検出結果を取得し、そして、当該音声の音声認識結果から得られる文字列群に関するまとまりの単位を、当該検出結果に基づいて決定する。このため、集音された音声の音の属性に適応的にまとまり単位を決定するので、当該文字列群のまとまりの単位をより適切に決定することができる。例えば、発話者の意図が反映されたまとまり単位を決定することができる。
【００３１】
＜＜２．実施形態の詳細な説明＞＞
＜２−１．構成＞
次に、本実施形態による構成について詳細に説明する。図３は、本実施形態によるサーバ１０の構成例を示した機能ブロック図である。図３に示すように、サーバ１０は、制御部１００、通信部１２０、および、記憶部１２２を有する。
【００３２】
｛２−１−１．制御部１００｝
制御部１００は、サーバ１０に内蔵される、例えば、後述するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１５０や、後述するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１５４などのハードウェアを用いて、サーバ１０の動作を統括的に制御する。また、図３に示すように、制御部１００は、音解析部１０２、決定部１０４、音声認識部１０６、および、表示制御部１０８を有する。
【００３３】
｛２−１−２．音解析部１０２｝
（２−１−２−１．音の属性の検出）
音解析部１０２は、本開示における取得部の一例である。音解析部１０２は、端末２０から受信される音声データの音の属性に関する情報を検出する。例えば、音解析部１０２は、端末２０から受信された音声データに対応する音声波形に基いて、音の属性の変化を検出する。ここで、音の属性は、例えば、音の速度、音量、および、ピッチ（周波数）などを含み得る。
【００３４】
図４は、図２に示した例と同じ発話３０の音声データに基づいて、音の属性の変化が検出される例を示した説明図である。図４に示したように、音解析部１０２は、まず、端末２０から受信される、発話３０の音声データに対応する音声波形３４に基いて、例えば音の速度の波形３６を検出する。そして、音解析部１０２は、速度の波形３６に基いて、各タイミングにおける音の速度の変化を検出する。
【００３５】
なお、一回の音声入力における音声データが端末２０から（少しずつ）逐次的に受信される場合には、音解析部１０２は、該当の音声データが受信される度に該当の音の属性を逐次的に検出することも可能である。
【００３６】
（２−１−２−２．「間」（ｐａｕｓｅ）の検出例）
また、音解析部１０２は、受信された音声データに基づいて、無音状態と判定される期間（以下、「間」と称する）の有無を検出する。ここで、「間」は、単位時間内において、音声データの振幅が第１の閾値以上である振幅の零交差数が第２の閾値未満であるような単位時間が一以上連続する期間であり得る。なお、当該単位時間内において、音声データの振幅が第１の閾値以上である振幅の零交差数が第２の閾値以上である場合は、有音状態と判定され得る。あるいは、「間」は、例えば発話中の息継ぎの期間や、発話対象の文章における句読点に対応する発話タイミングなどの、発話中の短い無音期間（ショートポーズ）であってもよい。
【００３７】
例えば、図４に示した例では、音解析部１０２は、音声波形３４に基いて「間」３６０ａおよび「間」３６０ｂを検出する。なお、一回の音声入力における音声データが端末２０から（少しずつ）逐次的に受信される場合には、音解析部１０２は、該当の音声データが受信される度に「間」を逐次的に検出することも可能である。
【００３８】
｛２−１−３．決定部１０４｝
決定部１０４は、音解析部１０２による、受信された音声データの音の属性の変化に関する検出結果に基いて、当該音声データの音声認識結果から得られる文字列群のまとまり単位を決定する。例えば、決定部１０４は、まず、当該音の属性の変化に関する検出結果に基いて、音の属性が所定の条件を満たす一以上の区間を特定する。そして、決定部１０４は、特定した一以上の区間の各々に関して、当該区間に対応する音声が、後述する音声認識部１０６により認識された結果から得られる文字列群をそれぞれ一つのまとまり単位として決定する。なお、当該所定の条件を満たす区間は、（決定部１０４により決定される）一つのまとまり単位に対応する音声区間に相当し得る。
【００３９】
（２−１−３−１．区間の特定例）
‐決定例１
ここで、所定の条件を満たす区間の具体例について説明する。例えば、当該区間は、所定の開始タイミングから、当該開始タイミングにおける音の属性の検出値との差分の絶対値が所定の閾値よりも大きい値が検出されるタイミングの直前までの期間であり得る。なお、所定の開始タイミングは、音声データにおける音の最初の検出タイミング、直前の「間」の終了タイミングの直後、または、一つ前の当該区間の終了タイミングの直後などであり得る。
【００４０】
例えば、図４に示した例では、時刻ｔ０から時刻ｔ１までの期間である区間Ｌ１内の各タイミングにおける音のスピードの検出値と、時刻ｔ０における音のスピードの検出値との差分の絶対値は、所定の閾値以下であるものとする。また、時刻ｔ１の直後における音のスピードの検出値と、時刻ｔ０における音のスピードの検出値との差分の絶対値は所定の閾値よりも大きいものとする。この場合、決定部１０４は、区間Ｌ１を当該所定の条件を満たす区間として特定する。同様に、音解析部１０２は、区間Ｌ２および区間Ｌ３を、当該所定の条件を満たす区間としてそれぞれ特定する。
【００４１】
‐決定例２
または、当該所定の条件を満たす区間は、隣接する「間」のあいだの期間、または、当該期間よりも少し短い期間（例えば、開始タイミングは当該期間の開始時よりも所定の時間だけ遅く、かつ、終了タイミングは当該期間の終了時よりも所定の時間だけ早い期間など）であり得る。例えば、図４に示した例では、決定部１０４は、「間」３６０が最初に検出されるまでの期間に応じた区間Ｌ１、「間」３６０ａおよび「間」３６０ｂのあいだの期間に応じた区間Ｌ２、および、最後の「間」３６０（つまり「間」３６０ｂ）の終了時から音声データの終了時までの期間に応じた区間Ｌ３を、当該所定の条件を満たす区間としてそれぞれ特定する。
【００４２】
‐決定例３
または、当該所定の条件を満たす区間は、音の属性の検出値の上限値と下限値との差が所定の閾値以下である、連続する区間であってもよい。
【００４３】
（２−１−３−２．まとまり単位の決定例）
次に、図５を参照して、決定部１０４による上記の機能についてより詳細に説明する。図５は、図４に示した発話３０の音声データの音声認識結果から得られる文字列群のまとまり単位の決定例を示した説明図である。図５に示した例では、決定部１０４は、まず、区間Ｌ１、区間Ｌ２、および、区間Ｌ３を、所定の条件を満たす区間としてそれぞれ特定する。そして、決定部１０４は、図５に示したように、区間Ｌ１に対応する音声の音声認識結果から得られる文字列群を、まとまり単位４００ａとして決定する。同様に、決定部１０４は、区間Ｌ２および区間Ｌ３の各々に対応する音声の音声認識結果から得られる文字列群を、一つのまとまり単位４００としてそれぞれ決定する。この決定例によれば、発話時の音の属性を反映してまとまり単位が決定される。例えば、図５に示したように、“ｔｏ  ａｉｒｐｏｒｔｓ”と“ｂｕｄｄｙ”とが別々のまとまり単位として決定される。その結果、例えば、まとまり単位ごとに文字列を編集するアプリケーションにおいて、ユーザが“ｂｕｄｄｙ”を“ｅｖｅｒｙ  ｄａｙ”に修正することを希望する場合、ユーザは、“ｂｕｄｄｙ”だけを削除すればよく、“ｔｏ  ａｉｒｐｏｒｔｓ”を削除する必要がない。従って、ユーザの修正作業が容易になる。
【００４４】
なお、決定されたまとまり単位が、ユーザにより他の文字列群に修正された場合には、当該まとまり単位と、修正後の文字列群とが関連付けて（学習データとして）登録され得る。なお、当該学習データは例えば記憶部１２２に格納され得る。
【００４５】
｛２−１−４．音声認識部１０６｝
音声認識部１０６は、決定部１０４により特定された区間に基いて、受信された音声データの音声認識を行う。例えば、音声認識部１０６は、決定部１０４により特定された複数の区間の各々に関して、当該区間に対応する音声の音声認識をそれぞれ行う。
【００４６】
図５に示した例では、音声認識部１０６は、決定部１０４により特定された区間Ｌ１、区間Ｌ２、および、区間Ｌ３の各々に関して、当該区間に対応する音声をそれぞれ音声認識する。例えば、音声認識部１０６は、区間Ｌ１に対応する音声を音声認識し、そして、文字列群（“Ｉ  ｄｒｏｖｅ  ｙｏｕｒ  ｃａｒ”）に変換する。
【００４７】
｛２−１−５．表示制御部１０８｝
表示制御部１０８は、決定部１０４により決定された一以上のまとまり単位を端末２０に表示させる制御を行う。
【００４８】
また、表示制御部１０８は、当該一以上のまとまり単位の各々に関して、当該まとまり単位に関連付けられている、修正候補の文字列群を（端末２０の）表示画面にさらに表示させることも可能である。例えば、上述した学習データ、つまり、過去に決定されたまとまり単位と、当該まとまり単位に対してユーザにより修正された文字列群とが関連付けて登録されたデータが準備され得る。この場合、例えば、表示制御部１０８は、まず、決定部１０４により決定された全てのまとまり単位の各々が学習データに格納されているか否かを確認する。そして、少なくともいずれかのまとまり単位が当該学習データに格納されている場合には、表示制御部１０８は、当該まとまり単位に関連付けて登録されている、過去に修正された文字列群を当該学習データから抽出し、そして、表示画面に表示させる。
【００４９】
図６は、表示画面４０における複数のまとまり単位４００の表示例を示した説明図である。なお、図６では、図５に示した三個のまとまり単位４００が表示される例を示している。また、図６では、“ｂｕｄｄｙ”というまとまり単位４００ｃをユーザが過去に“ｅｖｅｒｙ  ｄａｙ”と修正したことが学習データに格納されているものとする。
【００５０】
この場合、図６に示したように、表示制御部１０８は、決定部１０４により決定された三個のまとまり単位４００を区別して（例えば図６に示したように枠で囲うなど）、表示画面４０に表示させる。さらに、表示制御部１０８は、“ｂｕｄｄｙ”に関連付けられている“ｅｖｅｒｙ  ｄａｙ”を修正候補の文字列群４１０として、まとまり単位４００ｃの表示位置に関連する位置（例えば、図６に示したように、当該表示位置の近辺で、かつ、下方など）に表示させる。この表示例によれば、“ｂｕｄｄｙ”がユーザの意図する文字列群ではない場合には、ユーザは、修正候補の文字列群４１０を選択することなどにより、“ｂｕｄｄｙ”を“ｅｖｅｒｙ  ｄａｙ”に容易に修正することができる。
【００５１】
｛２−１−６．通信部１２０｝
通信部１２０は、例えば通信網２２を介して他の装置との間で情報の送受信を行う。例えば、通信部１２０は、音声データを端末２０から受信する。また、通信部１２０は、表示制御部１０８の制御に従って、決定された一以上のまとまり単位を表示させるための制御情報を端末２０へ送信する。
【００５２】
｛２−１−７．記憶部１２２｝
記憶部１２２は、各種のデータや各種のソフトウェアを記憶する。
【００５３】
＜２−２．動作＞
以上、本実施形態の構成について説明した。次に、本実施形態による動作について、図７および図８を参照して説明する。なお、以下では、ユーザが端末２０に対して文字列群を音声入力する場面における動作例について説明する。また、以下では、端末２０が、一回の音声入力時の音声データをまとめてサーバ１０へ送信する例について説明する。
【００５４】
図７は、本実施形態による動作例の一部を示したフローチャートである。図７に示したように、まず、例えば、端末２０に対するユーザの所定の操作に基いて、端末２０は音声入力アプリケーションを起動する（Ｓ１０１）。そして、ユーザは、端末２０に対して発話し、そして、集音部２００は、当該発話の音声を集音する（Ｓ１０３）。
【００５５】
続いて、端末２０は、集音された音声データをサーバ１０へ送信する（Ｓ１０５）。
【００５６】
その後、サーバ１０の音解析部１０２は、解析対象の期間Ｔとして、ごく短い時間ΔＴを設定する（Ｓ１０７）。
【００５７】
続いて、音解析部１０２は、受信された音声データ中の、期間Ｔにおいて「間」が検出されるか否かを判定する（Ｓ１０９）。「間」が検出された場合には（Ｓ１０９：Ｙｅｓ）、サーバ１０は、後述するＳ１２１の処理を行う。
【００５８】
一方、期間Ｔにおいて「間」が検出されない場合には（Ｓ１０９：Ｎｏ）、音解析部１０２は、次に、当該音声データ中の、期間Ｔにおける音の属性（例えば音のスピードや音量など）を検出する（Ｓ１１１）。
【００５９】
続いて、音解析部１０２は、検出された音の属性の検出値がそれぞれ所定の範囲内であるか否かを判定する（Ｓ１１３）。例えば、音解析部１０２は、期間Ｔを含む、上述した所定の条件を満たす区間の開始タイミングにおいて検出された音のスピードと、Ｓ１１１で検出された音のスピードとの差分の絶対値が所定の閾値以内であるか否かを判定する。
【００６０】
検出された音の属性（のうちの少なくとも一つの種類）の検出値が所定の範囲外である場合には（Ｓ１１３：Ｎｏ）、サーバ１０は、後述するＳ１２１の処理を行う。
【００６１】
一方、検出された音の属性（の全ての種類）の検出値が所定の範囲内である場合には（Ｓ１１３：Ｙｅｓ）、音解析部１０２は、受信された音声データのうち、期間Ｔにおける音情報を一時的に保持する（Ｓ１１５）。そして、音解析部１０２は、ＴにΔＴを加算する（Ｓ１１７）。その後、サーバ１０は、再びＳ１０９以降の処理を行う。
【００６２】
ここで、図８を参照して、Ｓ１２１以降の処理について説明する。図８に示したように、Ｓ１２１において、音声認識部１０６は、音解析部１０２が現在保持している音情報に対して音声認識を行い、そして、文字列群に変換する（Ｓ１２１）。
【００６３】
続いて、音解析部１０２は、保持している音情報を破棄する（Ｓ１２３）。
【００６４】
続いて、決定部１０４は、Ｓ１２１で変換された文字列群を一つのまとまり単位として決定する（Ｓ１２５）。
【００６５】
その後、音解析部１０２は、当該音声データの全てに対する音声認識が終了したか否かを判定する（Ｓ１２７）。当該音声データの全てに対する音声認識が終了していない場合には（Ｓ１２７：Ｎｏ）、音解析部１０２は、ＴにΔＴを加算する（Ｓ１２９）。その後、サーバ１０は、再びＳ１０９以降の処理を行う。
【００６６】
一方、当該音声データの全てに対する音声認識が終了した場合で（Ｓ１２７：Ｙｅｓ）、かつ、音声入力の終了の操作がユーザによりなされた場合には（Ｓ１３１：Ｙｅｓ）、端末２０は、音声入力アプリケーションを終了する（Ｓ１３３）。そして、本動作は終了する。
【００６７】
一方、音声入力の終了の操作がなされない場合には（Ｓ１３１：Ｎｏ）、再びＳ１０３以降の処理が行われる。
【００６８】
＜２−３．効果＞
以上説明したように、本実施形態によれば、サーバ１０は、集音された音声の音の属性の変化に関する検出結果を取得し、そして、当該音声の音声認識結果から得られる文字列群のまとまり単位を、当該検出結果に基づいて決定する。このため、集音された音声の音の属性に適応的にまとまり単位を決定するので、当該文字列群のまとまり単位をより適切に決定することができる。
【００６９】
一般的に、ユーザが自然に発話を行う場合、（当該発話の音声認識結果に関して）ユーザが意図するまとまり単位ごとに、当該まとまり単位に対応する音声の音の属性（例えば、音のスピードや音量など）が異なり得る。または、ユーザが意図する個々のまとまり単位に対応する音声の区間のあいだに「間」が含まれ得る。このため、サーバ１０は、集音された音声の音の属性の変化に関する検出結果を用いてまとまり単位を決定するので、発話者の意図を反映してまとまり単位を決定することができる。例えば、図４および図５に示した例のように、仮に一部の音声の認識結果が誤った場合であっても、例えば本開示の比較例とは異なり、発話者の意図を反映してまとまり単位を決定することができる。その結果、ユーザによるまとまり単位の修正作業が容易になり得るので、例えば音声認識結果が誤りを含む場合などにおいて利便性が高い。
【００７０】
また、本実施形態によれば、仮に発話者の意図とは異なるまとまり単位が決定された場合には、発話者は、発話の仕方を意図的に変えて（例えば、音の属性を変化させたり、「間」を開けるなど）発話し直すことにより、発話者の意図通りにまとまり単位が新たに決定されるという効果も得られる。
【００７１】
＜＜３．ハードウェア構成＞＞
次に、本実施形態によるサーバ１０のハードウェア構成について、図９を参照して説明する。図９に示すように、サーバ１０は、ＣＰＵ１５０、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１５２、ＲＡＭ１５４、バス１５６、インターフェース１５８、ストレージ装置１６０、および、通信装置１６２を備える。
【００７２】
ＣＰＵ１５０は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ１０内の動作全般を制御する。また、ＣＰＵ１５０は、サーバ１０において制御部１００の機能を実現する。なお、ＣＰＵ１５０は、マイクロプロセッサなどのプロセッサにより構成される。
【００７３】
ＲＯＭ１５２は、ＣＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。
【００７４】
ＲＡＭ１５４は、例えば、ＣＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
【００７５】
バス１５６は、ＣＰＵバスなどから構成される。このバス１５６は、ＣＰＵ１５０、ＲＯＭ１５２、および、ＲＡＭ１５４を相互に接続する。
【００７６】
インターフェース１５８は、ストレージ装置１６０および通信装置１６２を、バス１５６と接続する。
【００７７】
ストレージ装置１６０は、記憶部１２２として機能する、データ格納用の装置である。ストレージ装置１６０は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または、記憶媒体に記録されたデータを削除する削除装置などを含む。
【００７８】
通信装置１６２は、例えば通信網２２などに接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置１６２は、無線ＬＡＮ対応通信装置、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）対応通信装置、または、有線による通信を行うワイヤー通信装置であってもよい。この通信装置１６２は、通信部１２０として機能する。
【００７９】
＜＜４．変形例＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００８０】
＜４−１．変形例１＞
例えば、サーバ１０（決定部１０４）は、さらに、所定の条件に基いて、受信された音声データの音声認識結果から得られる文字列群のまとまり単位を動的に決定することも可能である。例えば、決定部１０４は、さらに、受信された音声データに含まれるノイズの検出結果（例えばノイズレベルなど）に基いて、当該文字列群のまとまり単位を動的に決定してもよい。
【００８１】
または、例えば、発話者の属性情報（性別や年齢など）と、発せられる音の周波数帯（または周波数の特徴）とが関連付けて登録され得る。この場合、決定部１０４は、受信された音声データの音の周波数の検出結果に基いて発話者の属性情報を特定することも可能である。さらに、決定部１０４は、特定した属性情報に基づいて、当該文字列群のまとまり単位を動的に決定してもよい。これにより、さらに発話者の属性を反映させてまとまり単位を決定することができるので、さらにユーザの意図に沿うようにまとまり単位が決定され得る。
【００８２】
＜４−２．変形例２＞
なお、複数の言語が混在した発話がなされる場面も想定される。そこで、別の変形例として、サーバ１０（決定部１０４）は、受信された音声データにおける、第１の言語による発話の音声と、第２の言語による発話の音声との切り替わりの検出結果に基いて、当該文字列群のまとまり単位を動的に決定してもよい。例えば、決定部１０４は、当該切り替わりの部分を境界として別々のまとまり単位が形成されるように、複数のまとまり単位を決定してもよい。
【００８３】
＜４−３．変形例３＞
また、本実施形態による情報処理システムの構成は、図１に示した例に限定されない。例えば、図１では、サーバ１０が一台だけ図示されているが、かかる例に限定されず、複数台のコンピュータが協同して動作することにより、上述したサーバ１０の機能が実現されてもよい。また、図１では、端末２０が一台だけ図示されているが、かかる例に限定されず、当該情報処理システムは、端末２０を複数台含み得る。
【００８４】
＜４−４．変形例４＞
また、本実施形態によるサーバ１０の構成は、図３に示した例に限定されない。例えば、音解析部１０２、音声認識部１０６、および、表示制御部１０８のうちの少なくとも一以上は、サーバ１０に含まれる代わりに、例えば端末２０など、サーバ１０が通信可能な他の装置に含まれてもよい。
【００８５】
＜４−５．変形例５＞
また、上述した実施形態では、本開示における情報処理装置がサーバ１０である例について説明したが、本開示はかかる例に限定されない。例えば、少なくとも決定部１０４の機能を端末２０が有する場合には、当該情報処理装置は、端末２０であってもよい。この場合、例えば、端末２０は、まず、集音された音声データの音の属性の変化を検出することにより、上述した所定の条件を満たす区間（つまり、まとまり単位に対応する音声区間）を一以上特定する。そして、端末２０は、当該音声データ、および、特定した一以上の区間の情報をサーバ１０へ送信する。その後、サーバ１０は、受信された一以上の区間の情報の各々に基いて、受信された音声データの音声認識をそれぞれ行い、文字列群に変換する。そして、サーバ１０は、変換した複数の文字列群の各々を端末２０へ送信する。これにより、上述した実施形態と同様の効果が得られる。
【００８６】
または、上述した制御部１００に含まれる全ての構成要素を端末２０が含んでもよい。この場合、サーバ１０は必ずしも設置されなくてもよい。
【００８７】
＜４−６．変形例６＞
また、上述した実施形態の動作における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。また、記載されたステップのうちの一部が省略されたり、または、別のステップがさらに追加されてもよい。
【００８８】
また、上述した実施形態によれば、例えばＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４などのハードウェアを、上述した実施形態によるサーバ１０の構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。
【００８９】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００９０】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
集音された音声の音の属性の変化に関する検出結果を取得する取得部と、
前記音声の音声認識に基いて特定される文字列群に関するまとまりの単位を、前記検出結果に基づいて決定する決定部と、
を備える、情報処理装置。
（２）
前記音の属性は、音の速度を含む、前記（１）に記載の情報処理装置。
（３）
前記音の属性は、音量を含む、前記（１）または（２）に記載の情報処理装置。
（４）
前記音の属性は、音の周波数を含む、前記（１）〜（３）のいずれか一項に記載の情報処理装置。
（５）
前記音声の音の属性の変化に関する検出結果は、無音状態と判定される所定の期間の検出結果を含む、前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記無音状態と判定される所定の期間は、音の振幅が第１の閾値以上である振幅の零交差数が第２の閾値未満である所定の単位期間が一以上連続する期間である、前記（５）に記載の情報処理装置。
（７）
前記決定部は、前記検出結果に基づいて、前記音の属性が所定の条件を満たす区間を一以上特定し、かつ、特定した一以上の前記区間に基いて前記文字列群に関するまとまりの単位を決定する、前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記決定部は、前記区間に対応する音声の認識結果に応じた文字列群を一つのまとまり単位として決定する、前記（７）に記載の情報処理装置。
（９）
前記区間は、前記区間の開始タイミングから、前記開始タイミングにおいて検出された前記音の属性の値との差分の絶対値が所定の閾値よりも大きい値が検出されるタイミングまでの間に応じた期間である、前記（８）に記載の情報処理装置。
（１０）
前記区間の開始タイミングは、直前の、無音状態と判定される所定の期間の終了が検出されるタイミングに応じたタイミングである、前記（８）に記載の情報処理装置。
（１１）
前記区間は、無音状態と判定される第１の期間と、前記無音状態と判定される第２の期間との間に応じた期間である、前記（８）に記載の情報処理装置。
（１２）
前記区間は、前記音の属性の検出値の上限値と下限値との差分の絶対値が所定の閾値以下である、連続する期間である、前記（８）に記載の情報処理装置。
（１３）
前記取得部は、前記音声をさらに取得し、
前記情報処理装置は、前記区間に対応する音声の認識を行う音声認識部をさらに備え、
前記決定部は、前記音声認識部による認識結果に基いて、前記文字列群に関するまとまりの単位を決定する、前記（８）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
前記決定部は、前記検出結果に基づいて前記区間を複数特定し、
前記音声認識部は、前記複数の前記区間の各々に対応する音声の認識をそれぞれ行い、
前記決定部は、前記複数の前記区間の各々に関して、前記音声認識部による当該区間に対応する音声の認識結果に応じた文字列群を一つのまとまり単位としてそれぞれ決定する、前記（１３）に記載の情報処理装置。
（１５）
前記決定部は、さらに、前記音声に含まれるノイズの検出結果に基づいて、前記文字列群に関するまとまりの単位を決定する、前記（１）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記決定部は、さらに、前記検出結果に基いて特定される前記音声の発話者に関する情報に基づいて、前記文字列群に関するまとまりの単位を決定する、前記（１）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）
前記音声は、第１の言語の音声と第２の言語の音声とを含み、
前記決定部は、さらに、前記第１の言語の音声と前記第２の言語の音声との切り替わりの検出結果に基いて、前記文字列群に関するまとまりの単位を決定する、前記（１）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
前記情報処理装置は、前記決定部により決定された一以上のまとまりの単位を表示画面に表示させる表示制御部をさらに備え、
前記表示制御部は、前記一以上のまとまりの単位の各々に基いて、修正候補の文字列群を前記表示画面にさらに表示させる、前記（１）〜（１７）のいずれか一項に記載の情報処理装置。
（１９）
集音された音声の音の属性の変化に関する検出結果を取得することと、
前記音声の音声認識に基いて特定される文字列群に関するまとまりの単位を、前記検出結果に基づいてプロセッサが決定することと、
を含む、情報処理方法。
（２０）
コンピュータを、
集音された音声の音の属性の変化に関する検出結果を取得する取得部と、
前記音声の音声認識に基いて特定される文字列群に関するまとまりの単位を、前記検出結果に基づいて決定する決定部、
として機能させるための、プログラム。
【符号の説明】
【００９１】
１０  サーバ
２０  端末
２２  通信網
１００  制御部
１０２  音解析部
１０４  決定部
１０６  音声認識部
１０８  表示制御部
１２０  通信部
１２２  記憶部
２００  集音部
２０２  操作表示部
【図１】
2018016143.tif 000003
【図２】
2018016143.tif 000004
【図３】
2018016143.tif 000005
【図４】
2018016143.tif 000006
【図５】
2018016143.tif 000007
【図６】
2018016143.tif 000008
【図７】
2018016143.tif 000009
【図８】
2018016143.tif 000010
【図９】
2018016143.tif 000011
【国際調査報告】
2018016143.tif 000012
2018016143.tif 000013
2018016143.tif 000014
2018016143.tif 000015