(57)【要約】【課題】シーケンスデータを構成する単位データ数に関係なく、リアルタイムでシーケンスデータ分割処理を実行することができるデータ・セグメンテーション装置を実現する。【解決手段】文章分割装置１００では、単位データである語データを入力とし、シーケンスデータの境界である文章境界が存在する位置および確率を示すベクトルを出力とするニューラルネットワークによるモデルを用いて学習処理を行い、学習済みモデルを取得する。そして、文章分割装置１００では、上記の学習済みモデルを用いて、文章境界を検出する処理を行う。つまり、文章分割装置１００では、各要素が文章の境界位置である確率を示すデータであるｍ個（ｍ：自然数）の要素の値を調べることで、文章境界が存在する位置を、容易かつ適切に検出することができる。【選択図】図１
2020024277.tif 000002
【特許請求の範囲】
【請求項１】
時系列に連続するデータであるシーケンスデータを構成する単位データを入力し、
各要素がシーケンスデータの境界位置である確率を示すデータであるｍ個（ｍ：自然数）の要素と、もう１つの要素との合計ｍ＋１個の要素からなるｍ＋１次元ベクトルデータを出力するニューラルネットワーク部と、
前記ニューラルネットワーク部から出力される前記ｍ＋１次元ベクトルデータに基づいて、シーケンスデータの境界位置を決定する境界検出部と、
を備えるデータ・セグメンテーション装置。
【請求項２】
前記ニューラルネットワーク部は、
再帰型ニューラルネットワークを含む、
請求項１に記載のデータ・セグメンテーション装置。
【請求項３】
ｍ次元の閾値ベクトルを設定する閾値ベクトル設定部をさらに備え、
前記境界検出部は、
前記ｍ次元の閾値ベクトルと前記ｍ＋１次元ベクトルデータとに基づいて、シーケンスデータの境界位置を決定する、
請求項１または２に記載のデータ・セグメンテーション装置。
【請求項４】
前記境界検出部は、
前記ｍ次元の閾値ベクトルのｍ個の要素と、前記ｍ＋１次元ベクトルデータのシーケンスデータの境界位置である確率を示すデータであるｍ個の要素とを、それぞれ、比較することにより、シーケンスデータの境界位置を決定する、
請求項３に記載のデータ・セグメンテーション装置。
【請求項５】
前記境界検出部は、
前記ｍ次元の閾値ベクトルのｍ個の要素と、前記ｍ＋１次元ベクトルデータのシーケンスデータの境界位置である確率を示すデータであるｍ個の要素とを、検出する対象のシーケンスデータの境界位置が現時刻から時間的に近い順に、比較することで文章の境界位置を決定する処理を行い、文章の境界位置が決定されたとき、以降の比較処理を行わない、
請求項４に記載のデータ・セグメンテーション装置。
【請求項６】
前記閾値ベクトル設定部は、
値Ｆ１を
Ｆ１＝２×Ｐｒｅｃｉｓｉｏｎ×Ｒｅｃａｌｌ／（Ｐｒｅｃｉｓｉｏｎ＋Ｒｅｃａｌｌ）
Ｐｒｅｃｉｓｉｏｎ：正しいと予測したデータのうち、実際に正しいデータであった割合
Ｒｅｃａｌｌ：実際に正しいデータであるもののうち、正しいと予測されたデータの割合
とし、
評価値ｓｃｏｒｅを
ｓｃｏｒｅ＝Ｆ１−α×ｌａｔｅｎｃｙ
ｌａｔｅｎｃｙ：遅延時間（遅延量）
α：係数
としたとき、
閾値ベクトルθをチューニングするために用いるデータセットにおいて、前記評価値ｓｃｏｒｅが所定の値よりも大きな値となるように、閾値ベクトルθを設定する、
請求項３から５のいずれかに記載のデータ・セグメンテーション装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列に連続するシーケンスデータを分割する方法に関し、例えば、文章分割方法（センテンス・セグメンテーション）についての技術に関する。
【背景技術】
【０００２】
機械により同時通訳（リアルタイム通訳）を実現するためには、音声認識と機械翻訳とを実行する必要がある。つまり、自動同時通訳を実現するためには、自動音声認識と機械翻訳とを統合する必要がある。
【０００３】
自動音声認識により、取得されるデータ（文章データ）には、文章の区切り（セグメンテーション）が存在しない。一方、機械翻訳では、文章単位に区切られた文章（文章のデータ）が入力される必要がある。
【０００４】
近年、自動音声認識と機械翻訳とを統合するために、自動音声認識により取得されたデータ（文章データ）をリアルタイムで文章単位に分割し、文章単位に区切られた文章（文章のデータ）を取得するための技術が開発されている。
【０００５】
例えば、ｎ−ｇｒａｍ言語モデルを用いて会話音声の文章分割（センテンス・セグメンテーション）を自動で実行する技術がある（例えば、非特許文献1を参照）。
【０００６】
このようなｎ−ｇｒａｍ言語モデルを用いた手法では、文章の境界（区切り位置）を入力される単語間において発生する隠れイベント（ｈｉｄｄｅｎ  ｅｖｅｎｔ）とみなす。そして、ｎ−ｇｒａｍ言語モデルを用いた手法では、文章の境界（区切り位置）が存在するとみなしたときと、文章の境界（区切り位置）が存在しないとみなしたときとの入力単語の尤度を計算する。具体的には、ｎ−ｇｒａｍ言語モデルを用いた手法では、入力される単語（単語データ）を、・・・，ｗｔ−１，ｗｔ，ｗｔ＋１，・・・とし、次の２つの（仮定１）、（仮定２）を設定する。
（仮定１）：
単語ｗｔの後の位置に文章の境界（区切り位置）は存在せず、入力データは、・・・，ｗｔ−１，ｗｔ，ｗｔ＋１，・・・のままであるものとする。
（仮定２）：
単語ｗｔの後の位置に文章の境界（区切り位置）が存在し、入力データは、・・・，ｗｔ−１，ｗｔ，＜／ｓ＞，＜ｓ＞，ｗｔ＋１，・・・であるものとする。なお、「＜／ｓ＞」は、文章の終端位置を示し、「＜ｓ＞」は、文章の開始位置を示している。
【０００７】
ｎ−ｇｒａｍ言語モデルを用いた手法では、上記（仮定１）の確率と（仮定２）の確率とを比較することにより、文章の境界（区切り位置）を予測する。例えば、ｎ−ｇｒａｍ言語モデルを用いた手法では、下記数式により規定される単語ｗｔの後に文章の境界が存在する信頼度ｓｔに基づいて、文章の境界（区切り位置）を予測する。
【数１】
2020024277.tif 000003
ｏ：ｎ−ｇｒａｍ言語モデルのオーダー（ｏｒｄｅｒ）
なお、例えば、「ｐ（＜／ｓ＞｜ｗｔ−ｏ＋２ｔ）」は、ｗｔ−ｏ＋２，・・・，ｗｔ−１，ｗｔの後に、＜／ｓ＞が存在する確率を示している。他の表記についても同様である。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】Andreas Stolcke and Elizabeth Shriberg. 1996. Automatic linguistic segmentation of conversational speech. In Spoken Language, 1996. ICSLP 96. Proceedings., Fourth International Conference on, volume 2, pages 1005-1008. IEEE.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記のｎ−ｇｒａｍ言語モデルを用いた手法では、以下の２つの問題点がある。
【００１０】
第１に、ｎ−ｇｒａｍ言語モデルを用いた手法では、長い文章の依存性を把握することができない。文章は、通常、ｎ−ｇｒａｍのオーダーよりも長いので、ｎ単語より多い数の単語により構成される文章について、ｎ−ｇｒａｍ言語モデルを用いた手法では、当該文章の依存性を適切に判断することができず、その結果、文章の境界を適切に検出することができない。
【００１１】
第２に、ｎ−ｇｒａｍ言語モデルを用いた手法では、２つのシーケンス（上記（仮定１）および（仮定２））の同時確率（ｇｅｎｅｒａｔｉｖｅ  ｐｒｏｂａｂｉｌｉｔｙ）を比較することで、文章の境界（区切り位置）を予測するが、同時確率（ｇｅｎｅｒａｔｉｖｅ  ｐｒｏｂａｂｉｌｉｔｙ）を用いたモデル（生成モデル（ｇｅｎｅｒａｔｉｖｅ  ｍｏｄｅｌ））の検出精度（例えば、文章の境界の検出精度）は、条件付き確率を用いたモデル（識別モデル（ｄｉｓｃｒｉｍｉｎａｔｉｖｅ  ｍｏｄｅｌ））の検出精度よりも劣る。
【００１２】
そこで、本発明は、上記課題に鑑み、シーケンスデータ（例えば、文章）を構成する単位データ数（例えば、単語数）に関係なく、リアルタイムでシーケンスデータ分割処理（例えば、文章分割処理）を実行することができるデータ・セグメンテーション装置を実現することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するための第１の発明は、ニューラルネットワーク部と、境界検出部と、を備えるデータ・セグメンテーション装置である。
【００１４】
ニューラルネットワーク部は、時系列に連続するデータであるシーケンスデータ（例えば、文章）を構成する単位データ（例えば、語データ）を入力し、各要素がシーケンスデータ（例えば、文章）の境界位置である確率を示すデータであるｍ個（ｍ：自然数）の要素と、もう１つの要素との合計ｍ＋１個の要素からなるｍ＋１次元ベクトルデータを出力する。
【００１５】
境界検出部は、ニューラルネットワーク部から出力されるｍ＋１次元ベクトルデータに基づいて、シーケンスデータ（例えば、文章）の境界位置を決定する。
【００１６】
このデータ・セグメンテーション装置では、例えば、語データ（例えば、単語データ）を入力とし、文章境界が存在する位置および確率を示すベクトルを出力とするニューラルネットワークによるモデルを用いて学習処理を行い、学習済みモデルを取得する。そして、このセンテンス・セグメンテーション装置では、上記の学習済みモデルを用いて、例えば、文章境界を検出する処理を行う。つまり、このセンテンス・セグメンテーション装置では、各要素が文章の境界位置である確率を示すデータであるｍ個（ｍ：自然数）の要素の値を調べることで、文章境界が存在する位置を、容易かつ適切に検出することができる。また、このデータ・セグメンテーション装置では、ｍ＋１次元ベクトルデータを出力するので、例えば、「もう１つの要素」をｍ＋１次元ベクトルの各要素の総和が、例えば「１」になるように設定することができる。これにより、例えば、ニューラルネットワーク部の出力層をソフトマックス層（活性化関数をＳｏｆｔｍａｘ関数とする出力層）として扱うことが容易となる。
【００１７】
第２の発明は、第１の発明であって、ニューラルネットワーク部は、再帰型ニューラルネットワークを含む。
【００１８】
これにより、このデータ・セグメンテーション装置では、例えば、長い文章の依存性も考慮することができ、文章を構成する単語数に関係なく、精度の高い文章境界検出処理、センテンス・セグメンテーション処理を実行することができる。
【００１９】
第３の発明は、第１または第２の発明であって、ｍ次元の閾値ベクトルを設定する閾値ベクトル設定部をさらに備える。
【００２０】
境界検出部は、ｍ次元の閾値ベクトルとｍ＋１次元ベクトルデータとに基づいて、シーケンスデータ（例えば、文章）の境界位置を決定する。
【００２１】
第４の発明は、第３の発明であって、境界検出部は、ｍ次元の閾値ベクトルのｍ個の要素と、ｍ＋１次元ベクトルデータのシーケンスデータ（例えば、文章）の境界位置である確率を示すデータであるｍ個の要素とを、それぞれ、比較することにより、シーケンスデータ（例えば、文章）の境界位置を決定する。
【００２２】
これにより、このデータ・セグメンテーション装置では、簡単な比較処理を行うだけで、適切に文章の境界位置を決定（検出）することができる。
【００２３】
第５の発明は、第４の発明であって、境界検出部は、ｍ次元の閾値ベクトルのｍ個の要素と、ｍ＋１次元ベクトルデータのシーケンスデータ（例えば、文章）の境界位置である確率を示すデータであるｍ個の要素とを、検出する対象のシーケンスデータ（例えば、文章）の境界位置が現時刻から時間的に近い順に、比較することでシーケンスデータ（例えば、文章）の境界位置を決定する処理を行い、シーケンスデータ（例えば、文章）の境界位置が決定されたとき、以降の比較処理を行わない。
【００２４】
これにより、このデータ・セグメンテーション装置では、現時刻ｔに時間的に近い方から順番に、例えば、ニューラルネットワーク部に入力された単語の後に文章境界があるか否かを判定することができる。そして、このセンテンス・セグメンテーション装置では、閾値ベクトルθを用いて比較処理により、文章境界を検出したら即文章境界検出処理を終了させる。従って、このセンテンス・セグメンテーション装置では、ユーザの発話開始からあまり時間を経過しない間に文章境界検出処理を行うことができるため、リアルタイムで文章分割処理を実行することができる。
【００２５】
第６の発明は、第３から第５のいずれかの発明であって、閾値ベクトル設定部は、値Ｆ１を
Ｆ１＝２×Ｐｒｅｃｉｓｉｏｎ×Ｒｅｃａｌｌ／（Ｐｒｅｃｉｓｉｏｎ＋Ｒｅｃａｌｌ）
Ｐｒｅｃｉｓｉｏｎ：正しいと予測したデータのうち、実際に正しいデータであった割合
Ｒｅｃａｌｌ：実際に正しいデータであるもののうち、正しいと予測されたデータの割合
とし、
評価値ｓｃｏｒｅを
ｓｃｏｒｅ＝Ｆ１−α×ｌａｔｅｎｃｙ
ｌａｔｅｎｃｙ：遅延時間（遅延量）
α：係数
としたとき、
閾値ベクトルθをチューニングするために用いるデータセットにおいて、評価値ｓｃｏｒｅが所定の値よりも大きな値となるように、閾値ベクトルθを設定する。
【００２６】
このデータ・セグメンテーション装置では、上記によりチューニングされた閾値ベクトルθを用いてデータ・セグメンテーション処理を行うことができる。上記によりチューニングされた閾値ベクトルθは、データ・セグメンテーションの正確さ（ａｃｃｕｒａｃｙ）と遅延時間（ｌａｔｅｎｃｙ）とを考慮した評価値に基づいて、最適化されているため、データ・セグメンテーションを実行するときの閾値処理に用いる閾値ベクトルθとして適切である。
【００２７】
つまり、このデータ・セグメンテーション装置では、上記のようにしてチューニングされた閾値ベクトルθを用いて、例えば、文章境界検出処理、センテンス・セグメンテーション処理を実行することで、高精度かつ低遅延の文章境界検出処理、センテンス・セグメンテーション処理を実現することができる。
【００２８】
なお、閾値ベクトルθをチューニングするために用いるデータセットにおいて、評価値ｓｃｏｒｅが最大となるように、閾値ベクトルθを設定してもよい。
【発明の効果】
【００２９】
本発明によれば、シーケンスデータ（例えば、文章）を構成する単位データ数（例えば、単語数）に関係なく、リアルタイムでシーケンスデータ分割処理（例えば、文章分割処理）を実行することができるシーケンスデータ分割方法（例えば、文章分割方法）、データ・セグメンテーション装置を実現することができる。また、当該文章分割方法、センテンス・セグメンテーション装置を利用することで、リアルタイムで精度の高い機械翻訳を行うことができ、さらに、機械によるリアルタイムでの同時通訳を実現することができる。
【図面の簡単な説明】
【００３０】
【図１】第１実施形態に係る同時通訳システム１０００の概略構成図。
【図２】第１実施形態に係る文章分割装置１００のセンテンス分割部２の概略構成図。
【図３】学習時における文章分割装置１００のニューラルネットワーク部２２の各層のデータ入出力関係を時系列に展開した図。
【図４】予測時（実行時）における文章分割装置１００のニューラルネットワーク部２２の各層のデータ入出力関係を時系列に展開した図。
【図５】文章境界検出処理のフローチャートである。
【図６】閾値ベクトルθをチューニングするためのアルゴリズムの疑似コード
【図７】第２実施形態に係る話者識別システム２０００の概略構成図。
【図８】第２実施形態に係る話者識別システム２０００のデータ分割装置１００Ａのデータ分割部２Ａの概略構成図。
【図９】第３実施形態に係る映像識別システム３０００の概略構成図。
【図１０】第３実施形態に係る映像識別システム３０００のデータ分割装置１００Ｂのデータ分割部２Ｂの概略構成図。
【図１１】第３実施形態の第１変形例に係る映像識別システム３０００Ａの概略構成図。
【図１２】第３実施形態の第２変形例に係る映像識別システム３０００Ｂの概略構成図。
【図１３】第１実施形態を実現するコンピュータの内部構成を示すブロック図。
【発明を実施するための形態】
【００３１】
［第１実施形態］
第１実施形態について、図面を参照しながら、以下説明する。
【００３２】
＜１．１：同時通訳システムの構成＞
図１は、第１実施形態に係る同時通訳システム１０００の概略構成図である。
【００３３】
図２は、第１実施形態に係る文章分割装置１００のセンテンス分割部２の概略構成図である。
【００３４】
同時通訳システム１０００は、図１に示すように、音声認識部Ａｕｄ１と、文章分割装置１００（データ・セグメンテーション装置）と、機械翻訳部ＭＴ１とを備える。
【００３５】
音声認識部Ａｕｄ１は、例えば、マイク等の音声入力装置により取得された音声データＤｉｎを入力する。そして、音声認識部Ａｕｄ１は、例えば、音響モデル、言語モデル、辞書のデータベースを有しており、音声データＤｉｎに対して、音響モデル、言語モデル、辞書を用いて、音声認識処理を実行し、音声データＤｉｎに対応する文章データＤ１を取得する。そして、音声認識部Ａｕｄ１は、取得した文章データＤ１を文章分割装置１００に出力する。
【００３６】
文章分割装置１００は、図１に示すように、閾値ベクトル設定部１と、センテンス分割部２とを備える。
【００３７】
閾値ベクトル設定部１は、所定のデータセットを用いて、学習することにより、閾値ベクトルθを取得する。そして、閾値ベクトル設定部１は、取得した閾値ベクトルθをセンテンス分割部２に出力する。
【００３８】
センテンス分割部２は、図２に示すように、単語取得部２１と、ニューラルネットワーク部２２と、文章境界検出部２３と、センテンス取得部２４とを備える。
【００３９】
単語取得部２１は、音声認識部Ａｕｄ１から出力される文章データＤ１を入力する。単語取得部２１は、入力された文章データＤ１から単語データｘｔを取得し、取得した単語データｘｔをニューラルネットワーク部２２に出力する。
【００４０】
ニューラルネットワーク部２２は、複数のＲＮＮ層（ＲＮＮ：Recurrent Neural Network）を有するニューラルネットワークにより構成されている。ニューラルネットワーク部２２は、図２に示すように、埋込層２２１と、第１ＲＮＮ層２２２と、第２ＲＮＮ層２２３と、第３ＲＮＮ層２２４と、出力マッピング層２２５と、ソフトマックス層２２６とを備える。
【００４１】
ニューラルネットワーク部２２は、単語取得部２１から出力される単語データｘｔを入力し、単語データｘｔを用いて、ニューラルネットワークによる処理を実行し、センテンス・セグメンテーション判定用データｙｔを取得する。そして、ニューラルネットワーク部２２は、取得したセンテンス・セグメンテーション判定用データｙｔを文章境界検出部２３に出力する。
【００４２】
埋込層２２１は、単語データｘｔに対して、埋め込み処理を行うための行列を用いて、行列変換することで、分散表現データに変換し、取得した分散表現データを第１ＲＮＮ層２２２に出力する。
【００４３】
第１ＲＮＮ層２２２、第２ＲＮＮ層２２３および第３ＲＮＮ層２２４は、ＲＮＮにより構成されている。第１ＲＮＮ層２２２は、時刻ｔにおいて埋込層２２１から出力される分散表現データｘｏｅｍｂ（ｔ）と、時刻ｔ−１において第１ＲＮＮ層２２２から出力されたデータｘｏＲＮＮ１（ｔ−１）とを入力する。そして、第１ＲＮＮ層２２２は、時刻ｔにおいて埋込層２２１から出力される分散表現データと、時刻ｔ−１において第１ＲＮＮ層２２２から出力されたデータとを用いて、ＲＮＮによる処理を実行する。つまり、第１ＲＮＮ層２２２は、
ｘｏＲＮＮ１（ｔ）＝Ｗｒｅｃ×ｘｏＲＮＮ１（ｔ−１）＋Ｗ１×ｘｏｅｍｂ（ｔ）
Ｗｒｅｃ：重み行列
Ｗ１：重み行列
に相当する処理を実行し、時刻ｔの第１ＲＮＮ層の出力データｘｏＲＮＮ１（ｔ）を取得し、当該データを第２ＲＮＮ層２２３に出力する。
【００４４】
第２ＲＮＮ層２２３は、時刻ｔにおいて第１ＲＮＮ層２２２から出力されるデータと、時刻ｔ−１において第２ＲＮＮ層２２３から出力されたデータとを入力する。そして、第２ＲＮＮ層２２３は、時刻ｔにおいて第１ＲＮＮ層２２２から出力されるデータｘｏＲＮＮ１（ｔ）と、時刻ｔ−１において第２ＲＮＮ層２２３から出力されたデータｘｏＲＮＮ２（ｔ−１）とを用いて、ＲＮＮによる処理を実行する。つまり、第２ＲＮＮ層２２３は、
ｘｏＲＮＮ２（ｔ）＝Ｗｒｅｃ２×ｘｏＲＮＮ２（ｔ−１）＋Ｗ２×ｘｏＲＮＮ１（ｔ）
Ｗｒｅｃ２：重み行列
Ｗ２：重み行列
に相当する処理を実行し、時刻ｔの第２ＲＮＮ層の出力データｘｏＲＮＮ２（ｔ）を取得し、当該データを第３ＲＮＮ層２２４に出力する。
【００４５】
第３ＲＮＮ層２２４は、時刻ｔにおいて第２ＲＮＮ層２２３から出力されるデータと、時刻ｔ−１において第３ＲＮＮ層２２４から出力されたデータとを入力する。そして、第３ＲＮＮ層２２４は、時刻ｔにおいて第２ＲＮＮ層２２３から出力されるデータｘｏＲＮＮ２（ｔ）と、時刻ｔ−１において第３ＲＮＮ層２２４から出力されたデータｘｏＲＮＮ３（ｔ−１）とを用いて、ＲＮＮによる処理を実行する。つまり、第３ＲＮＮ層２２４は、
ｘｏＲＮＮ３（ｔ）＝Ｗｒｅｃ３×ｘｏＲＮＮ３（ｔ−１）＋Ｗ３×ｘｏＲＮＮ２（ｔ）
Ｗｒｅｃ３：重み行列
Ｗ３：重み行列
に相当する処理を実行し、時刻ｔの第３ＲＮＮ層の出力データｘｏＲＮＮ３（ｔ）を取得し、当該データを出力マッピング層２２５に出力する。
【００４６】
出力マッピング層２２５は、例えば、ニューラルネットワークにより構成されている。出力マッピング層２２５は、第３ＲＮＮ層２２４から出力されたデータを入力する。出力マッピング層２２５は、第３ＲＮＮ層２２４の各ノードから出力されるデータに対して重み付けを行い、重み付け後のデータを加算し、さらに、当該加算結果に対して、活性化関数による処理（例えば、ｔａｎｈ（ｘ）による処理）を実行し、ソフトマックス層２２６のノード数と同じ次元のデータを取得する。そして、出力マッピング層２２５は、取得したデータをソフトマックス層２２６に出力する。
【００４７】
ソフトマックス層２２６は、例えば、活性化関数をＳｏｆｔｍａｘ関数として、ｍ＋１次元（ｍ：自然数）のベクトルを出力データとして出力する。ソフトマックス層２２６は、出力マッピング層２２５から出力されるデータに対して、活性化関数を用いた処理を実行し、ｍ＋１次元のベクトルデータを取得する。例えば、ソフトマックス層２２６のｉ番目（ｉ：自然数、１≦ｉ≦ｍ＋１）のノードの出力値ｙｔ（ｉ）は、下記の数式（Ｓｏｆｔｍａｘ関数）により算出される。
【数２】
2020024277.tif 000004
ソフトマックス層２２６は、各ノードに対応する出力値ｙｔ（ｉ）を要素とするｍ＋１次元のベクトルデータを取得し、取得したｍ＋１次元のベクトルデータを出力データｙｔ（センテンス・セグメンテーション判定用データｙｔ）として文章境界検出部２３に出力する。
【００４８】
文章境界検出部２３は、ニューラルネットワーク部２２から出力されるセンテンス・セグメンテーション判定用データｙｔと、閾値ベクトル設定部１から出力される閾値ベクトルθとを入力する。文章境界検出部２３は、センテンス・セグメンテーション判定用データｙｔと、閾値ベクトルθとに基づいて、文章境界を検出する処理を実行し、当該処理の検出結果データδｔを取得する。そして、文章境界検出部２３は、取得した検出結果データδｔをセンテンス取得部２４に出力する。
【００４９】
センテンス取得部２４は、音声認識部Ａｕｄ１から出力される文章データＤ１と、文章境界検出部２３から出力される検出結果データδｔとを入力する。センテンス取得部２４は、検出結果データδｔに基づいて、文章データＤ１を文章単位に分割する。つまり、センテンス取得部２４は、検出結果データδｔに基づいて、文章データＤ１の文章の境界を示すデータ（例えば＜ＥＯＳ＞の記号）を付与したデータをデータＤ２として取得し、取得したデータＤ２を機械翻訳部ＭＴ１に出力する。
【００５０】
図１を参照して、機械翻訳部ＭＴ１は、文章分割装置１００から出力されるデータＤ２を入力する。機械翻訳部ＭＴ１は、データＤ２に対して、機械翻訳処理を実行し、機械翻訳処理後のデータＤｏｕｔを取得する。
【００５１】
＜１．２：同時通訳システムの動作＞
以上のように構成された同時通訳システム１０００の動作について説明する。
【００５２】
（１．２．１：学習処理）
まず、同時通訳システム１０００において、文章分割装置１００のニューラルネットワーク部２２のニューラルネットワークの学習処理について、説明する。
【００５３】
文章のシーケンスＳをＳ＝（Ｓ１，Ｓ２，・・・）とする。つまり、センテンスＳｉ＋１は、センテンスＳｉに続くセンテンスであるものとする。そして、１つの学習用サンプル（Ｘｉ，ｎｉ）が（Ｓｉ，Ｓｉ＋１）から抽出されるものとする。そして、
Ｓｉ＝（ｗ１ｉ，ｗ２ｉ，・・・，ｗniｉ）
であり、
（１）１≦ｔ≦ｎｉの場合、
ｘｔ＝ｗｔｉ
であり、
（２）ｎｉ＋１≦ｔ≦ｎｉ＋ｍの場合、
ｘｔ＝ｗｔ−ｎｉｉ＋１
とする。なお、Ｘｉ＝（ｘ１，ｘ２，・・・，ｘｎｉ＋ｍ）であり、Ｘｉは、入力単語のシーケンスである。
【００５４】
データｙｔが教師データ（理想データ）であるとき、ｙｔは、以下のように定義される。
ｙｔ＜ｋ＞＝１    ｉｆ  １≦ｔ≦ｎｉ、ｋ＝ｍ＋１
ｙｔ＜ｋ＞＝１    ｉｆ  ｎｉ＋１≦ｔ≦ｎｉ＋ｍ、ｋ＝ｔ−ｎｉ
ｙｔ＜ｋ＞＝０    ｏｔｈｅｒｗｉｓｅ（上記以外の場合）
したがって、実データｙｔ（訓練用データを入力したときの出力データｙｔ）と教師データとのクロスエントロピーＥ（Ｓ）を最小にするために、以下の基準を採用する。
【数３】
2020024277.tif 000005
文章分割装置１００のニューラルネットワーク部２２では、訓練用データを入力し、出力データｙｔを取得する。そして、取得したデータｙｔについて、上記クロスエントロピーＥ（Ｓ）が所定の基準を満たすように、ニューラルネットワーク部２２のニューラルネットワークのパラメータ（各シナプス間の重み付け）を決定する。そして、決定したパラメータ（各シナプス間の重み付け）を用いて、ニューラルネットワーク部２２のニューラルネットワークにおいて、学習済みモデルを構築する。
【００５５】
例えば、文章データＤ１が「ｉ‘ｄ  ｌｉｋｅ  ｓｏｍｅ  ｓｔｒａｗｂｅｒｒｉｅｓ  ｈｏｗ  ｍｕｃｈ  ｄｏｅｓ  ｉｔ  ｃｏｓｔ」である場合について、図３を用いて説明する。
【００５６】
図３は、学習時における文章分割装置１００のニューラルネットワーク部２２の各層のデータ入出力関係を時系列に展開した図である。
【００５７】
図３に示すように、ニューラルネットワーク部２２には、文章データＤ１から出力した以下の単語データｘｔが入力される。なお、ｍ＝３とする。
ｘ１＝「ｉ」
ｘ２＝「‘ｄ」
ｘ３＝「ｌｉｋｅ」
ｘ４＝「ｓｏｍｅ」
ｘ５＝「ｓｔｒａｗｂｅｒｒｉｅｓ」
ｘ６＝「ｈｏｗ」
ｘ７＝「ｍｕｃｈ」
ｘ８＝「ｄｏｅｓ」
そして、ニューラルネットワーク部２２の出力は、ｍ＋１次元のベクトルである。時刻ｔのニューラルネットワーク部２２の出力は、ｙｔであり、
ｙｔ＝（ｙｔ＜１＞，ｙｔ＜２＞，・・・，ｙｔ＜ｍ＞，ｙｔ＜ｍ＋１＞）
ｙｔ＜１＞：単語ｗｔ−１（入力データｘｔ−１）の後に文章の境界（区切り）がある確率
ｙｔ＜２＞：単語ｗｔ−２（入力データｘｔ−２）の後に文章の境界（区切り）がある確率
・・・
ｙｔ＜ｍ＞：単語ｗｔ−ｍ（入力データｘｔ−ｍ）の後に文章の境界（区切り）がある確率
ｙｔ＜ｍ＋１＞：ｙｔの全ての要素の加算値を「１」とするための値
ｙｔ＜ｍ＋１＞は、以下の数式を満たす。
【数４】
2020024277.tif 000006
上記の場合、図３に示すように、「ｓｔｒａｗｂｅｒｒｉｅｓ」の後に文章の境界があるので、教師データｙｔを以下のデータとして、学習を行う。
ｙ１＝ｙ２＝ｙ３＝ｙ４＝ｙ５＝（０，０，０，１）
ｙ６＝（１，０，０，０）
ｙ７＝（０，１，０，０）
ｙ８＝（０，０，１，０）
上記以外の訓練用データについても同様にして学習を行う。つまり、上記クロスエントロピーＥ（Ｓ）が所定の基準を満たすように、ニューラルネットワーク部２２のニューラルネットワークのパラメータ（各シナプス間の重み付け）を決定する。そして、決定したパラメータ（各シナプス間の重み付け）を用いて、ニューラルネットワーク部２２のニューラルネットワークにおいて、学習済みモデルを構築する。
【００５８】
（１．２．２：予測処理）
次に、同時通訳システム１０００において、上記学習処理により取得した学習済みモデルを用いた予測処理、すなわち、同時通訳処理について説明する。
【００５９】
以下では、説明便宜のため、学習用の文章データＤ１が「ｉ‘ｄ  ｌｉｋｅ  ｓｏｍｅ  ｓｔｒａｗｂｅｒｒｉｅｓ  ｈｏｗ  ｍｕｃｈ  ｄｏｅｓ  ｉｔ  ｃｏｓｔ」である場合について、説明する。
【００６０】
図４は、予測時（実行時）における文章分割装置１００のニューラルネットワーク部２２の各層のデータ入出力関係を時系列に展開した図である。
【００６１】
図４に示すように、ニューラルネットワーク部２２には、文章データＤ１から出力した以下の単語データｘｔが入力される。なお、ｍ＝３とする。
【００６２】
単語取得部２１は、音声認識部Ａｕｄ１から入力された文章データＤ１から単語データｘｔ（時刻ｔにおける単語データｘｔ）を取得する。具体的には、単語取得部２１は、ｔ＝１〜８（１≦ｔ≦８）において、文章データＤ１から以下の単語データｘｔを取得し、ニューラルネットワーク部２２の埋込層２２１に入力する。
ｘ１＝「ｉ」
ｘ２＝「‘ｄ」
ｘ３＝「ｌｉｋｅ」
ｘ４＝「ｓｏｍｅ」
ｘ５＝「ｓｔｒａｗｂｅｒｒｉｅｓ」
ｘ６＝「ｈｏｗ」
ｘ７＝「ｍｕｃｈ」
ｘ８＝「ｄｏｅｓ」
埋込層２２１では、入力された単語データｘｔに対応する分散表現データが取得される。取得された分散表現データは、第１ＲＮＮ層２２２に入力される。
【００６３】
第１ＲＮＮ層２２２は、時刻ｔにおいて埋込層２２１から出力される分散表現データｘｏｅｍｂ（ｔ）と、時刻ｔ−１において第１ＲＮＮ層２２２から出力されたデータｘｏＲＮＮ１（ｔ−１）とを用いて、ＲＮＮによる処理を実行する。つまり、第１ＲＮＮ層２２２は、
ｘｏＲＮＮ１（ｔ）＝Ｗｒｅｃ×ｘｏＲＮＮ１（ｔ−１）＋Ｗ１×ｘｏｅｍｂ（ｔ）
Ｗｒｅｃ：重み行列
Ｗ１：重み行列
に相当する処理を実行し、時刻ｔの第１ＲＮＮ層の出力データｘｏＲＮＮ１（ｔ）を取得し、当該データを第２ＲＮＮ層２２３に出力する。
【００６４】
第２ＲＮＮ層２２３は、時刻ｔにおいて第１ＲＮＮ層２２２から出力されるデータｘｏＲＮＮ１（ｔ）と、時刻ｔ−１において第２ＲＮＮ層２２３から出力されたデータｘｏＲＮＮ２（ｔ−１）とを用いて、ＲＮＮによる処理を実行する。つまり、第２ＲＮＮ層２２３は、
ｘｏＲＮＮ２（ｔ）＝Ｗｒｅｃ２×ｘｏＲＮＮ２（ｔ−１）＋Ｗ２×ｘｏＲＮＮ１（ｔ）
Ｗｒｅｃ２：重み行列
Ｗ２：重み行列
に相当する処理を実行し、時刻ｔの第２ＲＮＮ層の出力データｘｏＲＮＮ２（ｔ）を取得し、当該データを第３ＲＮＮ層２２４に出力する。
【００６５】
第３ＲＮＮ層２２４は、時刻ｔにおいて第２ＲＮＮ層２２３から出力されるデータｘｏＲＮＮ２（ｔ）と、時刻ｔ−１において第３ＲＮＮ層２２４から出力されたデータｘｏＲＮＮ３（ｔ−１）とを用いて、ＲＮＮによる処理を実行する。つまり、第３ＲＮＮ層２２４は、
ｘｏＲＮＮ３（ｔ）＝Ｗｒｅｃ３×ｘｏＲＮＮ３（ｔ−１）＋Ｗ３×ｘｏＲＮＮ２（ｔ）
Ｗｒｅｃ３：重み行列
Ｗ３：重み行列
に相当する処理を実行し、時刻ｔの第３ＲＮＮ層の出力データｘｏＲＮＮ３（ｔ）を取得し、当該データを出力マッピング層２２５に出力する。
【００６６】
出力マッピング層２２５は、第３ＲＮＮ層２２４の各ノードから出力されるデータに対して重み付けを行い、重み付け後のデータを加算し、さらに、当該加算結果に対して、活性化関数による処理（例えば、ｔａｎｈ（ｘ）による処理）を実行し、ソフトマックス層２２６のノード数と同じ次元のデータを取得する。そして、出力マッピング層２２５は、取得したデータをソフトマックス層２２６に出力する。
【００６７】
ソフトマックス層２２６は、出力マッピング層２２５から出力されるデータに対して、活性化関数を用いた処理を実行し、ｍ＋１次元のベクトルデータを取得する。例えば、ソフトマックス層２２６のｉ番目（ｉ：自然数、１≦ｉ≦ｍ＋１）のノードの出力値ｙｔ（ｉ）は、下記の数式（Ｓｏｆｔｍａｘ関数）により算出される。
【数５】
2020024277.tif 000007
ソフトマックス層２２６は、各ノードに対応する出力値ｙｔ（ｉ）を要素とするｍ＋１次元のベクトルデータを取得し、取得したｍ＋１次元のベクトルデータを出力データｙｔ（センテンス・セグメンテーション判定用データｙｔ）として文章境界検出部２３に出力する。
【００６８】
図４の場合、ｙ１〜ｙ８は、以下のデータとして取得されたものとする。
ｙ１＝（ｙ１＜１＞，ｙ１＜２＞，ｙ１＜３＞，ｙ１＜４＞）
＝（０．１５，０．２１，０．１８，０．４６）
ｙ２＝（ｙ２＜１＞，ｙ２＜２＞，ｙ２＜３＞，ｙ２＜４＞）
＝（０．１３，０．２４，０．２１，０．４２）
ｙ３＝（ｙ３＜１＞，ｙ３＜２＞，ｙ３＜３＞，ｙ３＜４＞）
＝（０．２５，０．１１，０．２２，０．４２）
ｙ４＝（ｙ４＜１＞，ｙ４＜２＞，ｙ４＜３＞，ｙ４＜４＞）
＝（０．３６，０．２４，０．２１，０．１９）
ｙ５＝（ｙ５＜１＞，ｙ５＜２＞，ｙ５＜３＞，ｙ５＜４＞）
＝（０．１７，０．１９，０．１３，０．５１）
ｙ６＝（ｙ６＜１＞，ｙ６＜２＞，ｙ６＜３＞，ｙ６＜４＞）
＝（０．３３，０．２４，０．２１，０．２２）
ｙ７＝（ｙ７＜１＞，ｙ７＜２＞，ｙ７＜３＞，ｙ７＜４＞）
＝（０．１５，０．５１，０．１２，０．２２）
ｙ８＝（ｙ８＜１＞，ｙ８＜２＞，ｙ８＜３＞，ｙ８＜４＞）
＝（０．１３，０．２４，０．６１，０．０２）
また、閾値ベクトル設定部１は、所定のデータセットを用いて学習した閾値ベクトルθをセンテンス分割部２に出力する。なお、ここでは、閾値ベクトルθは、
θ＝（θ＜１＞，θ＜２＞，θ＜３＞）＝（０．４，０．５，０．６）
であるものとする。
【００６９】
文章境界検出部２３は、ニューラルネットワーク部２２から出力されるセンテンス・セグメンテーション判定用データｙｔと、閾値ベクトルθとに基づいて、文章境界を検出する処理を実行する。この処理について、図５のフローチャートを用いて説明する。
【００７０】
図５は、文章境界検出処理のフローチャートである。
【００７１】
（ステップＳ１）：
ステップＳ１において、文章境界検出部２３は、ｉ＝１に設定する処理を行う。
【００７２】
（ステップＳ２）：
ステップＳ２において、文章境界検出部２３は、センテンス・セグメンテーション判定用データｙｔのｉ番目の要素ｙｔ＜ｉ＞と、閾値ベクトルθのｉ番目の要素θ＜ｉ＞との比較処理を行う。そして、ｙｔ＜ｉ＞＞θ＜ｉ＞である場合、処理をステップＳ３に進め、ｙｔ＜ｉ＞＞θ＜ｉ＞ではない場合、処理をステップＳ４に進める。
【００７３】
（ステップＳ３）：
ステップＳ３において、文章境界検出部２３は、文章境界決定処理を行う。具体的には、文章境界検出部２３は、ｙｔ＜ｉ＞＞θ＜ｉ＞であるので、文章境界（文章の区切り位置）が時刻ｔ−ｉにニューラルネットワーク部２２に入力された単語ｘｔ−ｉの後であると判定する。そして、文章境界検出部２３は、当該判定結果を含むデータをセンテンス取得部２４に出力する。具体的には、文章境界検出部２３は、時刻ｔにおいて、ニューラルネットワーク部２２に入力された単語ｘｔの後に文章境界があると判定した場合、δｔ＝１とし、ニューラルネットワーク部２２に入力された単語ｘｔの後に文章境界がないと判定した場合、δｔ＝０とする。そして、δｔを含むデータをセンテンス取得部２４に出力する。
【００７４】
例えば、図４の場合、ｙ７＜２＞＞θ＜２＞（０．５１＞０．５）であるので、δ５＝１（５＝７−２）となり、文章境界検出部２３は、ｘ５（「ｓｔｒａｗｂｅｒｒｉｅｓ」）の後に、文章境界があると判定する。
【００７５】
（ステップＳ４）：
ステップＳ４において、文章境界検出部２３は、値ｉと値ｍとを比較し、ｉ＞ｍである場合、処理を終了させ、ｉ＞ｍではない場合、処理をステップＳ５に進める。
【００７６】
ステップＳ５では、値ｉを１だけインクリメントし、処理をステップＳ２に戻す。
【００７７】
文章境界検出部２３では、上記のようにして、文章境界検出処理が実行される。
【００７８】
上記の通り、文章境界検出部２３では、現時刻ｔに時間的に近い方から順番に、ニューラルネットワーク部２２に入力された単語の後に文章境界があるか否かを判定する。そして、文章境界検出部２３は、センテンス・セグメンテーション判定用データｙｔと、閾値ベクトルθとの比較処理により、文章境界があると判定したら、即座に文章境界を出力し処理を終了させる。したがって、文章境界検出部２３では、高速に文章境界を検出することができる。また、文章境界検出部２３では、上記の通り、現時刻ｔから１〜ｍステップ前の時刻（ｔ−１〜ｔ−ｍ）までのｍ個のデータについてのみ、文章境界検出処理を行うので、文章境界が検出されない場合において、処理が不要に長引くことを防止することができる。
【００７９】
センテンス取得部２４は、文章境界検出部２３により取得された検出結果データδｔに基づいて、文章データＤ１を文章単位に分割する。例えば、センテンス取得部２４は、検出結果データδｔに基づいて、文章データＤ１の文章の境界を示すデータ（＜ＥＯＳ＞）を付与したデータをデータＤ２として取得し、取得したデータＤ２を機械翻訳部ＭＴ１に出力する。例えば、図４の場合、δ５＝１であるため、センテンス取得部２４は、「ｓｔｒａｗｂｅｒｒｉｅｓ」の後に文章境界があると適切に判定することができる。
【００８０】
機械翻訳部ＭＴ１は、文章分割装置１００から出力されるデータＤ２に対して、機械翻訳処理を実行し、機械翻訳処理後のデータＤｏｕｔを取得する。このとき、文章分割装置１００から出力されるデータＤ２は、文章の区切り（文章境界）が明示されているデータであるため、機械翻訳部ＭＴ１は、機械翻訳対象とする文章を適切に取得することができる。つまり、機械翻訳部ＭＴ１は、文章単位に機械翻訳処理を実行することができる。例えば、図４の場合、δ５＝１であり、「ｓｔｒａｗｂｅｒｒｉｅｓ」の後に文章境界があると判定することができるので、機械翻訳部ＭＴ１は、「ｉ‘ｄ  ｌｉｋｅ  ｓｏｍｅ  ｓｔｒａｗｂｅｒｒｉｅｓ」を一文と判定した上で翻訳文を出力し、次の一文が「ｈｏｗ」から始まることを適切に把握することができる。
【００８１】
したがって、機械翻訳部ＭＴ１は、文章境界が適切に判断された文章単位に機械翻訳を行うことができ、その結果、精度の高い機械翻訳結果を取得することができる。機械翻訳部ＭＴ１により取得された機械翻訳結果データは、データＤｏｕｔとして出力される。
【００８２】
以上のように、同時通訳システム１０００では、単語データを入力とし、文章境界が存在する位置および確率を示すベクトルを出力とするニューラルネットワークによるモデルを用いて学習処理を行い、学習済みモデルを取得する。そして、同時通訳システム１０００では、上記の学習済みモデルを用いて、文章境界を検出する処理を行う。同時通訳システム１０００では、閾値ベクトルθを導入し、現時刻ｔに時間的に近い方から順番に、ニューラルネットワーク部２２に入力された単語の後に文章境界があるか否かを判定する。そして、同時通訳システム１０００では、閾値ベクトルθを用いて比較処理により、文章境界を検出したら即座に文章境界検出処理を終了させるとともに、平均してユーザの音声入力開始から文章境界検出までの時間(遅延時間)が短いため、リアルタイムで文章分割処理を実行することができる。
【００８３】
また、同時通訳システム１０００では、単語データを入力とし、文章境界が存在する位置および確率を示すベクトルを出力とするニューラルネットワークにおいて、ＲＮＮを用いているため、長い文章の依存性も考慮することができ、文章を構成する単語数に関係なく、精度の高い文章境界検出処理、センテンス・セグメンテーション処理を実行することができる。
【００８４】
また、同時通訳システム１０００では、上記の通り、精度の高い文章境界検出処理、センテンス・セグメンテーション処理を実行できるので、文章境界を明示したデータを機械翻訳部ＭＴ１に入力し、機械翻訳部ＭＴ１が当該データに対して、機械翻訳処理を実行することで、精度の高い機械翻訳処理結果をリアルタイムで取得することができる。そして、このようにして取得した機械翻訳結果を、例えば、ディスプレイ等にテキストデータとして表示することで、同時通訳処理（リアルタイム通訳処理）を実行することができる。また、同時通訳システム１０００において、上記のようにして取得した機械翻訳結果を、例えば、音声合成処理部により、音声合成処理を行い、機械翻訳結果に対応する合成音声を出力することで、同時通訳処理（リアルタイム通訳処理）を実行することができる。
【００８５】
≪変形例≫
次に、第１実施形態の変形例について、説明する。
【００８６】
本変形例の同時通訳システムでは、閾値ベクトル設定部１において、センテンス・セグメンテーションの正確さ（ａｃｃｕｒａｃｙ）と遅延時間（ｌａｔｅｎｃｙ）とを考慮した評価値を導入し、当該評価値に基づいて、閾値ベクトルθをチューニングする方法について、説明する。
【００８７】
まず、値Ｆ１（Ｆ値）を
Ｆ１＝２×Ｐｒｅｃｉｓｉｏｎ×Ｒｅｃａｌｌ／（Ｐｒｅｃｉｓｉｏｎ＋Ｒｅｃａｌｌ）
Ｐｒｅｃｉｓｉｏｎ：正しいと予測したデータのうち、実際に正しいデータであった割合
Ｒｅｃａｌｌ：実際に正しいデータであるもののうち、正しいと予測されたデータの割合
とする。
【００８８】
そして、評価値ｓｃｏｒｅを
ｓｃｏｒｅ＝Ｆ１−α×ｌａｔｅｎｃｙ
ｌａｔｅｎｃｙ：遅延時間（遅延量）
とする。
【００８９】
なお、αは係数であり、例えば、α＝０．０１である。
【００９０】
そして、閾値ベクトルθをチューニングするために用いるデータセットにおいて、上記評価値ｓｃｏｒｅを最大にするように、貪欲法（Ｇｒｅｅｄｙ  Ａｌｇｏｒｉｔｈｍ）を用いたサーチを行う。例えば、図６に疑似コードを示したアルゴリズムにより、閾値ベクトルθをチューニングする。この手法では、その親データの評価値ｓｃｏｒｅが大きな値となる閾値ベクトルの優先順位を高くする。そして、上記手法では、θ＜ｋ＞が降順となるようにし、ヒューリスティック手法により探索空間を刈り取る（取り除く）ことで、閾値ベクトルθをチューニングする。
【００９１】
上記によりチューニングされた閾値ベクトルθは、センテンス・セグメンテーションの正確さ（ａｃｃｕｒａｃｙ）と遅延時間（ｌａｔｅｎｃｙ）とを考慮した評価値に基づいて、最適化されているため、センテンス・セグメンテーションを実行するときの閾値処理に用いる閾値ベクトルθとして適切である。
【００９２】
つまり、本変形例の同時通訳システムでは、上記のようにしてチューニングされた閾値ベクトルθを用いて、文章境界検出処理、センテンス・セグメンテーション処理を実行することで、高精度かつ低遅延の文章境界検出処理、センテンス・セグメンテーション処理を実現することができる。
【００９３】
［第２実施形態］
次に、第２実施形態について、説明する。
【００９４】
なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
【００９５】
図７は、第２実施形態に係る話者識別システム２０００の概略構成図である。
【００９６】
図８は、第２実施形態に係る話者識別システム２０００のデータ分割装置１００Ａのデータ分割部２Ａの概略構成図である。
【００９７】
第２実施形態では、第１実施形態の同時通訳システム１０００の文章分割装置１００に類似する構成を有するデータ分割装置１００Ａを用いて、話者識別システム２０００を構築し、話者識別処理を実現させる方法について説明する。
【００９８】
話者識別システム２０００は、図７に示すように、第１実施形態の同時通訳システム１０００において、音声認識部Ａｕｄ１を音声特徴量取得部Ｐｒｅ１に置換し、文章分割装置１００をデータ分割装置１００Ａに置換し、機械翻訳部ＭＴ１を話者識別部Ｐｏｓｔ１に置換した構成を有している。
【００９９】
音声特徴量取得部Ｐｒｅ１は、入力データＤｉｎ（例えば、音声データ）から時間的に連続した音声特徴量を取得し、取得した音声特徴量を含むデータをデータＤ１Ａとしてデータ分割装置１００Ａに出力する。
【０１００】
データ分割装置１００Ａは、図７に示すように、閾値ベクトル設定部１と、データ分割部２Ａとを備える。
【０１０１】
閾値ベクトル設定部１は、第１実施形態の閾値ベクトル設定部１と同様の構成を有している。
【０１０２】
データ分割部２Ａは、図８に示すように、単位データ取得部２１Ａと、ニューラルネットワーク部２２と、境界検出部２３Ａと、分割データ取得部２４Ａとを備える。
【０１０３】
単位データ取得部２１Ａは、第１実施形態の単語取得部２１と類似の処理を実行する機能部であり、入力されるデータＤ１Ａ（例えば、時間的に連続した音声特徴量のデータ）から、ニューラルネットワークでの処理単位となるデータ（単位データ）を取得し、取得したデータをデータｘｔとしてニューラルネットワーク部２２に出力する。
【０１０４】
ニューラルネットワーク部２２では、学習処理において、第１実施形態と同様の処理が実行される。なお、第１実施形態のニューラルネットワーク部２２では、センテンスの区切り位置において教師データｙｔのｙｔ＜ｋ＞の値を「１」として学習処理を実行したが、本実施形態のニューラルネットワーク部２２では、話者が切り替わった時刻を区切り位置として当該区切り位置において教師データｙｔのｙｔ＜ｋ＞の値を「１」として学習処理を実行する。
【０１０５】
ニューラルネットワーク部２２は、予測処理において、第１実施形態のニューラルネットワーク部２２と同様の処理を実行する。
【０１０６】
境界検出部２３Ａは、第１実施形態の文章境界検出部２３と同様の構成を有しており、ニューラルネットワーク部２２から出力されるデータｙｔと、閾値ベクトル設定部１から出力される閾値ベクトルθとに基づいて、第１実施形態と同様の処理により、データ境界（話者が切り替わったタイミング）を検出する。そして、境界検出部２３Ａは、検出結果データδｔを分割データ取得部２４Ａに出力する。
【０１０７】
分割データ取得部２４Ａは、第１実施形態のセンテンス取得部２４と同様の構成を有しており、境界検出部２３Ａにより取得された検出結果データδｔに基づいて、データＤ１Ａを話者ごとのデータに分割する。例えば、分割データ取得部２４Ａは、検出結果データδｔに基づいて、データＤ１Ａの境界（話者が変わったタイミング）を示すデータ（例えば、特別な記号）を付与したデータをデータＤ２Ａとして取得し、取得したデータＤ２Ａを話者識別部Ｐｏｓｔ１に出力する。
【０１０８】
話者識別部Ｐｏｓｔ１は、データ分割部２Ａから出力されるデータＤ２Ａを入力する。話者識別部Ｐｏｓｔ１は、データＤ２ＡからデータＤ１Ａの境界（話者が変わったタイミング）を特定し、話者を識別する処理を実行し、当該識別処理の結果を含むデータＤｏｕｔを出力する。
【０１０９】
上記により、話者識別システム２０００では、時間的に連続するデータから、特定の区切り（本実施形態では、話者の変更）を検出する処理を実行することができる。そして、話者識別システム２０００では、第１実施形態と同様の手法を用いているので、検出結果を取得するまでの時間が短く、その結果、リアルタイムで検出処理を実行することができる。
【０１１０】
［第３実施形態］
次に、第３実施形態について、説明する。
【０１１１】
なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
【０１１２】
図９は、第３実施形態に係る映像識別システム３０００の概略構成図である。
【０１１３】
図１０は、第３実施形態に係る映像識別システム３０００のデータ分割装置１００Ｂのデータ分割部２Ｂの概略構成図である。
【０１１４】
第３実施形態では、第２実施形態の話者識別システム２０００のデータ分割装置１００Ａと同様の構成を有するデータ分割装置１００Ｂを用いて、映像識別システム３０００を構築し、映像識別処理（シーンチェンジの検出処理）を実現させる方法について説明する。
【０１１５】
映像識別システム３０００は、図９に示すように、第２実施形態の話者識別システム２０００において、音声特徴量取得部Ｐｒｅ１を映像データ取得部Ｐｒｅ２に置換し、データ分割装置１００Ａをデータ分割装置１００Ｂに置換し、話者識別部Ｐｏｓｔ１をシーンチェンジ検出部Ｐｏｓｔ２に置換した構成を有している。
【０１１６】
映像データ取得部Ｐｒｅ２は、入力データＤｉｎ（例えば、映像データ、あるいは、映像データをＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）により圧縮して取得したデータ）から時間的に連続したデータを取得し、取得したデータをデータＤ１Ｂとしてデータ分割装置１００Ｂに出力する。
【０１１７】
データ分割装置１００Ｂは、図９に示すように、閾値ベクトル設定部１と、データ分割部２Ｂとを備える。
【０１１８】
閾値ベクトル設定部１は、第１実施形態の閾値ベクトル設定部１と同様の構成を有している。
【０１１９】
データ分割部２Ｂは、図１０に示すように、単位データ取得部２１Ｂと、ニューラルネットワーク部２２と、境界検出部２３Ｂと、分割データ取得部２４Ｂとを備える。
【０１２０】
単位データ取得部２１Ｂは、第１実施形態の単語取得部２１と類似の処理を実行する機能部であり、入力されるデータＤ１Ｂ（例えば、時間的に連続した映像のデータ、あるいは、時間的に連続した映像のデータのＣＮＮによる圧縮後のデータ）から、ニューラルネットワークでの処理単位となるデータ（単位データ）を取得し、取得したデータをデータｘｔとしてニューラルネットワーク部２２に出力する。
【０１２１】
ニューラルネットワーク部２２では、学習処理において、第１実施形態と同様の処理が実行される。なお、第１実施形態のニューラルネットワーク部２２では、センテンスの区切り位置において教師データｙｔのｙｔ＜ｋ＞の値を「１」として学習処理を実行したが、本実施形態のニューラルネットワーク部２２では、シーンが切り替わった時刻（シーンチェンジの時刻）を区切り位置として当該区切り位置において教師データｙｔのｙｔ＜ｋ＞の値を「１」として学習処理を実行する。
【０１２２】
ニューラルネットワーク部２２は、予測処理において、第１実施形態のニューラルネットワーク部２２と同様の処理を実行する。
【０１２３】
境界検出部２３Ｂは、第１実施形態の文章境界検出部２３と同様の構成を有しており、ニューラルネットワーク部２２から出力されるデータｙｔと、閾値ベクトル設定部１から出力される閾値ベクトルθとに基づいて、第１実施形態と同様の処理により、データ境界（シーンが切り替わったタイミング）を検出する。そして、境界検出部２３Ｂは、検出結果データδｔを分割データ取得部２４Ｂに出力する。
【０１２４】
分割データ取得部２４Ｂは、第１実施形態のセンテンス取得部２４と同様の構成を有しており、境界検出部２３Ｂにより取得された検出結果データδｔに基づいて、データＤ１Ｂをシーンごとのデータに分割する。例えば、分割データ取得部２４Ｂは、検出結果データδｔに基づいて、データＤ１Ｂの境界（シーンが切り替わったタイミング）を示すデータ（例えば、特別な記号）を付与したデータをデータＤ２Ｂとして取得し、取得したデータＤ２Ｂをシーンチェンジ検出部Ｐｏｓｔ２に出力する。
【０１２５】
シーンチェンジ検出部Ｐｏｓｔ２は、データ分割部２Ｂから出力されるデータＤ２Ｂを入力する。シーンチェンジ検出部Ｐｏｓｔ２は、データＤ２ＢからデータＤ１Ｂの境界（シーンが切り替わったタイミング）を特定し、シーンチェンジを検出する処理を実行し、当該検出結果を含むデータＤｏｕｔを出力する。
【０１２６】
上記により、映像識別システム３０００では、時間的に連続するデータから、特定の区切り（本実施形態では、シーンチェンジ）を検出する処理を実行することができる。そして、映像識別システム３０００では、第１実施形態と同様の手法を用いているので、検出結果を取得するまでの時間が短く、その結果、リアルタイムで検出処理を実行することができる。
【０１２７】
≪第１変形例≫
次に、第３実施形態の第１変形例について、説明する。
【０１２８】
なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
【０１２９】
図１１は、第３実施形態の第１変形例に係る映像識別システム３０００Ａの概略構成図である。
【０１３０】
第３実施形態の第１変形例では、第２実施形態の話者識別システム２０００のデータ分割装置１００Ａと同様の構成を有するデータ分割装置１００Ｂを用いて、映像識別システム３０００Ａを構築し、映像識別処理（人物検出処理）を実現させる方法について説明する。
【０１３１】
映像識別システム３０００Ａは、図１１に示すように、第３実施形態の映像識別システム３０００において、映像データ取得部Ｐｒｅ２を映像データ取得部Ｐｒｅ３に置換し、シーンチェンジ検出部Ｐｏｓｔ２を人物検出部Ｐｏｓｔ３に置換した構成を有している。
【０１３２】
映像データ取得部Ｐｒｅ３は、入力データＤｉｎ（例えば、映像データ、あるいは、映像データをＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）により圧縮して取得したデータ）から時間的に連続したデータを取得し、取得したデータをデータＤ１Ｂとしてデータ分割装置１００Ｂに出力する。
【０１３３】
データ分割装置１００Ｂでは、第３実施形態と同様の処理が実行される。
【０１３４】
単位データ取得部２１Ｂは、第１実施形態の単語取得部２１と類似の処理を実行する機能部であり、入力されるデータＤ１Ｂ（例えば、時間的に連続した映像のデータ、あるいは、時間的に連続した映像のデータのＣＮＮによる圧縮後のデータ）から、ニューラルネットワークでの処理単位となるデータ（単位データ）を取得し、取得したデータをデータｘｔとしてニューラルネットワーク部２２に出力する。
【０１３５】
ニューラルネットワーク部２２では、学習処理において、第１実施形態と同様の処理が実行される。なお、第１実施形態のニューラルネットワーク部２２では、センテンスの区切り位置において教師データｙｔのｙｔ＜ｋ＞の値を「１」として学習処理を実行したが、本実施形態のニューラルネットワーク部２２では、人物が検出された時刻（映像に人物が写り始めた時刻、あるいは、映像から人物が消えた時刻）を区切り位置として当該区切り位置において教師データｙｔのｙｔ＜ｋ＞の値を「１」として学習処理を実行する。
【０１３６】
ニューラルネットワーク部２２は、予測処理において、第１実施形態のニューラルネットワーク部２２と同様の処理を実行する。
【０１３７】
境界検出部２３Ｂは、第１実施形態の文章境界検出部２３と同様の構成を有しており、ニューラルネットワーク部２２から出力されるデータｙｔと、閾値ベクトル設定部１から出力される閾値ベクトルθとに基づいて、第１実施形態と同様の処理により、データ境界（映像に人物が写り始めた時刻、あるいは、映像から人物が消えた時刻）を検出する。そして、境界検出部２３Ｂは、検出結果データδｔを分割データ取得部２４Ｂに出力する。
【０１３８】
分割データ取得部２４Ｂは、第１実施形態のセンテンス取得部２４と同様の構成を有しており、境界検出部２３Ｂにより取得された検出結果データδｔに基づいて、データＤ１Ｂをシーンごとのデータに分割する。例えば、分割データ取得部２４Ｂは、検出結果データδｔに基づいて、データＤ１Ｂの境界（映像に人物が写り始めた時刻、あるいは、映像から人物が消えた時刻）を示すデータ（例えば、特別な記号）を付与したデータをデータＤ２Ｂとして取得し、取得したデータＤ２Ｂを人物検出部Ｐｏｓｔ３に出力する。
【０１３９】
人物検出部Ｐｏｓｔ３は、データ分割部２Ｂから出力されるデータＤ２Ｂを入力する。人物検出部Ｐｏｓｔ３は、データＤ２ＢからデータＤ１Ｂの境界（映像に人物が写り始めた時刻、あるいは、映像から人物が消えた時刻）を特定し、人物を検出する処理を実行し、当該検出結果を含むデータＤｏｕｔを出力する。
【０１４０】
上記により、映像識別システム３０００Ａでは、時間的に連続するデータから、特定の区切り（本実施形態では、映像に人物が写り始めた時刻、あるいは、映像から人物が消えた時刻）を検出する処理を実行することができる。そして、映像識別システム３０００Ａでは、第１実施形態と同様の手法を用いているので、検出結果を取得するまでの時間が短く、その結果、リアルタイムで検出処理を実行することができる。
【０１４１】
≪第２変形例≫
次に、第３実施形態の第２変形例について、説明する。
【０１４２】
なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
【０１４３】
図１２は、第３実施形態の第２変形例に係る映像識別システム３０００Ｂの概略構成図である。
【０１４４】
第３実施形態の第２変形例では、第２実施形態の話者識別システム２０００のデータ分割装置１００Ａと同様の構成を有するデータ分割装置１００Ｂを用いて、映像識別システム３０００Ｂを構築し、映像識別処理（犯罪行為検出処理）を実現させる方法について説明する。
【０１４５】
映像識別システム３０００Ｂは、図１２に示すように、第３実施形態の映像識別システム３０００において、映像データ取得部Ｐｒｅ２を映像データ取得部Ｐｒｅ４に置換し、シーンチェンジ検出部Ｐｏｓｔ２を犯罪行為検出部Ｐｏｓｔ４に置換した構成を有している。
【０１４６】
映像データ取得部Ｐｒｅ４は、入力データＤｉｎ（例えば、映像データ、あるいは、映像データをＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）により圧縮して取得したデータ）から時間的に連続したデータを取得し、取得したデータをデータＤ１Ｂとしてデータ分割装置１００Ｂに出力する。
【０１４７】
データ分割装置１００Ｂでは、第３実施形態と同様の処理が実行される。
【０１４８】
単位データ取得部２１Ｂは、第１実施形態の単語取得部２１と類似の処理を実行する機能部であり、入力されるデータＤ１Ｂ（例えば、時間的に連続した映像のデータ、あるいは、時間的に連続した映像のデータのＣＮＮによる圧縮後のデータ）から、ニューラルネットワークでの処理単位となるデータ（単位データ）を取得し、取得したデータをデータｘｔとしてニューラルネットワーク部２２に出力する。
【０１４９】
ニューラルネットワーク部２２では、学習処理において、第１実施形態と同様の処理が実行される。なお、第１実施形態のニューラルネットワーク部２２では、センテンスの区切り位置において教師データｙｔのｙｔ＜ｋ＞の値を「１」として学習処理を実行したが、本実施形態のニューラルネットワーク部２２では、人物が検出された時刻（犯罪行為の開始時刻、あるいは、犯罪行為の終了時刻）を区切り位置として当該区切り位置において教師データｙｔのｙｔ＜ｋ＞の値を「１」として学習処理を実行する。
【０１５０】
ニューラルネットワーク部２２は、予測処理において、第１実施形態のニューラルネットワーク部２２と同様の処理を実行する。
【０１５１】
境界検出部２３Ｂは、第１実施形態の文章境界検出部２３と同様の構成を有しており、ニューラルネットワーク部２２から出力されるデータｙｔと、閾値ベクトル設定部１から出力される閾値ベクトルθとに基づいて、第１実施形態と同様の処理により、データ境界（映像に人物が写り始めた時刻、あるいは、映像から人物が消えた時刻）を検出する。そして、境界検出部２３Ｂは、検出結果データδｔを分割データ取得部２４Ｂに出力する。
【０１５２】
分割データ取得部２４Ｂは、第１実施形態のセンテンス取得部２４と同様の構成を有しており、境界検出部２３Ｂにより取得された検出結果データδｔに基づいて、データＤ１Ｂをシーンごとのデータに分割する。例えば、分割データ取得部２４Ｂは、検出結果データδｔに基づいて、データＤ１Ｂの境界（犯罪行為の開始時刻、あるいは、犯罪行為の終了時刻）を示すデータ（例えば、特別な記号）を付与したデータをデータＤ２Ｂとして取得し、取得したデータＤ２Ｂを犯罪行為検出部Ｐｏｓｔ４に出力する。
【０１５３】
犯罪行為検出部Ｐｏｓｔ４は、データ分割部２Ｂから出力されるデータＤ２Ｂを入力する。犯罪行為検出部Ｐｏｓｔ４は、データＤ２ＢからデータＤ１Ｂの境界（犯罪行為の開始時刻、あるいは、犯罪行為の終了時刻）を特定し、犯罪行為を検出する処理を実行し、当該検出結果を含むデータＤｏｕｔを出力する。
【０１５４】
上記により、映像識別システム３０００Ｂでは、時間的に連続するデータから、特定の区切り（本実施形態では、犯罪行為の開始時刻、あるいは、犯罪行為の終了時刻）を検出する処理を実行することができる。そして、映像識別システム３０００Ｂでは、第１実施形態と同様の手法を用いているので、検出結果を取得するまでの時間が短く、その結果、リアルタイムで検出処理を実行することができる。
【０１５５】
［他の実施形態］
上記実施形態（変形例を含む）で説明した同時通訳システムの各機能部は、１つの装置（システム）により実現されてもよいし、複数の装置により実現されてもよい。
【０１５６】
また、上記実施形態において、入力言語が英語である場合について説明したが、入力言語は英語に限定されることはなく、他の言語であってもよい。つまり、上記実施形態（変形例を含む）の同時通訳システムにおいて、翻訳元言語および翻訳先言語は、任意の言語であってよい。
【０１５７】
また上記実施形態で説明した同時通訳システム１０００において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部または全部を含むように１チップ化されても良い。
【０１５８】
なおここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１５９】
また集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【０１６０】
また上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
【０１６１】
また上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらにソフトウェアおよびハードウェアの混在処理により実現しても良い。
【０１６２】
例えば上記実施形態の各機能部をソフトウェアにより実現する場合、図１３に示したハードウェア構成（例えばＣＰＵ、ＧＰＵ、ＲＯＭ、ＲＡＭ、入力部、出力部、通信部、記憶部（例えば、ＨＤＤ、ＳＳＤ等により実現される記憶部）、外部メディア用ドライブ等をバスＢｕｓにより接続したハードウェア構成）を用いて各機能部をソフトウェア処理により実現するようにしてもよい。
【０１６３】
また上記実施形態の各機能部をソフトウェアにより実現する場合、当該ソフトウェアは、図１３に示したハードウェア構成を有する単独のコンピュータを用いて実現されるものであってもよいし、複数のコンピュータを用いて分散処理により実現されるものであってもよい。
【０１６４】
また上記実施形態における処理方法の実行順序は、必ずしも上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
【０１６５】
前述した方法をコンピュータに実行させるコンピュータプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここでコンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。
【０１６６】
上記コンピュータプログラムは、上記記録媒体に記録されたものに限らず、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
【０１６７】
なお本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【産業上の利用可能性】
【０１６８】
本発明によれば、文章を構成する単語数に関係なく、リアルタイムで文章分割処理を実行することができる文章分割方法、センテンス・セグメンテーション装置を実現することができる。このため本発明は、自然言語処理関連産業分野において有用であり、当該分野において実施することができる。
【符号の説明】
【０１６９】
１０００  同時通訳システム
１００  文章分割装置（データ・セグメンテーション装置）
１  閾値ベクトル設定部
２  センテンス分割部
２１  単語取得部
２２  ニューラルネットワーク部
２３  文章境界検出部
２４  センテンス取得部
【図１】
2020024277.tif 000008
【図２】
2020024277.tif 000009
【図３】
2020024277.tif 000010
【図４】
2020024277.tif 000011
【図５】
2020024277.tif 000012
【図６】
2020024277.tif 000013
【図７】
2020024277.tif 000014
【図８】
2020024277.tif 000015
【図９】
2020024277.tif 000016
【図１０】
2020024277.tif 000017
【図１１】
2020024277.tif 000018
【図１２】
2020024277.tif 000019
【図１３】
2020024277.tif 000020