(57)【要約】      （修正有）【課題】リップリーディングのためのコーパスを生成する装置を提供する。【解決手段】コーパス生成装置１は、ウェブサイトから字幕付きの動画を取得する動画取得部１０と、動画に含まれる話者を認識し、話者の唇動画を生成する唇動画生成部１２と、動画に含まれる音声の音声認識を行って音声を構成する形態素を求める音声認識部１３と、音声認識部にて求めた形態素と動画内の字幕のテキストデータとに基づいて、テキストに対応する音が発せられた時刻を求め、時刻付きテキストを生成するテキストアライメント部１４と、唇動画と音声と時刻付きテキストを所定の単位時間のデータに分割する分割部１５と、唇動画と音声と時刻付きテキストを格納するコーパス記憶部１６とを備える。【選択図】図１
2019097016.tif 000002
【特許請求の範囲】
【請求項１】
外部のリソースから字幕付きの動画を取得する動画取得部と、
前記動画に含まれる話者を認識し、話者の唇動画を生成する唇動画生成部と、
前記動画に含まれる音声の音声認識を行って前記音声を構成する形態素を求める音声認識部と、
前記音声認識部にて求めた形態素と前記動画内の字幕のテキストデータとに基づいて、テキストに対応する音が発せられた時刻を求め、時刻付きテキストを生成するテキストアライメント部と、
前記唇動画と前記時刻付きテキストを格納する記憶部と、
を備えるコーパス生成装置。
【請求項２】
前記唇動画と前記時刻付きテキストを所定の単位時間のデータに分割する分割部を備える請求項１に記載のコーパス生成装置。
【請求項３】
前記テキストアライメント部は、前記字幕に含まれている漢字を平仮名に変換して、平仮名に対応する時刻付きテキストを生成する請求項１または２に記載のコーパス生成装置。
【請求項４】
唇動画から発話された音を推定する発話音推定部を備え、
前記唇動画生成部は、前記動画内に複数の人が映っているときには、推定される発話音が、前記字幕のテキストデータに一致する人を、当該動画における話者であると認識する請求項１乃至３のいずれかに記載のコーパス生成装置。
【請求項５】
前記記憶部に、前記唇動画及び前記時刻付きテキストと共に、前記音声を記憶する請求項１乃至４のいずれかに記載のコーパス生成装置。
【請求項６】
外部のリソースから動画を取得する動画取得部と、
前記動画に含まれる話者を認識し、話者の唇動画を生成する唇動画生成部と、
前記動画に含まれる音声の音声認識を行って前記音声を構成する形態素を求める音声認識部と、
前記音声認識部にて求めた形態素を表すテキストデータを生成し、各形態素に対応する音が発せられた時刻を求め、時刻付きテキストを生成するテキストアライメント部と、
前記唇動画と前記時刻付きテキストを格納する記憶部と、
を備えるコーパス生成装置。
【請求項７】
コーパス生成装置が、外部のリソースから取得した字幕付きの動画を用いてコーパスを生成する方法であって、
前記コーパス生成装置が、外部のリソースから字幕付きの動画を取得するステップと、
前記コーパス生成装置が、前記動画に含まれる話者を認識し、話者の唇動画を生成するステップと、
前記コーパス生成装置が、前記動画に含まれる音声の音声認識を行って前記音声を構成する形態素を求めるステップと、
前記コーパス生成装置が、前記音声認識によって求めた形態素と前記動画内の字幕のテキストデータとに基づいて、テキストに対応する音が発せられた時刻を求め、時刻付きテキストを生成するステップと、
前記コーパス生成装置が、前記唇動画と前記時刻付きテキストを記憶部に格納するステップと、
を備えるコーパス生成方法。
【請求項８】
外部のリソースから取得した字幕付きの動画を用いてコーパスを生成するためのプログラムであって、コンピュータに、
外部のリソースから字幕付きの動画を取得するステップと、
前記動画に含まれる話者を認識し、話者の唇動画を生成するステップと、
前記動画に含まれる音声の音声認識を行って前記音声を構成する形態素を求めるステップと、
前記音声認識によって求めた形態素と前記動画内の字幕のテキストデータとに基づいて、テキストに対応する音が発せられた時刻を求め、時刻付きテキストを生成するステップと、
前記唇動画と前記時刻付きテキストを記憶部に格納するステップと、
を実行するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、リップリーディングのためのコーパスを生成する技術に関する。
【背景技術】
【０００２】
リップリーディングは、唇の動きから発話の内容を読み取る技術である。２０１６年の前半頃までは、リップリーディングの認識精度は低かったが、ディープラーニングをはじめとする最近の機械学習技術の目覚ましい進歩により、リップリーディングの新しい技術が提案され、その精度も向上してきている。例えば、非特許文献１は、画像を入力として、発話した文節を推定する技術を開示している。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Yannis M.Assael他「LIPNET:END-TO-END SENTENCE-LEVEL LIPREADING」［online］Cornel University Library、［平成２９年１０月２７日検索］、インターネット（URL: https://arxiv.org/pdf/1611.01599.pdf）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１に記載された技術は、ニューラルネットワークモデルを用いた推定方法であり、あらかじめ教師データを用いてニューラルネットワークの学習を行っておくことが必要である。ニューラルネットワークの学習には、膨大な量の教師データが必要であるが、教師データを作成することは容易ではない。
【０００５】
本発明は、上記背景に鑑み、リップリーディングのためのコーパスを生成する装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明のコーパス生成装置は、外部のリソースから字幕付きの動画を取得する動画取得部と、前記動画に含まれる話者を認識し、話者の唇動画を生成する唇動画生成部と、前記動画に含まれる音声の音声認識を行って前記音声を構成する形態素を求める音声認識部と、前記音声認識部にて求めた形態素と前記動画内の字幕のテキストデータとに基づいて、テキストに対応する音が発せられた時刻を求め、時刻付きテキストを生成するテキストアライメント部と、前記唇動画と前記時刻付きテキストを格納する記憶部とを備える。
【０００７】
この構成により、外部のリソースから取得した動画に基づいてコーパスを生成するので、インターネット上のウェブサイト等の大量のデータをコーパス生成に利用することができる。例えば、ＧＲＩＤ等のデータベースは、単語や文法に制限があるが、外部のリソースから取得した動画は、様々な人によって自由な発話がなされているから、汎用性の高いコーパスを生成することができる。なお、時刻付きテキストは、センテンスの単位で時刻を付してもよいし、単語ごと、文字ごとに時刻を付してもよい。
【０００８】
本発明のコーパス生成装置は、前記唇動画と前記時刻付きテキストを所定の単位時間のデータに分割する分割部を備えてもよい。リップリーディングの推論を行うときと同じ時間単位に分割することで、コーパスを用いた適切な学習を行うことができる。
【０００９】
本発明のコーパス生成装置において、前記テキストアライメント部は、前記字幕に含まれている漢字を平仮名に変換して、平仮名に対応する時刻付きテキストを生成してもよい。この構成により、字幕に漢字を含んでいる動画からも、コーパスを生成することができる。
【００１０】
本発明のコーパス生成装置は、唇動画から発話された音を推定する発話音推定部を備え、前記唇動画生成部は、前記動画内に複数の人が映っているときには、推定される発話音が、前記字幕のテキストデータに一致する人を、当該動画における話者であると認識してもよい。この構成により、複数の人が話している動画からも、コーパスを生成することができる。
【００１１】
本発明のコーパス生成装置において、前記記憶部に、前記唇動画及び前記時刻付きテキストと共に、前記音声を記憶してもよい。この構成により、唇画像と音声から発話音を推論するモデルの生成に有用なコーパスを生成できる。
【００１２】
本発明の別の態様のコーパス生成装置は、外部のリソースから動画を取得する動画取得部と、前記動画に含まれる話者を認識し、話者の唇動画を生成する唇動画生成部と、前記動画に含まれる音声の音声認識を行って前記音声を構成する形態素を求める音声認識部と、前記音声認識部にて求めた形態素を表すテキストデータを生成し、各形態素に対応する音が発せられた時刻を求め、時刻付きテキストを生成するテキストアライメント部と、前記唇動画と前記時刻付きテキストを格納する記憶部とを備える。
【００１３】
本発明のコーパス生成方法は、コーパス生成装置が、外部のリソースから取得した字幕付きの動画を用いてコーパスを生成する方法であって、前記コーパス生成装置が、外部のリソースから字幕付きの動画を取得するステップと、前記コーパス生成装置が、前記動画に含まれる話者を認識し、話者の唇動画を生成するステップと、前記コーパス生成装置が、前記動画に含まれる音声の音声認識を行って前記音声を構成する形態素を求めるステップと、前記コーパス生成装置が、前記音声認識によって求めた形態素と前記動画内の字幕のテキストデータとに基づいて、テキストに対応する音が発せられた時刻を求め、時刻付きテキストを生成するステップと、前記コーパス生成装置が、前記唇動画と前記時刻付きテキストを記憶部に格納するステップとを備える。
【００１４】
本発明のプログラムは、外部のリソースから取得した字幕付きの動画を用いてコーパスを生成するためのプログラムであって、コンピュータに、外部のリソースから字幕付きの動画を取得するステップと、前記動画に含まれる話者を認識し、話者の唇動画を生成するステップと、前記動画に含まれる音声の音声認識を行って前記音声を構成する形態素を求めるステップと、前記音声認識によって求めた形態素と前記動画内の字幕のテキストデータとに基づいて、テキストに対応する音が発せられた時刻を求め、時刻付きテキストを生成するステップと、前記唇動画と前記時刻付きテキストを記憶部に格納するステップとを実行する。
【発明の効果】
【００１５】
本発明は、インターネット上のウェブサイト等の外部のリソースから取得した動画に基づいてコーパスを生成することができる。
【図面の簡単な説明】
【００１６】
【図１】第１の実施の形態のコーパス生成装置の構成を示す図である。
【図２】実施の形態のコーパス生成装置の動作を示す図である。
【図３】リップリーディングのためのニューラルネットワークのモデルの一例を示す図である。
【図４】第２の実施の形態のコーパス生成装置の構成を示す図である。
【図５】第２の実施の形態において、話者を認識する動作を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態のコーパス生成装置について、図面を参照して説明する。実施の形態のコーパス生成装置は、外部のリソースとしてインターネット上のウェブサイトから取得した動画を用いる。本実施の形態のコーパス生成装置は、ウェブサイトから取得した字幕付きの動画からコーパスを生成する。なお、ここで、字幕付きの動画とは、話者が話した内容を一字一句もらさず、字幕のテキストデータとして持っている動画である。
【００１８】
ここで、リップリーディングのためのコーパスについて説明する。リップリーディングのコーパスに必要なのは、唇動画とその唇動画で何と言っているかを示すテキストデータである。テキストデータは、唇がどの形のときにどの音が出ているかを示す必要があるため、唇動画と同期している必要があるが、字幕付きの動画では、しゃべっている内容を字幕で示してはいるが、字幕は音の発生タイミングのデータを有していない。本実施の形態では、字幕のテキストデータと唇動画との同期をとってコーパスを生成する。
【００１９】
（第１の実施の形態）
図１は、実施の形態のコーパス生成装置１の構成を示す図である。コーパス生成装置１は、動画取得部１０を備えており、外部のリソースにアクセスして、字幕付き動画のデータを取得する。字幕付き動画データは、映像データと音声データと字幕のテキストデータとからなっている。
【００２０】
コーパス生成装置１は、話者認識部１１と、唇動画生成部１２と、音声認識部１３と、テキストアライメント部１４とを備えている。話者認識部１１は、映像データの画像処理を行って、映像に映っている人の顔およびその器官点（目、鼻、口等）を認識する機能を有する。そして、話者認識部１１は、唇が開いたり閉じたりと動いている人を話者として認識する。なお、複数の人の唇が同時に動いている場合に話者を認識する方法は、第２の実施の形態で説明する。
【００２１】
唇動画生成部１２は、話者認識部１１にて認識された話者の唇の領域を切り出した唇動画を生成する機能を有する。本実施の形態で切り出す唇の領域は、唇の中心から唇の左右端までのそれぞれの距離を「１」としたときに、唇の中心から左右に「３」ずつの距離を有し、かつ、上下方向についても同様に、唇の中心から唇の上下端までのそれぞれの距離を「１」としたときに、唇の中心から上下に「３」ずつの距離を有する領域である。ここで述べたのは、一例であって、唇画像の領域は、適宜設定することができる。唇動画生成部１２は、生成した唇動画を分割部１５に入力する。
【００２２】
音声認識部１３は、音声データの音声認識処理を行い、音声を構成する形態素およびセンテンスを求める機能を有している。テキストアライメント部１４は、字幕のテキストデータと音声の発生タイミングとを同期させる機能を有する。すなわち、テキストアライメント部１４は、音声認識によって求めた音声を構成する形態素及びセンテンスとテキストデータとを照合することにより、テキストデータに時刻を付ける。具体的には、テキストデータを構成する各センテンスの発生が開始された時刻と、終了した時刻を示すデータを付ける。
【００２３】
テキストアライメント部１４は、音声認識部１３による認識結果の一部に誤りが含まれていた場合であっても、テキストデータの各センテンスに対して時刻を割り当てることは可能である。例えば、字幕データが「本日の天気は晴れでした。」に対し、音声認識結果が「ほんじつのけんきははれでした。」というように「てんき」と「けんき」の間違いがあったとしても、２つのセンテンスの一致度が高いことから、「本日の天気は晴れでした。」という字幕データに対して、「ほんじつのけんきははれでした」というセンテンスが発声された時刻を付すことができる。
【００２４】
テキストアライメント部１４によってテキストデータに時刻を付すことにより、音声とテキストデータとのタイミングを合わせることができる。そして、音声と映像とは同期しているので、テキストデータと映像とを同期させることができる。つまり、唇動画とテキストデータとを同期付けることで、リップリーディングのためのコーパスを生成することができる。
【００２５】
分割部１５は、生成した唇動画と音声と時刻付きテキストとを分割し、所定の単位時間のデータを生成する。ここで単位時間は、リップリーディングの推論を行うときと同じ単位時間である。例えば、単位時間は３秒である。１つのセンテンスが３秒以内の場合には、単位時間の３秒になるように空白のデータを埋める。逆に１つのセンテンスが３秒以上の場合には、文法上の区切りの良い箇所でセンテンスを区切って、その後で、単位時間の３秒になるように空白のデータを埋める。このようにして生成された単位時間の唇動画と音声と時刻付きテキストのセットを、コーパス記憶部１６に格納する。ここでは、センテンスの長さが単位時間を超える場合に分割する例を挙げたが、センテンスの長さが単位時間を超える場合には、単位時間を長くした（例えば５秒の）コーパスを生成してもよい。
【００２６】
図２は、コーパス生成装置１の動作の流れを示す図である。図２において、太枠で示したのは、コーパス生成装置１の処理であり、細枠で示したのはデータである。コーパス生成装置１は、インターネット上のウェブサイトから字幕付き動画Ｄ１０を取得する。字幕付き動画Ｄ１０は、映像Ｄ１１と、音声Ｄ１２と、字幕Ｄ１３のデータからなっている。
【００２７】
コーパス生成装置１は、映像Ｄ１１に対する処理として、映像Ｄ１１に映る人の顔を認識し、その器官点を認識する（Ｓ１０）。続いて、コーパス生成装置１は、音声を発している人、すなわち話者を特定する（Ｓ１１）。話者認識の処理（Ｓ１１）において、音声Ｄ１２のデータから点線を記載しているのは、複数の人が同時にしゃべっている場合には、話者の認識処理に音声Ｄ１２のデータを利用することがあるからである。これについては、第２の実施の形態で説明する。本実施の形態では、映像Ｄ１１に映る人が一人だけであるか、あるいは、映像Ｄ１１に複数の人が映る場合であってもしゃべっているのは一人であるとする。
【００２８】
また、コーパス生成装置１は、字幕Ｄ１３のテキストデータに対する処理として、テキストアライメントを行う（Ｓ１２）。テキストアライメントを行うために、音声Ｄ１２のデータを使う。上述したとおり、音声Ｄ１２の音声認識を行って、音声を構成する形態素を求め、音声認識結果を利用してテキストデータに時刻を付す。テキストアライメントの処理（Ｓ１２）によって時刻付きテキストＤ１５が生成される。
【００２９】
コーパス生成装置１は、生成された唇動画Ｓ１４、音声Ｄ１２、時刻付きテキストＤ１５をセンテンスごとに分割し、所定の単位時間になるように加工して（空白データを埋めて）、単位時間の唇動画Ｄ１６、単位時間の音声Ｄ１７、単位時間のテキストＤ１８を生成する。なお、図２において、唇動画Ｄ１６、音声Ｄ１７にも「時刻付き」と記載しているのは、動画や音声にはもともと再生タイミングを示すための時刻がついているので、これを確認的に記載したものである。
【００３０】
以上、本実施の形態のコーパス生成装置１の構成について説明したが、上記したコーパス生成装置１のハードウェアの例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備えたコンピュータである。上記した話者認識部１１、唇動画生成部１２、音声認識部１３、テキストアライメント部１４、分割部１５の各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記したコーパス生成装置１の機能が実現される。このようなプログラムも本発明の範囲に含まれる。また、動画取得部１０の一例は、通信インターフェースである。
【００３１】
以上、第１の実施の形態のコーパス生成装置１の構成および動作について説明した。本実施の形態のコーパス生成装置１は、インターネット上のウェブサイト等の外部のリソースから取得した動画に基づいてコーパスを生成することができる。これにより、コーパスを生成するための動画を作成しなくてもよく、ウェブサイト上にある大量のリソースを利用して、汎用性の高いコーパスを生成できる。生成したコーパスは、リップリーディングの推論のための学習に用いることができると共に、学習したモデルの検証にも用いることができる。
【００３２】
ここで、リップリーディングの推論を行うニューラルネットワークの学習について説明する。図３は、唇動画と音声を入力として何の語を発したかのテキストを出力するニューラルネットワークのモデルを示す図である。ニューラルネットワークモデルは、（１）音声処理部と（２）画像処理部とを有している。（１）音声処理部と（２）画像処理部のそれぞれは、STCNN（Spatiotemporal Convolutional Neural Network）層とSpatialプーリング層の組合せからなる層を３層有し、その後段にGRU（Gated Recurrent Unit）層を２層有している。
【００３３】
続いて、（１）音声処理部と（２）画像処理部のネットワークがマージされ、（３）言語処理部に入力される。（３）言語処理部は、GRU層を２層有し、その後段にLiner層、CTC（Connectionist Temporal Classification）Loss層を有して構成されている。コーパスの唇動画を画像処理部に入力すると共に、音声を音声処理部に入力する。その結果、求められたテキストデータとコーパスの時刻付きテキストとの誤差を逆誤差伝搬法によってニューラルネットワークにフィードバックすることで学習を行う。
【００３４】
（第２の実施の形態）
図４は、第２の実施の形態のコーパス生成装置２の構成を示す図である。第２の実施の形態のコーパス生成装置２の基本的な構成は、第１の実施の形態のコーパス生成装置１と同じであるが、第２の実施の形態のコーパス生成装置２は、字幕付き動画に映る複数の人が同時にしゃべっている場合に、複数人の中から字幕テキストに対応する話者を認識するための構成を備えている。
【００３５】
コーパス生成装置２は、発話音推定部１７を有している。発話音推定部１７は、動画内でしゃべっている人の唇画像から、リップリーディングによってその発話音を推定する機能を有する。発話音推定部１７は、モデル記憶部１８から、リップリーディングの推論を行うためのニューラルネットワークモデルを読み出し、読み出したニューラルネットワークモデルに唇動画を入力して発話音を推定する。なお、モデル記憶部１８に記憶されたニューラルネットワークモデルは、学習部１９が、コーパス記憶部１６に記憶されたコーパスを使って学習したものである。
【００３６】
図５は、第２の実施の形態のコーパス生成装置２によって、複数人の中から話者を特定する処理を示す図である。この動作は、図２に示す話者認識（Ｓ１１）に対応するフローであり、図２において点線で示すように音声Ｄ１２のデータも用いて話者の認識を行う。
【００３７】
話者認識部１１は、動画の中の複数人のそれぞれの唇の領域を特定する（Ｓ２０）。話者認識部１１は、特定された複数人の唇の領域のデータを発話音推定部１７に入力する。発話音推定部１７は、複数人のそれぞれの唇の動きに基づいて発話音を推定し（Ｓ２１〜Ｓ２２）、推定した発話音を話者認識部１１に入力する。話者認識部１１は、複数人の発話音と字幕のテキストデータとを比較し、字幕に対応する発話を行っている人を話者として認識する（Ｓ２３）。以上の説明からも分かるように、発話音推定部１７によるリップリーディングの精度は話者を特定できる程度の精度があればよい。
【００３８】
以上、第２の実施の形態のコーパス生成装置２について、第１の実施の形態のコーパス生成装置１から追加になっている構成を説明した。第２の実施の形態のコーパス生成装置２は、複数の人がしゃべっている動画の場合にも、話者を認識することができるので、コーパス生成に用いることができる動画の範囲が広がる。
【００３９】
以上、本発明のコーパス生成装置およびコーパス生成方法について、実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。
上記した第２の実施の形態では、映像に映る複数の人がしゃべっている場合に、字幕のテキストデータに対応する人を話者として認識するための構成を説明したが、複数人から話者を認識する方法は、第２の実施の形態で説明した方法に限定されるものではない。例えば、当該字幕付き画像について、「字幕に対応する発言をしている人は誰ですか？」という質問と、しゃべっている人を選択肢とする問題を自動的に生成して、インターネットの多数のユーザに問い合わせを行い（いわゆるクラウドソーシング）、その集計結果に基づいて話者を特定してもよい。
【００４０】
上記した実施の形態では、唇動画と音声と時刻付きテキストをセットにしたデータからなるコーパスを生成する例を挙げて説明したが、音声のデータを記憶しないで、唇動画と時刻付きテキストをセットにしたコーパスを生成してもよい。
【００４１】
上記した実施の形態では、コーパス生成の材料として字幕付き動画を用いる例を挙げたが、音声認識部１３による音声認識の精度が高い場合には、字幕がなくてもコーパスを生成することができる。すなわち、音声認識部１３にて認識した音声を構成する形態素のデータを時刻付きテキストとして用いることで、字幕のテキストデータとの照合を省略できる。
【００４２】
上記した実施の形態では、時刻付きテキストには、センテンスの開始時刻と終了時刻を示すデータを付したが、センテンスごとではなく、単語ごとの発声の開始時刻、終了時刻を付してもよいし、文字ごとに発生時刻を付してもよい。
【産業上の利用可能性】
【００４３】
本発明は、唇動画から発話音を推測するリップリーディングのためのコーパスを生成する装置等として有用である。
【符号の説明】
【００４４】
１，２  コーパス生成装置
１０  動画取得部
１１  話者認識部
１２  唇動画生成部
１３  音声認識部
１４  テキストアライメント部
１５  分割部
１６  コーパス記憶部
１７  発話音推定部
１８  モデル記憶部
１９  学習部
【図１】
2019097016.tif 000003
【図２】
2019097016.tif 000004
【図３】
2019097016.tif 000005
【図４】
2019097016.tif 000006
【図５】
2019097016.tif 000007