(57)【要約】      （修正有）【課題】動画コンテンツにおいて、音声と画像とが適切に対応するか否かを確認する負担を軽減する音声確認システム、音声確認方法およびプログラムを提供する。【解決手段】音声確認システムは、動画に含まれる音声を取得し（Ｓ１０２）、取得された音声に基づいて音声テキストを取得し（Ｓ１０３）、動画に含まれる画像を抽出し（Ｓ１０５）、抽出した画像から字幕テキストを抽出し（Ｓ１０６）、取得された音声テキストと抽出された字幕テキストとが対応するか否かを判定し（Ｓ１０８）、判定結果を出力する（Ｓ１０９）。【選択図】図３
2020166262.tif 000002
【特許請求の範囲】
【請求項１】
動画に含まれる音声を取得する音声取得手段と、
前記取得された音声に基づいて音声テキストを取得する音声テキスト取得手段と、
前記生成された音声テキストと、前記動画に含まれる画像に埋め込まれる字幕テキストとが対応するか否かを判定する判定手段と、
前記判定手段の判定結果を出力する出力手段と、
を含む音声確認システム。
【請求項２】
請求項１に記載の音声確認システムにおいて、
前記動画に含まれる画像から、文字認識技術に基づいて、当該画像に埋め込まれた字幕テキストを認識する文字認識手段をさらに含む、
音声確認システム。
【請求項３】
請求項２に記載の音声確認システムにおいて、
前記判定手段は、前記音声テキストが認識される音声が出力されるタイミングと、前記音声テキストに対応する字幕テキストが前記画像に埋め込まれて表示されるタイミングと、の違いが許容範囲内にあるか否かを判定する、
音声確認システム。
【請求項４】
請求項１から３のいずれかに記載の音声確認システムにおいて、
前記音声テキスト取得手段は、前記取得された音声の特徴量を抽出し、前記抽出された特徴量に基づいて、記憶手段に格納される複数の音声のうちいずれかを選択し、選択された音声に関連付けて記憶されるテキストを、前記音声テキストとして取得する、
音声確認システム。
【請求項５】
請求項１から４のいずれかに記載の音声確認システムにおいて、
ユーザがゲームをプレイすることにより出力される前記動画を取得する動画取得手段をさらに含む、
音声確認システム。
【請求項６】
動画に含まれる音声を取得するステップと、
前記取得された音声に基づいて音声テキストを取得するステップと、
前記生成された音声テキストと、前記動画に含まれる画像に埋め込まれる字幕テキストとが対応するか否かを判定するステップと、
前記判定による判定結果を出力するステップと、
を含む音声確認方法。
【請求項７】
動画に含まれる音声を取得する音声取得手段、
前記取得された音声に基づいて音声テキストを取得する音声テキスト取得手段、
前記生成された音声テキストと、前記動画に含まれる画像に埋め込まれる字幕テキストとが対応するか否かを判定する判定手段、および、
前記判定手段の判定結果を出力する出力手段、
としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声確認システム、音声確認方法およびプログラムに関する。
【背景技術】
【０００２】
ゲームのように、例えば状況に応じて、音声とその音声に対応するテキストとを含む動画をコンテンツとして出力するシステムがある。このシステムでは、設定された言語やコンテンツ上の進行状況などの条件に応じて音声を出力し、さらにその音声に対応するテキストを画面に出力させる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
コンテンツの制作過程においてミスが生じると、出力される動画において音声とテキストとが対応しない不具合が生じる。この不具合を防ぐために、人のテスターがこのような現象が発生しないか確認している。一方で、テスターが音声とテキストの対応を確認する負荷が非常に大きかった。
【０００４】
本発明は上記課題を鑑みてなされたものであり、その目的は、動画コンテンツにおいて、音声と画像とが適切に対応するか否かを確認する負担を軽減する技術を提供することにある。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明にかかる音声確認システムは、動画に含まれる音声を取得する音声取得手段と、前記取得された音声に基づいて音声テキストを取得する音声テキスト取得手段と、前記生成された音声テキストと、前記動画に含まれる画像に埋め込まれる字幕テキストとが対応するか否かを判定する判定手段と、前記判定手段の判定結果を出力する出力手段と、を含む。
【０００６】
また、本発明にかかる音声確認方法は、動画に含まれる音声を取得するステップと、前記取得された音声に基づいて音声テキストを取得するステップと、前記生成された音声テキストと、前記動画に含まれる画像に埋め込まれる字幕テキストとが対応するか否かを判定するステップと、前記判定による判定結果を出力するステップと、を含む。
【０００７】
また、本発明にかかるプログラムは、動画に含まれる音声を取得する音声取得手段、前記取得された音声に基づいて音声テキストを取得する音声テキスト取得手段、前記生成された音声テキストと、前記動画に含まれる画像に埋め込まれる字幕テキストとが対応するか否かを判定する判定手段、および、前記判定手段の判定結果を出力する出力手段、としてコンピュータを機能させる。
【０００８】
本発明によれば、動画コンテンツにおいて、音声と画像とが適切に対応するか否かを確認する負担を軽減することができる。
【０００９】
本発明の一形態では、音声確認システムは、前記動画に含まれる画像から、文字認識技術に基づいて、当該画像に埋め込まれた字幕テキストを認識する文字認識手段をさらに含んでもよい。
【００１０】
本発明の一形態では、前記判定手段は、前記音声テキストが認識される音声が出力されるタイミングと、前記音声テキストに対応する字幕テキストが前記画像に埋め込まれて表示されるタイミングと、の違いが許容範囲内にあるか否かを判定してもよい。
【００１１】
本発明の一形態では、前記音声テキスト取得手段は、前記取得された音声の特徴量を抽出し、前記抽出された特徴量に基づいて、記憶手段に格納される複数の音声のうちいずれかを選択し、選択された音声に関連付けて記憶されるテキストを、前記音声テキストとして取得してもよい。
【００１２】
本発明の一形態では、音声確認システムは、ユーザがゲームをプレイすることにより出力される前記動画を取得する動画取得手段をさらに含んでもよい。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態にかかる音声確認システムのハードウェア構成を示す図である。
【図２】音声確認システムが実現する機能を示すブロック図である。
【図３】音声確認システムの処理の概要を示すフロー図である。
【図４】取得された音声テキストを含む音声認識データの一例を示す図である。
【図５】字幕を含む画像の一例を示す図である。
【図６】字幕テキストを含む字幕データの一例を示す図である。
【図７】対応判定部の処理の一例を示すフロー図である。
【図８】結果出力部によって出力される判定結果データの一例を示す図である。
【発明を実施するための形態】
【００１４】
以下では、本発明の実施形態について図面に基づいて説明する。出現する構成要素のうち同一機能を有するものには同じ符号を付し、その説明を省略する。
【００１５】
本実施形態では、ゲームのプレイ時にディスプレイに出力される画像および出力音声を含む動画データに対して処理をする場合について説明する。以下では予め録画された動画データを用いた場合の例について説明しているが、ゲームのプログラムを実行するコンピュータから出力される画像および音声のデータをリアルタイムに処理してもよいし、動画データの代わりに、動画の音声と、字幕の表示状況を示すデータとを取得してもよい。
【００１６】
図１は、本発明の実施形態にかかる音声確認システムのハードウェア構成の一例を示す図である。音声確認システムは、情報処理装置１と、ゲーム機２とを含む。情報処理装置１はパーソナルコンピュータやサーバコンピュータなどのコンピュータであり、ゲーム機はゲームプログラムを実行するコンピュータである。図１には情報処理装置１とゲーム機２のみが図示されているが、情報処理装置１の代わりに複数のコンピュータが配置されてもよい。
【００１７】
情報処理装置１は、プロセッサ１１、記憶部１２、通信部１３、入出力部１４を含む。
【００１８】
プロセッサ１１は、記憶部１２に格納されているプログラムに従って動作し、通信部１３や画像処理部１４、入出力部１５等を制御する。なお、上記プログラムは、フラッシュメモリ等のコンピュータで読み取り可能な記憶媒体に格納されて提供されるものであってもよいし、インターネット等のネットワークを介して提供されるものであってもよい。
【００１９】
記憶部１２は、ＤＲＡＭやフラッシュメモリ等のメモリ素子、およびハードディスクといった外部記憶装置によって構成されている。記憶部１２は、上記プログラムを格納する。また、記憶部１２は、プロセッサ１１や通信部１３等から入力される情報や演算結果を格納する。
【００２０】
通信部１３は有線ＬＡＮや無線ＬＡＮを構成する集積回路やコネクタ、アンテナなどにより構成されている。通信部１３は、ネットワークを介して他の装置と通信する機能を有する。通信部１３は、プロセッサ１１の制御に基づいて、他の装置から受信した情報をプロセッサ１１や記憶部１２に入力し、他の装置に情報を送信する。
【００２１】
入出力部１４は、ユーザの操作を検出するハードウェアからの入力を取得する回路と、画像の表示信号をディスプレイに出力する表示制御回路と、音声などの出力をする回路とを含む。入出力部１５は、キーボードやコントローラ等の入力デバイスとから入力信号を取得し、その入力信号が変換された情報をプロセッサ１１や記憶部１２に入力する。また、入出力部１４は、ゲーム機２から動画の画像および音声を取得しデータに変換する回路を有していてもよい。
【００２２】
以下では音声確認システムが実現する機能および処理を説明する。図２は、音声確認システムが実現する機能を示すブロック図である。音声確認システムは機能的に、動画取得部５１、音声取得部５２、音声認識部５３、字幕データ取得部５４、対応判定部５６、結果出力部５７を含む。これらの機能は、主に、プロセッサ１１が記憶部１２に記憶されるプログラムを実行し、通信部１３や画像処理部１４を制御することにより実現される。
【００２３】
動画取得部５１は、記憶部１２または他の機器から動画のデータを取得する。動画は、ゲームのプレイ時に出力される音声および画像を含む。本実施形態では、ゲーム機２を用いてユーザがゲームをプレイすることにより動画が出力される。より具体的には、動画取得部５１は、記憶部１２または通信部１３から、その出力される動画の音声および画像から生成される動画のデータを取得してもよいし、ゲーム機２の映像出力端子から出力される動画の信号を入出力部１４で取得することで取得してもよい。また、動画取得部５１は、動画のデータをリアルタイムで取得してもよいし、予め保存された動画のデータを取得してもよい。
【００２４】
音声取得部５２は、動画に含まれる音声を取得する。音声認識部５３は、取得された音声を認識し、認識された音声のテキスト（音声テキスト）を生成する。
【００２５】
字幕データ取得部５４は、動画に含まれる画像を取得し、その取得された画像から、文字認識技術に基づいて、その画像に埋め込まれた字幕テキストを認識する。
【００２６】
対応判定部５６は、生成された音声テキストと、動画に含まれる画像に埋め込まれる字幕テキストとが対応するか否かを判定する。また対応判定部５６は、音声テキストが認識される音声が出力されるタイミングと、音声テキストに対応する字幕テキストが前記画像に埋め込まれて表示されるタイミングと、の違いが所定の範囲内にあるか否かを判定してよい。
【００２７】
結果出力部５７は、対応判定部５６の判定結果を出力する。
【００２８】
次に、音声確認システムの処理について図とともに説明する。図３は、音声確認システムの処理の概要を示すフロー図である。
【００２９】
はじめに、動画取得部５１は、記憶部１２に格納されている動画のデータ（動画データ）を取得する（ステップＳ１０１）。
【００３０】
次に、音声取得部５２は、動画データから音声のデータを取得する（ステップＳ１０２）。そして、音声認識部５３は取得された音声のデータから、音声認識により音声テキストを取得する（ステップＳ１０３）。ここで音声認識部５３は、動画において、その音声テキストに対応する音声が出力される開始時間および継続期間を、その音声テキストとともに記憶部１２に記憶させる（ステップＳ１０４）。開始時間および継続期間は、その音声の開始および終了のタイミングを示している。
【００３１】
図４は、取得された音声テキストを含む音声認識データの一例を示す図である。図４に示される音声認識データがステップＳ１０４において記憶部１２に格納される。データは、ＩＤ、ＶＯＩＣＥ、ＳＴＡＲＴ、ＤＵＲＡＴＩＯＮの項目を含む。ＩＤの項目は、音声テキストに振られる識別情報である。ＶＯＩＣＥの項目は音声テキストである。ＳＴＡＲＴの項目は音声テキストに対応する音声の出力の開始時間である。ＤＵＲＡＴＩＯＮはその音声の継続期間である。開始時間および継続期間は、動画の中における開始時間、継続期間である。
【００３２】
字幕データ取得部５４は、動画データから、動画を構成する複数のフレームのそれぞれの画像を抽出する（ステップＳ１０５）。そして、字幕データ取得部５４は、複数のフレームのそれぞれの画像から、文字認識技術により字幕テキストを抽出する（ステップＳ１０６）。また、字幕データ取得部５４は字幕テキストが抽出されたフレームの前後のフレームとの変化を比較することにより、字幕テキストの表示の開始時間および継続期間を検出し、字幕テキストを開始時間および継続期間とともに記憶部１２に記憶させる（ステップＳ１０７）。
【００３３】
図５は、字幕７１を含む画像の一例を示す図である。通常、字幕７１は、画像の領域の一端に沿う予め定められた領域に表示される。そこで、字幕データ取得部５４は各フレームの画像から字幕７１が表示される領域を抽出し、その抽出された領域に対して文字認識技術を適用することにより、字幕テキストを生成する。
【００３４】
図６は、字幕テキストを含む字幕データの一例を示す図である。図６に示される字幕データがステップＳ１０７において記憶部１２に格納される。データは、ＩＤ、ＴＥＸＴ、ＳＴＡＲＴ、ＤＵＲＡＴＩＯＮの項目を含む。ＩＤの項目は、字幕テキストに振られる識別情報である。ＴＥＸＴの項目は字幕テキストである。ＳＴＡＲＴの項目は字幕テキストの表示の開始時間である。ＤＵＲＡＴＩＯＮはその表示の継続期間である。開始時間および継続期間は、動画の中における開始時間、継続期間である。
【００３５】
音声テキストおよび字幕テキストが生成されると、対応判定部５６は、音声テキストと字幕テキストとが対応するか判定する（ステップＳ１０８）。そして、結果出力部５７は、ステップＳ１０８における判定の結果を出力する（ステップＳ１０９）。
【００３６】
なお、動画データがリアルタイムで入力される場合には、例えばステップＳ１０１〜Ｓ１０８の処理が繰り返し行われてよい。またステップＳ１０２〜Ｓ１０４の処理と、ステップＳ１０５〜Ｓ１０７の処理とが並列で行われてもよい。
【００３７】
次に、ステップＳ１０８の対応判定部５６の処理についてより詳細に説明する。図７は、対応判定部５６の処理の一例を示すフロー図である。この処理の前に、音声認識部５３および字幕データ取得部５４により、ある動画について複数の音声認識データおよび複数の字幕データが記憶部１２に格納されているものとする。
【００３８】
はじめに対応判定部５６は、記憶部１２に格納される複数の音声認識データのうち、はじめの音声認識データを選択する（ステップＳ６０１）。対応判定部５６は、その複数の字幕データから、選択された音声認識データに対応する字幕データを選択する（ステップＳ６０２）。
【００３９】
ステップＳ６０２においては、対応判定部５６は、選択された音声認識データの開始時間と、複数の字幕データの開始時間とに基づいて、字幕データを選択してよい。対応判定部５６は、ある字幕データの開始時間と音声認識データの開始時間との差が所定の範囲内にある場合に、その字幕データを選択してよい。その所定の範囲は、選択された音声認識データとの開始時間の差の絶対値が予め定められた候補閾値より小さい範囲であってもよい。また対応判定部５６は、単に選択された音声認識データと開始時間との差（第１の差）が最も小さい字幕データで、かつ第１の差が他の音声認識データとの開始時間の差（第２の差）より小さい字幕データが存在する場合に、第１の差が算出された字幕データを選択してもよい。また、対応判定部５６は、すでに処理がされた他の音声確認データと対応すると判定されていない字幕データから字幕データを選択してもよいし、これまでの処理で対応すると判定された字幕データより時間的に後の画像から生成された字幕データを選択してもよい。なお、図示していないが、もし対応する字幕データが存在しない場合には、その音声認識データについての処理はスキップされる。
【００４０】
対応する字幕データが選択されると、対応判定部５６は、音声認識データに含まれる音声テキストと字幕データに含まれる字幕テキストとを比較し（ステップＳ６０３）、音声テキストと字幕テキストとが同一であるか否かを判定する（ステップＳ６０４）。ここで対応判定部５６は、音声テキストと字幕テキストとが句読点以外が一致する場合に同一であると判定してもよいし、相違する文字が所定の数より少ない場合に同一であると判定してもよい。
【００４１】
そして、音声テキストと字幕テキストとが同一でないと判定された場合には（ステップＳ６０４のＮ）、音声テキストと字幕テキストとが異なることを示す判定結果データを記憶部12に記憶させる（ステップＳ６０５）。音声テキストと字幕テキストとが同一であると判定された場合には（ステップＳ６０４のＹ）、対応判定部５６は、音声認識データの開始時間および継続期間と字幕データにおける開始時間および継続期間とのずれが予め定められた許容範囲内にあるか否か判定する（ステップＳ６０６）。
【００４２】
ステップＳ６０６において、対応判定部５６は、例えば、開始時間の差が許容範囲にあるか否かを判定してもよいし、開始時間の差および継続期間の差がそれぞれ許容範囲にあるか否かを判定してもよい。許容範囲は、単に差の絶対値が判定閾値（判定閾値は候補閾値より小さい）より小さい範囲であってもよいし、−Ａ≦（開始時間の差）≦Ｂ（Ａ，Ｂは正の数かつＡ≠Ｂ）のように定められていてもよい。
【００４３】
ずれが予め定められた許容範囲内にある場合には（ステップＳ６０６のＹ）、対応判定部５６は、音声テキストと字幕テキストとが同一であり、かつ、開始時間等にずれがない（ずれが許容範囲内にある）ことを示す判定結果データを記憶部１２に記憶させる（ステップＳ６０７）。
【００４４】
一方、ずれが予め定められた許容範囲内でない場合には（ステップＳ６０６のＮ）、対応判定部５６は、音声テキストと字幕テキストとが同一であり、かつ、開始時間等にずれがある（ずれが許容範囲内ではない）ことを示す判定結果データを記憶部１２に記憶させる（ステップＳ６０８）。
【００４５】
図８は、結果出力部５７によって出力される判定結果データの一例を示す図である。図８には、記憶部１２に格納された複数の判定結果データのリストの例が示されている。この例では、結果出力部５７は、記憶部１２に格納された判定結果データを出力する。図８の例では、判定結果データは、音声認識データを識別する情報（ＶＯＩＣＥ  ＩＤ）と、候補字幕データを識別する情報（ＴＥＸＴ  ＩＤ）と、音声認識データと字幕データとの対応の判定結果を示す情報（判定結果）とを含む。図８の例では、同一判定結果の欄は、音声テキストと字幕テキストとが同一であるか否かを「ＯＫ」または「ＮＧ」により示し、ずれ判定結果の欄は、音声の開始時間および継続期間と字幕の開始時間および継続期間とのずれが許容範囲内にあるか否かを「ＯＫ」または「ＮＧ」により示す。また、対応判定部５６は、判定結果データとして、対応する字幕データが選択されなかった音声認識データや、音声認識データに対して選択されなかった字幕データの情報を記憶させ、結果出力部５７はその情報を出力してよい。
【００４６】
そして、次の音声認識データが存在する場合には（ステップＳ６０９のＹ）、対応判定部５６は次の音声認識データを選択し（ステップＳ６１０）、ステップＳ６０２から処理を繰り返す。一方、次の音声認識データが存在しない場合には（ステップＳ６０９のＮ）、対応判定部５６の処理を終了する。
【００４７】
なお、対応判定部５６は、音声認識データを順に処理する代わりに、字幕データを順に処理してもよい。この場合、ステップＳ６０１，Ｓ６０２，Ｓ６０９，Ｓ６１０において、字幕データと音声認識データとが互いに入れ替わった処理が実行される。なお、ステップＳ６０２やステップＳ６０５において開始時間の差を用いて候補字幕データを選択し対応を判定しているが、代わりに、開始時間と継続期間とから求められる出力期間が、音声確認データと字幕データとで重複するか否かに基づいて対応する字幕データの選択がされてもよい。
【００４８】
これらの処理により、ゲームのプレイ動画などの動画において音声と字幕とが対応しているかをより容易に確認することが可能になり、制作時のミスなどを見つける負担を削減することが可能になる。
【００４９】
ここで、ゲーム機２においてソフトウェアの制御により、再生されるべき複数の音声データと、そのセリフのテキストを含む複数の字幕テキストデータがあらかじめ関連付けられたデータベースが設けられている場合には、公知の音声認識技術を用いて音声テキストを生成する代わりに、そのデータベースを用いて動画データから抽出された音声に関連付けられた字幕テキストデータを音声テキストとして取得してもよい。
【００５０】
より具体的には、音声認識部５３は、動画データから抽出された音声の特徴量を抽出する。そして、音声認識部５３は、データベースに格納された複数の音声データから、抽出された特徴量に最も近い特徴量を有する音声データを選択する。そして、音声認識部５３は、選択された音声データに関連付けてデータベース格納された字幕データを音声テキストデータとして取得する。ここで、予め、データベースに、その複数の音声データのそれぞれについて、音声の特徴量が算出され、その特徴量はその音声データと関連付けて格納されていてよい。
【００５１】
このようにして音声テキストを取得することにより、音声認識により文字列を生成する精度が十分にならないような音声の収録状態であっても音声と字幕との同一性を確認することができる。また、ある言語の音声（例えば英語音声）に対して異なる言語の字幕（例えば日本語字幕）が表示されるようなケースであっても、英語音声と日本語字幕とを予め関連付けておくことにより、同一性を確認することができる。これにより、例えば、音声データと字幕テキストデータとの対応付けのミスをより確実に検出することができる。
【図１】
2020166262.tif 000003
【図２】
2020166262.tif 000004
【図３】
2020166262.tif 000005
【図４】
2020166262.tif 000006
【図５】
2020166262.tif 000007
【図６】
2020166262.tif 000008
【図７】
2020166262.tif 000009
【図８】
2020166262.tif 000010