(57)【要約】【課題】  音声情報の書き起こしテキストを効率良くかつ正確に作成することのできる書き起こしテキスト作成支援システムを提供する。【解決手段】  同期情報生成部１０１は、素材コンテンツ１１１に含まれる音声情報に対して音声認識処理を行って得られた音声認識結果を文より小さな単位に分割した各分割単位毎に、その分割単位の音声認識結果とその元となる音声情報とその音声情報を特定するための時間情報と初期状態の書き起こしテキストとを関連付けて同期情報格納部１０２に格納する。確認修正部１０３は、同期情報格納部１０２に格納されている各分割単位毎の音声認識結果とその元となる音声情報のイメージとその音声情報を特定するための時間情報と書き起こしテキストとを互いに時間軸を揃えて表示装置１０４の確認修正画面１０４６に平行に並べて表示し、入力装置１０５による分割単位を指定した音声再生指示を受けると、音声情報を分割単位で再生する。【選択図】 図１
2005228178.tif 000002
【特許請求の範囲】
【請求項１】
記憶装置と、表示装置と、入力装置と、音声出力器と、素材コンテンツに含まれる音声情報に対して音声認識処理を行って得られた音声認識結果を文より小さな単位に分割した際の各分割単位毎に、その分割単位の音声認識結果とその元となる音声情報とその音声情報を特定するための時間情報と初期状態の書き起こしテキストとを関連付けて前記記憶装置に格納する同期情報生成部と、前記記憶装置に格納されている各分割単位毎の音声認識結果とその元となる音声情報のイメージとその音声情報を特定するための時間情報と書き起こしテキストとを互いに時間軸を揃えて前記表示装置の画面に平行に並べて表示し、前記入力装置による前記画面上の分割単位を指定した音声再生指示に応答して前記指定された分割単位の音声情報を再生して前記音声出力器から出力し、前記入力装置による前記画面上の分割単位を指定した書き起こしテキストの入力操作に応答して前記記憶装置における前記指定された分割単位の書き起こしテキストを更新する確認修正部とを備えることを特徴とする書き起こしテキスト作成支援システム。
【請求項２】
前記分割単位が単語であることを特徴とする請求項１記載の書き起こしテキスト作成支援システム。
【請求項３】
前記音声情報のイメージは、前記音声情報から生成した音声波形の画像であることを特徴とする請求項１記載の書き起こしテキスト作成支援システム。
【請求項４】
前記入力装置による前記画面上の分割単位を指定した書き起こしテキストの入力操作は、認識結果を書き起こしテキストへコピーするコピー操作であることを特徴とする請求項１記載の書き起こしテキスト作成支援システム。
【請求項５】
前記確認修正部は、前記入力装置からのスクロール指示に応答して、前記表示装置の画面に表示されている各分割単位毎の音声認識結果とその元となる音声情報のイメージとその音声情報を特定するための時間情報と書き起こしテキストとを互いに同期させてスクロールするものであることを特徴とする請求項１記載の書き起こしテキスト作成支援システム。
【請求項６】
記憶装置と表示装置と入力装置と音声出力器とを備えたコンピュータを、素材コンテンツに含まれる音声情報に対して音声認識処理を行って得られた音声認識結果を文より小さな単位に分割した際の各分割単位毎に、その分割単位の音声認識結果とその元となる音声情報とその音声情報を特定するための時間情報と初期状態の書き起こしテキストとを関連付けて前記記憶装置に格納する同期情報生成手段、前記記憶装置に格納されている各分割単位毎の音声認識結果とその元となる音声情報のイメージとその音声情報を特定するための時間情報と書き起こしテキストとを互いに時間軸を揃えて前記表示装置の画面に平行に並べて表示し、前記入力装置による前記画面上の分割単位を指定した音声再生指示に応答して前記指定された分割単位の音声情報を再生して前記音声出力器から出力し、前記入力装置による前記画面上の分割単位を指定した書き起こしテキストの入力操作に応答して前記記憶装置における前記指定された分割単位の書き起こしテキストを更新する確認修正手段、として機能させることを特徴とするプログラム。
【請求項７】
前記分割単位が単語であることを特徴とする請求項６記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声データを文章化する作業を支援する書き起こしテキスト作成支援システムに関し、特に音声情報に対し音声認識処理を行った認識結果を適宜修正して最終的な書き起こしテキストを作成するための書き起こしテキスト作成支援システムに関する。
【背景技術】
【０００２】
コンテンツに含まれる音声情報をテキスト化することを、音声の書き起こし或いは単に書き起こしと言い、従来より各種の分野で実施されている。例えば、映像・音声コンテンツの内容に対してキーワードで検索し、検索にヒットしたシーンから映像・音声を配信する映像検索・配信サービスの実現のため、映像・音声コンテンツ内の音声をテキストに書き起こして検索用キーワードとすることが行われている。また、映像コンテンツに対する字幕情報として音声情報をテキストに書き起こすことも行われている。
【０００３】
書き起こしテキストの作成手順は、作業者が書き起こし対象コンテンツの音声情報を聞き、その音声情報をキーボードなどの入力手段を用いて書き起こした後、書き起こしたテキストを目視で見直し、書き起こし誤りを発見、修正するのが一般的である。ただし、このような作業には大変な労力が必要になるため、音声認識技術を用いてある程度自動的に音声情報からテキストを生成することで、書き起こし作業の効率化を図ったシステムが考案されている（例えば特許文献１参照）。
【０００４】
しかしながら、音声認識技術による書き起こし作業の効率化システムにおいては、作業者が、実際の音声情報を耳で聞きながら、システムから出力された音声認識結果テキストの誤りを目視で検出して修正する作業が必要であり、繰り返し確認する際にどの部分を作業中であったかの確認を誤り再生ポイントを前後してしまうなど、結局作業負荷がかかってしまうという問題がある。
【０００５】
一つの解決策として、特許文献２では、実際の音声情報と、認識結果テキストを元に音声合成技術にて発声させた音声情報とを比較することで自動的に誤り箇所を発見し、作業者に提示する方法が提示されている。これにより、ある程度作業者の負荷軽減が期待されるが、実際には、自動的に誤りと指摘された箇所の精度が１００％でない限りは、対象コンテンツ全体の内容確認を人手で行う必要があるため、根本的な作業負荷軽減とはならないという問題が残る。
【０００６】
他方、非特許文献１には、発話単位である１文毎に、話者と時間情報と音声認識結果と書き起こしテキストとを１行に表示した認識結果リストと、この認識結果リスト中のハイライト表示されている発話単位に対応する音声情報の波形を表示する音声自動再生ウィンドウと、書き起こしテキストの編集ウィンドウとを画面に表示し、発話単位で音声を再生しながら音声認識結果を対話的に修正することのできる書き起こしテキスト支援システムが掲載されている。
【特許文献１】特開２００１−１６６７９０号公報
【特許文献２】特開２００１−１３４２７６号公報
【非特許文献１】"音声認識による「書き起こしシステム」のご紹介"、［online］、株式会社アドバンスト・メディア、［平成１６年２月４日検索］、インターネット＜ＵＲＬ：http://www.advanced-media.co.jp/event/news/AmiVoice_Rewriter.pdf＞
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述した非特許文献１に記載される書き起こしテキスト支援システムによれば、発話単位である１文毎に、音声を再生しながらその発話単位の音声認識結果を対話的に修正することができるため、ある程度効率良く書き起こしテキストを作成していくことが可能である。しかしながら、文単位で音声が再生されるため、文中の一部の単語に疑義がある場合であっても、文の最初から音声を聞いて該当する単語箇所の音声を聞き取る必要があり、効率良く且つ正確に単語の音声を聞き取るのが難しい。このような問題は、発話の文章が長文になればなるほど顕著である。また、音声情報とそれに対応する音声認識結果および書き起こしテキストとの対応関係が１文単位であるため、音声情報の各部分が音声認識結果および書き起こしテキストのどの部分に対応しているのかが不明であり、音声情報のすべてを漏れなく書き起こしたかどうかを確認するのが容易でない。
【０００８】
本発明は、上記技術的課題の認識に基づき創案されたものであって、その目的は、コンテンツに含まれる音声情報の書き起こしテキストを効率良くかつ正確に作成することのできる書き起こしテキスト作成支援システムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明の第１の書き起こしテキスト作成支援システムは、記憶装置と、表示装置と、入力装置と、音声出力器と、素材コンテンツに含まれる音声情報に対して音声認識処理を行って得られた音声認識結果を文より小さな単位に分割した際の各分割単位毎に、その分割単位の音声認識結果とその元となる音声情報とその音声情報を特定するための時間情報と初期状態の書き起こしテキストとを関連付けて前記記憶装置に格納する同期情報生成部と、前記記憶装置に格納されている各分割単位毎の音声認識結果とその元となる音声情報のイメージとその音声情報を特定するための時間情報と書き起こしテキストとを互いに時間軸を揃えて前記表示装置の画面に平行に並べて表示し、前記入力装置による前記画面上の分割単位を指定した音声再生指示に応答して前記指定された分割単位の音声情報を再生して前記音声出力器から出力し、前記入力装置による前記画面上の分割単位を指定した書き起こしテキストの入力操作に応答して前記記憶装置における前記指定された分割単位の書き起こしテキストを更新する確認修正部とを備えることを特徴とする。
【００１０】
本発明の第２の書き起こしテキスト作成支援システムは、第１の書き起こしテキスト作成支援システムにおいて、前記分割単位が単語であることを特徴とする。
【００１１】
本発明の第３の書き起こしテキスト作成支援システムは、第１の書き起こしテキスト作成支援システムにおいて、前記音声情報のイメージは、前記音声情報から生成した音声波形の画像であることを特徴とする。
【００１２】
本発明の第４の書き起こしテキスト作成支援システムは、第１の書き起こしテキスト作成支援システムにおいて、前記入力装置による前記画面上の分割単位を指定した書き起こしテキストの入力操作は、認識結果を書き起こしテキストへコピーするコピー操作であることを特徴とする。
【００１３】
本発明の第５の書き起こしテキスト作成支援システムは、第１の書き起こしテキスト作成支援システムにおいて、前記確認修正部は、前記入力装置からのスクロール指示に応答して、前記表示装置の画面に表示されている各分割単位毎の音声認識結果とその元となる音声情報のイメージとその音声情報を特定するための時間情報と書き起こしテキストとを互いに同期させてスクロールするものであることを特徴とする。
【００１４】
本発明の第１のプログラムは、記憶装置と表示装置と入力装置と音声出力器とを備えたコンピュータを、素材コンテンツに含まれる音声情報に対して音声認識処理を行って得られた音声認識結果を文より小さな単位に分割した際の各分割単位毎に、その分割単位の音声認識結果とその元となる音声情報とその音声情報を特定するための時間情報と初期状態の書き起こしテキストとを関連付けて前記記憶装置に格納する同期情報生成手段、前記記憶装置に格納されている各分割単位毎の音声認識結果とその元となる音声情報のイメージとその音声情報を特定するための時間情報と書き起こしテキストとを互いに時間軸を揃えて前記表示装置の画面に平行に並べて表示し、前記入力装置による前記画面上の分割単位を指定した音声再生指示に応答して前記指定された分割単位の音声情報を再生して前記音声出力器から出力し、前記入力装置による前記画面上の分割単位を指定した書き起こしテキストの入力操作に応答して前記記憶装置における前記指定された分割単位の書き起こしテキストを更新する確認修正手段、として機能させることを特徴とする。
【００１５】
本発明の第２のプログラムは、第１のプログラムにおいて、前記分割単位が単語であることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、コンテンツに含まれる音声情報の書き起こしテキストを効率良くかつ正確に作成することができる。
【００１７】
その理由は、第１に、音声情報の再生は、文より小さな単位で行えるため、或る音声情報の一部分に疑義がある場合に、その一部分だけを再生でき、効率良く且つ正確に聞き取ることができるからであり、第２に、音声情報とそれに対応する音声認識結果および書き起こしテキストとが、文より小さな単位毎に対応付けられて表示されるため、音声情報の各部分がどの音声認識結果及びどの書き起こしテキストの部分に対応しているのか一目瞭然となり、音声情報のすべてを漏れなく書き起こしたかどうかなどを容易に確認することができるからである。
【発明を実施するための最良の形態】
【００１８】
図１を参照すると、本発明の実施の形態にかかる書き起こしテキスト作成支援システムは、同期情報生成部１０１、同期情報格納部１０２、確認修正部１０３、表示装置１０４、入力装置１０５、音声出力器１０６および出力装置１０７を備えている。
【００１９】
同期情報格納部１０２は、磁気ディスク装置などのランダムアクセス可能な記憶装置で構成され、多数のエントリ１０２５を有する。１つのエントリ１０２５は、時間情報フィールド１０２１、音声情報フィールド１０２２、認識結果フィールド１０２３および書き起こしテキストフィールド１０２４で構成される。１つのエントリ１０２５において、認識結果フィールド１０２３には、書き起こし対象の素材コンテンツ１１１に含まれる音声情報を音声認識処理したときに得られる認識結果を文より小さな単位に分割したときの分割単位の認識結果が格納され、音声情報フィールド１０２２には、認識結果フィールド１０２３に格納された認識結果の元となる音声情報のバイナリデータが格納され、時間情報フィールド１０２１には、音声情報フィールド１０２２に格納されている音声情報を素材コンテンツ１１１に含まれる一連の音声情報から識別するための時間情報が格納される。これら３つのフィールド１０２１、１０２２および１０２３の内容は機械的に自動設定される。残りの書き起こしテキストフィールド１０２４は、作業者自身が対話的に設定するフィールドである。
【００２０】
同期情報生成部１０１は、少なくとも音声情報を含む素材コンテンツ１１１を入力し、素材コンテンツ１１１に含まれる音声情報に対して音声認識処理を行い、得られた音声認識結果を文より小さな単位に分割し、その分割単位毎に、同期情報格納部１０２の１つのエントリ１０２５を割り当て、認識結果フィールド１０２３にその分割単位の認識結果を格納し、音声情報フィールド１０２２にその認識結果に対応する元の音声情報を格納し、時間情報フィールド１０２１にその音声情報を特定する時間情報を格納し、書き起こしテキスト格納用フィールド１０２４は初期状態（一般には空欄であるが、認識結果通りにしておいても良い）としておく。分割単位としては、例えば単語を用いることができる。
【００２１】
例えば、素材コンテンツ１１１中の先頭からの再生時間がｔ１〜ｔ３の間に存在する一連の音声情報に対して音声認識を行った結果、「魚を食べた」という認識結果が得られたとする。この場合、「魚（普通名詞）」と「を（各助詞）」とをあわせた「魚を」を１つの単語、「食べ（一段動詞語幹）」と「た（助動詞）」とをあわせた「食べた」を別の１つの単語とし、それぞれ１つのエントリ１０２５−１、１０２５−２を割り当てる。そして、エントリ１０２５−１の認識結果フィールド１０２３に認識結果「魚を」を格納し、音声情報フィールド１０２２に認識結果「魚を」に対応する音声情報ＡＡＡを格納し、その音声情報ＡＡＡの素材コンテンツ１１１における先頭からの再生時間がｔ１〜ｔ２の間に存在する場合、例えば時間ｔ１を時間情報フィールド１０２１に格納し、書き起こしテキストフィールド１０２４は空白とする。同様に、エントリ１０２５−２の認識結果フィールド１０２３に認識結果「食べた」を格納し、音声情報フィールド１０２２に認識結果「食べた」に対応する音声情報ＢＢＢを格納し、その音声情報ＢＢＢの素材コンテンツ１１１における先頭からの再生時間がｔ２〜ｔ３とすると、その開始側の時間ｔ２を時間情報フィールド１０２１に格納し、書き起こしテキストフィールド１０２４は空白とする。
【００２２】
確認修正部１０３は、液晶ディスプレイなどで構成される表示装置１０４に確認修正画面１０４６を表示し、この確認修正画面１０４６を通じて作業者に対し音声認識結果を利用した書き起こしテキストの編集を行わせる。確認修正画面１０４６には、時間情報表示部１０４１、認識結果表示部１０４２、音声波形表示部１０４３、書き起こしテキスト表示部１０４４が横方向（Ｘ軸方向）に平行に並べられており、これら表示部１０４１〜１０４４の内容をスクロールするためのスクロールボタン１０４５−１、１０４５−２が設けられている。スクロールボタン１０４５−１は現在より過去の時刻側にスクロールするためのボタン（巻き戻しボタン）、スクロールボタン１０４５−２は現在より未来の時刻側にスクロールするためのボタン（早送りボタン）である。
【００２３】
時間情報表示部１０４１には、同期情報格納部１０２の各エントリ１０２５の時間情報フィールド１０２１に格納されている時間情報が時間順に表示され、認識結果表示部１０４２には、同期情報格納部１０２の各エントリ１０２５の認識結果フィールド１０２３に格納されている認識結果が時間順に表示され、音声波形表示部１０４３には、同期情報格納部１０２の各エントリ１０２５の音声情報フィールド１０２２に格納されている音声情報の簡略化した波形イメージが時間順に表示され、書き起こしテキスト表示部１０４４には、同期情報格納部１０２の各エントリ１０２５の書き起こしテキストフィールド１０２４に格納されている書き起こしテキストが時間順に表示される。
【００２４】
これら４つの表示部１０４１〜１０４４における表示情報の時間軸は同期している。すなわち、同期情報格納部１０２のエントリ１０２５−１を例にして説明すると、そのエントリ１０２５−１の時間情報フィールド１０２１に格納されている時間ｔ１とその直後のエントリ１０２５−２の時間情報フィールド１０２１に格納されている時間ｔ２とが時間情報表示部１０４１に表示される場合、時間ｔ１の表示位置からＹ軸方向に平行に引いたガイド線１０４７と時間ｔ２の表示位置からＹ軸方向に平行に引いたガイドライン１０４８とで挟まれた認識結果表示部１０４２の部分にエントリ１０２５−１の認識結果フィールド１０２３に格納されている認識結果「魚を」が表示され、同ガイドライン１０４７、１０４８で挟まれた音声波形表示部１０４３の部分にエントリ１０２５−１の音声情報フィールド１０２２に格納されている音声情報の波形イメージが表示され、同ガイドライン１０４７、１０４８で挟まれた書き起こしテキスト表示部１０４４の部分にエントリ１０２５−１の書き起こしテキストフィールド１０２４に格納されている書き起こしテキストが表示される。そして、スクロールボタン１０４５−１または１０４５−２が操作されると、４つの表示部１０４１〜１０４４の表示情報が同期してスクロールされるようになっている。
【００２５】
また確認修正部１０３は、入力装置１０５からの確認修正画面１０４６上の分割単位を指定した音声再生指示に応答して、前記指定された分割単位の音声情報を再生し、スピーカなどで構成される音声出力器１０６から出力する。分割単位を指定する音声再生指示の方法としては、再生した分割単位の音声波形部分や認識結果部分をマウスでクリックする方法が考えられる。これにより、作業者は各分割単位毎にその元の音声情報を自分の耳で聞いて確認することができる。
【００２６】
さらに確認修正部１０３は、入力装置１０５からの確認修正画面１０４６上の分割単位を指定した書き起こしテキストの入力操作に応答して、書き起こしテキスト表示部１０４４の当該分割単位に対応する部分に、前記入力された書き起こしテキストを表示する。書き起こしテキストの入力操作は、入力装置１０５を構成するキーボードからの直接入力以外に、認識結果表示部１０４２に表示された認識結果を書き起こしテキスト表示部１０４４にコピーする方法が利用できる。こうして、書き起こしテキスト表示部１０４４上で編集された書き起こしテキストは、同期情報格納部１０２の該当するエントリの書き起こしテキストフィールド１０２４に書き込まれる。
【００２７】
以上のようにして編集されて同期情報格納部１０２に保存された各エントリの書き起こしテキストフィールド１０２４の内容は、入力装置１０５からの書き起こしテキスト出力指示に応答して、時間情報フィールド１０２１の時間順に同期情報格納部１０２から順次読み取られ、プリンタなどの出力装置１０７から出力することも可能である。
【００２８】
次に本実施の形態の書き起こしテキスト作成支援システムの各部の実施例について説明する。まず、同期情報生成部１０１の実施例について図面を参照して詳細に説明する。
【００２９】
図２を参照すると、同期情報生成部１０１の一実施例は、素材コンテンツ１１１を入力する素材入力部１０１１と、素材入力部１０１１が入力した素材コンテンツ１１１の音声情報に対し音声認識処理を行う音声認識部１０１２と、音声認識部１０１２にて或る単語単位の認識結果テキストが生成されたタイミングで、当該認識結果テキストの元となる音声情報の、素材コンテンツ１１１の先頭からの時間情報を取得して出力する時間情報取得部１０１３と、音声認識部１０１２から認識結果テキストとその元となる音声情報を受け取り、時間情報取得部１０１３から前記時間情報を受け取って、これら受け取った時間情報、音声情報、認識結果と空白に設定した書き込みテキストフィールドとを持つ１つのエントリ１０２５を同期情報格納部１０２に記録する記録部１０１４とを備えている。
【００３０】
図３は同期情報生成部１０１の処理の流れを示すフローチャート、図４は同期情報格納部１０２のデータ格納例の一部を示す図である。本発明を、例えば議会映像コンテンツの書き起こしテキスト作成作業に利用することを考えると、まず、素材コンテンツ１１１である議会映像ビデオがビデオデッキなどによって再生され、素材入力部１０１１にて取り込まれる。一般に、映像コンテンツをコンピュータ内に取り込む作業はキャプチャと呼ばれている。キャプチャの際、映像コンテンツは、コンピュータで扱うことの可能なＭＰＥＧ１などでデジタル化処理が施された後、コンピュータ上に設置されているハードディスクドライブなどの外部記憶媒体（図示せず）に一旦格納される（Ｓ１０１）。このとき再生時刻の情報を付加して記録しても良い。次いで、音声認識部１０１２は、外部記憶媒体（図示せず）からデジタル音声データを時系列順に読み出し、既存の音声認識技術により音声認識処理を実施し、認識結果テキストを生成する（Ｓ１０２）。その間、時間情報取得部１０１３は、あらかじめ素材入力部１０１１から素材コンテンツ１１１を受け取っておき、音声認識部１０１２での処理開始時間と素材コンテンツ１１１の時間情報とを対応させ、現在素材コンテンツ１１１のどの箇所に対し処理しているかを監視している。そして、音声認識部１０１２が、音声情報を認識し、認識結果テキストを出力したタイミングを時間情報取得部１０１３に通知すると、時間情報取得部１０１３は、音声認識部１０１２から受け取ったタイミングに合致する素材コンテンツ１１１の先頭からの時間情報を取得する（Ｓ１０３）。ここで、出力タイミングの通知は、例えば音声認識部１０１２の出力する単語単位で通知すればよい。
【００３１】
音声認識部１０１２は、タイミングを通知すると同時に、認識結果テキストとその元となる音声情報を記録部１０１４に通知し、時間情報取得部１０１３は、時間情報を記録部１０１４に通知し、記録部１０１４は、受け取った時間情報を主キーとして、受け取った音声情報および認識結果テキストを時間情報で紐付け格納する（Ｓ１０４）。また、記録部１０１４は、同期情報格納部１０２に、時間情報ごとに、書き起こしテキストを格納するためのフィールドを生成しておく。
【００３２】
これら一連のステップは、素材コンテンツ１１１の末尾まで継続的に実施される。
【００３３】
図４を参照すると、時間情報として「０：００：０３」から「０：００：１４」が格納されている領域の横に、それぞれ時間情報に紐付けられた音声情報、および、認識結果「続きまして」「秋の」「委員会で」「貸されました」「起案」「について」「ですが」、および、書き起こしテキストが格納されている。ここで、音声情報２０２は説明のため音声波形の画像として図示している。
【００３４】
次に確認修正部１０３の実施例について図面を参照して詳細に説明する。
【００３５】
図５を参照すると、確認修正部１０３は、同期情報格納部１０２に記憶された各エントリ１０２５の内容を読み込むデータ読み込み部１０３１と、データ読み込み部１０３１から各エントリ１０２５の内容を受け取って図１に示したような確認修正画面１０４６を生成する画面生成部１０３２と、画面生成部１０３２から音声情報を受け取り、バイナリ形式である音声情報から、作業者に視覚的に見やすい音声波形を生成し、その音声波形を画面生成部１０３２に返却する音声波形生成部１０３３と、画面生成部１０３２で生成された確認修正画面１０４６を表示装置１０４に表示する表示部１０３４と、データ読み込み部１０３１から音声情報を受け取り、それを再生した音声信号を生成する音声再生部１０３５、音声再生部１０３５で生成された音声信号で音声出力器１０６を駆動する出力部１０３６と、同期情報格納部１０２の各エントリ１０２５における書き起こしテキストフィールド１０２４の内容を更新するデータ書き込み部１０３７と、キーボードおよびマウスで構成される入力装置１０５から指示やデータを入力する入力部１０３８と、入力部１０３８から指示やデータを受け取って各部を制御する制御部１０３９とを備えている。
【００３６】
図６は同期情報格納部１０４の各エントリの書き起こしテキストフィールド１０２４が空白になっている初期の状態における確認修正画面１０４６の一例を示す図である。ここでは、時間情報表示部１０４１、認識結果表示部１０４２、音声波形表示部１０４３および書き起こしテキスト表示部１０４４は、アプリケーションウィンドウ内に並べて配置する形態を採用しており、並べて配置する際に、同期情報格納部１０２に格納されている時間情報をキーとして、ディスプレイの同一Ｘ軸座標上に各データを配置している。
【００３７】
図７は図６のような初期状態の確認修正画面を表示する際の確認修正部１０３の処理例を示すフローチャートである。確認修正部１０３の画面生成部１０３２は、データ読み込み部１０３１によって同期情報格納部１０２から、作業対象の素材コンテンツ１１１の先頭位置からの時間情報を取得し、表示部１０３４によって表示装置１０４上のウィンドウ内の時間情報表示部１０４１に時間情報を表示する（Ｓ２０１）。図６では、時間情報「０：００：０３」、「０：００：０４」、…、「０：００：１４」が順に表示されている。
【００３８】
次に、画面生成部１０３２は、データ読み込み部１０３１によって同期情報格納部１０２から前記時間情報に対応する音声情報を取得し、音声波形生成部１０３３によって、デジタル化されたバイナリデータの形式を取っている音声情報から一般的なグラフィックイコライザ表示技術などを用いて音声波形画像を生成し、表示部１０３４によって表示装置１０４上のウィンドウ内の音声波形表示部１０４３に音声波形を表示する（Ｓ２０２）。。ここで、音声波形は、時間情報表示部１０４１にて表示した時間情報のうち、同期情報格納部１０２にて対応付けられている時間情報と同一のＸ座標軸上に表示する。図６では、時間情報「０：００：０３」、「０：００：０４」、…、「０：００：１４」と同一のＸ座標軸上に、対応する音声情報の波形が表示されている。
【００３９】
次に、画面生成部１０３２は、データ読み込み部１０３１によって同期情報格納部１０２から前記時間情報に対応する認識結果テキストを取得し、表示部１０３４によって表示装置１０４上のウィンドウ内の認識結果表示部１０４２に認識結果テキストを表示する（Ｓ２０３）。ここで、認識結果テキストは、時間情報表示部１０４１にて表示した時間情報のうち、同期情報格納部１０２にて対応付けられている時間情報と同一のＸ座標軸上に表示する。図６では、時間情報「０：００：０３」、「０：００：０４」、…、「０：００：１４」と同一のＸ座標軸上に、対応する音声情報の認識結果テキストが表示されている。
【００４０】
最後に、画面生成部１０３２は、データ読み込み部１０３１によって同期情報格納部１０２から前記時間情報に対応する書き起こしテキストを取得し、表示部１０３４によって表示装置１０４上のウィンドウ内の書き起こしテキスト表示部１０４４に書き起こしテキストを表示する（Ｓ２０４）。ここで、書き起こしテキストは、時間情報表示部１０４１にて表示した時間情報のうち、同期情報格納部１０２にて対応付けられている時間情報と同一のＸ座標軸上に表示する。ただし、初期状態では書き起こしテキストの情報は未だ格納されていないため、時間情報に対応する書き起こしテキストの表示部１０４４は空欄として表示されることとなる。
【００４１】
図８は図７に示したフローチャートが実行されて図６に示したような初期状態の確認修正画面１０４６が表示装置１０４に表示された後に確認修正部１０３で実行される処理の流れを示すフローチャートである。
【００４２】
まず、作業者が、表示装置１０４上に表示されている音声波形表示部１０４３の音声波形または認識結果表示部１０４２に表示されている認識結果テキストを入力装置１０５のマウスでクリックして聞き取りたい再生箇所を指定すると（Ｓ３０１のＹＥＳ）、そのことを入力部１０３８からの信号で検出した制御部１０３９は、クリックされた音声波形または認識結果テキストに対応する時間情報を画面生成部１０３２から取得して、音声再生部１０３５に通知し、音声再生部１０３５は通知された時間情報に対応する音声情報をデータ読み込み部１０３１を通じて同期情報格納部１０２から取り出して再生信号を生成し、出力部１０３６はその再生信号でスピーカなどの音声再生器１０６を駆動する（Ｓ３０２）。これにより、作業者がクリックした箇所の対応する音声情報が音声として再生される。音声再生は、同一ステップの繰り返しにより何度でも可能である。
【００４３】
ステップＳ３０１で音声波形または認識結果に対するクリック操作が行われなかった場合の動作の流れについては後述する（Ｃ）。
【００４４】
作業者は、音声出力器１０６から出力される音声情報を聞き取り、認識結果表示部１０４２に表示されている認識結果テキストの内容が正しいかどうかを判断する。ここで、現在再生している音声情報に対応する認識結果テキストの色を変更したり、フォントを変更するなどして修飾する機能を画面生成部１０３２に持たせるようにしても良い。これにより、現在どの箇所を作業しているかを視覚的に即座に確認できるため、目視による作業誤りを軽減することができる。
【００４５】
認識結果が正しかったことにより（Ｓ３０３のＹＥＳ）、作業者が、認識結果表示部１０４２の該当部分をダブルクリックするか、またはドラッグ＆ドロップにより該当部分を書き起こしテキスト表示部１０４４にコピーする操作を行うと、制御部１０３９はそのことを入力部１０３８の入力信号により検出して画面生成部１０３２を制御し、書き起こしテキスト表示部１０４４の空欄箇所に認識結果テキストをコピーして表示させる（Ｓ３０４）。このときの様子を図９に示す。図９を参照すると、時間情報「０：００：０３」に対応する認識結果「続きまして」をクリックし、作業者が音声を聞き取り確認した結果、正常であったため、認識結果「続きまして」を同一Ｘ座標軸上の書き起こしテキスト表示部１０４４にドラッグ＆ドロップすると、書き起こしテキスト表示部１０４４に認識結果の「続きまして」という情報が追加表示される。その後、書き起こしテキスト表示部１０４４に追加表示された書き起こしテキストは、データ書き込み部１０３７によって、図１０に示すように時間情報で同期させて同期情報格納部１０３に格納される（Ｓ３０６）。
【００４６】
他方、認識結果が正しくなかった場合（Ｓ３０３のＮＯ）、作業者は、入力装置１０５のキーボードから、書き起こしテキスト表示部１０４４の該当する箇所に正しいテキストを入力する（Ｓ３０５）。その様子を図１１に示す。図１１を参照すると、時間情報「０：００：０４」に対応する認識結果「秋の」をクリックし、作業者が音声を聞き取り確認した結果、正しくなかったため、同一Ｘ座標軸上の書き起こしテキスト表示部１０４４の箇所にキーボードを用いて「先の」という正しい書き起こしテキストを入力している。ここで、キーボードのように直接文字入力する装置でなく、マイクを用いた音声認識によってテキストを入力するようにしてもよい。その後、書き起こしテキスト表示部１０４４に追加表示された書き起こしテキストは、データ書き込み部１０３７によって、図１２に示すように時間情報で同期させて同期情報格納部１０３に格納される（Ｓ３０６）。
【００４７】
作業対象コンテンツの末尾まで作業が完了していれば（Ｓ３０７のＹＥＳ）、全体の作業終了となる。作業対象コンテンツの途中であれば（Ｓ３０７のＮＯ）、継続して作業を実施する（Ｂ）。図１３は書き起こしの継続作業の処理例を示すフローチャートである。
【００４８】
図１３を参照すると、作業者が、表示装置１０４上に表示されている音声波形表示部１０４３または認識結果表示部１０４２または書き起こしテキスト表示部１０４４の箇所をマウスでクリックして所望の再生箇所を指定すると（Ｓ４０１のＹＥＳ）、そのことを入力部１０３８からの信号で検出した制御部１０３９は、クリックされた音声波形または認識結果テキストまたは書き起こしテキストに対応する時間情報を画面生成部１０３２から取得して、音声再生部１０３５に通知し、音声再生部１０３５は通知された時間情報に対応する音声情報を同期情報格納部１０２から取り出して再生信号を生成し、出力部１０３６はその再生信号でスピーカなどの音声再生器１０６を駆動する（Ｓ４０２）。これにより、作業者がクリックした箇所に対応する音声情報が音声として再生される。音声再生は、同一ステップの繰り返しにより何度でも可能である。
【００４９】
ステップＳ４０１で指定が無かった場合の動作の流れについては後述する（Ｃ）。
【００５０】
次に作業者は、音声出力器１０６から出力される音声情報を聞き取り、認識結果表示部１０４２に表示されている認識結果テキストの内容や、書き起こしテキスト表示部１０４４に表示されている書き起こしテキストの内容が正しいかどうかを判断する。ここで、現在再生している音声情報に対応する認識結果テキストや書き起こしテキストの色を変更したり、フォントを変更するなどで修飾する機能を画面生成部１０３２に持たせるようにしても良い。これにより、現在どの箇所を作業しているかを視覚的に即座に確認できるため、目視による作業誤りを軽減することができる。
【００５１】
書き起こしテキストが空欄か誤っており且つ認識結果が正しかった場合（Ｓ４０３のＹＥＳ）、作業者が、認識結果表示部１０４２の該当部分をダブルクリックするか、またはドラッグ＆ドロップにより該当部分を書き起こしテキスト表示部１０４４にコピーする操作を行うと、制御部１０３９はそのことを入力部１０３８の入力信号により検出して画面制御部１０３２を制御し、書き起こしテキスト表示部１０４４の箇所に認識結果テキストをコピーして表示させる（Ｓ４０４）。他方、書き起こしテキストが空欄か誤っており且つ認識結果が正しくなかった場合（Ｓ４０３のＮＯ）、作業者は、入力装置１０５のキーボードから、書き起こしテキスト表示部１０４４の該当する箇所に正しいテキストを入力する（Ｓ４０５）。ここで、キーボードのように直接文字入力する装置でなく、マイクを用いた音声認識によってテキストを入力するようにしてもよい。
【００５２】
書き起こしテキストが挿入または入力されると、書き起こしテキストに対応する時間情報とともに、書き起こしテキストがデータ書き込み部１０３７に通知され、データ書き込み部１０３７は、同期情報格納部１０２の該当するエントリをアクセスし、受け取った時間情報と対応付けて、受け取った書き起こしテキストを同期情報格納部１０２に格納する（Ｓ４０６）。
【００５３】
作業対象コンテンツの途中であれば（Ｓ４０７のＮＯ）、さらに継続して作業を実施する（Ｂ）。
【００５４】
図１４を参照すると、継続作業により、各時間情報に対応する同一Ｘ座標軸上の書き起こしテキスト表示部１０４４に、「続きまして」「先の」「委員会で」「出されました」「議案」「について」「ですが」いう情報が反映されている。
【００５５】
作業対象コンテンツの末尾まで作業が完了していれば（Ｓ４０７のＹＥＳ）、全体の作業終了となる。作業の終了を確認修正部１０３に通知する方法としては、例えば、図１４に図示するように、確認修正画面１０４６に「保存して終了」と表示されている作業終了ボタン１０４９を用意しておき、作業者がボタンを押下することで作業の終了を確認修正部１０３に通知する方法が利用できる。
【００５６】
図１５は、図８のステップＳ３０１および図１３のステップＳ４０１でＮＯと判定された場合に確認修正部１０３で実行される処理の流れを示すフローチャートである。以下、この図１５のフローチャートおよび図１６の確認修正画面の例を参照して、確認修正画面１０４６のスクロール動作について説明する。
【００５７】
作業者によって、図１６に示すスクロールボタンである表示アイコン１０４５−１または表示アイコン１０４５−２が押下されたとすると（Ｓ５０１のＹＥＳ）、制御部１０３９はそのことを入力部１０３８からの入力信号で検出し、あらかじめ設定してあるスクロール時間分だけ時間的な表示領域の変更処理を画面生成部１０３２に通知する。ここで、例えば表示アイコン１０４５−２が押下された場合に設定されているスクロール時間が９秒だとすると、画面生成部１０３２は、現在ウィンドウ上に表示されている時間情報の先頭位置を取得し、時間情報プラス９秒目が先頭となるよう、データ読み込み部１０３１を通じて同期情報格納部１０２から時間情報、音声情報、認識結果および書き起こしテキストを順次読み出し（Ｓ５０２）、該当する時間情報の先頭から、各データに表示を切り替える（Ｓ５０３）。
【００５８】
図１４および図１６を参照すると、図１４では時間情報表示部１０４１の先頭の時間情報が「０：００：０３」であったが、時間情報にプラス９秒されるため、図１６では、時間情報「０：００：１２」から順次対応する音声情報、認識結果「起案」「について」「ですが」「大根の」「財政基盤の」「悪貨に」「伴いまして」、書き起こしテキスト「議案」「について」「ですが」「昨今の」「財政基盤の」「悪化に」「伴いまして」が表示される。
【００５９】
表示の切り替え後の動作は、図１３に示した書き起こしの継続作業に遷移する（Ｂ）。また、スクロールの指示がなければ（Ｓ５０２のＮＯ）、作業終了かどうかを確認し、継続作業であれば（Ｓ５０４のＮＯ）、図１３に示した書き起こしの継続作業に遷移する（Ｂ）。作業終了であれば（Ｓ５０４のＹＥＳ）、作業を終了する。
【００６０】
以上のようにして本実施の形態によれば、素材コンテンツ１１１に含まれる音声情報の書き起こしテキストを作成する際の作業者の負荷を大幅に軽減することができ、且つ正確な書き起こしテキストの作成が可能となる。
【００６１】
以上本発明の実施の形態について説明したが、本発明は以上の実施の形態にのみ限定されず、その他各種の付加変更が可能である。また、本発明の書き起こしテキスト作成支援システムにおける同期情報生成部１０１および確認修正部１０３は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した実施の形態における同期情報生成部１０１および確認修正部１０３として機能させる。
【図面の簡単な説明】
【００６２】
【図１】本発明の書き起こしテキスト作成支援システムの実施の形態のブロック図である。
【図２】同期情報生成部の実施例のブロック図である。
【図３】同期情報生成部の処理の流れを示すフローチャートである。
【図４】同期情報格納部のデータ格納例の一部を示す図である。
【図５】確認修正部の実施例のブロック図である。
【図６】同期情報格納部の各エントリの書き起こしテキストフィールドが空白になっている初期の状態における確認修正画面の一例を示す図である。
【図７】初期状態の確認修正画面を表示する際の確認修正部の処理例を示すフローチャートである。
【図８】初期状態の確認修正画面が表示装置に表示された後に確認修正部で実行される処理の流れを示すフローチャートである。
【図９】確認修正画面に書き起こしテキストが入力された一場面を示す図である。
【図１０】同期情報格納部に書き起こしテキストが書き込まれた様子を示す図である。
【図１１】確認修正画面に書き起こしテキストが入力された別の場面を示す図である。
【図１２】同期情報格納部に書き起こしテキストが書き込まれた様子を示す図である。
【図１３】確認修正部が実行する書き起こしの継続作業の処理例を示すフローチャートである。
【図１４】確認修正画面に書き起こしテキストが入力された他の場面を示す図である。
【図１５】確認修正部の残りの処理例を示すフローチャートである。
【図１６】スクロール後の確認修正画面の例を示す図である。
【符号の説明】
【００６３】
１０１…同期情報生成部
１０１１…素材入力部
１０１２…音声認識部
１０１３…時間情報取得部
１０１４…記録部
１０２…同期情報格納部
１０２１…時間情報フィールド
１０２２…音声情報フィールド
１０２３…認識結果フィールド
１０２４…書き起こしテキストフィールド
１０２５、１０２５−１、１０２５−２…エントリ
１０３…確認修正部
１０３１…データ読み込み部
１０３２…画面生成部
１０３３…音声波形生成部
１０３４…表示部
１０３５…音声再生部
１０３６…出力部
１０３７…データ書き込み部
１０３８…入力部
１０３９…制御部
１０４…表示装置
１０４１…時間情報表示部
１０４２…認識結果表示部
１０４３…音声波形表示部
１０４４…書き起こしテキスト表示部
１０４５−１、１０４５−２…スクロールボタン
１０４６…確認修正画面
１０４７、１０４８…ガイド線
１０４９…作業終了ボタン
１０５…入力装置
１０６…音声出力器
１０７…出力装置
【図１】
2005228178.tif 000003
【図２】
2005228178.tif 000004
【図３】
2005228178.tif 000005
【図４】
2005228178.tif 000006
【図５】
2005228178.tif 000007
【図６】
2005228178.tif 000008
【図７】
2005228178.tif 000009
【図８】
2005228178.tif 000010
【図９】
2005228178.tif 000011
【図１０】
2005228178.tif 000012
【図１１】
2005228178.tif 000013
【図１２】
2005228178.tif 000014
【図１３】
2005228178.tif 000015
【図１４】
2005228178.tif 000016
【図１５】
2005228178.tif 000017
【図１６】
2005228178.tif 000018