(57)【要約】【課題】内容を把握しやすい言語情報を提供することが可能な言語情報提供装置を提供する。【解決手段】装置１０は、言語情報の出力時間に基づいて、出力される言語情報の上限文字数を算出する文字数算出部１３と、出力される言語情報を作成する言語情報作成部１５と、文字数算出部１３によって算出された上限文字数に応じて、言語情報作成部１５が作成する言語情報の文字数を制限する原文作成部１４と、を備える。【選択図】図１
2017212667.tif 000002
【特許請求の範囲】
【請求項１】
言語情報の出力時間に基づいて、出力される言語情報の上限文字数を算出する算出手段と、
前記出力される言語情報を作成する作成手段と、
前記算出手段によって算出された上限文字数に応じて、前記作成手段が作成する言語情報の文字数を制限する制限手段と、
を備える、
言語情報提供装置。
【請求項２】
前記算出手段は、映像における字幕の表示時間を前記言語情報の出力時間として、表示される字幕の上限文字数を前記言語情報の上限文字数として算出し、
前記作成手段は、前記字幕として用いられる翻訳文を前記言語情報として作成し、
前記制限手段は、前記作成手段が作成する翻訳文の文字数を制限する、
請求項１に記載の言語情報提供装置。
【請求項３】
前記制限手段は、予め定められたフレーズまたは単語が前記言語情報に含まれる場合には、前記制限を緩和する、請求項１または２に記載の言語情報提供装置。
【請求項４】
前記制限手段は、
前記予め定められたフレーズまたは単語が前記言語情報に含まれない場合には、前記言語情報の文字数が前記上限文字数を上回らないようにすることで、前記言語情報の文字数を制限し、
前記予め定められたフレーズまたは単語が前記言語情報に含まれる場合には、前記言語情報の文字数が前記上限文字数を上回ることを許容することで、前記制限を緩和する、
請求項３に記載の言語情報提供装置。
【請求項５】
前記制限手段は、前記言語情報の基礎となる原文を作成し、
前記作成手段は、前記制限手段によって作成された原文から前記出力される言語情報を作成し、
前記制限手段は、前記原文を短くすることによって、前記制限を行う、
請求項１〜４のいずれか１項に記載の言語情報提供装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、言語情報提供装置に関する。
【背景技術】
【０００２】
たとえば特許文献１は、映像における音声等の翻訳文の字幕を、映像とともに再生する技術を開示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１６９１０号公報
【非特許文献】
【０００４】
【非特許文献１】工藤拓、松本裕治「チャンキングの段階適用による日本語係り受け解析」情報処理学会論文誌  Ｖｏｌ．４３  Ｎｏ．６  ２００２年６月、ｐｐ．１８３４−１８４２
【発明の概要】
【発明が解決しようとする課題】
【０００５】
映像の視聴者（ユーザ）の判読能力を考慮した単位時間当たりの字幕の表示可能な上限文字数（以下、「表示可能文字数」という）は、概ね決まっていることが知られている。たとえば、映画の場合には４文字／秒程度とされている。字幕に限らず、吹き替えなどの音声を映像に合成するシーンにおいても同様のことが言え、この場合には、単位時間当たりの吹替音声の出力可能な上限文字数が、上述の表示可能文字数に相当し得る。
【０００６】
映画などの映像に字幕を表示する場合には、映像の各シーンに対応した字幕を、そのシーンの期間内に表示し終えなければならない。その期間内に表示される単位時間当たりの字幕の文字数は、表示可能文字数以下とすることが好ましい。しかしながら、映像の再生に合わせてリアルタイムで翻訳文の字幕（以下、単に「翻訳文」という場合もある）を作成して表示するような場合には、翻訳文の文字数が表示可能文字数を上回る事態が発生し得る。吹替音声を作成して出力する場合にも、吹替音声の文字数が表示可能文字数を上回る事態が発生し得る。表示可能文字数を上回る翻訳文が表示されたり、表示可能文字数を上回る文字数の吹替音声が出力されたりすると、字幕または吹替音声で表されるような言語情報の内容を把握することが難しくなる。いわゆる文字起こしによって音声情報から作成された文字情報（トランスクリプト文）のような言語情報についても、同様のことが言える。
【０００７】
本発明は、上記課題に鑑みてなされたものであり、内容を把握しやすい言語情報を提供することが可能な言語情報提供装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様に係る言語情報提供装置は、言語情報の出力時間に基づいて、出力される言語情報の上限文字数を算出する算出手段と、出力される言語情報を作成する作成手段と、算出手段によって算出された上限文字数に応じて、作成手段が作成する言語情報の文字数を制限する制限手段と、を備える。
【０００９】
上記の言語情報提供装置では、言語情報の上限文字数が算出され、算出された上限文字数に応じて、作成される言語情報の文字数が制限される。このように言語情報の文字数を制限することによって、出力された言語情報の内容を把握しやすくすることができる。
【００１０】
算出手段は、映像における字幕の表示時間を言語情報の出力時間として、表示される字幕の上限文字数を言語情報の上限文字数として算出し、作成手段は、字幕として用いられる翻訳文を言語情報として作成し、制限手段は、作成手段が作成する翻訳文の文字数を制限してもよい。この場合には、表示される字幕の上限文字数が算出され、算出された上限文字数に応じて、作成される翻訳文の文字数が制限される。このように翻訳文の文字数を制限することによって、翻訳文を読みやすくすることができる。
【００１１】
制限手段は、予め定められたフレーズまたは単語が言語情報に含まれる場合には、制限を緩和してもよい。たとえばユーザが読み慣れていたり聞き慣れていたりすることによってユーザが短時間で把握することができるフレーズまたは単語を予め定められたフレーズまたは単語に設定しておけば、そのようなフレーズまたは単語が言語情報に含まれており上述の制限が緩和され言語情報の文字数が増えたとしても、言語情報が把握しにくくなることを抑制することができる。
【００１２】
制限手段は、予め定められたフレーズまたは単語が言語情報に含まれない場合には、言語情報の文字数が上限文字数を上回らないようにすることで、言語情報の文字数を制限し、予め定められたフレーズまたは単語が言語情報に含まれる場合には、言語情報の文字数が上限文字数を上回ることを許容することで、制限を緩和してもよい。たとえばこのようにして、言語情報の文字数の制限、および制限の緩和を行うことができる。
【００１３】
制限手段は、言語情報の基礎となる原文を作成し、作成手段は、制限手段によって作成された原文から出力される言語情報を作成し、制限手段は、原文を短くすることによって、上述の制限を行ってもよい。たとえばこのように原文を短くすることで、言語情報の文字数を制限することができる。
【発明の効果】
【００１４】
本発明によれば、内容を把握しやすい言語情報を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】実施形態に係る装置の概略構成を示す図である。
【図２】装置のハードウェア構成の例を示す図である。
【図３】装置において実行される処理の一例を示すフローチャートである。
【図４】装置において実行される処理の一例を示すフローチャートである。
【図５】字幕として表示される、文字数の制限された翻訳文の例を示す図である。
【図６】変形例に係る装置の概略構成を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について、図面を参照しながら説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。
【００１７】
図１は、実施形態に係る言語情報提供装置（以下、単に「装置」という場合もある）の概略構成を示す図である。図１に示される装置１０は、たとえば、動画および音声を含む映像における音声の翻訳文の字幕を言語情報として、映像とともに出力する装置（翻訳装置）であってよい。その場合、装置１０では、映像の再生の際に翻訳文が作成されて映像とともに出力される。字幕ではなく、翻訳文に対応する音声（吹替音声）が言語情報として作成されて映像とともに出力されてもよい。また、翻訳を伴わなくとも、講演会などで聴覚障害者のために文字起こしされたトランスクリプト文が言語情報として作成され、出力されてもよい。トランスクリプト文の場合には、映像は出力されなくてもよい。装置１０は、テレビ、電光掲示板、ディジタルサイネージ、ＰＣ、スマートフォン、ユーザとのコミュニケーションが可能なロボットのような様々な電子機器において実現され得る。
【００１８】
図１に示されるように、装置１０は、入力部１１と、音声認識処理部１２と、文字数算出部１３と、原文作成部１４と、言語情報作成部１５と、自動要約部１６と、記憶部１７と、出力部１８とを含む。
【００１９】
入力部１１は、音声および映像を入力する部分である。たとえば、音声および映像のデータ（音声データおよび映像データ）が、入力部１１を構成し得るカメラ、マイクなどにより取得される。音声データおよび映像データは、入力部１１により、インターネットなどの通信網を介して、映像を配信するコンテンツサーバから取得されてもよい。また、入力部１１は、字幕、吹替音声およびトランスクリプト文のいずれの情報を言語情報として出力すべきかを指定するためのユーザ操作を受け付ける。たとえば、字幕あるいは吹替音声の出力を行うべき旨の指示が、入力部１１によって入力される。または、トランスクリプト文を出力するための処理（文字起こし処理）を実行すべき旨の指示が、入力部１１によって入力される。
【００２０】
音声認識処理部１２は、入力部１１によって入力された音声を認識する部分である。音声の認識は、入力部１１によって入力された音声全体あるいは音声に含まれる各単語の意味、内容を特定することである。音声認識には、音声認識処理が実行可能な種々の公知の音声認識エンジンが用いられてよい。その場合、映像の属性に応じて異なる種類の音響モデル、言語モデルを備えた音声認識エンジンが用いられてもよい。
【００２１】
文字数算出部１３は、上述の字幕、吹替音声およびトランスクリプト文などの言語情報が出力される場合の、出力される言語情報の上限文字数を算出する部分（算出手段）である。たとえば、文字数算出部１３は、映像において表示される字幕あるいは出力される吹替音声の最大許容文字数を上限文字数として算出する。字幕あるいは吹替音声の最大許容文字数は、映像の視聴者（この例では装置１０のユーザ）の判読能力を考慮した、映像の一つのシーンにおいて表示すべき翻訳文の文字数の上限文字数である。映像の一つのシーンとしては、映像中における或る人物が一つのセリフを述べるシーンなどが想定される。また、文字数算出部１３は、講演会等で表示されるトランスクリプト文の最大許容文字数を上限文字数として算出する。トランスクリプト文の最大許容文字数は、トランスクリプト文の視聴者の判読能力を考慮した、講演会等の一つのシーンにおいて表示すべきトランスクリプト文の文字数の上限文字数である。講演会等の一つのシーンとしては、スピーチを行っている人物が一つのセリフを述べるシーンなどが想定される。
【００２２】
最大許容文字数の算出の例について説明する。最大許容文字数が字幕または吹替音声の上限文字数の場合には、たとえば、文字数算出部１３が、映像の一つのシーンにおける字幕の表示時間または吹替音声の出力時間と、上述の表示可能文字数とを乗ずることによって、最大許容文字数を算出する。最大許容文字数の算出のために、文字数算出部１３は、入力部１１によって入力された映像における字幕の表示時間または吹替音声の出力時間を取得する。表示時間等の取得は、たとえば、表示時間等を指定するデータが予め準備されており、当該データが音声データおよび映像データとともに入力部１１によって入力されることで取得されてもよい。表示時間等を指定するデータが無い場合には、文字数算出部１３は、表示時間等を測定してもよい。表示時間等の測定は、映像データを解析することによって行われる。たとえば、文字数算出部１３は、映像の一つのシーンにおいてセリフが音声として発せられている時間を測定し、測定した時間を映像における字幕の表示時間等とする。最大許容文字数がトランスクリプト文の上限文字数の場合には、たとえば、文字数算出部１３が、講演等の一つのシーンにおけるトランスクリプト文の表示時間と、上述の表示可能文字数を乗ずることによって、最大許容文字数を算出する。トランスクリプト文の表示時間については、上述の字幕の表示時間等と同様にして、文字数算出部１３によって取得されよい。
【００２３】
原文作成部１４は、後述の言語情報作成部１５によって作成される言語情報の基礎となる原文を作成する部分である。原文作成部１４がはじめに作成する原文は、入力部１１によって入力された音声に対応する文である。たとえば、入力部１１によって映像とともに入力される音声データが文字データ（テキストデータ）として与えられる場合には、当該文字データをそのまま用いることで原文が作成される。一方、そのような文字データが無い場合には、原文作成部１４は、たとえば、入力部１１によって入力され音声認識処理部１２によって認識された音声に対応する文字データを、原文として作成してもよい。
【００２４】
言語情報作成部１５は、原文作成部１４によって作成された原文から、出力される言語情報を作成する部分（作成手段）である。たとえば、言語情報が上述の字幕または吹替音声である場合には、言語情報作成部１５は、原文作成部１４によって作成された原文の翻訳文を作成する。翻訳には、種々の公知の機械翻訳技術が用いられてよい。この言語情報作成部１５によって作成された翻訳文は、映像に表示される字幕として用いられ得る。また、言語情報作成部１５は、翻訳文に対応する音声（映像とともに出力される合成音声）を作成する。合成音声は、翻訳文から自動的に作成されてもよいし、翻訳文を人（読み手）が読み上げることによって作成されてもよい。合成音声を自動的に作成する場合には、文字データを音声データに変換するための種々の公知の手法を用いるとよい。合成音声を読み手が作成する場合には、言語情報作成部１５によって作成された翻訳文がたとえば後述の出力部１８によって表示され、表示された翻訳文を読み手が読み上げるようにするとよい。言語情報作成部１５によって作成された翻訳文に対応する音声は、映像とともに出力される吹替音声として用いられ得る。言語情報が上述のトランスクリプト文である場合には、言語情報作成部１５は、原文作成部１４によって作成された原文そのまま用いることでトランスクリプト文を作成する。
【００２５】
自動要約部１６は、原文作成部１４によって作成された原文の要約文を作成する部分である。要約文の作成は、原文を段階的に短くすることによって行うことができる。そのような要約文の作成手法はとくに限定されないが、一例として非特許文献１に記載された手法を用いることができる。
【００２６】
上述の原文作成部１４、言語情報作成部１５および自動要約部１６は、文字数算出部１３によって算出された最大許容文字数に応じて、言語情報の文字数を制限する部分（制限手段）でもある。制限手法の例について説明すると、まず、言語情報作成部１５が、原文作成部１４によって作成された原文を翻訳する。原文作成部１４は、言語情報作成部１５によって作成された言語情報の文字数をカウントし、カウントした言語情報の文字数が、文字数算出部１３によって算出された最大許容文字数を上回るか否かを判断する。翻訳文の文字数が最大許容文字数を上回る場合には、原文作成部１４は、自動要約部１６に原文を要約するよう指示する。原文作成部１４は、自動要約部１６が要約することによって得られる要約文を、新たな原文として作成する。新たに作成された原文は、はじめに作成された原文の要約文に相当するので、はじめに作成された原文よりも短くなる。言語情報作成部１５は、原文作成部１４によって新たに作成された原文から言語情報を作成する。これにより得られる言語情報の文字数は、最初に作成された言語情報の文字数よりも少ない。このようにして言語情報の文字数を減らすことで、言語情報の文字数を制限することができる。上述のように自動要約部１６による要約は段階的に行うことができるので、上記一連の処理を繰り返し実行することによって、言語情報も段階的に短くすることができる。そして、このような一連の処理を、言語情報の文字数が最大許容文字数以下となるまで繰り返し実行することによって、言語情報の文字数を最大許容文字数以下に制限する。
【００２７】
さらに、本実施形態では、予め定められたフレーズまたは単語が、言語情報作成部１５によって作成された言語情報に含まれる場合には、上述の言語情報の文字数の制限が緩和される。予め定められたフレーズおよび単語は、ユーザが読み慣れていたり聞き慣れていたりすることによって、他のフレーズおよび単語と比較して、ユーザが短時間で内容を把握することができるフレーズおよび単語である。フレーズの例としては、日常的に用いられる決まり文句「おはようございます」などが挙げられる。単語の例としては、日常的に用いられている固有名詞「ニュージーランド」などが挙げられる。
【００２８】
原文作成部１４は、予め定められたフレーズまたは単語が言語情報に含まれるか否かを判断する。予め定められたフレーズまたは単語が言語情報に含まれない場合には、原文作成部１４は、先に説明したように言語情報作成部１５および自動要約部１６と協働して、言語情報の文字数が最大許容文字数を上回らないように言語情報の文字数を制限する。一方、予め定められたフレーズまたは単語が言語情報に含まれる場合には、原文作成部１４は、翻訳文の文字数が最大許容文字数を上回ることを許容することで、言語情報の文字数の制限を緩和する。たとえば、原文作成部１４は、言語情報に含まれる予め定められたフレーズまたは単語の文字数の合計文字数を、言語情報の文字数から差し引いた文字数を、新たな言語情報の文字数として算出する。算出した新たな言語情報の文字数と、最大許容文字数とを比較することによって、原文作成部１４は、先に説明したように言語情報作成部１５および自動要約部１６と協働し、翻訳文の文字数が上限文字数を上回らないように言語情報の文字数を制限する。
【００２９】
記憶部１７は、装置１０において実行される種々の処理に必要な情報を記憶する部分である。とくに、記憶部１７は、上述の表示可能文字数、上述の予め定められたフレーズおよび単語を記憶する。
【００３０】
出力部１８は、言語情報作成部１５によって作成された言語情報を出力する部分である。言語情報が原文の翻訳文である場合には、出力部１８は、原文の翻訳文を字幕とし、入力部１１によって入力された映像とともに出力する。言語情報が吹替音声の場合には、出力部１８は、吹替音声を映像とともに出力する。言語情報がトランスクリプト文の場合には、出力部１８は、原文を表示する。
【００３１】
言語情報作成部１５は、原文作成部１４によって作成された原文から、出力される言語情報を作成する部分（作成手段）である。たとえば、言語情報が上述の字幕または吹替音声である場合には、言語情報作成部１５は、原文作成部１４によって作成された原文の翻訳文を作成する。翻訳には、種々の公知の機械翻訳技術が用いられてよい。この言語情報作成部１５によって作成された翻訳文は、映像に表示される字幕として用いられ、また、翻訳文に対応する音声は、映像とともに出力される吹替音声として用いられ得る。言語情報が上述のトランスクリプト文である場合には、言語情報作成部１５は、原文作成部１４によって作成された原文そのまま用いることでトランスクリプト文を作成する。言語情報がトランスクリプト文の場合には、少なくともトランスクリプト文が出力されればよく、映像の出力は必須ではない。なお、出力部１８によって出力される字幕および映像の例を、後に図４を参照して説明する。
【００３２】
図２は、装置のハードウェア構成の例を示す図である。図２に示されるように、装置１０は、物理的には、１または複数のＣＰＵ（Central  Processing  Unit）１０１、主記憶装置であるＲＡＭ（Random  Access  Memory）１０２およびＲＯＭ（Read  Only  Memory)１０３、データ送受信デバイスである通信モジュール１０４、半導体メモリなどの補助記憶装置１０５、ユーザ操作の入力を受け付ける入力装置１０６、ディスプレイといった出力装置１０７などを備えるコンピュータとして構成され得る。先に図１を参照して説明した装置１０の各機能は、たとえば、ＣＰＵ１０１、ＲＡＭ１０２などのハードウェア上に１または複数の所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０４、入力装置１０６、出力装置１０７などを動作させるとともに、ＲＡＭ１０２および補助記憶装置１０５におけるデータの読み出しおよび書き込みを行うことで実現することができる。
【００３３】
図３は、装置において実行される処理の一例を示すフローチャートである。このフローチャートの処理は、たとえば、再生中の映像の一つのシーン、あるいは講演会中の一つのシーンにおいて実行される。処理が映像の一つのシーンで実行される場合には、翻訳を伴う処理が実行される（後述のステップＳ４〜Ｓ９）。処理が講演会等の一つのシーンで実行される場合には、翻訳を伴わない文字起こし処理が実行される（後述のステップＳ１０〜Ｓ１３）。いずれの処理に分岐するかは、先に説明したように、入力部１１が受け付けたユーザ操作による指示内容に依存する。入力部１１によるユーザ操作の受け付けは、図３のフローチャートの開始に先立って行われているものとする。
【００３４】
ステップＳ１において、装置１０は、言語情報の出力時間を取得する。具体的に、先に説明したように、入力部１１によって入力された音声等に基づいて、文字数算出部１３が、字幕の表示時間、吹替音声の出力時間、あるいは、トランスクリプト文の表示時間を、言語情報の出力時間として取得する。
【００３５】
ステップＳ２において、装置１０は、出力時間から最大許容文字数を算出する。具体的に、文字数算出部１３が、先のステップＳ１で算出された字幕の表示時間（秒）、吹替音声の出力時間（秒）あるいはトランスクリプト文の出力時間（秒）と、記憶部１７に記憶されている表示可能文字数（たとえば４文字／秒）とを乗ずることによって、最大許容文字数を算出する。
【００３６】
ステップＳ３において、装置１０は、翻訳を行うべきかそれとも文字起こしを行うべきかを判断する。たとえば、装置１０のユーザ操作によって、字幕あるいは吹替音声の出力を行うべき旨の指示が入力部１１によって入力された場合には、翻訳処理が必要になるので、翻訳を行うべきと判断される。一方、ユーザ操作によって文字起こし処理を実行すべき旨の指示が入力部１１によって入力された場合には、文字起こしを行うべきと判断される。翻訳を行うべきと判断した場合、装置１０はステップＳ４〜Ｓ９に処理を進める。文字起こしを行うべきと判断した場合、装置１０はステップＳ１０〜Ｓ１３（後述の図４）に処理を進める。
【００３７】
ステップＳ４において、装置１０は、機械翻訳を実行する。具体的に、自動要約部１６が、先に説明したように原文作成部１４によって作成された原文の翻訳文を作成する。このステップＳ４の処理は、後述のステップＳ８の処理が実行された場合には繰り返し実行されることとなるが、１回目のステップＳ４の処理において翻訳の基礎となる原文は、先に説明したように原文作成部１４によってはじめに作成された原文である。２回目以降のステップＳ４の処理では、後述のステップＳ８の処理により短くされた原文が、新たな原文として作成されることになる。
【００３８】
ステップＳ５において、装置１０は、翻訳文に例外フレーズまたは単語が含まれるか否かを判断する。具体的に、原文作成部１４が、先のステップＳ４において作成された翻訳文と、記憶部１７に記憶されているフレーズまたは単語とを比較し、当該フレーズまたは単語が記憶部１７に含まれるか否かを判断する。翻訳文に例外フレーズまたは単語が含まれる場合（ステップＳ５：ＹＥＳ）、装置１０はステップＳ６に処理を進める。そうでない場合（ステップＳ５：ＮＯ）、装置１０はステップＳ６をスキップしてステップＳ７に処理を進める。
【００３９】
ステップＳ６において、装置１０は、例外フレーズまたは単語を翻訳文字数から減算する。具体的に、原文作成部１４が、先のステップＳ４において作成された翻訳文の文字数から、先のステップＳ５において翻訳文に含まれると判断されたフレーズまたは単語の文字数を減じた数を、新たな翻訳文の文字数として算出する。このようにして新たな翻訳文の文字数を算出すると、新たに算出する前の翻訳文の文字数が最大許容文字数を上回っていても、後述のステップＳ７においてＹＥＳの判定がされ得るとともに、後述のステップＳ８において最大許容文字数を上回る文字数の翻訳文が字幕として、あるいは翻訳文に対応する音声が吹替音声として、映像とともに出力され得る。
【００４０】
ステップＳ７において、装置１０は、翻訳文字数が最大許容文字数以下であるか否かを判断する。具体的に、原文作成部１４が、先のステップＳ４で作成された翻訳文の文字数または先のステップＳ６で算出された新たな翻訳文の文字数が、先のステップＳ２で算出された最大許容文字数以下であるか否かを判断する。翻訳文字数が最大許容文字数以下の場合（ステップＳ７：ＹＥＳ）、装置１０はステップＳ９に処理を進める。そうでない場合（ステップＳ７：ＮＯ）、装置１０はステップＳ８に処理を進める。
【００４１】
ステップＳ８において、装置１０は、文を段階的に短くする。具体的に、自動要約部１６が、先のステップＳ４において作成された原文を要約する。原文作成部１４は、自動要約部１６が要約することによって得られる要約文を、新たな原文として作成する。ステップＳ８の処理が完了した後、装置１０はステップＳ４に再び処理を戻す。先に説明したようにステップＳ４では原文の翻訳文が作成される。また、図３に示されるようにこれらステップＳ４〜Ｓ８の処理は繰り返し実行され得る。これらの処理が繰り返し実行されることによって、原文とともに翻訳文が段階的に短くなる。
【００４２】
ステップＳ９において、装置１０は、字幕表示・音声合成またはトランスクリプト文表示を行う。具体的に、出力部１８が先のステップＳ４で作成された翻訳文を字幕として映像とともに表示するか、翻訳文に対応する音声を吹替音声として映像とともに出力する。または、原文作成部１４によって作成された原文あるいは後述のステップＳ１３において新たに作成された原文を、トランスクリプト文として出力する。ステップＳ９の処理が完了した後、装置１０は、フローチャートの処理を終了する。
【００４３】
次に、先のステップＳ３において文字起こしを行うべきと判断され、図４に示されるステップＳ１０に処理が進められた場合に実行される処理について説明する。
【００４４】
ステップＳ１０において、装置１０は、文に例外フレーズまたは単語が含まれるか否かを判断する。具体的に、原文作成部１４が、先に説明したように作成したトランスクリプト文となり得る原文と、記憶部１７に記憶されているフレーズまたは単語とを比較し、当該フレーズまたは単語が記憶部１７に含まれているか否かを判断する。原文に例外フレーズまたは単語が含まれる場合（ステップＳ１０：ＹＥＳ）、装置１０はステップＳ１１に処理を進める。そうでない場合（ステップＳ１０：ＮＯ）、装置１０はステップＳ１１をスキップしてステップＳ１２に処理を進める。
【００４５】
ステップＳ１１において、装置１０は、例外フレーズまたは単語を文字数から減算する。具体的に、原文作成部１４が、原文の文字数から、先のステップＳ１０において原文に含まれると判断されたフレーズまたは単語の文字数を減じた数を、新たな原文の文字数として算出する。このようにして新たな原文の文字数を算出すると、新たに算出する前の原文の文字数が最大許容文字数を上回っていても、後述のステップＳ１２においてＹＥＳの判定がされ得るとともに、後に実行されるステップＳ９において最大許容文字数を上回る文字数の原文がトランスクリプト文として出力され得る。
【００４６】
ステップＳ１２において、装置１０は、文字数が最大許容文字数以下であるか否かを判断する。具体的に、原文作成部１４が、原文の文字数または先のステップＳ１１で算出された新たな原文の文字数が、先のステップＳ２で算出された最大許容文字数以下であるか否かを判断する。文字数が最大許容文字数以下の場合（ステップＳ１２：ＹＥＳ）、装置１０は先に説明したステップＳ９（図３）に処理を進める。そうでない場合（ステップＳ１２：ＮＯ）、装置１０はステップＳ１３に処理を進める。
【００４７】
ステップＳ１３において、装置１０は、文を段階的に短くする。この処理は、先のステップＳ８の処理と同様であるので、ここでは説明を省略する。ステップＳ１３の処理が完了した後、装置１０はステップＳ１０に再び処理を戻す。
【００４８】
以上説明した装置１０によれば、言語情報の上限文字数が算出され（ステップＳ２）、算出された上限文字数に応じて、作成される言語情報の文字数が制限される（ステップＳ４〜Ｓ８、Ｓ１０〜Ｓ１３）。このように言語情報の文字数を制限することによって、出力された言語情報（ステップＳ８）の内容を把握しやすくすることができる。
【００４９】
たとえば、映像に表示される字幕の上限文字数が算出され（ステップＳ２）、算出された上限文字数に応じて、作成される翻訳文の文字数が制限される（ステップＳ３〜Ｓ８）。このように表示される翻訳文の文字数を制限することによって、制限された文字数の翻訳文が字幕として映像とともに表示されたときに（ステップＳ９）、翻訳文が読みやすくなる。
【００５０】
また、予め定められたフレーズまたは単語が言語情報に含まれる場合には（ステップＳ５：ＹＥＳ、ステップＳ１０：ＹＥＳ）、上述の制限が緩和される（ステップＳ６、Ｓ１１）。ここで、ユーザが読み慣れていたり聞き慣れていたりすることによってユーザが短時間で把握することができるフレーズまたは単語が、予め定められたフレーズとして設定されている。よって、そのようなフレーズまたは単語が言語情報に含まれており上述の制限が緩和され言語情報の文字数が増えて表示されたとしても（ステップＳ８）、言語情報が把握しにくくなることを抑制することができる。
【００５１】
また、予め定められたフレーズまたは単語が言語情報に含まれない場合には（ステップＳ５：ＮＯ、ステップＳ１０：ＮＯ）、言語情報の文字数が上限文字数を上回らないようにすることで、言語情報の文字数が制限される（ステップＳ７：ＮＯ、ステップＳ９、ステップＳ１２：ＮＯ、ステップＳ１３）。一方、予め定められたフレーズまたは単語が翻訳文に含まれる場合には（ステップＳ５：ＹＥＳ、ステップＳ１０：ＹＥＳ）、翻訳文の文字数が上限文字数を上回ることを許容することで、上述の制限が緩和される（ステップＳ６、ステップＳ７：ＹＥＳ、ステップＳ１１、ステップＳ１２：ＹＥＳ）。このようにして、言語情報の文字数の制限、および制限の緩和を行うことができる。
【００５２】
また、言語情報の基礎となる原文を短くすることによって、上述の制限が行われる（ステップＳ８、Ｓ１３）。このように原文を短くすることで、言語情報の文字数を制限することができる。
【００５３】
図５は、字幕として表示される、文字数の制限された翻訳文の例を示す図である。図５の左側の画面Ｄ１に表示されている字幕としての翻訳文は比較例であり、図５の右側の画面Ｄ２に表示されている翻訳文が、装置１０によって文字数が制限された字幕である。これらの画面Ｄ１、Ｄ２は、出力部１８によって出力され得る画面であり、具体的に、先に図２を参照して説明したようなディスプレイなどの出力装置１０７に表示される画面である。
【００５４】
はじめに、比較例としての画面Ｄ１について説明する。画面Ｄ１には、文字数が制限されていない翻訳文が表示されている。この例では、映像中の人物がセリフ「先週末はお越しいただいて本当に楽しかったです。また近いうちにお尋ねください。」という原文を、原文の言語を用いて述べているシーンにおいて、その翻訳文が映像とともに表示されている。これに対し、画面Ｄ２には、文字数が制限された翻訳文が表示されている。画面Ｄ２を画面Ｄ１と比較すると、画面Ｄ２では、映像中の人物のセリフから「お越しいただいて本当に」および「また」との文言が削除されることによって要約された原文の翻訳文が表示されている。その結果、画面Ｄ２に表示される翻訳文の文字数が制限され、ユーザにとって判読し易いものとなっている。文字数が制限されたことで、画面Ｄ１では２行にわたって表示されていた翻訳文が、画面Ｄ２では１行で表示されるようにもなっている。これにより、ユーザは快適に字幕を判読することができるようになる。
【００５５】
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではない。
【００５６】
たとえば、装置において実行される処理の一部が、外部サーバにおいて実行されてもよい。図６はそのような変形例に係る装置１０Ａの概略構成を示す図である。装置１０Ａは、装置１０（図１）と比較して、音声認識処理部１２および言語情報作成部１５を含まない一方で、通信部１９を含む点で相違する。通信部１９は、サーバ２０と通信をするための部分である。サーバ２０は、音声認識処理部２１と、言語情報作成部２２と、通信部２３とを含む。音声認識処理部２１および言語情報作成部２２の機能は、先に説明した音声認識処理部１２および言語情報作成部１５と同様であるのでここでは説明を省略する。通信部２３は、装置１０Ａの通信部１９と通信を行う部分である。図６に示される装置１０Ａは、通信部１９を用いてサーバ２０と通信を行うことにより、サーバ２０の音声認識処理部２１および言語情報作成部２２の機能を利用することができる。このような構成によっても、装置１０Ａは、先に説明した装置１０と同様の処理を実行することができる。この場合、音声の認識および言語情報の作成のための処理がサーバ２０で実行される分だけ、装置１０Ａにおける処理負担を軽減することができる。
【００５７】
また、上記実施形態では、表示可能文字数として４文字／秒を例に挙げて説明した。ただし、表示可能文字数はこの例に限定されない。たとえば、映像の種類に応じて異なる表示可能文字数が採用されてもよい。映像の種類としては、映画の映像、講演会の映像、会議の映像などの様々な映像が想定される。たとえば映画の映像の場合には、表示可能文字数として３〜４文字／秒を採用してもよい。映像の種類に応じて表示可能文字数を使い分ける場合には、映像の種類と表示可能文字数とを対応付けて記述したデータテーブルを、記憶部１７が予め記憶しておくとよい。そして、たとえば文字数算出部１３が、映像の種類に応じた表示可能文字数を記憶部１７から取得し、取得した表示可能文字数を用いて最大許容翻訳文字数を算出するとよい。翻訳文が日本語とは異なる言語で翻訳文が作成され表示される場合には、言語に応じて異なる表示可能文字数が採用されてもよい。この場合も、上述した映像の種類に応じて表示可能文字数を使い分ける場合と同様に文字数算出部１３、記憶部１７をカスタマイズするとよい。その他にも、装置１０のユーザごと、あるいは、コンテンツごとに、表示可能文字数を使い分けてもよい。
【００５８】
また、上記実施形態では、言語情報に予め定められたフレーズまたは単語が含まれる場合に、それらフレーズまたは単語の文字数を言語情報の文字数から減算する例について説明した。この場合、単にフレーズまたは単語の文字数をそのまま言語情報の文字数から減算するのではなく、フレーズまたは単語の種類に応じてそれらの文字数を補正したうえで（たとえば補正係数を乗じたうえで）、補正後の文字数を言語情報の文字数ら減算してもよい。その場合、フレーズまたは単語がユーザにとって読み慣れたり聞き慣れたりしているものであるほど、補正後の文字数が多くなるようにする（たとえば補正係数を大きくする）とよい。フレーズまたは単語の種類に応じて言語情報の文字数からの減算の程度を変える場合には、フレーズまたは単語の種類と、たとえば補正係数とを対応付けて記述したデータテーブルを、記憶部１７が予め記憶しておくとよい。そして、文字数算出部１３が、フレーズまたは単語の種類に応じた補正係数を記憶部１７から取得し、取得した補正係数をフレーズまたは単語の文字数に乗じた文字数を、言語情報の文字数から減算するとよい。
【００５９】
また、上記実施形態では、必要に応じて、文字数算出部１３が、映像の一つのシーンにおいてセリフが音声として発せられている時間を測定し、測定した時間を映像における字幕の表示時間とする例について説明した。ただし、セリフが発せられている時間よりも対応する字幕の表示時間が長くなるように、字幕の表示時間が設定されてもよい。逆に、セリフが発せられている時間よりも対応する字幕の表示時間が短くなるように、字幕の表示時間が設定されてもよい。
【００６０】
また、上記実施形態では、言語情報の文字数が最大許容文字数を上回るか否か、言語情報に予め定められたフレーズまたは単語が含まれているか否か、といった判断を、原文作成部１４が行う例について説明した。ただし、これらの判断は、原文作成部１４以外の要素、たとえば文字数算出部１３、言語情報作成部１５、自動要約部１６などによって行われてもよい。
【符号の説明】
【００６１】
１０、１０Ａ…装置、１１…入力部、１２、２１…音声認識処理部、１３…文字数算出部、１４…原文作成部、１５、２２…言語情報作成部、１６…自動要約部、１７…記憶部、１８…出力部、１９、２３…通信部、２０…サーバ。
【図１】
2017212667.tif 000003
【図２】
2017212667.tif 000004
【図３】
2017212667.tif 000005
【図４】
2017212667.tif 000006
【図５】
2017212667.tif 000007
【図６】
2017212667.tif 000008