(57)【要約】  字幕付きコンテンツ再生装置は、字幕付きコンテンツに含まれる字幕の文字列と翻訳用補助情報を抽出する字幕解析部と、前記抽出した字幕の文字列と翻訳用補助情報とを元に、翻訳を行う翻訳実行部と、前記翻訳実行部が生成した翻訳結果を文字列として出力する翻訳文字列出力部とを備える。
2014196457.tif 000002
【特許請求の範囲】
【請求項１】
字幕付きコンテンツを取得して再生する字幕付きコンテンツ再生装置において、
前記字幕付きコンテンツに含まれる字幕の文字列と翻訳用補助情報を抽出する字幕解析部と、
前記抽出した字幕の文字列と翻訳用補助情報とを元に、翻訳を行う翻訳実行部と、
前記翻訳実行部が生成した翻訳結果を文字列として出力する翻訳文字列出力部とを備えることを特徴とする字幕付きコンテンツ再生装置。
【請求項２】
請求項１に記載の字幕付きコンテンツ再生装置において、
前記翻訳用補助情報は、それまでに抽出した字幕の文字列で翻訳を行うと所望の翻訳結果が得られる事を示す翻訳用文字列区切り情報を含むことを特徴とする字幕付きコンテンツ再生装置。
【請求項３】
請求項１に記載の字幕付きコンテンツ再生装置において、
前記翻訳用補助情報は、固有名詞の開始及び固有名詞の終了の情報を含むことを特徴とする字幕付きコンテンツ再生装置。
【請求項４】
請求項３に記載の字幕付きコンテンツ再生装置において、
前記固有名詞の開始及び前記固有名詞の終了の情報は、人名固有名詞の開始及び人名固有名詞の終了の情報、もしくは地名固有名詞の開始の情報及び地名固有名詞の終了の情報、もしくはその他固有名詞の開始の情報及びその他固有名詞の終了の情報のうち、少なくともいずれか１つを含むことを特徴とする字幕付きコンテンツ再生装置。
【請求項５】
請求項３に記載の字幕付きコンテンツ再生装置において、
前記固有名詞の開始の情報と前記固有名詞の開始の終了の情報に挟まれた文字列を、固有名詞であることを示す特定の文字列に変換して、翻訳することを特徴とする字幕付きコンテンツ再生装置
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、字幕ストリームを含んだコンテンツから字幕文字列を抽出して、さらに、その字幕文字列をその言語とは異なる言語に翻訳した結果を取得して、その結果を表示する字幕付きコンテンツ再生装置に関する。
【背景技術】
【０００２】
映像や音声をデジタルデータとして圧縮し、多重して放送するデジタル放送が実用化されて久しい。デジタル放送には、聴覚障害者や高齢者に配慮して、現在放送している内容を字幕として表示することが可能となっているが、常時、放送に字幕が重畳されると煩わしい場合があるため、字幕の表示をＯＮ／ＯＦＦ制御できることが必要となっている。そのため字幕は映像に重畳した形で放送されずに、映像ストリームと独立して字幕ストリームとして多重され、表示のＯＮ／ＯＦＦが可能となっている。【０００３】
ところで機械翻訳エンジンの高性能化に伴い、上述のデジタル放送に含まれている字幕を任意の言語に翻訳して表示したいという要求がある。ただし、字幕は数秒に１回程度の頻度で表示が切り替わるが、表示領域の制限などから、文章や単語の途中で表示が切り替わる事があり、表示される文章単位で機械翻訳すると、正しく翻訳されないとの現象が発生してしまう。【０００４】
そこで、特許文献１の段落００５９には、「．（ピリオド）などによる文末判定を行い、複数のアイテムを１文として機械翻訳部に送る」との技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】日本国公開特許公報「特開２００９−０１６９１０号公報」
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ピリオドや句点は文章の区切りであるが、句点が付かずに、次の画面から別の文章を表示する場合がある。また、カンマや読点を利用した場合は、文章が正しく区切れる場合とそうでない場合がある。すなわち、文字列として取得した情報からでは正しく翻訳するための文章の区切りを検出することは困難である。【０００７】
例えば図７は、テレビ番組で、ある家族を紹介しているシーンであるが、まず（Ａ）のように長男のアップの映像と「これが長男で、」との字幕が表示され、その数秒後に（Ｂ）のように次男のアップの映像と「これが次男で、」との字幕が表示され、その数秒後に（Ｃ）のように三男のアップの映像と「これが三男で、」との字幕が表示され、その数秒後に（Ｄ）のように３人の映像と「これで子供全員です。」との字幕が表示されるシーンである。【０００８】
この場合、３人の映像と続柄が一対一対応するように、句点まで待たずに、読点までの文字列が翻訳されて、その翻訳結果が出力されることが望ましい。【０００９】
また、違うシーンで、（Ｅ）のように、長男のアップの映像と「長男は、三男が、」との字幕が表示され、その数秒後に（Ｆ）のように、長男のアップの映像そのままと「賢いと言っています。」との字幕が表示されるシーンがある。【００１０】
この場合、主語や目的語を明確にするために、読点でなく、句点までの文字列が翻訳されて、その翻訳結果が出力されることが望ましい。【００１１】
また、人名や場所等の固有名詞は、常時同じ言葉に翻訳されないと、その番組内での対応付けができず、理解の妨げとなるが、この課題についての解決策は提示されていない。【００１２】
例えば図８は、林という登場人物のいるドラマの１シーンで、（Ｇ）で「誰がそんなことをした？」との質問に対する回答として、（Ｈ）で「それは林です。」との字幕が表示されるシーンである。この場合、（Ｈ）の「それは林です。」の文字列を翻訳すると、一般的には、林という単語は、森林の林として翻訳されてしまう。【００１３】
また、（Ｉ）のように「私の名前は林義男です。」との字幕が表示されるシーンがあった場合には、人名の固有名詞の林として翻訳されることが多い。すると、森林の林として翻訳された場合と、人名固有名詞の林として翻訳された場合とで、翻訳された結果の文言が異なってしまい、両者が同じ物を示しているとは理解できない。
【課題を解決するための手段】
【００１４】
上記課題を解決するために、本発明の第１の手段は、字幕付きコンテンツに含まれる字幕の文字列と翻訳用補助情報を抽出する字幕解析部と、前記抽出した字幕の文字列と翻訳用補助情報とを元に、翻訳を行う翻訳実行部と、前記翻訳実行部が生成した翻訳結果を文字列として出力する翻訳文字列出力部とを備えることを特徴とするものである。
【発明の効果】
【００１５】
本発明によれば、字幕ストリーム内に含まれている、それまでに取得した文字列で翻訳を行うと所望の翻訳結果が得られるとの文字列の区切りであることを示す情報や、固有名詞の開始及び終了の情報を利用して翻訳を行うことで、正しい文章の単位で翻訳が行えたり、固有名詞が常時同じ言葉に翻訳されたりされ、機械翻訳の精度が上がるという効果を奏する。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施の形態に係る字幕付きコンテンツ再生装置の一例の概略構成を示すブロック図である。
【図２】ＳＴＤ−Ｂ２４で規定されている字幕ストリームのデータ構造を示す図である。
【図３】ＳＴＤ−Ｂ２４で定義された８単位文字符号の符号体系である。
【図４】ＳＴＤ−Ｂ２４で定義された拡張制御符号のいくつかの符号の書式を記載した表である。
【図５】ＳＴＤ−Ｂ２４で規定されている拡張制御符号の一覧である。
【図６】翻訳用補助情報を拡張制御符号として定義した場合の符号シーケンスである。
【図７】テレビ番組で、ある家族を紹介しているシーンについて説明する図である。
【図８】テレビ番組のあるドラマのシーンについて説明する図である。
【図９】テレビ番組で、ある家族を紹介しているシーンに対応する字幕ストリームの符号列その１について説明する図である。
【図１０】テレビ番組で、ある家族を紹介しているシーンに対応する字幕ストリームの符号列その２について説明する図である。
【図１１】テレビ番組のあるドラマのシーンに対応する字幕ストリームの符号列その１について説明する図である。
【図１２】テレビ番組のあるドラマのシーンに対応する字幕ストリームの符号列その２について説明する図である。
【図１３】本発明の字幕付きコンテンツ再生装置における字幕ストリームの処理の流れを示すフローチャートである。
【図１４】人名固有名詞開始の情報及び人名固有名詞終了の情報を利用する処理によるデータの変移を示した図表である。
【図１５】本発明の第２の実施の形態に係る字幕付きコンテンツ再生装置の一例の概略構成を示すブロック図である。
【図１６】本発明の第３の実施の形態に係る字幕付きコンテンツ再生装置の一例の概略構成を示すブロック図である。
【図１７】本発明の第４の実施の形態に係る字幕付きコンテンツ再生装置の一例の概略構成を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して、本発明の各実施形態について説明する。
〔実施の形態１〕
図１は、本発明の第１の実施の形態に係る字幕付きコンテンツ再生装置の一例の概略構成を示すブロック図である。
【００１８】
同図に示すように、字幕付きコンテンツ再生装置１００１は、コンテンツ受信部１０１、ストリーム分離部１０２、映像ストリームデコード部１０３、音声ストリームデコード部１０４、字幕ストリームデコード部１０５、字幕文字列取得部１０６、翻訳用補助情報取得部１０７、翻訳先言語決定部１０８、翻訳実行部１０９、映像出力部１１０、音声出力部１１１、翻訳文字列出力部１１２を備えた構成となっている。
【００１９】
コンテンツ受信部１０１は、図示しないデジタル放送チューナや通信ネットワークやコンテンツが格納された記録メディアに接続し、字幕ストリームが含まれたコンテンツを取得する部分である。
【００２０】
ストリーム分離部１０２は、コンテンツ受信部１０１で取得したコンテンツを映像ストリーム、音声ストリーム、字幕ストリームに分離する部分である。
【００２１】
映像ストリームデコード部１０３は、ストリーム分離部１０２で分離した映像ストリームをデコードして表示映像データを生成する部分である。
【００２２】
音声ストリームデコード部１０４は、ストリーム分離部１０２で分離した音声ストリームをデコードして出力音声データを生成する部分である。
【００２３】
字幕ストリームデコード部１０５は、ストリーム分離部１０２で分離した字幕ストリームをデコードして字幕の文字符号列と制御符号列を生成する部分である。
【００２４】
字幕文字列取得部１０６は、字幕ストリームデコード部１０５で生成した字幕の文字符号列を解析して字幕の文字列を取得する部分である。
【００２５】
翻訳用補助情報取得部１０７は、字幕ストリームデコード部１０５で生成した字幕の制御符号列を解析して、翻訳用補助情報を取得する部分である。
【００２６】
ここで、字幕文字列取得部１０６と翻訳用補助情報取得部１０７とを独立した別個の構成として記載したが、それらの代わりに、両者を合わせた機能を持つ字幕解析部で本字幕付きコンテンツ再生装置を実現する構成としてもよい。
【００２７】
翻訳先言語決定部１０８は、図示しないユーザ等からによる指示に応じて翻訳先の言語を決定する部分である。
【００２８】
翻訳実行部１０９は、翻訳用補助情報取得部１０７で取得した翻訳用補助情報を利用して、字幕文字列取得部１０６で取得した字幕文字列を、翻訳先言語決定部１０８で決定した翻訳先の言語に翻訳する部分である。
【００２９】
映像出力部１１０は、映像ストリームデコード部１０３が生成した表示映像データを出力する部分である。
【００３０】
音声出力部１１１は、音声ストリームデコード部１０４が生成した出力音声データを出力する部分である。
【００３１】
翻訳文字列出力部１１２は、翻訳実行部１０９が生成した翻訳結果を文字列として出力する部分である。翻訳結果の文字列は、映像出力部１１０が出力した表示映像データにオーバーレイする形で出力してもよいし、映像出力部１１０が出力する部分とは別の表示部分に出力してもよい。例えば、１６：１０のディスプレイを用いて、上側の１６：９の領域に映像出力部１１０が出力する映像を表示し、下側の１６：１の領域に翻訳文字列出力部１１２が出力する文字列を表示するようにしてもよい。
【００３２】
また、後述するように、字幕ストリームには表示時刻情報が含まれているが、字幕の翻訳が遅れて、指定された指定された表示時刻に表示できない場合がある。その場合は、翻訳が終了した時点で表示すれば良い。また、あまりにも翻訳に時間がかかる場合は、その文章の翻訳をスキップし、次の文章の翻訳に移行するようにしてもよい。
【００３３】
本字幕付きコンテンツ再生装置で、コンテンツを再生するためには、コンテンツ配信装置にて、字幕の文字列と翻訳上補助情報とを含む字幕ストリームを生成し、生成した字幕ストリームと映像ストリームと音声ストリームとを多重したコンテンツを作成し、字幕付きコンテンツ再生装置に配信すれば良い。
【００３４】
翻訳用補助情報取得部１０７にて、字幕の制御符号列から翻訳用補助情報を取得するためには、所定の規定に則って字幕ストリームに上記情報が多重されている必要がある。その際、翻訳用補助情報の規定を知らない既存の端末で、この情報を読み飛ばす事ができるように、既存の規定を拡張する形で多重することが必要となる。
【００３５】
ここでは、日本のデジタル放送の字幕ストリームの規格であるＡＲＩＢ規格ＳＴＤ−Ｂ２４を拡張して翻訳用補助情報を追加する方法について記載するが、本規格に限らず、字幕ストリームを規定している規格に翻訳用補助情報を追加定義しても構わない。
【００３６】
図２は、既存のＳＴＤ−Ｂ２４で規定されている字幕ストリームのデータ構造を示す図である。
【００３７】
字幕ストリームは同じ画面に表示する単位毎に、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）という構造で格納され、そのＰＥＳは、ＰＥＳヘッダ１１とＰＥＳデータ１２とから構成される。
【００３８】
ＰＥＳヘッダ１１には、表示時刻情報が含まれており、それに続くＰＥＳデータ内の字幕をどの時間に表示すればよいのかということが解釈できるようになっている。
【００３９】
ＰＥＳデータ１２は、データグループヘッダ１３とデータグループデータ１４とＣＲＣ１５とから構成される。データグループデータは字幕文データとも呼ばれる。
【００４０】
データグループヘッダ１３には、それに続く字幕文データの種別が定義されており、表示方法の指定や言語数など規定した字幕管理データであるのかとか、第何言語の字幕文データであるのかとの解釈ができるようになっている。
【００４１】
字幕文データ１４は、字幕文データヘッダ１６とデータユニット１７とから構成される。
【００４２】
字幕文データヘッダ１６には、それに続くデータユニットの言語情報が含まれている。
【００４３】
データユニット１７は、データユニットヘッダ１８とデータユニットデータ１９とから構成される。
【００４４】
データユニットデータ１９には、制御符号列２０ａと文字符号列２１ａとから構成される。
【００４５】
制御符号列２０ａには、それに続く文字符号列２１ａの表示位置や色や文字飾りなどの文字列の表示を制御する情報が複数含まれている。
【００４６】
文字符号列２１ａは、字幕として表示する複数の文字をＳＴＤ−Ｂ２４で定義された８単位文字符号の文字コードで表した情報が含まれている。
【００４７】
１つの画面で表示する字幕を途中で文字の色や文字飾りを変更することが可能となるように、データユニットデータ１９の途中に制御符号列２０ｂを挿入し、それに続く文字符号列２１ｂの文字列の表示を制御する情報を含むことができる構造となっている。
【００４８】
図３は、ＳＴＤ−Ｂ２４で定義された８単位文字符号の符号体系である。１バイトのデータを、上位４ビットと下位４ビットに分けて、マトリックス状にして、あらわしている。
【００４９】
０ｘ００〜０ｘ１ＦまでがＣ０制御符号領域と呼ばれる領域で、０ｘ８０〜０ｘ９ＦまでがＣ１制御符号領域と呼ばれる領域で、この２つの領域内の値が図２の２０ａ及び２０ｂの制御符号列に含まれる複数の制御符号の各々のスタートコードとなる。
【００５０】
制御符号は、このスタートコードの後に制御符号毎に定められたバイト数のパラメータが続いて、１つの制御符号を構成する。このパラメータは、Ｃ０制御符号領域及びＣ１制御符号領域の値は使用しないため、制御符号が新たに定義されても既存機器で次の制御符号のスタートコードまで読み飛ばせるようになっている。
【００５１】
０ｘ２１〜０ｘ７ＥはＧＬ符号領域と呼ばれる領域で、０ｘＡ１〜０ｘＦＥはＧＲ符号領域と呼ばれる領域で、制御符号を利用して、この２つの領域の各々に、漢字系集合、英数集合、平仮名集合、片仮名集合、外字符号集合、追加記号集合などを、適宜割り当てて、図２の２１ａ及び２１ｂの文字符号列に含まれる文字列を示す。
【００５２】
これら集合は、１バイトコードの集合と、２バイトコードの集合に分けられるが、２バイトコードであっても、１バイト目も２バイト目も同じＧＬ符号領域もしくはＧＲ符号領域を使用することとなっている。
【００５３】
Ｃ１制御符号領域の中の０ｘ９Ｅの値であるＣＳＩとは、拡張制御符号として位置づけられている。すでにいくつか拡張制御符号が定義されており、その中のいくつかの符号の書式などを記載した物が図４である。
【００５４】
２列目のＣＣＣから５列目のＳＤＦの部分を見ればわかるように、そのいずれもの符号シーケンスは、まずＣＳＩのスタートコードである０ｘ９Ｅから始まり、０ｘ３０〜０ｘ３９のパラメータと、０ｘ３Ｂまたは０ｘ２０の中間文字とが任意の数だけ続き、最後に列毎に異なる終端文字で制御符号が構成されている。６列目と７列目のように、ＣＳＩのスタートコードと終端文字だけで構成されている物もある。また最終列のＳＣＳのように、読み飛ばし用として、ＣＳＩのスタートコードと終端文字が定義され、その中身を規定していない物も用意されてある。
【００５５】
図５が現在定義されている拡張制御符号の一覧であり、各符号の終端文字コード、中間文字コード、パラメータとしてとり得る値を示している。
【００５６】
いずれも終端文字コードは０ｘ４０〜０ｘ６Ｆで、中間文字コードは０ｘ２０か０ｘ３Ｂで、パラメータは０ｘ３０〜０ｘ３９となっており、新規に拡張制御符号を定義する際にも、このルールを保って、０ｘ４０〜０ｘ６Ｆの中でまだ割り当てられていない終端文字コードを用いれば、既存機器で次の制御符号のスタートコードまで読み飛ばせるようになっている。
【００５７】
ここまでが、既存の規格での字幕ストリームの定義についてであるが、以降、翻訳用補助情報を既存の規格に追加定義する方法について記載する。
【００５８】
図６が翻訳用補助情報を拡張制御符号として定義した場合の符号シーケンスである。終端文字コードとして０ｘ６Ｄを割り当て、パラメータとして、０ｘ３０を翻訳実行用区切りの情報に、０ｘ３１を人名固有名詞開始の情報に、０ｘ３２を人名固有名詞終了の情報に、０ｘ３３を地名固有名詞開始の情報に、０ｘ３４を地名固有名詞終了の情報に、０ｘ３５をその他固有名詞開始の情報に、０ｘ３６をその他固有名詞終了の情報に割り当てている。
【００５９】
翻訳実行用区切りの情報とは、それまでに取得した文字符号列を解析して取得した文字列で翻訳を行うと所望の翻訳結果が得られるとの文字列の区切りであることを示す情報である。翻訳実行用区切りの情報は一般的に文末や画面終端に挿入されることが考えられる。そこで、文末または画面終端であるが区切りではないとの情報、すなわち、翻訳実行延期の情報の定義を行い、翻訳実行用区切りの情報の代用としてもよい。
【００６０】
人名固有名詞開始の情報とは、次の文字符号列の文字列から人名の固有名詞が開始する事を示す情報であり、人名固有名詞終了の情報とは、すでに受け取った文字符号列の文字列で人名の固有名詞が終了した事を示す情報である。すなわち人名固有名詞開始の情報と人名固有名詞終了の情報に挟まれた部分の文字符号列が人名の固有名詞である。
【００６１】
地名固有名詞開始の情報及び地名固有名詞終了の情報は、上述の人名固有名詞開始の情報及び人名固有名詞終了の情報と同様に、地名の固有名詞の開始及び終了の位置を示す情報である。
【００６２】
また、その他固有名詞開始の情報及びその他個湯名詞終了の情報とは、上述の人名固有名詞開始の情報及び人名固有名詞終了の情報と同様に、人名及び地名以外の固有名詞の開始及び終了の位置を示す情報である。
【００６３】
ここでは、固有名詞として人名と地名とその他の３種類に分類して、それぞれ異なるパラメータの値を割り当てたが、これらは分類せずに１つの値としてもよいし、もっと細かく分類してもよい。また、開始のパラメータは１つの値に統一し、終了のパラメータを３つに分けることで、３種類の固有名詞の判別を可能とするようにしてもよく、逆に終了のパラメータを１つにして、開始のパラメータで３種類の固有名詞の判別を可能とするようにしてもよい。固有名詞を分類することのメリットは後述する。
【００６４】
また、翻訳実行用区切りの情報と固有名詞開始／終了の情報とを同じ制御符号として、パラメータで区別するようにしているが、両者を別の制御符号として定義してもよい。また、これら翻訳用補助情報を拡張制御符号としてＣＳＩの枠組みの中で定義したが、図３の符号体系の中で斜線が引かれている未定義の部分のスタートコードを利用して定義してもよい。
【００６５】
このように拡張定義された字幕ストリームの符号化列の例を記載する。
【００６６】
図９は、課題の欄に記載した図７のある家族を紹介しているシーンの（Ａ）から（Ｄ）までに対応する字幕ストリームの符号列である。
【００６７】
図７の（Ａ）の「これが長男で、」との字幕が表示されている場面は、図９のデータユニットデータ１の符号列に対応し、表示位置や表示色等の制御符号列の後に、「これが長男で、」との文字符号列が続き、その後、翻訳実行用区切りの制御符号が続く。
【００６８】
そして、図７の（Ｂ）の「これが次男で、」との字幕が表示されている場面は、図９のデータユニットデータ２の符号列に対応し、表示位置や表示色等の制御符号列の後に、「これが次男で、」との文字符号列が続き、その後、翻訳実行用区切りの制御符号が続く。
【００６９】
そして、図７の（Ｃ）の「これが三男で、」との字幕が表示されている場面は、図９のデータユニットデータ３の符号列に対応し、表示位置や表示色等の制御符号列の後に、「これが三男で、」との文字符号列が続き、その後、翻訳実行用区切りの制御符号が続く。
【００７０】
そして、図７の（Ｄ）の「これで子供全員です。」との字幕が表示されている場面は、図９のデータユニットデータ４の符号列に対応し、表示位置や表示色等の制御符号列の後に、「これで子供全員です。」との文字符号列が続き、その後、翻訳実行用区切りの制御符号が続く。
【００７１】
このように、翻訳実行用区切りの制御信号を抽出すると、そこまでに取得した文字列で翻訳を行うため、３人の映像と、続柄の翻訳結果の文章が、一対一対応するように出力されるようになる。
【００７２】
図１０は、課題の欄に記載した図７のある家族を紹介しているシーンの（Ｅ）から（Ｆ）までに対応する字幕ストリームの符号列である。
【００７３】
図７の（Ｅ）の「長男は、三男が、」との字幕が表示されている場面は、図１０のデータユニットデータ５の符号列に対応し、表示位置や表示色等の制御符号列の後に、「長男は、三男が、」との文字符号列が続き、ここでは、翻訳実行用区切りの制御符号が存在しない。
【００７４】
図７の（Ｆ）の「賢いと言っています。」との字幕が表示されている場面は、図１０のデータユニットデータ６の符号列に対応し、表示位置や表示色等の制御符号列の後に、「賢いと言っています。」との文字符号列が続き、その後、翻訳実行用区切りの制御符号が続く。
【００７５】
このように、翻訳実行用区切りの制御信号を抽出すると、そこまでに取得した文字列で翻訳を行うため、主語や目的語が明確になったままで翻訳結果が出力されるようになる。
【００７６】
図１１は、課題の欄に記載した図８の林という登場人物のいるドラマの１シーンの（Ｈ）に対応する字幕ストリームの符号列である。
【００７７】
図８の（Ｈ）の「それは林です。」との字幕が表示されている場面は、図１１のデータユニットデータ７の符号列に対応し、表示位置や表示色等の制御符号列の後に、「それは」との文字符号列が続き、さらに、人名固有名詞開始の制御符号が続き、そして「林」との文字符号列が続き、人名固有名詞終了の制御符号が続き、「です。」との文字符号列が続き、最後に翻訳実行用区切りの制御符号が続く。
【００７８】
このように、人名固有名詞開始の制御信号と人名固有名詞終了の制御信号が付加されているため、固有名詞が普通名詞として翻訳されることがなくなる。
【００７９】
図１２は、課題の欄に記載した図８の林という登場人物のいるドラマの別の１シーンの（Ｉ）に対応する字幕ストリームの符号列である。
【００８０】
図８の（Ｉ）の「私の名前は林義男です。」との字幕が表示されている場面は、図１２のデータユニットデータ８の符号列に対応し、表示位置や表示色等の制御符号列の後に、「私の名前は」との文字符号列が続き、さらに、人名固有名詞開始の制御符号が続き、そして「林義男」との文字符号列が続き、人名固有名詞終了の制御符号が続き、「です。」との文字符号列が続き、最後に翻訳実行用区切りの制御符号が続く。
【００８１】
このように、人名固有名詞開始の制御信号と人名固有名詞終了の制御信号が付加されているため、固有名詞が普通名詞として翻訳されることがなくなる。
【００８２】
図１３は、本発明の字幕付きコンテンツ再生装置における字幕ストリームの処理の流れを示すフローチャートである。ここでは、図２におけるデータユニットデータ１９の抽出が終わった後の処理に絞って記載する。
【００８３】
まずＳ０１で字幕ＰＥＳデータ内のデータユニットデータを抽出し処理を開始する。
【００８４】
次いでＳ０２にて、データユニットデータの未解析データが残っているか否かを確認し、残っている場合にはＳ０３に移行し、残っていない場合にはＳ２５に移行する。
【００８５】
Ｓ０３では先頭１バイトを確認し、制御符号のスタートコードか否かを確認する。制御符号のスタートコードでない場合は、文字符号と判断してＳ０４に移行し、制御符号のスタートコードである場合は、Ｓ０５に移行する。
【００８６】
Ｓ０４では、１バイトコードならばそのバイトの文字コードを８単位符号からＵＴＦ等の一般的な文字コードに変換し、２バイトコードならば、２バイト目を取得して、その２バイトの文字コードを８単位符号からＵＴＦ等の一般的な文字コードに変換して、取得文字列に追加し、Ｓ０２に戻る。
【００８７】
Ｓ０５では、スタートコードが拡張制御符号（ＣＳＩ）のスタートコードであるか否かを確認する。拡張制御符号（ＣＳＩ）のスタートコードでない場合は、Ｓ０６に移行し、拡張制御符号（ＣＳＩ）のスタートコードの場合は、Ｓ０７に移行する。
【００８８】
Ｓ０６では、各制御符号のシンタックスに従って、スタートコードに続く所定のバイト数のパラメータを取得して制御符号とし、Ｓ０９に移行する。
【００８９】
Ｓ０７では、１バイト毎に取得して、そのバイトが終端文字になるまで取得して、拡張制御符号とし、Ｓ０８に移行する。
【００９０】
Ｓ０８では、終端文字が翻訳用補助情報であるか否かを判定し、翻訳用補助情報でなければＳ０９に移行し、翻訳用補助情報であればＳ１０に移行する。
【００９１】
Ｓ０９では、Ｓ０６で取得した制御符号及びＳ０７で取得した拡張制御符号に対して、既存の制御符号及び拡張制御符号の処理を行い、Ｓ０２に戻る。
【００９２】
Ｓ１０では、翻訳用補助情報のパラメータが翻訳実行用区切りの情報であるか否かを判定し、翻訳実行用区切りの情報でなければＳ１２に移行し、翻訳実行用区切りの情報であればＳ１１に移行する。
【００９３】
Ｓ１１では、それまでに蓄積していた取得文字列の翻訳を実行し、取得文字列をクリアし、Ｓ０２に戻る。
【００９４】
Ｓ１２では、翻訳用補助情報のパラメータが人名固有名詞開始の情報であるか否かを判定し、人名固有名詞開始の情報でなければＳ１４に移行し、人名固有名詞開始の情報であればＳ１３に移行する。
【００９５】
Ｓ１３では、次に取得文字列に追加される文字を人名固有名詞の開始文字とするように設定し、Ｓ０２に戻る。
【００９６】
Ｓ１４では、翻訳用補助情報のパラメータが人名固有名詞終了の情報であるか否かを判定し、人名固有名詞終了の情報でなければＳ１６に移行し、人名固有名詞終了の情報であればＳ１５に移行する。
【００９７】
Ｓ１５では、取得文字列の中で、Ｓ１３で設定した人名固有名詞開始文字から、取得文字列の最後の文字までを、後述する人名固有名詞を示す文字列に変換し、Ｓ０２に戻る。
【００９８】
Ｓ１６では、翻訳用補助情報のパラメータが地名固有名詞開始の情報であるか否かを判
定し、地名固有名詞開始の情報でなければＳ１８に移行し、地名固有名詞開始の情報であればＳ１７に移行する。
【００９９】
Ｓ１７では、次に取得文字列に追加される文字を地名固有名詞の開始文字とするように設定し、Ｓ０２に戻る。
【０１００】
Ｓ１８では、翻訳用補助情報のパラメータが地名固有名詞終了の情報であるか否かを判定し、地名固有名詞終了の情報でなければＳ２０に移行し、地名固有名詞終了の情報であればＳ１９に移行する。
【０１０１】
Ｓ１９では、取得文字列の中で、Ｓ１７で設定した地名固有名詞開始文字から、取得文字列の最後の文字までを、後述する地名固有名詞を示す文字列に変換し、Ｓ０２に戻る。
【０１０２】
Ｓ２０では、翻訳用補助情報のパラメータがその他固有名詞開始の情報であるか否かを判定し、その他固有名詞開始の情報でなければＳ２２に移行し、地名固有名詞開始の情報であればＳ２１に移行する。
【０１０３】
Ｓ２１では、次に取得文字列に追加される文字をその他固有名詞の開始文字とするように設定し、Ｓ０２に戻る。
【０１０４】
Ｓ２２では、翻訳用補助情報のパラメータがその他固有名詞終了の情報であるか否かを判定し、その他固有名詞終了の情報でなければＳ２４に移行し、その他固有名詞終了の情報であればＳ２３に移行する。
【０１０５】
Ｓ２３では、取得文字列の中で、Ｓ２１で設定した地名固有名詞開始文字から、取得文字列の最後の文字までを、後述するその他固有名詞を示す文字列に変換し、Ｓ０２に戻る。
【０１０６】
Ｓ２４では、翻訳用補助情報のパラメータが想定範囲外の値となっているため、この拡張制御符号を読み捨てて、Ｓ０２に戻る。
【０１０７】
Ｓ０２にて、処理するデータユニットデータの残りがなくなったと判定した場合には、Ｓ２５に移行し、取得文字列にデータが残っている場合には、そのデータを保持したまま、次の字幕ＰＥＳの処理に移行することとし、Ｓ２６に移行して処理を終了する。
【０１０８】
次にＳ１５で人名固有名詞を示す文字列に変換したり、Ｓ１９で地名固有名詞を示す文字列に変換したり、Ｓ２３でその他固有名詞を示す文字列に変換する具体的手法について記載する。
【０１０９】
図１４は、人名固有名詞開始の情報及び人名固有名詞終了の情報を利用する処理によるデータの変移を示した図表である。具体的には、図８の林という登場人物のいるドラマの１シーンの（Ｈ）に対応する字幕ストリームである図１１に記載した符号列を処理する際のデータの変移を示した図表である。
【０１１０】
（１）の列は字幕ストリームの符号列であり、表示位置や表示色等の制御符号列の後に、「それは」との文字符号列が続き、さらに、人名固有名詞開始の制御符号が続き、そして「林」との文字符号列が続き、人名固有名詞終了の制御符号が続き、「です。」との文字符号列が続き、最後に翻訳実行用区切りの制御符号が続いている。
【０１１１】
（２）は、（１）の符号列から文字列を抽出した結果が「それは林です」との文字列になることを示している。
【０１１２】
（３）は、図１３のＳ１５における処理である、設定した人名固有名詞開始文字から、取得文字列の最後の文字までを、人名固有名詞を示す文字列に変換した例である。ここでは「林」という文字列では普通名詞として翻訳される可能性が高いため、普通名詞として翻訳されにくい人名用の固有名詞である「佐藤」に変換して（２）の文字列を「それは佐藤です」との文字列にすることを示している。
【０１１３】
（４）は、（３）の文字列を翻訳して英語に変換した結果の文字列が「Ｉｔ  ｉｓ  Ｓａｔｏ．」であることを示している。
【０１１４】
（５）は、（３）で変換する前の人名固有名詞である「林」に、人名固有名詞である「さん」を追加して、「林さん」という文字列を生成することを示している。
【０１１５】
（６）は、（５）の文字列を翻訳して英語に変換した結果の文字列が「Ｍｒ．Ｈａｙａｓｈｉ．」であることを示している。
【０１１６】
（７）は、（６）の中から（５）で追加した「さん」の翻訳結果である「Ｍｒ．」を削除して、人名固有名詞である「林」に対応する翻訳結果として「Ｈａｙａｓｈｉ．」の文字列を取得し、（４）の変換結果の中の「Ｓａｔｏ．」の文字列と入れ替えて、「Ｉｔ  ｉｓ  Ｈａｙａｓｈｉ．」とすることで、人名固有名詞「林」を含んだ「それは林です。」の翻訳結果として出力すべき文字列が生成される事を示している。
【０１１７】
この場合、人名固有名詞を示す文字列として「佐藤」を使用したが、この文字列は地名の固有名詞を示す文字列としては不適切であり、地名固有名詞を示す文字列としては「東京」などがある。また人名でも地名でもない場合、例えば建造物や団体名や社名などの場合には、「新宿御苑」などがある。
【０１１８】
ここでは、「佐藤」「東京」「新宿御苑」をそれぞれの固有名詞を示す文字列の例として記載したが、本発明はこれらの例に限定されるものではない。
【０１１９】
また、将来的に翻訳機能が進化し、特定の記号（例えば＜と＞）を固有名詞の前後に付加すれば、その間を固有名詞と判定して翻訳するとの機能を有するようになったら、それぞれの固有名詞を示す文字列を、特定の記号を前後に付与した文字列とするようにしてもよい。
〔実施の形態２〕
図１５は、本発明の第２の実施の形態に係る字幕付きコンテンツ再生装置の一例の概略構成を示すブロック図である。図１の第１の実施の形態のブロック図と異なるのは、翻訳実行部１０９の代わりに翻訳サーバ通信部２０１が追加され、字幕付きコンテンツ再生装置２００１の外部の翻訳サーバ２００２と接続するようにしている点である。
【０１２０】
翻訳サーバ通信部２０１は、翻訳用補助情報取得部１０７で取得した翻訳用補助情報を利用して、字幕文字列取得部１０６で取得した字幕文字列を、翻訳先言語決定部１０８で決定した翻訳先の言語に翻訳することを、外部の翻訳サーバ２０１に要求し、翻訳サーバ２０１で翻訳した結果を取得する部分である。
【０１２１】
翻訳機能はそれなりの処理能力が必要となるが、このような構成にすることで、ＴＶ等の処理能力の大きくない装置であってもインターネット接続可能な機能が組み込まれてあれば、外部のサーバと接続できるので、翻訳を実現することが可能となる。
〔実施の形態３〕
図１６は、本発明の第３の実施の形態に係る字幕付きコンテンツ再生装置の一例の概略構成を示すブロック図である。字幕付きコンテンツ再生装置３００１が図１の第１の実施の形態のブロック図と異なる点は、翻訳文字列出力部１１２の代わりに翻訳文字列読み上げ部３０１が追加されている点である。
【０１２２】
翻訳文字列読み上げ部３０１は、翻訳実行部１０９が生成した翻訳結果を音声に変換して出力する部分である。この際、音声出力部１１１が出力した出力音声とミックスして出力してもよいし、音声出力部１１１が出力するスピーカー等の音声出力機器とは別の音声出力機器に出力してもよい。
【０１２３】
また、音声読み上げのスピードやトーンをユーザが事前に選択できるようにしてもよい。同様に声色をユーザが事前に選択できるようにしてもよいが、コンテンツに含まれる音声と聞きわけしやすい音声に自動的に決定するようにしてもよい。
〔実施の形態４〕
図１７は、本発明の第４の実施の形態に係る字幕付きコンテンツ再生装置の一例の概略構成を示すブロック図である。字幕付きコンテンツ再生装置４００１が図１の第１の実施の形態のブロック図と異なる点は、翻訳文字列出力部１１２の代わりに翻訳文字列転送部４０１が追加されている点である。
【０１２４】
翻訳文字列転送部４０１は、翻訳実行部１０９が生成した翻訳結果を、映像出力部１１０が出力するディスプレイ等の映像出力機器とは別の映像出力装置に転送する部分である。
【０１２５】
例えば、映像出力部１１０は図示しないテレビに表示し、翻訳文字列転送部４０１は図示しない手元のタブレット端末に表示するようにしてもよい。この場合、手元のタブレット端末で表示した翻訳結果の文字列を、タブレット上の別のアプリケーションで利用可能なようにして、コピーアンドペースト機能を用いて、翻訳結果の中の一部の文字列をＷｅｂ上で検索することを可能としてもよい。
〔まとめ〕
【０１２６】
本発明の第１の手段は、字幕付きコンテンツに含まれる字幕の文字列と翻訳用補助情報を抽出する字幕解析部と、前記抽出した字幕の文字列と翻訳用補助情報とを元に、翻訳を行う翻訳実行部と、前記翻訳実行部が生成した翻訳結果を文字列として出力する翻訳文字列出力部とを備えることを特徴とするものである。
【０１２７】
第２の手段は、第１の手段において、前記翻訳用補助情報は、それまでに抽出した字幕の文字列で翻訳を行うと所望の翻訳結果が得られる事を示す翻訳用文字列区切り情報を含むことを特徴とするものである。
【０１２８】
第３の手段は、第１の手段において、前記翻訳用補助情報は、固有名詞の開始及び固有名詞の終了の情報を含むことを特徴とするものである。
【０１２９】
第４の手段は、第３の手段において、前記固有名詞の開始及び前記固有名詞の終了の情報は、人名固有名詞の開始及び人名固有名詞の終了の情報、もしくは地名固有名詞の開始の情報及び地名固有名詞の終了の情報、もしくはその他固有名詞の開始の情報及びその他固有名詞の終了の情報のうち、少なくともいずれか１つを含むことを特徴とするものである。
【０１３０】
第５の手段は、第３の手段において、前記固有名詞の開始の情報と前記固有名詞の開始の終了の情報に挟まれた文字列を、固有名詞であることを示す特定の文字列に変換して、翻訳することを特徴とするものである。
【産業上の利用可能性】
【０１３１】
本発明は、字幕付きコンテンツを再生する装置全般に利用する事が出来る。
【符号の説明】
【０１３２】
１００１…字幕付きコンテンツ再生装置
１０１…コンテンツ受信部
１０２…ストリーム分離部
１０３…映像ストリームデコード部
１０４…音声ストリームデコード部
１０５…字幕ストリームデコード部
１０６…字幕文字列取得部
１０７…翻訳用補助情報取得部
１０８…翻訳先言語決定部
１０９…翻訳実行部
１１０…映像出力部
１１１…音声出力部
１１２…翻訳文字列出力部
１１…ＰＥＳヘッダ
１２…ＰＥＳデータ
１３…データグループヘッダ
１４…データグループデータ
１５…ＣＲＣ
１６…字幕文データヘッダ
１７…データユニット
１８…データユニットヘッダ
１９…データユニットデータ
２０ａ…制御符号列
２０ｂ…制御符号列
２１ａ…文字符号列
２１ｂ…文字符号列
２００１…字幕付きコンテンツ再生装置
２０１…翻訳サーバ通信部
３００１…字幕付きコンテンツ再生装置
３０１…翻訳文字列読み上げ部
４００１…字幕付きコンテンツ再生装置
４０１…翻訳文字列転送部
【図１】
2014196457.tif 000003
【図２】
2014196457.tif 000004
【図３】
2014196457.tif 000005
【図４】
2014196457.tif 000006
【図５】
2014196457.tif 000007
【図６】
2014196457.tif 000008
【図７】
2014196457.tif 000009
【図８】
2014196457.tif 000010
【図９】
2014196457.tif 000011
【図１０】
2014196457.tif 000012
【図１１】
2014196457.tif 000013
【図１２】
2014196457.tif 000014
【図１３】
2014196457.tif 000015
【図１４】
2014196457.tif 000016
【図１５】
2014196457.tif 000017
【図１６】
2014196457.tif 000018
【図１７】
2014196457.tif 000019
【国際調査報告】
2014196457.tif 000020
2014196457.tif 000021
2014196457.tif 000022
2014196457.tif 000023