(57)【要約】【課題】ユーザ所望の言語で音声を字幕化すること。【解決手段】本発明の動画撮影装置は、被写体を動画で撮影するカメラ部と、前記カメラ部による動画の撮影時における被写体周辺の音声を集音するマイクと、前記マイクにより集音された音声の音声データをテキストデータに変換する音声テキスト化部と、前記音声テキスト化部により変換されたテキストデータのうち所定の言語以外の他言語のテキストデータを、前記所定の言語のテキストデータに翻訳するテキスト翻訳部と、前記音声テキスト化部により変換された前記所定の言語のテキストデータおよび前記テキスト翻訳部により翻訳された前記所定の言語のテキストデータを、前記カメラ部により撮影された動画の動画データに字幕として合成する動画テキスト合成部と、を有する。【選択図】図１
2012074961.tif 000002
【特許請求の範囲】
【請求項１】
被写体を動画で撮影するカメラ部と、
前記カメラ部による動画の撮影時における被写体周辺の音声を集音するマイクと、
前記マイクにより集音された音声の音声データをテキストデータに変換する音声テキスト化部と、
前記音声テキスト化部により変換されたテキストデータのうち所定の言語以外の他言語のテキストデータを、前記所定の言語のテキストデータに翻訳するテキスト翻訳部と、
前記音声テキスト化部により変換された前記所定の言語のテキストデータおよび前記テキスト翻訳部により翻訳された前記所定の言語のテキストデータを、前記カメラ部により撮影された動画の動画データに字幕として合成する動画テキスト合成部と、を有する動画撮影装置。
【請求項２】
前記動画テキスト合成部は、
前記カメラ部により撮影された動画の再生時に、前記所定の言語のテキストデータを前記動画データに字幕として合成し、前記動画データおよび前記所定の言語のテキストデータを表示する、請求項１に記載の動画撮影装置。
【請求項３】
前記動画テキスト合成部は、
前記カメラ部による動画の撮影時に、前記所定の言語のテキストデータを前記動画データに字幕として合成し、前記動画データおよび前記所定の言語のテキストデータをプレビュー画面に表示する、請求項１に記載の動画撮影装置。
【請求項４】
前記動画テキスト合成部は、
前記動画データおよび前記所定の言語のテキストデータを表示する際、
表示画面を２画面に分割し、
一方の画面に、前記動画データを表示し、
他方の画面に、前記所定の言語のテキストデータを表示する、請求項２または３に記載の動画撮影装置。
【請求項５】
前記動画テキスト合成部は、
前記動画データおよび前記所定の言語のテキストデータを表示する際、
前記音声テキスト化部により変換された前記所定の言語のテキストデータと、前記翻訳部により翻訳された前記所定の言語のテキストデータと、を異なる色で表示する、請求項２から４のいずれか１項に記載の動画撮影装置。
【請求項６】
前記動画テキスト合成部は、
前記動画データおよび前記所定の言語のテキストデータを表示する際、
前記音声テキスト化部により変換された前記所定の言語のテキストデータと、前記翻訳部により翻訳された前記所定の言語のテキストデータと、を異なるフォントで表示する、請求項２から５のいずれか１項に記載の動画撮影装置。
【請求項７】
動画撮影装置による音声字幕化方法であって、
被写体を動画で撮影するステップと、
前記動画の撮影時における被写体周辺の音声を集音するステップと、
前記集音された音声の音声データをテキストデータに変換するステップと、
前記変換されたテキストデータのうち所定の言語以外の他言語のテキストデータを、前記所定の言語のテキストデータに翻訳するステップと、
前記変換された前記所定の言語のテキストデータおよび前記翻訳された前記所定の言語のテキストデータを、前記撮影された動画の動画データに字幕として合成するステップと、を有する音声字幕化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画撮影装置、音声字幕化方法に関する。
【背景技術】
【０００２】
テレビなどでは、よく出演者のコメントなどが字幕として表示される。
【０００３】
しかし、一般ユーザが、デジタルカメラ、携帯電話機などの動画撮影機能が搭載された動画撮影装置で撮影した動画に字幕を合成するためには、パソコンなどを使用して字幕を追加する必要があり、非常に煩わしい作業が必要であった。
【０００４】
そこで、最近は、動画撮影装置において、動画撮影時に集音した音声データをテキストデータに変換し、変換したテキストデータを字幕として動画データに合成する技術が提案されている（例えば、特許文献１，２，３）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１２０２７９号公報
【特許文献２】特開２００６−１９７１１５号公報
【特許文献３】特開２００７−０２７９９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１，２，３に記載の技術では、音声データが日本語であるか、その他の言語であるかを特に言及しておらず、そのために、英語で話している人の音声データはそのまま英語のテキストデータに変換されると考えられる。
【０００７】
そうすると、英語が苦手なユーザにとっては、せっかく音声データを字幕化しても、字幕の内容がわからず、非常に不便であるという問題がある。したがって、ユーザ所望の言語で音声を字幕化できれば、便宜が良いと考えられる。
【０００８】
そこで、本発明の目的は、上述した課題を解決し、ユーザ所望の言語で音声を字幕化することができる動画撮影装置、音声字幕化方法を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の動画撮影装置は、
被写体を動画で撮影するカメラ部と、
前記カメラ部による動画の撮影時における被写体周辺の音声を集音するマイクと、
前記マイクにより集音された音声の音声データをテキストデータに変換する音声テキスト化部と、
前記音声テキスト化部により変換されたテキストデータのうち所定の言語以外の他言語のテキストデータを、前記所定の言語のテキストデータに翻訳するテキスト翻訳部と、
前記音声テキスト化部により変換された前記所定の言語のテキストデータおよび前記テキスト翻訳部により翻訳された前記所定の言語のテキストデータを、前記カメラ部により撮影された動画の動画データに字幕として合成する動画テキスト合成部と、を有する。
【００１０】
本発明の音声字幕化方法は、
動画撮影装置による音声字幕化方法であって、
被写体を動画で撮影するステップと、
前記動画の撮影時における被写体周辺の音声を集音するステップと、
前記集音された音声の音声データをテキストデータに変換するステップと、
前記変換されたテキストデータのうち所定の言語以外の他言語のテキストデータを、前記所定の言語のテキストデータに翻訳するステップと、
前記変換された前記所定の言語のテキストデータおよび前記翻訳された前記所定の言語のテキストデータを、前記撮影された動画の動画データに字幕として合成するステップと、を有する。
【発明の効果】
【００１１】
本発明は以上のように構成されているため、ユーザは、所望の言語で音声を字幕化することができるという効果が得られる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１および第２の実施形態の動画撮影装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態の動画撮影装置の動画撮影時の動作を説明するシーケンス図である。
【図３】本発明の第１の実施形態の動画撮影装置のテキストデータの編集時の動作を説明するシーケンス図である。
【図４】本発明の第１の実施形態の動画撮影装置の動画再生時の動作を説明するシーケンス図である。
【図５】本発明の第２の実施形態の動画撮影装置の動画撮影時の動作を説明するシーケンス図である。
【発明を実施するための形態】
【００１３】
以下に、本発明を実施するための形態について図面を参照して説明する。
（１）第１の実施形態
図１は、本発明の第１の実施形態の動画撮影装置の構成を示すブロック図である。
【００１４】
図１に示すように、本実施形態の動画撮影装置は、制御部１０１と、操作部１０２と、動画撮影部１０３と、記憶部１０６と、音声テキスト化部１０７と、テキスト翻訳部１０８と、テキスト編集部１０９と、動画テキスト合成部１１０と、ディスプレイ１１１と、スピーカ１１２と、を有している。
【００１５】
制御部１０１は、本動画撮影装置内の構成要素を制御して各種の処理を実行する。
【００１６】
操作部１０２は、ユーザによる各種の操作が行われる。
【００１７】
動画撮影部１０３は、カメラ部１０４およびマイク１０５を含む。
【００１８】
カメラ部１０４は、被写体を動画で撮影する。
【００１９】
マイク１０５は、カメラ部１０４による動画撮影時に、被写体周辺の音声を集音する。
【００２０】
記憶部１０６は、各種のデータが格納される。
【００２１】
音声テキスト化部１０７は、マイク１０５により集音された音声の音声データを音声認識してテキストデータに変換する。
【００２２】
テキスト翻訳部１０８は、音声テキスト化部１０７により変換されたテキストデータのうち所定の言語（例えば、日本語）以外の他言語（例えば、英語）のテキストデータを、所定の言語のテキストデータに翻訳する。
【００２３】
テキスト編集部１０９は、音声テキスト化部１０７により変換された所定の言語のテキストデータおよびテキスト翻訳部１０８により翻訳された所定の言語のテキストデータを編集する。
【００２４】
動画テキスト合成部１１０は、音声テキスト化部１０７により変換された所定の言語のテキストデータおよびテキスト翻訳部１０８により翻訳された所定の言語のテキストデータを、カメラ部１０４により撮影された動画の動画データに字幕として合成する。
【００２５】
なお、動画テキスト合成部１１０は、テキスト編集部１０９によりテキストデータの編集が行われていた場合は、編集後のテキストデータを動画データに合成する。
【００２６】
ディスプレイ１１１は、カメラ部１０４により撮影された動画データおよびその動画データに字幕として合成された所定の言語のテキストデータを表示する表示部である。
【００２７】
スピーカ１１２は、マイク１０５により集音された音声の音声データを音声出力する。
【００２８】
以下、本実施形態の動画撮影装置の動作について説明する。以下では、ユーザにより操作部１０２を介して、所定の言語が日本語に設定されているものとして説明する。
【００２９】
まず、動画撮影時の動作について、図２を参照して説明する。
【００３０】
図２に示すように、動画撮影部１０３は、動画撮影を開始すると（ステップＡ１０１）、記憶部１０６に対して、「同期データ（撮影開始からの経過時間等の、同期を取るのに必要なデータ。以下、同じ）」がそれぞれ付加された「動画データ（カメラ部１０４により撮影された動画のデータ。以下、同じ）」および「音声データ（マイク１０５により動画撮影時に集音された音声のデータ。以下、同じ）」の書き込み依頼を行い（ステップＡ１０２）、記憶部１０６は、「同期データ」がそれぞれ付加された「動画データ」および「音声データ」を書き込む（ステップＡ１０３）。
【００３１】
動画撮影部１０３は、動画撮影を終了すると（ステップＡ１０４）、その旨を音声テキスト化部１０７に通知する（ステップＡ１０５）。
【００３２】
音声テキスト化部１０７は、動画撮影部１０３から撮影終了の通知を受けると、記憶部１０６に対して、「同期データ」が付加された「音声データ」の読み出し依頼を行い（ステップＡ１０６）、記憶部１０６は、「同期データ」が付加された「音声データ」を読み出し、音声テキスト化部１０７に引き渡す（ステップＡ１０７）。
【００３３】
音声テキスト化部１０７は、記憶部１０６から「同期データ」が付加された「音声データ」が引き渡されると、「音声データ」を音声認識して「テキストデータ」に変換し（ステップＡ１０８）、「同期データ」が付加された「テキストデータ」をテキスト翻訳部１０８に引き渡す（ステップＡ１０９）。なお、音声データを音声認識してテキストデータに変換する技術はすでに幾つか知られており、そのいずれもが本実施形態では使用可能である。
【００３４】
テキスト翻訳部１０８は、音声テキスト化部１０７から「同期データ」が付加された「テキストデータ」が引き渡されると、「テキストデータ」の中で日本語以外の他言語で記述された部分を、日本語へ翻訳する（ステップＡ１１０）。なお、翻訳技術はすでに幾つか知られており、そのいずれもが本実施形態では使用可能である。
【００３５】
このとき、「テキストデータ」の中の他言語を全て日本語に翻訳する必要はなく、例えば、「テキストデータ」を、文単位で区切り、区切った文中に日本語が全く含まれていない場合（すなわち、その文が全て日本語以外の他言語で構成されている場合）に、その文を“日本語以外の他言語で記述された部分”として扱い、その文のみを日本語へ翻訳すればよい。なお、テキストデータを文単位で区切る技術はすでに幾つか知られており、そのいずれもが本実施形態では使用可能である。
【００３６】
そして、テキスト翻訳部１０８は、記憶部１０６に対して、「同期データ」が付加された翻訳後の「テキストデータ」の書き込み依頼を行い（ステップＡ１１１）、記憶部１０６は、「同期データ」が付加された翻訳後の「テキストデータ」を書き込み（ステップＡ１１２）、処理を終了する。このとき、テキスト翻訳部１０８は、「テキストデータ」のうち翻訳を行わなかった部分については、音声テキスト化部１０７から引き渡されたものをそのまま記憶部１０６に引き渡す。
【００３７】
次に、テキストデータの編集時の動作について、図３を参照して説明する。
【００３８】
図３に示すように、テキスト編集部１０９は、記憶部１０６に格納された「テキストデータ」を編集する場合、記憶部１０６に対して、「同期データ」が付加された「テキストデータ」の読み出し依頼を行い（ステップＢ１０１）、記憶部１０６は、「同期データ」が付加された「テキストデータ」を読み出し、テキスト編集部１０９に引き渡す（ステップＢ１０２）。
【００３９】
テキスト編集部１０９は、記憶部１０６から「同期データ」が付加された「テキストデータ」が引き渡されると、「テキストデータ」を編集し（ステップＢ１０３）、記憶部１０６に対して、「同期データ」が付加された編集後の「テキストデータ」の書き込み依頼を行い（ステップＢ１０４）、記憶部１０６は、「同期データ」が付加された編集後の「テキストデータ」を書き込み（ステップＢ１０５）、処理を終了する。
【００４０】
次に、動画再生時の動作について、図４を参照して説明する。
【００４１】
図４に示すように、動画テキスト合成部１１０は、動画を再生する場合、記憶部１０６に対して、「同期データ」がそれぞれ付加された「音声データ」、「動画データ」、および「テキストデータ」の読み出し依頼を行い（ステップＣ１０１）、記憶部１０６は、「同期データ」がそれぞれ付加された「音声データ」、「動画データ」、および「テキストデータ」を読み出し、動画テキスト合成部１１０に引き渡す（ステップＣ１０２）。
【００４２】
動画テキスト合成部１１０は、記憶部１０６から「同期データ」がそれぞれ付加された「音声データ」、「動画データ」、および「テキストデータ」が引き渡されると、「同期データ」を基に、「テキストデータ」を字幕として「動画データ」に合成して「字幕付き動画データ」を生成し、「字幕付き動画データ」をディスプレイ１１１に表示するとともに、「同期データ」を基に、「音声データ」を、「字幕付き動画データ」と同期させて、スピーカ１１２から音声出力する（ステップＣ１０３）。
【００４３】
なお、動画テキスト合成部１１０は、「字幕付き動画データ」を記憶部１０６に格納する場合は、記憶部１０６に対して、「同期データ」が付加された「字幕付き動画データ」の書き込み依頼を行い（ステップＣ１０４）、記憶部１０６は、「同期データ」が付加された「字幕付き動画データ」を書き込み（ステップＣ１０５）、処理を終了する。
（２）第２の実施形態
本実施形態の動画撮影装置は、第１の実施形態と比較して、構成自体は同様であるが、動作が異なる。
【００４４】
すなわち、第１の実施形態においては、動画再生時に、音声データをテキスト化した字幕をディスプレイ１１１に表示していたのに対して、本実施形態においては、動画撮影時に、音声データをテキスト化した字幕をディスプレイ１１１のプレビュー画面に表示する。
【００４５】
以下、本実施形態の動画撮影装置の動画撮影時の動作について、図５を参照して説明する。以下では、ユーザにより操作部１０２を介して、所定の言語が日本語に設定されているものとして説明する。
【００４６】
図５に示すように、動画撮影部１０３は、動画撮影を開始すると（ステップＤ１０１）、記憶部１０６に対して、「同期データ」がそれぞれ付加された「動画データ」および「音声データ」の書き込み依頼を行い（ステップＤ１０２）、記憶部１０６は、「同期データ」がそれぞれ付加された「動画データ」および「音声データ」を書き込む（ステップＤ１０３）。
【００４７】
また、動画撮影部１０３は、記憶部１０６に対して上記の書き込み依頼を行うと同時に、「同期データ」が付加された「音声データ」を、音声テキスト化部１０７に引き渡す（ステップＤ１０４）。
【００４８】
音声テキスト化部１０７は、動画撮影部１０３から「同期データ」が付加された「音声データ」が引き渡されると、「音声データ」を「テキストデータ」に変換し（ステップＤ１０５）、「同期データ」が付加された「テキストデータ」をテキスト翻訳部１０８に引き渡す（ステップＤ１０６）。
【００４９】
テキスト翻訳部１０８は、音声テキスト化部１０７から「同期データ」が付加された「テキストデータ」が引き渡されると、「テキストデータ」の中で日本語以外の他言語で記述された部分を、日本語へ翻訳し（ステップＤ１０７）、翻訳後の「テキストデータ」を動画テキスト合成部１１０に引き渡す（ステップＤ１０８）。このとき、テキスト翻訳部１０８は、「テキストデータ」のうち翻訳を行わなかった部分については、音声テキスト化部１０７から引き渡されたものをそのまま動画テキスト合成部１１０に引き渡す。
【００５０】
動画テキスト合成部１１０は、テキスト翻訳部１０８から「テキストデータ」が引き渡されると、「テキストデータ」を字幕として「動画データ」に合成し、ディスプレイ１１１のプレビュー画面に表示する（ステップＤ１０９）。このとき、「音声データ」は、動画テキスト合成部１１０を経由せずに、スピーカ１１２から音声出力されることになる。
【００５１】
また、テキスト翻訳部１０８は、動画テキスト合成部１１０に対して翻訳後の「テキストデータ」を引き渡すと同時に、記憶部１０６に対して、「同期データ」が付加された翻訳後の「テキストデータ」の書き込み依頼を行い（ステップＤ１１０）、記憶部１０６は、「同期データ」が付加された翻訳後の「テキストデータ」を書き込む（ステップＤ１１１）。このとき、テキスト翻訳部１０８は、「テキストデータ」のうち翻訳を行わなかった部分については、音声テキスト化部１０７から引き渡されたものをそのまま記憶部１０６に引き渡す。
【００５２】
その後、動画撮影部１０３による動画撮影が終了すると（ステップＤ１１２）、処理を終了する。
【００５３】
なお、本実施形態においては、テキストデータの編集時の動作と動画再生時の動作については、第１の実施形態と同様であるため、説明を省略する（それぞれ図３、図４を参照）。
（３）他の実施形態
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されものでない。本発明の構成や詳細には、本発明の範囲内で当業者が理解し得る様々な変更をすることができる。
【００５４】
例えば、第１および第２の実施形態において、動画データおよびテキストデータをディスプレイ１１１に表示する際には、ディスプレイ１１１の表示画面全体に動画データを表示し、その動画データ上にテキストデータを重ね合わせて表示してもよい。または、ディスプレイ１１１の表示画面を２画面に分割し、一方の画面に、動画データを表示し、他方の画面に、テキストデータを表示してもよい。
【００５５】
また、第１および第２の実施形態において、テキストデータをディスプレイ１１１に表示する際には、音声テキスト化部１０７により変換された時点ですでに日本語であったテキストデータと、テキスト翻訳部１０８により日本語に翻訳されたテキストデータと、を異なる色やフォントで表示してもよい。
【００５６】
また、第１および第２の実施形態においては、所定の言語を日本語とし、日本語以外の言語で話している人の音声データを日本語のテキストデータに変換する例を示したが、所定の言語を他の言語とすることも当然に可能である。例えば、所定の言語を英語とした場合は、英語以外の言語で話している人の音声データを英語のテキストデータに変換することができる。
【００５７】
上述したように本発明の動画撮像装置においては、動画撮影時に集音された音声データをテキストデータに変換し、そのテキストデータのうち所定の言語以外の他言語のテキストデータを所定の言語のテキストデータに翻訳した上で、そのテキストデータを動画データに字幕として合成する。
【００５８】
そのため、音声データのうち所定の言語以外の他言語の音声データは、所定の言語のテキストデータに翻訳された上で動画データに合成される。
【００５９】
したがって、ユーザは、所望の言語を上記の所定の言語に設定することにより、所望の言語で音声を字幕化することができるという効果が得られる。
【産業上の利用可能性】
【００６０】
本発明は、動画撮影機能が搭載されたビデオカメラ、デジタルカメラ、携帯電話機、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）等の動画撮影装置に適用可能である。
【符号の説明】
【００６１】
１０１    制御部
１０２    操作部
１０３    動画撮影部
１０４    カメラ部
１０５    マイク
１０６    記憶部
１０７    音声テキスト化部
１０８    テキスト翻訳部
１０９    テキスト編集部
１１０    動画テキスト合成部
１１１    ディスプレイ
１１２    スピーカ
【図１】
2012074961.tif 000003
【図２】
2012074961.tif 000004
【図３】
2012074961.tif 000005
【図４】
2012074961.tif 000006
【図５】
2012074961.tif 000007