(57)【要約】【課題】  映像、画像に文字等のタイトル、字幕を容易に見やすく付与するシステムを提供する。  【解決手段】音声認識手段を有するＤＶＣであって、記録する際に、入力される音声を音声認識手段にて認識し、所望の文字（言語）に変換し、映像、画像に重畳し、記録することにより、上述したタイトル、文字等の付与における課題を解決する。【選択図】  図１
2005175988.tif 000002
【特許請求の範囲】
【請求項１】
音声を認識する手段を有し、前記音声認識手段にて、主音声（チャンネル１）と副音声（チャンネル２）とを各々認識する手段を備えたことを特徴とするスーパーインポーズシステム。
【請求項２】
音声を認識する手段を有し、前記音声認識手段にて、主音声（チャンネル１）と副音声（チャンネル２）とを各々認識する手段を有し、認識された音声を所望の言語の文字に変換する手段を有することを特徴とする請求項１記載のスーパーインポーズシステム。
【請求項３】
音声を認識する手段を有し、前記音声認識手段にて、主音声（チャンネル１）と副音声（チャンネル２）とを各々認識する手段を有し、該認識された音声を所望の言語の文字に変換する手段を有し、前記主音声（チャンネル１）と副音声（チャンネル２）を各々表示手段に表示することを特徴とする請求項１又は２記載のスーパーインポーズシステム。
【請求項４】
主音声（チャンネル１）と副音声（チャンネル２）を文字変換し、各々表示手段に表示する手段を有し、該文字変換された主音声（チャンネル１）と副音声（チャンネル２）を映像に重畳することを特徴とする請求項１〜３いずれか記載のスーパーインポーズシステム。
【請求項５】
主音声（チャンネル１）と副音声（チャンネル２）を文字変換し、各々表示手段に表示する手段を有し、前記文字変換された主音声（チャンネル１）と副音声（チャンネル２）を映像に重畳する際、前記文字変換された主音声（チャンネル１）と副音声（チャンネル２）との表示位置が重ならないようにすることを特徴とする請求項１〜４いずれか記載のスーパーインポーズシステム。
【請求項６】
主音声（チャンネル１）と副音声（チャンネル２）を文字変換し、各々表示手段に表示する手段を有し、前記文字変換された主音声（チャンネル１）と副音声（チャンネル２）を映像に重畳する際、前記文字変換された主音声（チャンネル１）と副音声（チャンネル２）の表示色、輝度を変える手段を有することを特徴とする請求項１〜５いずれか記載のスーパーインポーズシステム。
【請求項７】
主音声（チャンネル１）と副音声（チャンネル２）を文字変換した変換文字情報を表示する際、文字の大きさを変えることができる手段を有することを特徴とする請求項１〜６いずれか記載のスーパーインポーズシステム。
【請求項８】
撮影時にユーザーに対して、変換文字表示位置を知らしめる手段を有することを特徴とする請求項１〜７いずれか記載のスーパーインポーズシステム。
【請求項９】
撮影時にユーザーに対して、変換文字表示位置を知らしめる手段を有し、前記変換文字表示位置はユーザーが設定可能な手段を有することを特徴とする請求項８記載のスーパーインポーズシステム。
【請求項１０】
主音声（チャンネル１）と副音声（チャンネル２）を文字変換し、各々表示手段に表示する手段を有し、前記文字変換された主音声（チャンネル1）と副音声（チャンネル２）を映像に重畳する手段を有するシステムにおいて、前記文字変換された主音声（チャンネル１）と副音声（チャンネル２）を映像に重畳するタイミングをユーザーが撮影時に決定可能な手段を有することを特徴とする請求項１〜９いずれか記載のスーパーインポーズシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はＤＶＣ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｃｏｍｃｏｄｅｒ）に関するものであり、特に音声信号に基づいてタイトル、字幕を生成し、映像に重畳するシステムに関するものである。
【背景技術】
【０００２】
従来技術における字幕等の付与方法は、例えば、ユーザーが撮影終了後、映像の編集作業時に操作キーにより、英文字等のキャラクタを選択し、映像に重畳したり、或いはパーソナルコンピュータにおいて、映像を取り込み、映像にキャラクタを重畳するという方法がある。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、記録した映像を編集する際、画像が少ない場合は、ユーザーの編集における作業負担は大きくないが、画像が多い場合は、画像の確認、編集作業の負担が大きくなる。また、ユーザーが編集したい映像、画像を見つけ出す作業も困難になっていくと考えられる。
【０００４】
更に、付与したいタイトル、字幕等の文字数が多い場合、キャラクタを選択する作業量も多く、撮影している際に思いついたタイトル、字幕等を忘れてしまう状況も発生する。
【０００５】
本発明は、映像、画像に文字等のタイトル、字幕を容易に見やすく付与するシステムを提供することを目的とする。  
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のスーパーインポーズシステムは、音声認識手段を有するＤＶＣであって、記録する際に、入力される音声を音声認識手段にて認識し、所望の文字（言語）に変換し、映像、画像に重畳し、記録することにより、上述したタイトル、文字等の付与における課題を解決する。
【０００７】
また、本発明の音声認識手段により、所望の文字（言語）に変換し、映像、画像に重畳し、記録することによりタイトル、文字等の付与における課題を解決できる。
【０００８】
更に、本発明において、被写体の音声（主音声（チャンネル１））と撮影者の音声（副音声（チャンネル２））間で、映像、画像における表示位置を変えることにより、複数の被写体の音声を分離し、どの被写体の音声か明確にすることができる。
【０００９】
更に、本発明の主音声（チャンネル１）と副音声（チャンネル２）間で、映像、画像における表示位置を変えることにより、重畳させる主音声（チャンネル１）と副音声（チャンネル２）に基づく文字、タイトル等を重ならないようにできる。
【００１０】
更に、本発明の主音声（チャンネル１）と副音声（チャンネル２）間で映像、画像に重畳する際、映像、画像の色、あるいは輝度に応じて表示色を変えることにより、常に見やすい表示にすることができる。
【００１１】
更に、本発明の主音声（チャンネル１）と副音声（チャンネル２）に対する変換された文字（言語）の大きさを変えることにより、情報量（文字数）が多くても、表示装置に表示する際、表示領域内において、互いに重ならずに表示することが可能である。
【００１２】
更に、ユーザーがＤＶＣにて撮影する際、重畳するタイトル、文字等の表示位置を予め知らせる手段を有することにより、ユーザーは撮影時にタイトル、文字等の表示位置と被写体とが重ならないように注意し、撮影できる。
【００１３】
また、記録時に限らず、再生時に映像に音声を重畳してもよい。
【発明の効果】
【００１４】
本発明によれば、音声認識手段を有し、主音声（チャンネル１）、副音声（チャンネル２）を各々文字変換し、表示装置に表示させることにより、映像に見合ったタイトル、文字等の字幕を迅速に表示でき、あるいは、臨場感のある映像を作成でき、編集作業の負荷も軽減できる。
【００１５】
更に、本発明の主音声（チャンネル１）、および副音声（チャンネル２）に対する文字データを表示する際、お互い重ならないようにすることにより、見やすいタイトル、あるいは字幕等の文字データを映像に重畳できる。
【００１６】
更に、本発明の文字データの表示色、あるいは輝度を変えることにより、映像に関係なく、映像の障害にならずに見やすい文字で表示でき、
更に、本発明の所望の言語に基づいて文字データを生成することにより、ユーザーを限定することなく、不特定多数のユーザーが同様の機能を利用できる
更に、本発明の文字データの表示位置を撮影時にユーザーに知らしめることにより、撮影者が文字データを重畳する位置を予め避けて、被写体を撮影することもできる。
【発明の最良の実施形態】
【００１７】
以下に本発明の実施例について説明する。
【実施例１】
【００１８】
以下に、本発明の第１の実施例を図１〜図２に基づき説明する。
【００１９】
図１に本発明の第１の実施例に係わる全体ブロック図を示す。１０１はＣＣＤ、レンズ等から構成されるカメラ部、１０２はシステムに内蔵、または装着されているマイク部、１０３はユーザーがシステムを制御する、あるいはタイトル等を入力も可能な操作キー、１０４はマイク部１０２から入力される音声を処理する音声処理部、１０５はシステムを制御するＣＰＵ、１０６は画像制御部、１０７、１１０は切り替えスイッチ、１０８は映像、画像とタイトル、文字等を重畳する合成部、１０９は主音声（チャンネル１）チャンネル、副音声（チャンネル２）チャンネルからの音声情報を文字に変換する文字変換部、１１１は液晶ディスプレイ等の表示装置、１１２は記録・再生部、１１３は記録符号化部、１１４は再生時の映像・音声信号検出／復号化部である。
【００２０】
ここで、一般的には、主音声（チャンネル１）は被写体の音声であり、副音声（チャンネル２）は撮影者の音声（映像に対するナレーション等）、他の使用方法においても適用できることは言うまでもない。
【００２１】
図１において、ユーザーが、DVCにて撮影を行った場合、マイク部１０２に入力された音声信号（アナログ信号）は、音声処理部１０４に入力される。そして音声処理部１０４にて主音声（チャンネル１）と副音声（チャンネル２）に分配され、音声デジタル信号に変換され、各々のチャンネル毎に文字変換部１０９に送られる。
【００２２】
ここで、本実施例では、入力される音声は「英語」とし、入力される英語の音声における主音声（チャンネル1）は、撮影者の音声（英語）とし、副音声（チャンネル２）を被写体の音声（英語）とする。
【００２３】
文字変換部１１０は、操作キー１０３を用いたユーザーからの指示に基づき、ＣＰＵ１０７により、ユーザー所望の言語が選択されるように制御される。
【００２４】
例えば、ユーザーが操作キー１０３により、「日本語」と指示した場合、ＣＰＵ１０７は文字変換部１１０に対して、英語で入力された音声の主音声（チャンネル１）、副音声（チャンネル２）データを各々「日本語」に文字変換するように制御する。ここで、操作キー１０３の構成は、例えば、予め主要言語を選択可能としておき、メニューより、所望の言語を選択する構成としてもよい。
【００２５】
操作キー１０３による言語の指示がない場合は、マイク部１０２から入力される音声をそのまま、文字変換する。本実施例の場合、操作キー１０３による言語の指示がないときには、文字変換された言語は「英語」である。
【００２６】
また、カメラ部１０１からはユーザーが撮影した映像が入力され、制御部１０６に送られる。ここで、ユーザーは操作キー１０３において、撮影した映像、画像にタイトル、字幕等の文字データを重畳するか、否かを選択する。映像、画像にタイトル、字幕等の文字データを重畳するとユーザーが選択、指示した場合、スイッチ１０７は「ｂ」側に倒され、ユーザーが撮影した映像、画像は、合成部１０８にて文字変換部１０９にて文字変換した主音声（チャンネル１）、副音声（チャンネル２）データが重畳される。そして、タイトル、字幕等の文字データを重畳された映像、画像が記録符号化部１１３に入力され、記録メディア１１５に記録される。本発明におけるチャンネル毎の文字データは、例えば、記録する際、ＤＩＦブロックにおけるＳＵＢ ＣＯＤＥ、あるいはＶＡＵＸに格納する。
【００２７】
ここで、ユーザーは操作キー１０３により、撮影した映像、画像にタイトル、字幕等の文字データを重畳しない場合、スイッチ１０７を「ａ」側に倒し、撮影した映像をそのまま、記録符号化部１１３に入力される。
【００２８】
再生時には、記録メディアに記録された映像・音声情報を検出／復号化部１１４にて、検出、復号化し、映像データは液晶ディスプレイ等の表示部１１１に表示される。
【００２９】
操作キー１０３において例えば、「字幕モード」ボタンを設け、該ボタンが押されている間は、撮影した映像、画像にタイトル、字幕等の文字データを記録メディアに記録する際に重畳するという構成にしてもよい。
【００３０】
このように主音声（チャンネル１）、副音声（チャンネル２）チャンネル別に音声データを文字変換し、映像、画像に重畳する。
【００３１】
ユーザーの操作キー１０３の指示により、スイッチ１１０を「ａ」側に倒すと、撮影した映像、画像にタイトル、字幕等の文字データを重畳した映像を表示部１１１に表示できる。また、スイッチ１１０を「ｂ」側に倒すと、撮影した映像、画像にタイトル、字幕等の文字データを重畳しない映像のみを表示部１１１に表示できる。
【００３２】
本実施例では、マイク部を１系統としたが、マイクをチャンネル毎に複数有してもよく、この場合は、一方のマイクを撮影者の音声用（映像に対するナレーション等）、他方のマイクを被写体の音声用として各々の音声データを音声処理部にて処理してもよい。
【００３３】
次にユーザーが撮影した映像、画像に文字データを重畳する領域について説明する。
【００３４】
図２に表示装置１１１における文字データ表示位置を生成するブロック図を示す。
【００３５】
２０１はＣＣＤ、レンズ等から構成されるカメラ部、２０２は操作キー、２０３はシステムを制御するＣＰＵ、２０４は文字データの表示位置生成部、２０５は液晶ディスプレイ等の表示装置、２０６は液晶ディスプレイ等の表示装置内における文字データの表示位置を示す。
【００３６】
尚、本発明の表示位置生成部２０４は、図１の全体ブロック図におけるＡ―Ｂ間に位置し、カメラ部２０１、操作キー２０２、ＣＰＵ２０３、表示部２０５は図１と同様の機能を有するものとし、記録・再生フローも同様の構成であるものとし、図示せず、省略する。
【００３７】
ユーザーがＤＶＣにて撮影を行った場合、表示位置生成部２０４にて生成された文字データ表示位置は、表示位置２０６の破線部に示すようにユーザーが撮影している映像の横、あるいは縦方向の領域に主音声（チャンネル１）領域、および副音声（チャンネル２）領域に分けて生成され、表示される。領域を撮影の障害にならないように破線、点線等でユーザーに知らしめる。あるいは、文字データ表示領域を撮影の障害にならない程度の色で知らしめてもよい。
【００３８】
ユーザーは撮影する際、極力、表示領域に被写体が入らないように注意して、撮影することが可能となる。
【００３９】
文字データ表示領域は、ユーザーの操作キー２０２の設定にて表示させないことも可能であり、ユーザーが撮影時に選択する構成とする。
【００４０】
また、本実施例では、文字データ表示領域を撮影している映像の横、および縦方向としたが、これに限定されることなく、他の領域に表示させても本手段を適用できる。
【実施例２】
【００４１】
本発明の第２の実施例を図３に基づいて説明する。
【００４２】
図３に本発明の第２の実施例に係わる全体ブロック図を示す。３０１はＣＣＤ、レンズ等から構成されるカメラ部、３０２はシステムに内蔵、または装着されているマイク部、３０３はマイク部から入力される音声を処理する音声処理部、３０４は主音声（チャンネル１）チャンネル、副音声（チャンネル２）チャンネルからの音声情報を文字に変換する文字変換部、３０５は文字データの表示色演算部、３０６は映像、画像とタイトル、文字等を重畳する合成部、３０７は液晶ディスプレイ等の表示装置、３０８は操作キーである。
【００４３】
ユーザーが撮影した映像、画像に文字データを重畳する際、文字データの表示色が撮影している映像、画像の色味と似通っていると重畳した文字が読みづらくなることが考えられるため、これを回避する手段を以下に述べる。
【００４４】
カメラ部３０１からはユーザーが撮影した映像が入力され、表示色演算部３０５に送られる。また、音声データに関しては、主音声（チャンネル1）チャンネル３０２、副音声（チャンネル２）チャンネル３０３からの各々の音声データを文字変換部３０４に送り、デジタル文字データに変換され、表示色演算部３０５に送られる。表示色演算部３０５には、映像、画像データと文字データが入力されており、文字データの表示色は、映像、画像データに基づいて生成される。表示色を決定する要因として、映像、画像データの輝度に基づいて、輝度を変えてもよい。表示色演算部３０５にて決定した色、あるいは輝度を有する文字データは、合成部３０６にて映像、画像データに重畳され、液晶ディスプレイ等の表示装置３０７に表示される。
【００４５】
また、主音声（チャンネル１）と副音声（チャンネル２）に対する文字データを液晶ディスプレイ等の表示装置３０７に表示する際、２つの文字データが重ならずに、前述の文字データ表示位置に該２つの文字データが収まるように文字変換部３０５にて文字データを表示する大きさを変える手段をも有する。こうすることにより、主音声（チャンネル１）と副音声（チャンネル２）に対する文字情報が多い場合も、極力、表示領域に収まるように表示できる。
【００４６】
文字データの表示色、および大きさは、操作キー３０８のキー操作により、ユーザーの指示に基づき、特定の色、大きさを設定できるようにしてもよい。
【図面の簡単な説明】
【００４７】
【図１】本発明の第１の実施例の全体構成を示すブロック図である。
【図２】本発明の第１の実施例の文字データ表示位置生成を示すブロック図である。
【図３】本発明の第２の実施例の全体構成を示すブロック図である。
【符号の説明】
【００４８】
１０１            カメラ部
１０２            マイク部
１０３            操作キー
１０４            音声処理部
１０５            ＣＰＵ
１０６            制御部
１０７、１１０    スイッチ
１０８            合成部
１０９            文字変換部
１１１            表示装置
１１２            記録・再生部
１１３            記録符号化部
１１４            映像・音声信号検出／復号化部
１１５            記録メディア
２０１            カメラ部
２０２            操作キー
２０３            ＣＰＵ
２０４            表示位置生成部
２０５            表示装置
２０６            表示装置内における文字データの表示位置
３０１            カメラ部
３０２            マイク部
３０３            音声処理部
３０４            文字変換部
３０５            表示色演算部
３０６            合成部
３０７            表示装置
３０８            操作キー
【図１】
2005175988.tif 000003
【図２】
2005175988.tif 000004
【図３】
2005175988.tif 000005