(57)【要約】【課題】アフレコ機能を持つ従来のビデオカメラは、撮影者が撮影と同時にナレーションを記録した場合には、編集時にナレーションを自由に追加、削除することができず、また、ビデオコンテンツの内容に基づく頭出し再生ができない。【解決手段】撮影した画像データの再生中に操作部６の第２音声録音ボタンが押されると、データ処理部４は第２の音声入力部２より入力される第２音声データを、ＤＶエンコーダ４１でＤＶフォーマットに変換して画像・音声記憶部５へ出力し、再生中の画像データに対応する音声記録部分に記録する。この場合、再生中の画像データに対応する音声記録部分に、予め第２音声が記録されていなかった場合には追加録音となり、既に第２音声が記録されていた場合には上書き録音となる。第２音声データは、撮影時に第１音声データが録音されている２ＣＨとは異なる２ＣＨを使って記録されるため、第１音声データは変更されない。【選択図】　　　　　　図１
2004072306.tif 000002
【特許請求の範囲】
【請求項１】
被写体の画像を画像入力部により撮像して得られた画像データと、前記被写体及びその周辺から第１の音声入力部で収音して得た第１音声データとを、所定の記録フォーマットに変換して記録媒体に記録するビデオカメラにおいて、
所望の音源からの音声を収音する第２の音声入力部と、
前記第２の音声入力部から出力された音声信号を所定の圧縮符号化方式で圧縮して第２音声データを得るエンコーダと、
前記エンコーダから出力された第２音声データを、その第２音声データが前記記録媒体からの前記画像データ及び前記第１音声データと共に再生されるべき前記記録媒体の所望の記録位置を示す時間情報と共に格納するデータ記憶手段と
を有することを特徴とするビデオカメラ。
【請求項２】
所望の被写体に関する画像データと第１音声データとが、所定の記録フォーマットで記録されている記録媒体と、所望の音源の音声信号を圧縮符号化して得られた第２音声データが、前記記録媒体からの前記画像データ及び前記第１音声データと共に再生されるべき前記記録媒体の所望の記録位置を示す時間情報と共に格納された記憶部とから、前記画像データ及び前記第１音声データ及び第２音声データの再生を行うビデオ再生装置であって、
制御信号により前記記録媒体に対して、信号の記録、再生、又は停止を行う画像・音声記憶手段と、
前記記録媒体から再生された前記画像データと前記第１音声データとを分離すると共に、前記記憶部から前記第２音声データを抽出して出力する分離手段と、
前記分離手段により分離された前記画像データを画像表示する画像表示手段と、
前記分離手段により分離された前記第１音声データを再生して発音する音声再生手段と、
前記分離手段から出力された前記第２音声データを文字データに変換する音声認識手段と、
前記音声認識手段により変換された文字データによる文字を表示する文字表示手段と、
前記音声認識手段により変換された前記文字データと、前記記録媒体より入力される時間情報を関連付けて記憶する文字データ記憶手段と、
文字データの検索のための所望の検索文字列の入力、及び前記記録媒体の再生・停止を指示する指示信号の入力を行う入力手段と、
前記入力手段により入力された前記検索文字列が、前記文字データ記憶手段に記憶されている前記文字データと一致するか否かを検索し、前記検索文字列に一致する文字データが検索されると、その文字データに関連して前記文字データ記憶手段に記憶されている前記時間情報の示す位置からのビデオコンテンツ再生を指示する信号を出力する検索手段と、
前記検索手段から前記時間情報の示す位置からのビデオコンテンツ再生を指示する信号が入力されたときは、その時間情報の示す位置から前記記録媒体の再生を指示するための前記制御信号を前記画像・音声記憶手段へ出力し、前記入力手段から前記指示信号が入力されたときは、その指示信号の内容に応じて前記記録媒体の再生・停止を指示する前記制御信号を前記画像・音声記憶手段へ出力する制御手段と
を有することを特徴とするビデオ再生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はビデオカメラ及びビデオ再生装置に係り、特にビデオコンテンツの画像を記録媒体に録画すると共に、ビデオコンテンツの第１の音声に加え、ナレーション等の第２の音声を記録媒体に録音し、またビデオコンテンツの内容に基づく頭出し位置検索を行うためのビデオカメラ、そのビデオカメラで記録した画像及び音声を再生するビデオ再生装置に関する。
【０００２】
【従来の技術】
従来のビデオカメラとして、例えばＨＤディジタルＶＣＲ協議会のＤＶ規格によるビデオカメラにおいては、音声の記録形式としてサンプリング周波数４８／４４．１／３２ｋＨｚ、量子化ビット数１６ｂｉｔ、チャンネル数２ＣＨ、及びサンプリング周波数３２ｋＨｚ、量子化ビット数１２ｂｉｔ、チャンネル数４ＣＨがあり、この中からいずれかの形式を選択して撮影を行う。
【０００３】
ここで、サンプリング周波数３２ｋＨｚ、量子化ビット数１２ｂｉｔを選択した場合には、撮影時に４ＣＨのうちの２ＣＨを使って音声を記録し、撮影後の編集作業において残りの２ＣＨに別の音声を記録することにより、追加の音声を記録するいわゆるアフレコ（アフター・レコーディング）を行うことができる。この機能は撮影したビデオコンテンツにナレーションや効果音を追加するのに利用される。特に、追加の音声は撮影時の音声とは分離して記録されているので、自由に追加、削除を行うことができる。
【０００４】
一方、ビデオカメラで撮影し、磁気テープ等に記録されたビデオコンテンツを視聴するときに、利用者がビデオコンテンツの見たい部分から頭出し再生を開始するためには、一般に、利用者が再生を開始する位置の時間を指定するか、撮影時に磁気テープ上に記録された記録開始位置を示す頭出し信号を検出し、記録開始位置単位での頭出し再生を行う。あるいは、撮影または視聴時に利用者が所定の操作によって頭出し情報を記録し、その頭出し情報単位で頭出し再生を行う。
【０００５】
【発明が解決しようとする課題】
しかし、アフレコ機能を持つことが可能なビデオ記録形式を採用した従来のビデオカメラにおいては、撮影後の編集時にナレーションを自由に追加、削除できるものの、撮影時に例えば撮影者が撮影と同時にナレーションを記録した場合には、ナレーションの音声が一般の音声と混合されて記録されるので、編集時にナレーションを自由に追加、削除することができない。
【０００６】
一方、上述のビデオコンテンツの頭出し再生においては、再生を開始する時間、または頭出し信号を利用するため、例えばキーワードによる検索のように、ビデオコンテンツの内容に基づく頭出し再生のできないことが課題であった。
【０００７】
本発明は上記の点に鑑みなされたもので、ビデオ撮影時に撮影と同時にナレーション等の音声を記録し、視聴あるいは編集時にその音声を自由に追加、削除し得るビデオカメラ及びビデオ再生装置を提供することを目的とする。
【０００８】
また、本発明の他の目的は、ビデオカメラに利用者が検索のためのキーワードを音声で記録する方法を提供するとともに、記録されたキーワードを利用して頭出し位置を検索し得るビデオカメラ及びビデオ再生装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記の目的を達成するため、本発明のビデオカメラは、被写体の画像を画像入力部により撮像して得られた画像データと、被写体及びその周辺から第１の音声入力部で収音して得た第１音声データとを、所定の記録フォーマットに変換して記録媒体に記録するビデオカメラにおいて、所望の音源からの音声を収音する第２の音声入力部と、第２の音声入力部から出力された音声信号を所定の圧縮符号化方式で圧縮して第２音声データを得るエンコーダと、エンコーダから出力された第２音声データを、その第２音声データが記録媒体からの画像データ及び第１音声データと共に再生されるべき記録媒体の所望の記録位置を示す時間情報と共に格納するデータ記憶手段とを有する構成としたものである。
【００１０】
この発明では、記録媒体からの画像データ及び第１音声データと共に再生されるべき記録媒体の所望の記録位置を示す時間情報と共に、第１音声データとは独立に第２音声データを、画像データ及び第１音声データの記録媒体への記録時と並行して、又は画像データ及び第１音声データの記録媒体への記録後の任意のタイミングでデータ記憶手段に格納することができる。
【００１１】
また、上記の目的を達成するため、本発明のビデオ再生装置は、所望の被写体に関する画像データと第１音声データとが、所定の記録フォーマットで記録されている記録媒体と、所望の音源の音声信号を圧縮符号化して得られた第２音声データが、記録媒体からの画像データ及び第１音声データと共に再生されるべき記録媒体の所望の記録位置を示す時間情報と共に格納された記憶部とから、画像データ及び第１音声データ及び第２音声データの再生を行うビデオ再生装置であって、
制御信号により記録媒体に対して、信号の記録、再生、又は停止を行う画像・音声記憶手段と、記録媒体から再生された画像データと第１音声データとを分離すると共に、記憶部から第２音声データを抽出して出力する分離手段と、分離手段により分離された画像データを画像表示する画像表示手段と、分離手段により分離された第１音声データを再生して発音する音声再生手段と、分離手段から出力された第２音声データを文字データに変換する音声認識手段と、音声認識手段により変換された文字データによる文字を表示する文字表示手段と、音声認識手段により変換された文字データと、記録媒体より入力される時間情報を関連付けて記憶する文字データ記憶手段と、文字データの検索のための所望の検索文字列の入力、及び記録媒体の再生・停止を指示する指示信号の入力を行う入力手段と、入力手段により入力された検索文字列が、文字データ記憶手段に記憶されている文字データと一致するか否かを検索し、検索文字列に一致する文字データが検索されると、その文字データに関連して文字データ記憶手段に記憶されている時間情報の示す位置からのビデオコンテンツ再生を指示する信号を出力する検索手段と、検索手段から時間情報の示す位置からのビデオコンテンツ再生を指示する信号が入力されたときは、その時間情報の示す位置から記録媒体の再生を指示するための制御信号を画像・音声記憶手段へ出力し、入力手段から指示信号が入力されたときは、その指示信号の内容に応じて記録媒体の再生・停止を指示する制御信号を画像・音声記憶手段へ出力する制御手段とを有する構成としたものである。
【００１２】
この発明では、画像データと第１音声データとが、所定の記録フォーマットで記録されている記録媒体と、所望の音源の音声信号を圧縮符号化して得られた第２音声データが、記録媒体からの画像データ及び第１音声データと共に再生されるべき記録媒体の所望の記録位置を示す時間情報と共に格納された記憶部とから、画像データ及び第１音声データ及び第２音声データの再生を行うに際し、上記の第２音声データを文字データに変換し、その文字データと記録媒体より入力される時間情報を関連付けて文字データ記憶手段に記憶しておき、入力した任意の検索文字列が文字データ記憶手段に記憶されている文字データと一致するか否かを検索し、検索文字列に一致する文字データが検索されると、その文字データに関連して文字データ記憶手段に記憶されている時間情報の示す位置からのビデオコンテンツ再生を行うようにしたため、第２音声データの所望の文字データの記録位置からの頭出し再生ができる。
【００１３】
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。図１は本発明になるビデオカメラの第１の実施の形態のブロック図を示す。この実施の形態のビデオカメラは、第１の音声入力部１、第２の音声入力部２、画像入力部３、データ処理部４、画像・音声記憶部５、操作部６及び画像表示部７から構成されており、画像入力部３及び第１の音声入力部１に加えて第２の音声入力部２を有するビデオカメラである。
【００１４】
画像入力部３はレンズ３１と、固体撮像素子であるＣＣＤ（電荷転送素子）及びその駆動回路からなる撮像部３２と、Ａ／Ｄ変換部３３とから構成され、被写体からの入射光をレンズ３１で集束して多数の画素が例えば二次元マトリクス状に配列された撮像部３２に入射し、ここで光電変換して得られた撮像信号をＡ／Ｄ変換部３３でディジタル信号形態の画像データに変換した後、データ処理部４のＤＶエンコーダ４１及び画像切り替え部４３へそれぞれ供給する。
【００１５】
第１の音声入力部１は、入力された音声を第１音声データに変換してデータ処理部４のＤＶエンコーダ４１へ出力する。この第１の音声入力部１は、主に被写体または被写体の周囲が発する音声を収音するためのものであり、無指向性マイクロフォンを使用するか、あるいは単一指向性マイクロフォンを被写体に向けて設置するのが望ましい。
【００１６】
第２の音声入力部２は、入力された音声を第２音声データに変換してデータ処理部４のＤＶエンコーダ４１へ出力する。この第２の音声入力部２は、主に撮影者の発する言葉（音声）を収音するためのものであり、単一指向性マイクロフォンを撮影者に向けて設置する構成とされている。
【００１７】
操作部６は、各種のボタン等が配置されており、撮影者が撮影開始・停止、撮影した画像の再生開始・停止、機能選択、または各種設置等の操作を行うためのものである。撮影者のボタン操作により操作部６で発生された操作信号は、データ処理部４へ出力される。データ処理部４は、ＤＶエンコーダ４１、ＤＶデコーダ４２、及び画像切り替え部４３より構成される。
【００１８】
ＤＶエンコーダ４１は、操作部６よりデータ処理部４へ撮影開始の操作信号が入力された場合には、画像入力部３より入力される画像データと、第１の音声入力部１より入力される第１音声データと、第２の音声入力部２より入力される第２音声データとを、公知のＤＶフォーマットの画像・音声データに変換し、これを画像・音声記憶部５へ出力して記憶させる。
【００１９】
ＤＶデコーダ４２は、操作部６よりデータ処理部４へ撮影した画像の再生開始の操作信号が入力された場合に、画像・音声記憶部５よりＤＶデータを入力し、そのＤＶデータから画像データを抽出し、画像切り替え部４３へ出力する。
【００２０】
画像切り替え部４３は、操作部６からの操作信号に応じて、画像入力部３からの画像データまたはＤＶデコーダ４２からの画像データの一方を選択する切替回路で、操作部６よりデータ処理部４へ撮影開始の操作信号が入力されたときは、画像入力部３より入力される画像データを選択して画像表示部７へ出力し、操作部６よりデータ処理部４へ撮影した画像の再生開始の操作信号が入力されたときは、ＤＶデコーダ４２より入力される画像データを選択して画像表示部７へ出力する。
【００２１】
画像・音声記憶部５は、記録媒体の一例としての磁気テープと、その駆動装置（記録再生機構）より構成され、データ処理部４の指示に従い、ＤＶエンコーダ４１より入力されるＤＶフォーマットの画像・音声データを磁気テープへ記録するか、あるいは既に記録されている画像データをＤＶデコーダ４２へ出力する。画像表示部７は、液晶ディスプレイ等で構成され、画像切り替え部４３より入力される画像データを表示する。
【００２２】
次に、本実施の形態の撮影における操作部６での機能選択、及びデータ処理部４の動作について、図１及び図２と共に詳細に説明する。図２は本発明のビデオカメラの第１の実施の形態における、撮影における音声入力方法の選択肢、及び音声記録方式の選択肢を示す。
【００２３】
本実施の形態では、図２に示すように、音声入力方法として、（１）第２音声なしと（２）第２音声ありの２つの選択肢がある。また、音声記録方式には、（１）サンプリング周波数４８ｋＨｚ、量子化ビット数１６ｂｉｔ、チャンネル数２ＣＨと、（２）サンプリング周波数３２ｋＨｚ、量子化ビット数１２ｂｉｔ、チャンネル数４ＣＨの２つの選択肢がある。撮影者は、撮影を開始する前に、操作部６によってこれらの選択肢の選択を行う。
【００２４】
次に、上記の選択肢を選択した場合の、撮影時における音声録音に関するデータ処理部４の動作について説明する。図２の音声入力方法（１）と音声記録方式（１）が選択された場合には、第１音声のみが録音され、第２音声は録音されない。後から第２音声を追加録音することもできない。音声入力方法（１）と音声記録方式（２）が選択された場合には、撮影時に第１音声のみが４ＣＨのうちの２ＣＨを使って録音され、このとき第２音声は録音されない。使用されなかった残りの２ＣＨに、撮影終了後に第２音声を追加録音することが可能である。
【００２５】
音声入力方法（２）と音声記録方式（１）が選択された場合には、撮影時に第１音声と第２音声が混合され、１つの音声として録音される。後から第２音声のみを上書き録音することはできない。音声入力方法（２）と音声記録方式（２）が選択された場合には、撮影時に第１音声と第２音声とが２ＣＨずつ分離して並行して録音される。また、撮影終了後に第２音声のみを上書き録音することが可能である。
【００２６】
次に、第１の実施の形態の撮影した画像の再生における操作部６での操作、及びデータ処理部４の動作について、図１と共に詳細に説明する。撮影者が操作部６を操作して、撮影した画像データの再生開始を行うと、画像・音声記憶部５からＤＶデータが再生されてＤＶデコーダ４２に供給され、ここで撮影した画像データが抽出され、その再生画像データが画像切り替え部４３を通して画像表示部７に再生画像として表示される。
【００２７】
ここで、上記の再生画像データに対応する音声データが、サンプリング周波数３２ｋＨｚ、量子化ビット数１２ｂｉｔ、チャンネル数４ＣＨで画像・音声記憶部５の磁気テープに録音されている場合には、再生中の画像データに対応する第２音声を、以下の方法で追加または上書き録音することができる。
【００２８】
すなわち、撮影した画像データの再生中に操作部６の第２音声録音ボタンが押されると、データ処理部４は第２の音声入力部２より入力される第２音声データを、ＤＶエンコーダ４１でＤＶフォーマットに変換して画像・音声記憶部５へ出力し、再生中の画像データに対応する音声記録部分に記録する。この場合、再生中の画像データに対応する音声記録部分に、あらかじめ第２音声が記録されていなかった場合には追加録音となり、既に第２音声が記録されていた場合には上書き録音となる。
【００２９】
いずれの場合にも、サンプリング周波数３２ｋＨｚ、量子化ビット数１２ｂｉｔを選択した場合には、第２音声データは、撮影時に第１音声データが録音されている２ＣＨとは異なる２ＣＨを使って記録されるため、撮影後の編集作業において第２音声データを記録しても既に録音されている第１音声データは変更されない。
【００３０】
次に、本発明のビデオカメラの第２の実施の形態について、図面を参照して説明する。図３は本発明になるビデオカメラの第２の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。図３において、第２の音声入力部２の構成は、図１の第１の実施の形態と同一であるが、それにより得られた第２音声データがデータ処理部８のＣＥＬＰエンコーダ８２へ出力される点が第１の実施の形態と異なる。
【００３１】
データ処理部８は、ＤＶエンコーダ８１、ＤＶデコーダ４２、ＣＥＬＰエンコーダ８２、及び画像切り替え部４３より構成される。ＤＶエンコーダ８１は、操作部６よりデータ処理部８へ撮影開始の操作信号が入力された場合には、画像入力部３より入力される画像データと、第１の音声入力部１より入力される第１音声データをＤＶフォーマットの画像・音声データに変換し、画像・音声記憶部９へ出力する。ＣＥＬＰエンコーダ８２は、第２の音声入力部２より入力される第２音声データを、会話音声の圧縮に適した公知のＣＥＬＰ（ｃｏｄｅ　ｅｘｃｉｔｅｄ　ｌｉｎｅａｒ　ｐｒｅｄｉｃｔｉｏｎ）方式で圧縮符号化し、データ記憶部１０へ出力する。
【００３２】
画像・音声記憶部９は、図１における画像・音声記憶部５と同様に、磁気テープとその駆動装置（記録再生機構）より構成され、データ処理部８の指示に従い、データ処理部８より入力されるＤＶフォーマットの画像・音声データを磁気テープへ記憶したり、あるいは、記憶されている画像・音声データをデータ処理部８へ出力する。更に、この画像・音声記憶部９は、図１における画像・音声記憶部５と異なり、磁気テープへの画像・音声データの記録時、再生時のいずれの場合にも、それと同時に磁気テープの位置を示す時間情報をデータ記憶部１０へ出力する。
【００３３】
データ記憶部１０は、半導体メモリカードで構成されており、ＣＥＬＰエンコーダ８２より入力される第２音声の圧縮符号化データと、画像・音声記憶部９より入力される磁気テープの位置を示す時間情報とを関連付けて記憶する。
【００３４】
次に、データ記憶部１０における時間情報と音声データの記憶フォーマットについて説明する。図４はデータ記憶部１０における時間情報と音声データの記憶フォーマットの一例を示す。すなわち、この記憶フォーマットでは、ＤＶフォーマットデータに含まれる時間情報であるタイムコードと、それに対応する第２音声のＣＥＬＰ圧縮符号化データであるフレームデータとが、対となって記録される。これにより、音声データ再生の際には、タイムコードからそれに対応する音声データを検索することができる。
【００３５】
次に、図３の第２の実施の形態の撮影における操作部６での機能選択、及びデータ処理部８の動作について詳細に説明する。撮影者は、撮影を開始する前に、音声記録方式を選択する。この音声記録方式の選択肢は、本発明の第１の実施の形態における音声記録方式の選択肢と同様である。また、撮影者は、撮影を開始する前に、第２音声の記録方法を、（１）手動と（２）自動の２種類の選択肢から選択する。
【００３６】
次に、上記それぞれの選択肢を選択した場合の、撮影時における音声録音に関するデータ処理部８の動作について説明する。上記いずれの選択肢を選択した場合でも、第１音声データのみが画像データと共にＤＶエンコーダ８１でＤＶフォーマットに変換され、画像・音声記憶部９へ出力されて磁気テープに記録される。
【００３７】
一方、第２音声データについては、第２音声の記録方法（１）（すなわち、手動）が選択された場合には、撮影者が操作部６にある第２音声記録ボタンを押している間のみ、第２音声データがＣＥＬＰエンコーダ８２により圧縮符号化されてデータ記憶部１０へ出力されると共に、これと同時に画像・音声記憶部９から第２音声データと対応する画像データ及び第１音声データが記録されている磁気テープの位置を示す時間情報がデータ記憶部１０へ出力され、第２音声データと時間情報とが対応付けて記憶される。第２音声記録ボタンが押されていない間は、第２音声データ及び磁気テープの位置を示す時間情報は、データ記憶部１０には記録されない。
【００３８】
第２音声の記録方法（２）（すなわち、自動）が選択された場合には、第２音声の音量があらかじめ設定された閾値を超えたときのみ、第２の音声入力部２からの第２音声データがＣＥＬＰエンコーダ８２により圧縮符号化されてデータ記憶部１０へ出力されると共に、これと同時に画像・音声記憶部９から第２音声データと対応する画像データ及び第１音声データが記録されている磁気テープの位置を示す時間情報がデータ記憶部１０へ出力され、第２音声データと時間情報とが対応付けて記憶される。
【００３９】
このように、本実施の形態では、音声データが、サンプリング周波数３２ｋＨｚ、量子化ビット数１２ｂｉｔ、チャンネル数４ＣＨで画像・音声記憶部９の磁気テープに録音されている場合には、再生中の画像データ及び第１音声データに対応する第２音声を自動、手動いずれの場合もアフレコすることができる。また、第１音声データがサンプリング周波数４８ｋＨｚ、量子化ビット数１６ｂｉｔ、チャンネル数２ＣＨで画像・音声記憶部９の磁気テープに録音されている場合でも、第２音声データを第１音声データに上書きする形でアフレコすることができる。
【００４０】
次に、本発明のビデオ再生装置の第１の実施の形態について説明する。図５は本発明になるビデオ再生装置の第１の実施の形態のブロック図を示す。同図において、ビデオ再生装置は、内蔵の磁気テープに記録されているＤＶフォーマットの画像・音声データを再生する画像・音声記憶部１２と、画像・音声分離部１３と、音声処理部１５と、操作部１６と、画像・音声分離部１３で分離された画像を表示する画像表示部１７と、音声再生部１８とより構成されている。更に、必要に応じてデータ記憶部１４が設けられる。
【００４１】
画像・音声記憶部１２は、磁気テープとその駆動装置より構成されており、その磁気テープには、図１に示した本発明のビデオカメラの第１の実施の形態、または図３に示した本発明のビデオカメラの第２の実施の形態のいずれかを用いて撮影したＤＶフォーマットの画像・音声データが記憶されている。
【００４２】
画像・音声記憶部１２は、この磁気テープに記録（記憶）されているＤＶフォーマットの画像・音声データを再生して、画像・音声分離部１３へ出力する。また、磁気テープの再生位置を示す時間情報をデータ記憶部１４へ出力する。ただし、データ記憶部１４は、ビデオコンテンツを図３に示した第２の実施の形態のビデオカメラを用いて撮影した画像が記録された磁気テープを再生する場合のみ存在する。
【００４３】
データ記憶部１４は、半導体メモリカードとその読み取り装置より構成され、第２音声データと磁気テープの位置を示す時間情報が関連付けて予め記憶されている。画像・音声記憶部１２よりデータ記憶部１４に入力される磁気テープの位置を示す時間情報が、データ記憶部１４を構成する半導体メモリカードに記憶されている時間情報に一致する場合には、その時間情報に対応する第２音声データがデータ記憶部１４から読み出されて画像・音声分離部１３へ出力される。
【００４４】
画像・音声分離部１３は、少なくともＤＶデコーダ１３１を有し、データ記憶部１４が存在する場合はＣＥＬＰデコーダ１３２も更に有する。データ記憶部１４が存在しない場合には、画像・音声分離部１３は、画像・音声記憶部１２より入力されるＤＶフォーマットの画像・音声データを、ＤＶデコーダ１３１で復調して画像データ、第１音声データ、及び第２音声データに分離する。
【００４５】
データ記憶部１４が存在する場合には、画像・音声分離部１３は、画像・音声記憶部１２より入力されるＤＶフォーマットの画像・音声データを、ＤＶデコーダ１３１で復調して画像データ及び第１音声データに分離し、かつ、データ記憶部１４より入力される音声データをＣＥＬＰデコーダ１３２で復調して第２音声データとする。図５の画像・音声分離部１３において分離された画像データは画像表示部１７へ出力されて画像表示され、第１音声データ及び第２音声データは音声処理部１５へ出力される。
【００４６】
操作部１６は、少なくとも図６に示すような第１音声データに対応する第１の音量調節つまみ１６１と、第２音声データに対応する第２の音量調節つまみ１６２を含んだ構成とされ、利用者がそれぞれの音声データの音量を対応する音量調節つまみ１６１、１６２を使用して調節する。第１音声データに対応する第１音量調節つまみ１６１には、０から適当な自然数Ｎ（図６では一例として「１０」）までの目盛りを配す。
【００４７】
一方、第２音声データに対応する第２音量調節つまみ１６２には、０を中心として適当な負数Ｍ−（図６では一例として「−５」）から適当な正数Ｍ＋（図６では一例として「＋５」）までの目盛りを配す。それぞれの音量調節つまみ１６１、１６２が示す音量値は、音声処理部１５へ出力される。
【００４８】
図５の音声処理部１５は、画像・音声分離部１３より入力される第１音声データと第２音声データを１つに混合し、音声再生部１８へ出力する。このとき、操作部１６より入力される第１音量調節つまみ１６１の音量値、及び第２音量調節つまみ１６２の音量値に従って各音声データの音量を調節する。ただし、第２音量調節つまみ１６２の音量値が負数の場合には、第２音声データの音量を０とし、さらに、第１音声データから第２音量調節つまみ１６２の音量値の絶対値に相当する第２音声データの成分を減ずる。
【００４９】
また、図５において、画像表示部１７は、画像・音声分離部１３より入力される画像データを表示する。また、音声再生部１８は、音声処理部１５より入力される音声データを再生発音する。
【００５０】
以上の構成により、本実施の形態によれば、利用者は本発明のビデオカメラで撮影したビデオコンテンツの第１音声データと第２音声データを自由な組み合わせと音量で再生できる。例えば、２つの音声を混合して再生することもできるし、どちらか一方のみを再生することもできる。さらに、ナレーション等の第２音声データの成分が撮影者の意に反して第１音声データにも含まれる場合には、利用者が第２音声を再生したくない場合、第２音声データの音量を負数で調節することにより、第１音声データに含まれる第２音声データの成分を減ずることができる。
【００５１】
次に、本発明のビデオ再生装置の第２の実施の形態について図面を参照して説明する。図７は本発明になるビデオ再生装置の第２の実施の形態のブロック図を示す。同図中、図５と同一構成部分には同一符号を付し、その説明を省略する。図７において、画像・音声分離部２０は、データ記憶部１４が存在しない場合には、画像・音声記憶部１２より入力されるＤＶフォーマットの画像・音声データを、画像データ、第１音声データ及び第２音声データに分離する。
【００５２】
データ記憶部１４が存在する場合には、画像・音声分離部２０は、画像・音声記憶部１２より入力されるＤＶフォーマットの画像・音声データを、画像データ及び第１音声データに分離し、データ記憶部１４より入力される音声データを第２音声データとする。更に、画像・音声分離部２０は、分離した画像データを画像表示部１７へ出力し、分離した第１音声データは音声再生部２１へ出力し、入力された第２音声データは音声認識部２２へ出力する。
【００５３】
音声再生部２１は、画像・音声分離部２０より入力される第１音声データを再生発音する。音声認識部２２は、画像・音声分離部２０より入力される第２音声データを認識し、文字データに変換する。音声認識には、例えば隠れマルコフモデルによる手法を用いる。音声認識部２２により変換された文字データは、文字表示部２３へ出力される。文字表示部２３は、音声認識部２２より入力される文字データを表示する。
【００５４】
以上の構成により、本実施の形態によれば、視聴者は画像表示部１７及び音声再生部２１で再生される画像・音声データを視聴すると共に、ナレーション等の第２音声データを文字表示部２３で文字データとして見ることができる。
【００５５】
次に、音声認識の一手法である隠れマルコフモデルによる手法について説明する。図８は、隠れマルコフモデルによる音声認識手法の流れを示す概念図である。同図に示すように、隠れマルコフモデルによる音声認識手法では、まず、入力される音声を分析し、音響特徴量を抽出する（ステップ１０１）。
【００５６】
次に、抽出された上記の音響特徴量から音素または単語を検索する。ここでは、隠れマルコフモデルと呼ばれる時系列信号の確率音響モデルを音声特徴量の系列に適用することにより、音声信号から音素を認識し、さらに音素を結合することにより単語を認識する。さらに、得られた単語列に言語モデルを適用し、文として認識することにより、認識の精度を高めることができる。最後に、認識結果として文字列が出力される（以上ステップ１０２）。
【００５７】
次に、本発明のビデオ再生装置の第３の実施の形態について図面を参照して説明する。図９は本発明になるビデオ再生装置の第３の実施の形態のブロック図を示す。同図中、図７と同一構成部分には同一符号を付し、その説明を省略する。図９において、画像・音声記憶部２４の構成は、図７の画像・音声記憶部１２とほぼ同様であるが、画像・音声記憶部２４は、制御部２９の指示に従って、ＤＶフォーマットの画像・音声データを画像・音声分離部２０へ出力する機能と、磁気テープの位置を示す時間情報をデータ記憶部１４及び文字データ記憶部２６へ出力する機能を有する。
【００５８】
また、図９の音声認識部２５は、画像・音声分離部２０より入力される第２音声データを、例えば隠れマルコフモデルによる手法を用いて文字データに変換し、その文字データを文字表示部２３へ出力する点は第２の実施の形態の音声認識部２２と同様であるが、この音声認識部２５は更に文字データを文字データ記憶部２６へも出力する。
【００５９】
文字データ記憶部２６は、音声認識部２５より入力される文字データと、この文字データ入力時に画像・音声記憶部２４から入力される時間情報を関連付けて記憶する。その後、文字データ記憶部２６は、文字データ検索部２７の要求に応じて文字データとそれに関連する時間情報を文字データ検索部２７へ出力する。
【００６０】
操作部２８は、ビデオコンテンツの再生・停止のためのボタンと、文字データの検索のための検索文字列を入力するキーボードを有する。操作部２８で発生された再生・停止信号は制御部２９へ出力され、検索文字列は文字データ検索部２７へ出力される。
【００６１】
文字データ検索部２７は、操作部２８より入力される検索文字列を用いて文字データ記憶部２６に記憶されている文字データを検索する。続いて、文字データ検索部２７は、検索文字列に一致する文字データが検索されると、その文字データに関連する時間情報の示す位置からのビデオコンテンツ再生を指示する信号を制御部２９へ出力する。
【００６２】
制御部２９は、操作部２８よりビデオコンテンツ再生・停止信号が入力されると、画像・音声記憶部２４へビデオコンテンツ再生・停止を指示する制御信号を出力する。また、文字データ検索部２７より時間情報の示す位置からのビデオコンテンツ再生を指示する信号が入力されると、画像・音声記憶部２４へその時間情報の示す位置からのビデオコンテンツ再生・停止を指示する制御信号を出力する。
【００６３】
次に、本発明のビデオ再生装置の第３の実施の形態における、１文字列による頭出し位置の検索の処理の流れについて、図１０のフローチャートと共に詳細に説明する。初めに、利用者が図９の操作部２８を操作し、制御部２９を介して画像・音声記憶部２４に記憶されているビデオコンテンツを先頭から再生する（ステップＳ１）。そして、ビデオコンテンツの最後まで音声認識部２５による音声認識と、文字データ記憶部２６による文字データの記憶を行う。この処理は利用者が、画像表示部１７により表示される映像を確認しながら実時間で行ってもよいし、実時間より高速に行ってもよい。
【００６４】
次に、利用者が操作部２８で検索文字列を入力し、文字データの検索を行う（ステップＳ３）。文字データ検索部２７において、一致する文字データが検索されると、一致する文字データに対応する位置から頭出し再生を始める（ステップＳ４）。次に、利用者が停止したい位置で操作部２８を操作すると、その操作信号に基づき制御部２９から出力される制御信号に基づき、画像・音声記憶部２４での再生を停止する（ステップＳ５）。利用者が見たいビデオコンテンツのシーンがなくなるまで、この処理を繰り返して終了する。
【００６５】
なお、本発明は以上の実施の形態に限定されるものではなく、例えば、第２の音声入力部２はナレーション等の撮影者の発する音声を収音して所定の第２音声データに変換するものと説明したが、第２の音声入力部２が収音する音声の音源としては、アフレコが可能な、撮影者の発する音声以外の所望の音源からの音声（例えば効果音、ＢＧＭなど）であってもよい。また、第３の実施の形態に第１の実施の形態の音声処理部１５を設け、操作部により第１音声データ及び第２音声データの各音量値を独立して調節できる機能を更に持たせるようにしてもよい。
【００６６】
【発明の効果】
以上説明したように、本発明によれば、記録媒体からの画像データ及び第１音声データと共に再生されるべき記録媒体の所望の記録位置を示す時間情報と共に、第１音声データとは独立に第２音声データを、画像データ及び第１音声データの記録媒体への記録時と並行して、又は画像データ及び第１音声データの記録媒体への記録後の任意のタイミングでデータ記憶手段に格納するようにしたため、上記の第２音声データとして、ナレーション等の撮影者の発する音声による音声データとした場合は、撮影者が撮影と同時にナレーションを記録した場合でも、編集時にナレーションを自由に追加、削除することが自由にできる。
【００６７】
また、本発明によれば、撮影時に画像と共に記録した第１音声データと、撮影時又はアフレコ録音した第２音声データを記録媒体から再生し、各々音量制御信号に応じた独立した割合で混合し、その混合音声データを再生して発音することにより、ビデオコンテンツの第１音声データと第２音声データを自由な組み合わせと音量で再生できるようにしたため、２つの音声を混合して再生することもできるし、どちらか一方のみを再生することもでき、更には、ナレーション等の第２音声データの成分が撮影者の意に反して第１音声データにも含まれる場合には、利用者が第２音声を再生したくない場合、第１音声データに含まれる第２音声データの成分を減ずることができる。
【００６８】
また、本発明によれば、画像データと第１音声データとが、所定の記録フォーマットで記録されている記録媒体と、所望の音源の音声信号を圧縮符号化して得られた第２音声データが時間情報と共に格納された記憶部とから、画像データ及び第１音声データ及び第２音声データの再生を行うに際し、上記の第２音声データを文字データに変換し、その文字データと記録媒体より入力される時間情報を関連付けて文字データ記憶手段に記憶しておき、入力した任意の検索文字列が文字データ記憶手段に記憶されている文字データと一致するか否かを検索し、検索文字列に一致する文字データが検索されると、その文字データに関連して文字データ記憶手段に記憶されている時間情報の示す位置からのビデオコンテンツ再生を行うことにより、第２音声データの所望の文字データの記録位置からの頭出し再生ができるため、キーワードによる検索のように、ビデオコンテンツの内容に基づく頭出し再生ができる。
【図面の簡単な説明】
【図１】本発明のビデオカメラの第１の実施の形態のブロック図である。
【図２】本発明のビデオカメラの第１の実施の形態の、撮影における音声入力方法の選択肢、及び音声記録方式の選択肢を示す図である。
【図３】本発明のビデオカメラの第２の実施の形態のブロック図である。
【図４】本発明のビデオカメラの第２の実施の形態における、データ記憶部の記憶フォーマット例を示す図である。
【図５】本発明のビデオ再生装置の第１の実施の形態のブロック図である。
【図６】本発明のビデオ再生装置の第１の実施の形態における、操作部の一例を示す図である。
【図７】本発明のビデオ再生装置の第２の実施の形態のブロック図である。
【図８】本発明のビデオ再生装置の第２の実施の形態における、隠れマルコフモデルによる音声認識手法の処理の流れを示す概念図である。
【図９】本発明のビデオ再生装置の第３の実施の形態のブロック図である。
【図１０】本発明のビデオ再生装置の第３の実施の形態における、文字列による頭出し位置の検索の処理の流れを示すフローチャートである。
【符号の説明】
１　第１の音声入力部
２　第２の音声入力部
３　画像入力部
４、８　データ処理部
５、９、１２、２４　画像・音声記憶部
６、１６、２８　操作部
７、１７　画像表示部
１０、１４　データ記憶部
１３、２０　画像・音声分離部
１５　音声処理部
１８、２１　音声再生部
２２、２５　音声認識部
２３　文字表示部
２６　文字データ記憶部
２７　文字データ検索部
２９　制御部
４１、８１　ＤＶエンコーダ
４２、１３１　ＤＶデコーダ
４３　画像切り替え部
８２　ＣＥＬＰエンコーダ
１３２　ＣＥＬＰデコーダ
【図１】
2004072306.tif 000003
【図２】
2004072306.tif 000004
【図３】
2004072306.tif 000005
【図４】
2004072306.tif 000006
【図５】
2004072306.tif 000007
【図６】
2004072306.tif 000008
【図７】
2004072306.tif 000009
【図８】
2004072306.tif 000010
【図９】
2004072306.tif 000011
【図１０】
2004072306.tif 000012