(57)【要約】【課題】  低ゲインで記録したバックアップ音声を主音声の代わりに使う期間をユーザに通知する。【解決手段】  音声入力部（１０２）は、マイクによる入力音声信号を高いゲインで増幅した主音声と、低いゲインで増幅したバックアップ音声を出力し、符号化処理部（１０６）は音声入力部（１０２）からの音声信号を符号化して記録再生部（１０７）に供給する。制御部（１０９）は、バックアップ音声の最大値、主音声非線形期間（開始と終了）及びゲイン差を示す情報を記録再生部（１０７）に供給する。記録再生部（１０７）は、これらを記録媒体（１０８）に記録再生する。再生時に、音声出力部（１１１）は、主として主音声信号をスピーカ（１１２）に出力し、主音声の非線形期間についてバックアップ音声で差し替えて出力する。制御部（１０９）は、再生時に表示部（１０５）に主音声及びバックアップ音声のストリームと主音声非線形期間とを表示する。【選択図】  図１
2015069689.tif 000002
【特許請求の範囲】
【請求項１】
音声信号を入力する音声入力手段と、
前記音声入力手段による入力音声信号を増幅する第１の増幅手段と、
前記音声入力手段による前記入力音声信号を増幅する増幅手段であって、前記第１の増幅手段のゲインよりも低いゲインを有する第２の増幅手段と、
前記第１の増幅手段の出力をＡ／Ｄ変換し、第１の音声信号を出力する第１のＡ／Ｄ変換手段と、
前記第２の増幅手段の出力をＡ／Ｄ変換し、第２の音声信号を出力する第２のＡ／Ｄ変換手段と、
前記第２の音声信号のレベルを監視し、前記第１の音声信号の非線形期間と、前記第２の音声信号の最大レベルとを検知する監視手段と、
前記第１及び第２のＡ／Ｄ変換手段の出力音声信号、前記第１の音声信号の非線形期間、前記第２の音声信号の最大レベル、並びに前記第１及び第２の増幅手段のゲイン差を記録媒体に記録再生する記録再生手段と、
前記記録再生手段により前記記録媒体から再生される前記第１の音声信号を出力する音声出力手段であって、その前記非線形期間について前記記録再生手段により前記記録媒体から再生される前記第２の音声信号で差し替えて出力する音声出力手段と、
再生時に前記非線形期間をユーザに通知する通知手段
とを具備することを特徴とする記録再生装置。
【請求項２】
前記監視手段は、前記第１の増幅手段と前記第２の増幅手段のゲインの差分と、前記第２の音声信号のレベルとから、前記第１の音声信号の非線形期間を検知することを特徴とする請求項１に記載の記録再生装置。
【請求項３】
前記監視手段は、前記第１の音声信号の非線形動作領域ごとに前記非線形期間を検知し、
前記記録再生手段は、前記非線形動作領域ごとの前記非線形期間を記録し、
前記通知手段は、前記非線形動作領域ごとの前記非線形期間をユーザに通知する
ことを特徴とする請求項１又は２に記載の記録再生装置。
【請求項４】
前記通知手段は、前記第１及び第２の音声信号のストリームを同一時間軸上に並べて配置し、前記第１の音声信号の非線形期間を、他の期間と識別できるように表示する表示手段であることを特徴とする請求項１ないし３の何れか１項に記載の記録再生装置。
【請求項５】
前記音声出力手段は、前記第１の増幅手段と前記第２の増幅手段のゲインの差分を参照し、前記第１の音声信号に対して差し替える前記第２の音声信号のレベルを調整することを特徴とする請求項１ないし４の何れか１項に記載の記録再生装置。
【請求項６】
音声信号を入力する音声入力手段と、
前記音声入力手段による入力音声信号を増幅する第１の増幅手段と、
前記音声入力手段による前記入力音声信号を増幅する増幅手段であって、前記第１の増幅手段のゲインよりも低いゲインを有する第２の増幅手段と、
前記第１の増幅手段の出力をＡ／Ｄ変換し、第１の音声信号を出力する第１のＡ／Ｄ変換手段と、
前記第２の増幅手段の出力をＡ／Ｄ変換し、第２の音声信号を出力する第２のＡ／Ｄ変換手段と、
前記第２の音声信号のレベルを監視し、前記第１の音声信号の非線形期間と、前記第２の音声信号の最大レベルとを検知する監視手段と、
前記第１及び第２の音声信号、前記第１の音声信号の非線形期間、前記第２の音声信号の最大レベル、並びに前記第１及び第２の増幅手段のゲイン差を記録媒体に記録する記録手段
とを具備することを特徴とする記録装置。
【請求項７】
前記監視手段は、前記第１の増幅手段と前記第２の増幅手段のゲインの差分と、前記第２の音声信号のレベルとから、前記第１の音声信号の非線形期間を検知することを特徴とする請求項６に記載の記録装置。
【請求項８】
前記監視手段は、前記第１の音声信号の非線形動作領域ごとに前記非線形期間を検知し、
前記記録手段は、前記非線形動作領域ごとの前記非線形期間を記録する
ことを特徴とする請求項６又は７に記載の記録装置。
【請求項９】
音声入力手段による入力音声信号を第１のゲインで増幅しＡ／Ｄ変換した第１の音声信号と、前記入力音声信号を前記第１のゲインよりも低い第２のゲインで増幅しＡ／Ｄ変換した第２の音声信号と、前記第１の音声信号の非線形期間と、前記第２の音声信号の最大レベルと、前記第１及び第２のゲインの差とを記録媒体から再生する再生手段と、
前記再生手段により前記記録媒体から再生される前記第１の音声信号を出力する音声出力手段であって、その前記非線形期間について前記再生手段により前記記録媒体から再生される前記第２の音声信号で差し替えて出力する音声出力手段と、
再生時に前記非線形期間をユーザに通知する通知手段
とを具備することを特徴とする再生装置。
【請求項１０】
前記通知手段は、前記第１及び第２の音声信号のストリームを同一時間軸上に並べて配置し、前記第１の音声信号の非線形期間を、他の期間と識別できるように表示する表示手段であることを特徴とする請求項９に記載の再生装置。
【請求項１１】
前記音声出力手段は、前記第１の増幅手段と前記第２の増幅手段のゲインの差分を参照し、前記第１の音声信号に対して差し替える前記第２の音声信号のレベルを調整することを特徴とする請求項９又は１０に記載の再生装置。
【請求項１２】
入力音声信号を第１の増幅手段により増幅する第１の増幅ステップと、
前記入力音声信号を前記第１の増幅手段のゲインよりも低いゲインを有する第２の増幅手段で増幅する第２の増幅ステップと、
前記第１の増幅手段の出力をＡ／Ｄ変換し、第１の音声信号を出力する第１のＡ／Ｄ変換ステップと、
前記第２の増幅手段の出力をＡ／Ｄ変換し、第２の音声信号を出力する第２のＡ／Ｄ変換ステップと、
前記第２の音声信号のレベルを監視し、前記第１の音声信号の非線形期間と、前記第２の音声信号の最大レベルとを検知する監視ステップと、
前記第１及び第２のＡ／Ｄ変換手段の出力音声信号、前記第１の音声信号の非線形期間、前記第２の音声信号の最大レベル、並びに前記第１及び第２の増幅手段のゲイン差を記録媒体に記録再生する記録再生ステップと、
前記記録再生ステップにより前記記録媒体から再生される前記第１の音声信号を出力する音声出力ステップであって、その前記非線形期間について前記記録再生ステップにより前記記録媒体から再生される前記第２の音声信号で差し替えて出力する音声出力ステップと、
再生時に前記非線形期間をユーザに通知する通知ステップ
とを具備することを特徴とする記録再生方法。
【請求項１３】
入力音声信号を第１の増幅手段により増幅する第１の増幅ステップと、
前記入力音声信号を前記第１の増幅手段のゲインよりも低いゲインを有する第２の増幅手段で増幅する第２の増幅ステップと、
前記第１の増幅手段の出力をＡ／Ｄ変換し、第１の音声信号を出力する第１のＡ／Ｄ変換ステップと、
前記第２の増幅手段の出力をＡ／Ｄ変換し、第２の音声信号を出力する第２のＡ／Ｄ変換ステップと、
前記第２の音声信号のレベルを監視し、前記第１の音声信号の非線形期間と、前記第２の音声信号の最大レベルとを検知する監視ステップと、
前記第１及び第２のＡ／Ｄ変換手段の出力音声信号、前記第１の音声信号の非線形期間、前記第２の音声信号の最大レベル、並びに前記第１及び第２の増幅手段のゲイン差を記録媒体に記録する記録ステップ
とを具備することを特徴とする記録方法。
【請求項１４】
音声入力手段による入力音声信号を第１のゲインで増幅しＡ／Ｄ変換した第１の音声信号と、前記入力音声信号を前記第１のゲインよりも低い第２のゲインで増幅しＡ／Ｄ変換した第２の音声信号と、前記第１の音声信号の非線形期間と、前記第２の音声信号の最大レベルと、前記第１及び第２のゲインの差とを記録媒体から再生する再生ステップと、
前記再生ステップにより前記記録媒体から再生される前記第１の音声信号を出力する音声出力ステップであって、その前記非線形期間について前記再生ステップにより前記記録媒体から再生される前記第２の音声信号で差し替えて出力する音声出力ステップと、
再生時に前記非線形期間をユーザに通知する通知ステップ
とを具備することを特徴とする再生方法。
【請求項１５】
請求項１２、１３又は１４に記載される方法の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記録再生装置、記録装置、再生装置、これらの方法及びプログラム
に関し、より具体的には、良質な音声を取得可能な記録再生装置、記録装置、再生装置、これらの方法及びプログラムに関する。
【背景技術】
【０００２】
従来のビデオカメラでは、音声信号を良好な信号対雑音比（Ｓ／Ｎ比）で記録するには、Ａ／Ｄ変換前のアナログアンプのゲインをなるべく上げる必要がある。しかし、突発的な過大音が入力すると、Ａ／Ｄ変換のダイナミックレンジをオーバーし、音声が歪んでしまうことがある。
【０００３】
このような問題に対し、マイク出力のアナログ音声信号を異なるゲインの複数のアナログアンプで増幅し、それぞれ個別にデジタル変換し、アナログ音声信号のレベルに応じてデジタル音声信号を選択する技術が知られている（特許文献１参照）。
【０００４】
業務機には、入力音声を高いゲインで記録すると共に、突発的な過大音にも対応できるように低いゲインでも同時に記録するものがある。メインの記録音声が歪んでいる場合、再生時または編集時に、オペレータが、メインの記録音声をバックアップの記録音声で差し替えできるようになっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３-３１６３８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来例では、ユーザ又はオペレータは、再生時にはメインの記録音声が歪んで非線形な信号になっているのかどうかも、非線形の期間がどれくらいなのかが分からなかった。その結果、映像編集に際してどのタイミングでバックアップ音声と差し替えればいいかわからないという課題があった。
【０００７】
本発明は、このような課題を解決する記録再生装置、記録装置、再生装置、これらの方法及びプログラムを提示することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る記録再生装置は、音声信号を入力する音声入力手段と、前記音声入力手段による入力音声信号を増幅する第１の増幅手段と、前記音声入力手段による前記入力音声信号を増幅する増幅手段であって、前記第１の増幅手段のゲインよりも低いゲインを有する第２の増幅手段と、前記第１の増幅手段の出力をＡ／Ｄ変換し、第１の音声信号を出力する第１のＡ／Ｄ変換手段と、前記第２の増幅手段の出力をＡ／Ｄ変換し、第２の音声信号を出力する第２のＡ／Ｄ変換手段と、前記第２の音声信号のレベルを監視し、前記第１の音声信号の非線形期間と、前記第２の音声信号の最大レベルとを検知する監視手段と、前記第１及び第２のＡ／Ｄ変換手段の出力音声信号、前記第１の音声信号の非線形期間、前記第２の音声信号の最大レベル、並びに前記第１及び第２の増幅手段のゲイン差を記録媒体に記録再生する記録再生手段と、前記記録再生手段により前記記録媒体から再生される前記第１の音声信号を出力する音声出力手段であって、その前記非線形期間について前記記録再生手段により前記記録媒体から再生される前記第２の音声信号で差し替えて出力する音声出力手段と、再生時に前記非線形期間をユーザに通知する通知手段とを具備することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、再生時に主音声の非線形期間の有無やその長さがわかるので、編集の必要性を認識することが可能となる。また、また編集時には主音声をバックアップ音声に差し替えるタイミングがわかるので、編集の利便性が向上する。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施例の概略構成ブロック図である。
【図２】図１に示す音声入力部の概略構成ブロック図である。
【図３】主音声とバックアップ音声のゲイン比較図である。
【図４】コンプレッサ動作領域とリミッタ動作領域の期間情報を生成する動作のフローチャートである。
【図５】再生時の表示例である。
【図６】再生動作のフローチャートである。
【図７】主音声のバックアップ音声への差し替えを説明する模式図である。
【図８】音声差し替えのための音声出力部の概略構成ブロック図である。
【図９】編集時の表示例である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１２】
図１は、本発明の一実施例を組み込んだ撮像装置の概略構成ブロック図を示す。
【００１３】
撮像装置１００の撮像部１０１は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換及び画像調整処理などを行い、画像データを生成する。音声入力部１０２は、内蔵マイク（または音声端子を介して接続された複数のマイク）による撮像装置１００の周辺の音声を取り込み、アナログデジタル変換及び音声処理などを行い、音声データを出力する。
【００１４】
メモリ１０３は、撮像部１０１により得られた画像データ及び音声入力部１０２により得られた音声データを一時的に記憶する。表示制御部１０４は、撮像部１０１により得られた画像データに係る映像や、撮像装置１００の操作画面、メニュー画面等を表示部１０５に表示する。表示制御部１０４はまた、不図示の映像端子を介して外部表示装置に同様の画像を表示させることができる。
【００１５】
符号化処理部１０６は、メモリ１０３に一時記憶された画像データ及び音声データを所定符号化方式で符号化し、それぞれ圧縮画像データ及び圧縮音声データを生成する。
【００１６】
記録再生部１０７は、符号化処理部１０６で生成された圧縮画像データ及び圧縮音声データ並びに各種データを記録媒体１０８に記録する。記録媒体１０８には、撮像装置１００の制御部１０９上で動作するプログラムも記憶される。記録再生部１０７はまた、記録媒体１０８に記録された圧縮画像データ、圧縮音声データ、各種データ及びプログラムを読み出し、メモリ１０３に格納する。記録媒体１０８は、圧縮画像データ及び圧縮音声データ等を記録できるあらゆる方式の記録媒体であればよく、例えば、磁気ディスク、光学式ディスク又は半導体メモリなどが利用可能である。
【００１７】
制御部１０９は、撮像装置１００の各ブロックを統括的に制御する。制御部１０９は、各種制御を実行するためのＣＰＵとメモリなどからなる。操作部１１０は、ボタンやダイヤルなどからなり、ユーザの操作に応じた指示信号を制御部１０９に送信する。
【００１８】
音声出力部１１１は、記録再生部１０７により再生された圧縮音声データの再生音声信号と、制御部１０９から出力される音声データの音声信号をスピーカ１１２に供給する。音声出力部１１１はまた、図示しない音声端子から外部に音声信号を出力する。
【００１９】
外部出力部１１３は、記録再生部１０７により再生された圧縮映像データ及び圧縮音声データを含むデータを外部機器に出力する。
【００２０】
データバス１１４は、音声データ及び画像データ等の各種データと各種制御信号を撮像装置１００の各ブロック間で転送する。
【００２１】
ＲＴＣ（Real Time Clock）１１５は、現在時刻を計時するタイマである。制御部１０９及び記録再生部１０７は、ＲＴＣ１１５の出力日時データを参照することで、所定形式のタイムコードを生成できる。
【００２２】
撮像装置１００の通常の動作を説明する。ユーザが操作部１１０の電源ボタンをオンにすると、撮像装置１００の図示しない電源供給部が、撮像装置１００の各ブロックに電力を供給する。
【００２３】
必要な電力が供給されると、制御部１０９は、操作部１１０のモード切換えスイッチにより指定される動作モードが、例えば、動画記録モード及び再生モード等の何れであるかを確認する。動画記録モードでは、制御部１０９は、撮像部１０１により得られる画像データと音声入力部１０２により得られる音声データとを１つの映像ファイルとして記録媒体１０８に保存するように各部を制御する。再生モードでは、制御部１０９は、記録媒体１０８に記録された圧縮画像データを記録再生部１０７により再生して表示部１０５に表示させ、圧縮音声データを再生してスピーカ１１２から音声出力させる。
【００２４】
動画記録モードでの記録動作を簡単に説明する。制御部１０９は、撮影待機状態に移行させる制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせる。
【００２５】
撮像部１０１は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換、画像調整処理などを行い、画像データを生成する。表示制御部１０４は、撮像部１０１により得られる画像データの画像を表示部１０５に表示する。ユーザは、表示部１０５の画面に表示された画像を見ながら、撮影の準備を行う。
【００２６】
音声入力部１０２は、複数のマイクにより得られたアナログ音声信号をデジタル変換し、得られた複数のデジタル音声信号を処理して、マルチチャンネルの音声データを生成する。音声出力部１１１は必要により、音声入力部１０２からのマルチチャンネルの音声データをスピーカ１１２又は不図示のイヤホンから音声出力する。ユーザは、この様にして出力された音声を聞きながら音声ボリュームを操作することで、記録音量レベルを調整できる。
【００２７】
録画動作を説明する。ユーザが操作部１１０の記録ボタンを操作すると、操作部１１０は、撮影開始指示信号を制御部１０９に送信する。制御部１０９は、この撮影開始指示信号に従い、撮像装置１００の各ブロックを以下のように動作させる。
【００２８】
撮像部１０１は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換及び画像調整処理などを行い、画像データを生成する。撮像部１０１は生成した画像データを表示制御部１０４に送信し、表示制御部１０４は撮像部１０１からの画像データを表示部１０５に供給して画像を表示させる。撮像部１０１はまた、生成した画像データをメモリ１０３に書き込む。
【００２９】
音声入力部１０２は、複数のマイクにより得られたアナログ音声信号をデジタル変換し、得られた複数のデジタル音声信号を処理して、マルチチャンネルの音声データを生成する。そして、音声入力部１０２は、生成した音声データをメモリ１０３に書き込む。
【００３０】
符号化処理部１０６は、メモリ１０３に一時的に記憶された画像データ及び音声データを読み出して所定方式で符号化し、それぞれ圧縮画像データと圧縮音声データを生成する。
【００３１】
制御部１０９は、符号化処理部１０６で生成された圧縮画像データ及び圧縮音声データを所定のフォーマットで合成してデータストリームを形成し、記録再生部１０７に出力する。
【００３２】
記録再生部１０７は、ＵＤＦ又はＦＡＴ等のファイルシステム管理のもとに、制御部１０９からのデータストリームを一つの動画ファイルとして記録媒体１０８に書き込む。記録再生部１０７は、ＲＴＣ１１５の出力する現在日時情報を参照し、動画ファイルに規定フォーマットのタイムコードを埋め込む。
【００３３】
撮像装置１００は、撮影中、以上の動作を継続する。これにより被写体の動画像が記録媒体１０８に書き込まれる。
【００３４】
ユーザが操作部１１０の記録ボタンを再度操作すると、制御部１０９は撮影終了の指示と理解し、撮像装置１００の各ブロックに以下のように録画動作を終了させる。
【００３５】
撮像部１０１及び音声入力部１０２は、それぞれ画像データ及び音声データの生成を停止する。符号化処理部１０６は、メモリに記憶されている残りの画像データと音声データとを読み出して符号化し、それらの圧縮画像データ及び圧縮音声データ等を生成し終えた段階で、動作を停止する。
【００３６】
制御部１０９は、これら最後の圧縮画像データ及び圧縮音声データを合成してデータストリームを形成し、記録再生部１０７に出力する。記録再生部１０７は、制御部１０９からのデータストリームの供給が停止したら、記録媒体１０８の動画ファイルをクローズして記録動作を停止する。
【００３７】
制御部１０９は、記録動作が停止すると、撮影待機状態への移行を指示する制御信号を撮像装置１００の各ブロックに送信して、撮影待機状態に戻らせる。
【００３８】
再生モードでの動作を説明する。再生モードになると、制御部１０９は、再生状態への移行を指示する制御信号を撮像装置１００の各ブロックに送信し、以下のように動作させる。
【００３９】
記録再生部１０７は、記録媒体１０８から、圧縮画像データと圧縮音声データとからなる指定された動画ファイルを読み出し、その圧縮画像データと圧縮音声データを符号化処理部１０６に供給する。符号化処理部１０６は、記録再生部１０７からの圧縮画像データと圧縮音声データを復号化し、画像データを表示制御部１０４に、音声データを音声出力部１１１にそれぞれ供給する。
【００４０】
表示制御部１０４は、符号化処理部１０６で復号化された画像データを表示部１０５に供給する。音声出力部１１１は、符号化処理部１０６で復号化された音声データをスピーカ１１２に供給する。これにより、記録媒体１０８から読み出された動画ファイルの画像が表示部１０５に表示され、音声がスピーカ１１２から出力される。音声出力部１１１は、スピーカ１１２でなく、外部スピーカに音声データを出力してもよい。
【００４１】
同じ音声信号を複数のゲインで記録するバックアップ記録動作を説明する。業務用ビデオカメラでは、撮影後に編集されることが多く、素材としての音声データはなるべくＳ／Ｎよく記録されることが望まれる。その目的で、入力音声信号を高目のゲインで記録しつつ、突発的な過大音量に備えて、低ゲインの音声信号をバックアップとして記録する構成が知られている。過大音量の部分では、ダイナミックレンジをオーバーし歪んでしまうので、その部分について、バックアップの音声信号を採用する。これにより、記録された音声データが全て使うことができないという事態を回避する。本明細書では、通常用途に対して適切に設定されたゲインで増幅した音声を主音声と呼び、突発的な過大音量に備えて、より低いゲインで増幅した音声をバックアップ音声と呼ぶ。また、主音声信号の記録データをメイン記録データと呼び、バックアップ音声信号の記録データをバックアップ記録データと呼ぶ。バックアップ記録データは映像データと関連付けされていれば良く、その格納先は、当該映像データと多重化する音声チャンネルでも、別ファイルでも良い。
【００４２】
図２は、撮像装置１００における音声入力・記録系の概略構成ブロック図を示す。
【００４３】
音声入力部１０２のマイク２０２は、周囲の音声を取り込み、対応するアナログ音声信号を出力する。マイク２０２の代わりに外部マイクの出力音声信号を入力する音声入力端子であってもよい。
【００４４】
アンプ２０３はメイン記録データを生成するためにゲインを高くとった主音声用増幅器であり、アンプ２０４はバックアップ記録データを生成するためにゲインを低くとったバックアップ音声用増幅器である。アンプ２０３，２０４は設定されたゲインでマイク２０２の出力音声信号を増幅する。Ａ／Ｄ変換器２０５は、アンプ２０３の出力音声信号をデジタル信号に変換し、Ａ／Ｄ変換器２０６は、アンプ２０４の出力音声信号をデジタル信号に変換する。
【００４５】
検波部２０７は、Ａ／Ｄ変換器２０６の出力音声データ（バックアップ音声データ）のレベルからバックアップ音声データの最大値と、主音声データが非線形になる期間（主音声非線形期間）を検出する。
【００４６】
制御部１０９は、検波部２０７で検出された、バックアップ音声最大値及び主音声非線形期間を示すデータ、並びにアンプ２０３，２０４のゲイン差を、記録再生部１０７に供給する。本実施例では、主音声非線形期間を示すデータとして、当該期間の開始を示すタイムコードと、終了を示すタイムコードを使用する。制御部１０９は、これらのタイムコードをＲＴＣ１１５の出力又は対応する映像データのタイムコードを参照して決定する。これにより、主音声非線形期間が、映像との関係で明確になる。
【００４７】
符号化処理部１０６は、Ａ／Ｄ変換器２０５，２０６の出力音声データを符号化し、それぞれの圧縮音声データを生成する。記録再生部１０７は、符号化処理部１０６からの圧縮画像データと圧縮音声データに制御部１０９からの情報（バックアップ音声最大値及び主音声非線形期間及びアンプ２０３，２０４のゲイン差）を多重して、記録媒体１０８に記録する。例えば、記録再生部１０７は、制御部１０９からの情報を符号化ストリームのメタデータに埋め込む。メタデータとしてこれらの情報を埋め込む方法は周知であるので、詳細な説明は省略する。
【００４８】
図３を用いて、検波部２０７による主音声非線形期間の取得方法を説明する。図３は、主音声とバックアップ音声の入出力関係を示す模式図である。基本的な考え方として、バックアップ音声信号のレベルをモニタする際に、アンプ２０３とアンプ２０４のゲイン差を考慮する。
【００４９】
図３で、横軸はアンプ２０３，２０４の入力レベルを、縦軸は出力レベルをそれぞれ示す。特性３０１は、主音声のアンプ２０３の入出力特性を示し、特性３０２はバックアップ音声のアンプ２０４の入出力特性を示す。アンプ２０３の入出力特性３０１は、低入力レベルでは線形であるが、入力レベルが上がるに連れ、コンプレッサ、リミッタ及びクリップが機能し、非線形となる。即ち、低入力レベルでのゲインに対し、コンプレッサ動作領域でゲインが若干低下し、リミッタ動作領域で更にゲインが低下するか一定値に制限され、クリップ領域では出力レベルは一定値に制限される。この説明例では、コンプレッサ動作領域、リミッタ動作領域及びクリップ領域が、非線形動作領域に相当する。他方、アンプ２０４の入出力特性３０２は、ゲインを低めに設定してあるので、全入力レベルの領域で線形となる。換言すると、アンプ２０４には、全入力レベルの領域で線形となる入出力特性３０２が得られるゲインを設定する。
【００５０】
アンプ２０３に装備されるコンプレッサ・リミッタ機能を簡単に説明すると、以下の通りである。コンプレッサは２：１又は３：１といったコンプレッション比を持ち、２：１の場合、入力が２ｄＢ増加すると出力が１ｄＢ増加する。リミッタは、出力レベルがある閾値を超えると、出力が当該閾値を下回るようにゲインを下げていくように動作をする。
【００５１】
線形動作領域とコンプレッサ動作領域の境をコンプ閾値、コンプレッサ動作領域とリミッタ動作領域の境をリミット閾値と呼ぶ。また、入力信号がＡ／Ｄ変換器２０５のダイナミックレンジを超えてクリップし始める入力レベルをクリップ閾値という。主音声信号のレベルがコンプ閾値を越えた期間が、主音声非線形期間となる。
【００５２】
例えば、主音声信号のコンプ閾値が-２０ｄＢＦＳで、アンプ２０３，２０４のゲイン差が１０ｄＢであるとした場合、バックアップ音声信号に換算すると、-３０ｄＢＦＳがコンプ閾値となる。すなわち、バックアップ音声信号レベルが−３０ｄＢ以上となる期間が、主音声非線形期間ということになる。もちろん、操作部１１０のマニュアルボリューム調整によりユーザがアンプ２０３のゲインを変更した場合、アンプ２０３の変更後のゲインを反映したアンプ２０３，２０４のゲイン差を考慮して、バックアップ音声信号のコンプ閾値を決定する。
【００５３】
検波部２０７は、Ａ／Ｄ変換器２０５の出力音声レベルから、バックアップ音声信号のアンプ２０４への入力レベルが-３０ｄＢＦＳを超えたタイミングで、制御部１０９に主音声非線形期間の開始を通知する。また、検波部２０７は、Ａ／Ｄ変換器２０５の出力音声レベルから、バックアップ音声信号のアンプ２０４への入力レベルが-３０ｄＢＦＳを下回るタイミングで、制御部１０９に主音声非線形期間の終了を通知する。
【００５４】
制御部１０９は、主音声非線形期間の開始時と終了時の映像のタイムコードを主音声非線形期間情報として記録再生部１０７に供給する。記録再生部１０７は、制御部１０９からの主音声非線形期間の開始時のタイムコードと終了時のタイムコードをメタデータとして記録する。
【００５５】
Ａ／Ｄ変換器２０６の出力音声レベルでそのまま主音声非線形期間の開始と終了を制御部１０９に通知すると、開始／終了の通知回数が多くなり、メタデータのデータ量も多くなってしまう。これを避けるためには、Ａ／Ｄ変換器２０６の出力音声データを絶対値変換した後、エンベロープ検波することが望ましい。また、エンベロープ検波をしても開始／終了の通知回数が多くなる場合には、主音声非線形期間の終了後の所定時間以内、例えば、１秒以内に再度、主音声非線形期間が開始するような場合には、前回の主音声非線形期間と結合する。例えば、メタデータを上書きする。先行する主音声非線形期間の終了と、これに続く主音声非線形期間の開始との間のウェイト時間又は猶予時間は、１秒に限定されない。
【００５６】
単に主音声非線形期間の開始と終了だけでなく、コンプ閾値、リミット閾値及びクリップ閾値を越えるタイミング及び下回るタイミングも記録するようにしてもよい。換言すると、コンプレッサ動作領域以上の期間、リミッタ動作領域以上の期間及びクリップ領域の期間を個別に記録してもよい。これらの期間の情報は、主音声に代えてバックアップ音声を採用すべき期間は状況により異なるものであり、オペレータ又はユーザが判断する資料となりうるからである。
【００５７】
図４は、コンプレッサ動作領域のメタデータとリミッタ動作領域のメタデータを別々に生成する動作のフローチャートである。
【００５８】
記録開始後、検波部２０７は、Ａ／Ｄ変換器２０６の出力音声データレベルのモニタ結果から、アンプ２０４の入力音声レベルがコンプ閾値を超えるのを待機する（Ｓ４０１）。コンプ閾値を超えると（Ｓ４０１）、検波部２０７は、この時点のバックアップ音声信号レベルをメタデータ記録用にピークホールドし、制御部１０９にコンプレッサ動作領域の開始を通知する（Ｓ４０２）。
【００５９】
制御部１０９は、検波部２０７からの通知に従い、この時点のタイムコードをコンプレッサ動作領域の開始タイムコードとして記録再生部１０７に供給する（Ｓ４０３）。記録再生部１０７は、制御部１０９からのこの開始タイムコードを上述した態様で記録媒体１０８に記録する（Ｓ４０３）。
【００６０】
検波部２０７は、Ａ／Ｄ変換器２０６の出力音声データレベルのモニタ結果から、アンプ２０４の入力音声レベルがリミッタ閾値を超えるかどうかをモニタする（Ｓ４０４）。アンプ２０４の入力音声レベルがリミッタ閾値を超えない状況では、ステップＳ４０５〜Ｓ４０７を迂回して、ステップＳ４０８に移行する。
【００６１】
アンプ２０４の入力音声レベルがリミッタ閾値を超える状況になると（Ｓ４０４）、リミッタ動作領域の開始時点を示すタイムコードが記録される（Ｓ４０５）。具体的には、検波部２０７は、制御部１０９にリミッタ動作領域の開始を通知する。制御部１０９は、検波部２０７からの通知に従い、この時点のタイムコードをリミッタ動作領域の開始タイムコードとして記録再生部１０７に供給する。記録再生部１０７は、制御部１０９からのこの開始タイムコードを上述した態様で記録媒体１０８に記録する。
【００６２】
ステップＳ４０５の後、検波部２０７は、Ａ／Ｄ変換器２０６の出力音声データレベルのモニタ結果から、アンプ２０４の入力音声レベルがリミッタ閾値以下になるのを待機する（Ｓ４０６）。リミッタ閾値以下になると（Ｓ４０６）、リミッタ動作領域の終了時点を示すタイムコードが記録される（Ｓ４０７）。具体的には、検波部２０７は、制御部１０９にリミッタ動作領域の終了を通知する。制御部１０９は、検波部２０７からの終了通知に従い、この時点のタイムコードをリミッタ動作領域の終了タイムコードとして記録再生部１０７に供給する。記録再生部１０７は、制御部１０９からのこの終了タイムコードを上述した態様で記録媒体１０８に記録する。
【００６３】
ステップＳ４０４又はＳ４０７の後、検波部２０７は、Ａ／Ｄ変換器２０６の出力音声データレベルのモニタ結果から、アンプ２０４の入力音声レベルがコンプ閾値以下になったかどうかを調べる（Ｓ４０８）。コンプ閾値以下になるまで、ステップＳ４０４〜Ｓ４０７が繰り返される。
【００６４】
アンプ２０４の入力音声レベルがコンプ閾値以下になると（Ｓ４０８）、コンプ動作領域の終了時点を示すタイムコードが記録される（Ｓ４０９）。具体的には、検波部２０７は、制御部１０９にコンプ動作領域の終了を通知する。制御部１０９は、検波部２０７からの終了通知に従い、この時点のタイムコードをコンプ動作領域の終了タイムコードとして記録再生部１０７に供給する。記録再生部１０７は、制御部１０９からのこの終了タイムコードを上述した態様で記録媒体１０８に記録する。
【００６５】
検波部２０７は、ステップＳ４０２で記憶した最大バックアップ音声レベルを制御部１０９に通知し、制御部１０９は、検波部２０７からの最大バックアップ音声レベルを記録再生部１０７に供給する。記録再生部１０７は、制御部１０９からの最大バックアップ音声レベルを記録媒体１０８に記録する。
【００６６】
このように、検波部２０７と制御部１０９は一体となって、バックアップ音声信号のレベルを監視し、主音声信号の非線形期間とバックアップ音声信号の最大レベルとを検知する監視手段として機能する。すなわち、検波部２０７と制御部１０９が果たす上述の役割は説明用であり、検波部２０７と制御部１０９との間で適宜に配分し得るものであることはいうまでもない。例えば、検波部２０７はＡ／Ｄ変換器２０６の出力音声レベルを検出して制御部１０９に通知する。制御部１０９は、検波部２０７からの検出レベルを参照し、最大値の決定、コンプ閾値及びリミッタ閾値との比較、コンプ動作領域及びリミッタ動作領域の開始と終了の決定を担当する。制御部１０９は、コンプ動作領域及びリミッタ動作領域の開始と終了を示すタイムコードをコンプ動作領域の終了をまってまとめて記録再生部１０７に供給し、記録再生部１０７が記録媒体１０８に記録するようにしてもよい。
【００６７】
図２に示す構成及び図４に示すフローチャートでは、主音声非線形期間をバックアップ音声レベルで判定したが、もちろん、主音声レベルで直接判定しても良い。但し、相対的に低いゲインのバックアップ音声の高いレベル部分で判定するので、主音声非線形期間の開始と終了の判定が、より容易でより高い精度となる。コンプ動作領域及びリミッタ動作領域の開始と終了についても同様に、精度良く判定できる。
【００６８】
再生時に主音声非線形期間を表示する動作を説明する。図５は再生時の表示例を示す。図５において、下部には映像と音声（オリジナル（主）とバックアップ）のストリームを同一時間軸上に並べて配置して表示する。５０１はタイムコードを示し、左端がストリームの最初、右端が映像の最後を表す。５０２，５０３，５０４はそれぞれ、映像信号、主音声信号及びバックアップ音声信号のストリームを示す。５０５，５０６，５０７は、主音声非線形期間を示す。下向き三角形のシンボル５０８，５０９はそれぞれ、主音声非線形期間５０５の開始タイミングと終了タイミングを示す。下向き三角形のシンボル５１０，５１１はそれぞれ、主音声非線形期間５０６の開始タイミングと終了タイミングを示す。下向き三角形のシンボル５１２，５１３はそれぞれ、主音声非線形期間５０７の開始タイミングと終了タイミングを示す。５１４は、再生中のタイムコードの位置を示すポインタであり、再生の時間経過とともに移動する。シンボル５０８〜５１３及びポインタは、対応するタイムコードから算出され、ストリーム上の対応する位置を示すように描画される。
【００６９】
図６は、再生時の動作フローチャートを示す。主音声をバックアップ音声で差し替える動作に関して、本実施例では、ユーザは、オフ（差し替えせず）、正規化差し替え及びフェード差し替えの何れかを選択できる。ユーザは操作部１１０により、何れかの選択を制御部１０９に指示する。
【００７０】
再生時に、制御部１０９は、ユーザによる差し替え再生に関する設定を読み込む（Ｓ６０１）。フェード差し替えが選択されている場合（Ｓ６０２）、制御部１０９は、フェード時間を設定する(Ｓ６０３)。
【００７１】
制御部１０９は、記録再生部１０７に指示して、記録音声の再生を開始する（Ｓ６０４）。制御部１０９は、差し替え設定を確認し（Ｓ６０５）、オフの場合、通常再生モードで動作するよう各部を制御する（Ｓ６０９）。通常再生モードでは、バックアップ音声のデコードは不要であり、制御部１０９は、記録再生部１０７に主音声の記録データのみを記録媒体１０８から読み出させ、符号化処理部１０６で復号化させる。音声出力部１１１が、符号化処理部１０６で復号化された主音声データをアナログ音声信号に変換して、スピーカ１１２を駆動する。これにより、主音声が音響出力される。
【００７２】
差し替え設定が有効（正規化差し替え又はフェード差し替え）の場合（Ｓ６０５）、制御部１０９は、主音声に非線形期間があるかどうかを確認する（Ｓ６０６）。これは、記録再生部１０７が記録媒体１０８から読み出した符号化データのメタデータを先読みすることで判明する。
【００７３】
主音声非線形期間が無い場合（Ｓ６０６）、制御部１０９は、差し替え再生無効の場合と同様に、記録再生部１０７、符号化処理部１０６及び音声出力部１１１を、通常再生モードで動作させる（Ｓ６０９）。
【００７４】
主音声非線形期間がある場合（Ｓ６０６）、制御部１０９は、表示部１０５の画面上の所定位置に図５に示すようにタイムラインを表示させる（Ｓ６０７）。そして、制御部１０９は、記録再生部１０７、符号化処理部１０６及び音声出力部１１１を差し替え再生モードで動作させる（Ｓ６０８）。
【００７５】
差し替え再生モードでは、制御部１０９は、主音声とバックアップ音声の記録データを記録媒体１０８から読み出し、復号化する。そして、制御部１０９は、主音声非線形期間以外では主音声を音響出力し、主音声非線形期間（及びその前後）では後述するようにバックアップ音声を音響出力するように音声出力部１１１を制御する。
【００７６】
先に説明したように、差し替え再生には、正規化差し替えとフェード差し替えが存在する。図７は、差し替えポイントでのオーディオストリームのゲインを示す模式図である。差し替え前は、図７（１）に示すように、主音声信号とバックアップ音声信号には、アンプゲイン差分に相当するレベル差７０１が存在する。従って、そのまま、主音声非線形期間をバックアップ音声信号で差し替えたのでは、差し替えポイントで不連続な音声になってしまう。
【００７７】
正規化差し替えの例を図７（２）に示す。バックアップ音声信号の差し替え期間内の最大値が０ｄＢＦＳになるようバックアップ音声信号を正規化し(７０２)、さらにバックアップ音声信号の正規化とアンプゲイン差との差分だけ、主音声信号をあらかじめ減衰させる(７０３)。これにより、差し替えポイントでも音声が連続につながる。ひとつの映像シーンに複数の差し替え期間が発生する場合、各差し替え期間におけるバックアップ音声信号の最大値を０ｄＢＦＳに正規化する。
【００７８】
フェード差し替えの例を図７（３）に示す。正規化差し替えの処理に加えて、正規化差し替えの主音声信号の減衰分を切り替え前後でフェードイン／フェードアウトさせる(７０４)。すなわち、主音声非線形期間の前後の予め設定されたフェード時間(７０５)に対し、正規化差し替えの主音声信号の減衰分だけ、主音声信号のレベルを変化させる。
【００７９】
図８は、音声出力部１１１の差し替え再生に関する部分の概略構成ブロック図である。音声出力部１１１には、符号化処理部１０６で復号化された主音声信号とバックアップ音声信号が入力する。８０２は、符号化処理部１０６からのデジタル主音声信号をアナログ信号に変換するＤ／Ａ変換器である。８０３は、符号化処理部１０６からのデジタルバックアップ音声信号をアナログ信号に変換するＤ／Ａ変換器である。８０４は主音声信号のレベルを変化させるアンプである。８０５はバックアップ音声信号のレベルを変化させるアンプである。８０６はアンプ８０４，８０５の出力をスイッチである。
【００８０】
制御部１０９は、再生中の映像の時間情報と主音声非線形期間を示すタイムコードとから、図７を参照して説明したように、アンプ８０４，８０５のゲインとスイッチ８０６の切り替えタイミングを制御する。すなわち、制御部１０９は、先に説明したタイミングで、アンプ８０５のゲイン制御によりバックアップ音声信号を正規化し、アンプ８０４のゲイン制御により主音声信号の減衰とフェードを制御する。
【００８１】
記録媒体１０８に記録された主音声信号とバックアップ音声信号を、上述の差し替えのためにコンピュータ上の編集ソフトウエアで編集することができる。編集の際には、主音声非線形期間をモニタ画面上に表示することで、オペレータは、主音声非線形期間をストリーム上で容易に識別でき、より適切な差し替えを行えるようになる。また、差し替え編集自体も容易になる。図９は、そのような編集作業における画面表示例を示す。図９でも、図５に示す例と同様に、映像と音声のストリームを、同一時間軸上に並べて配置している。
【００８２】
図９に示す例では、リミッタ動作領域９０１を示す主音声非線形期間の前後にコンプレッサ動作領域９０２ａ、９０２ｂを示す主音声非線形期間が存在する。下向き三角形のシンボル９０３は、先行するコンプレッサ動作領域９０２ａの開始点を示す。同シンボル９０４はコンプレッサ動作領域９０２ａの終了点であり、且つリミッタ動作領域９０１の開始点を示す。同シンボル９０５はリミッタ動作領域９０１の終了点であり、且つ、コンプレッサ動作領域９０２ｂの開始点を示す。同シンボル９０６はコンプレッサ動作領域９０２ｂの終了点を示す。シンボル９０３〜９０６の表示位置は、それぞれに対応するタイムコードから決定される。
【００８３】
図９に示す例でも、差し替えを自動実行する際の処理は、図６に示すフローを参照して説明した処理と同様である。
【図１】
2015069689.tif 000003
【図２】
2015069689.tif 000004
【図３】
2015069689.tif 000005
【図４】
2015069689.tif 000006
【図５】
2015069689.tif 000007
【図６】
2015069689.tif 000008
【図７】
2015069689.tif 000009
【図８】
2015069689.tif 000010
【図９】
2015069689.tif 000011