(57)【要約】【課題】  映像信号に関連した複数チャンネルの音声信号を処理する場合に、該映像信号に係る撮影条件に応じて音声信号のレベル調整を行い、映像に適合した現実味のある音響効果を得る。【解決手段】  映像信号に関連した複数チャンネルの音声信号を処理する機能を備えた情報処理装置１０において、音声変換処理手段１２は映像信号「（ＶＩＤＥＯ）in」に係る撮影条件（ズーム情報を含む。）を示すデータに応じて規定される調整用パラメータを有し、複数チャンネル音声信号（ＡＵＤＩＯ＿ＣＨ１〜ｎ）のレベルをそれぞれ変換して、サラウンド用の音声信号（ＡＵＤＩＯ１〜ｍ）を生成する。例えば、ズーミング操作の変倍率が大きい場合に、主にフロント成分を含む音声信号レベルが、主にリア成分を含む音声信号レベルに対して相対的に強調される。【選択図】図２
2005311604.tif 000002
【特許請求の範囲】
【請求項１】
映像信号に関連した複数チャンネルの音声信号を処理する機能を備えた情報処理装置において、
上記映像信号に係る撮影条件を示す情報に応じて規定される調整用パラメータに従って、上記複数チャンネルの音声信号のレベルをそれぞれ変換して複数の音声信号を生成する音声変換処理手段を有する
ことを特徴とする情報処理装置。
【請求項２】
請求項１に記載した情報処理装置において、
上記調整用パラメータがズーミング操作の変倍率によって規定され、該変倍率が大きい場合に、上記複数チャンネルの音声信号のうち、主にフロント成分を含む音声信号レベルが、主にリア成分を含む音声信号レベルに対して相対的に強調されるように変換される
ことを特徴とする情報処理装置。
【請求項３】
請求項１に記載した情報処理装置において、
上記調整用パラメータがズーミング操作の変倍率によって規定され、該変倍率が大きい場合に、上記複数チャンネルの音声信号のうち、主にフロント成分を含む音声信号に関して、センター成分を含む音声信号レベルが、左右成分を含む音声信号レベルに対して相対的に強調されるように変換される
ことを特徴とする情報処理装置。
【請求項４】
請求項２に記載した情報処理装置において、
上記変倍率が大きい場合に、上記複数チャンネルの音声信号のうち、主にフロント成分を含む音声信号に関して、センター成分を含む音声信号レベルが、左右成分を含む音声信号レベルに対して相対的に強調されるように変換される
ことを特徴とする情報処理装置。
【請求項５】
請求項１に記載の情報処理装置において、
上記映像信号に係る撮影条件を示す情報を上記映像信号及び音声信号とともに記録媒体に記録し又は該情報を記録媒体から映像信号及び音声信号とともに再生する
ことを特徴とする情報処理装置。
【請求項６】
映像信号に関連した複数チャンネルの音声信号を処理する機能を備えた情報処理装置に用いるプログラムにおいて、
上記映像信号に係る撮影条件を示す情報に応じて音量の調整用パラメータを変更するとともに、該調整用パラメータに従って、上記複数チャンネルの音声信号のレベルをそれぞれ変換して複数の音声信号を生成するステップを有する
ことを特徴とする情報処理装置に用いるプログラム。
【請求項７】
請求項６に記載した情報処理装置に用いるプログラムにおいて、
ズーミング操作の変倍率が大きい場合に、上記複数チャンネルの音声信号のうち、主にフロント成分を含む音声信号レベルが、主にリア成分を含む音声信号レベルに対して相対的に強調されるように変換するステップを有する
ことを特徴とする情報処理装置に用いるプログラム。
【請求項８】
請求項６に記載した情報処理装置に用いるプログラムにおいて、
ズーミング操作の変倍率が大きい場合に、上記複数チャンネルの音声信号のうち、主にフロント成分を含む音声信号に関して、センター成分を含む音声信号レベルが、左右成分を含む音声信号レベルに対して相対的に強調されるように変換するステップを有する
ことを特徴とする情報処理装置に用いるプログラム。
【請求項９】
請求項７に記載した情報処理装置に用いるプログラムにおいて、
上記変倍率が大きい場合に、上記複数チャンネルの音声信号のうち、主にフロント成分を含む音声信号に関して、センター成分を含む音声信号レベルが、左右成分を含む音声信号レベルに対して相対的に強調されるように変換するステップを有する
ことを特徴とする情報処理装置に用いるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数チャンネルの音声を変換してサランド音声を生成する場合に、ビデオ撮影時のズーム情報等を音声変換に反映させることで臨場感の再現に有効な音声変換処理を実現するための技術に関する。
【背景技術】
【０００２】
複数チャンネルのオーディオ信号と映像信号とを同時に一つの記録媒体に記録したり、あるいは記録された各信号の再生が可能な装置（例えば、ビデオカメラ等）が知られている。
【０００３】
ビデオ撮影によって取得される映像信号に対してステレオ音声（２チャンネル）しか記録又は再生を行うことができない場合には、充分な臨場感が得られないことや、大画面での映像表示に対して迫力のある音響効果を得ることが難しい。そこで、左右及び中央のスピーカに対して別位置に設置されるサブ・スピーカを組み合わせたサラウンドシステムにおいて、ステレオ音声及びフロントセンターの音声に加えてサラウンド音声（２チャンネル）や低周波数成分を含めた５．１チャンネルのオーディオ信号を映像信号とともに磁気テープに記録したり又は再生することができる装置が用いられる（例えば、特許文献１参照。）。
【０００４】
【特許文献１】特開２００３−１８５４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、複数チャンネルの音声信号に基づくサラウンド音声の再生環境において、映像信号に係る撮影条件を無視して音響効果を高めることはできない。
【０００６】
例えば、ビデオカメラによる撮影時に、特定の話者等を対象にしてズーミング操作（ズームイン）を行ってその映像を音声とともに記録している状況では、主としてカメラ前方の中央からの音声を、カメラ背後からの音声よりも強調する方が好ましい。しかし、従来の装置では、チャンネル毎のマイクロフォンで取得した音声信号を記録して、その再生が行われるに過ぎず、ビデオ撮影時の撮影条件等を考慮した音声処理は行われないか、あるいは、撮影者や編集者が事後的に音声レベルを調整して加工処理を施こしている程度である（所謂ホームシアター等においてサラウンドシステムが一般ユーザにも普及し始めているが、映像を見ながら音声データの加工や編集等を行うことは面倒な作業であり、利便性の面で問題がある。）。
【０００７】
ビデオ撮影時において、その撮影条件に関するデータを映像信号や音声信号に付属するデータ（附帯情報）として該信号とともにディスク状記録媒体やテープ状記録媒体に記録できるように構成すれば、音声信号の再生時に該データに基づいて信号レベルを調整することができるので、より臨場感に溢れる音響効果を得ることが可能になる。
【０００８】
そこで、本発明は、映像信号に関連した複数チャンネルの音声信号を処理する場合に、該映像信号に係る撮影条件に応じて音声信号のレベル調整を行い、映像に適合した現実味のある音響効果を得ることを課題とする。
【課題を解決するための手段】
【０００９】
本発明情報処理装置は、上記した課題を解決するために、映像信号に係る撮影条件を示す情報に応じて規定される調整用パラメータに従って、複数チャンネルの音声信号のレベルをそれぞれ変換する音声変換処理手段を有するものである。
【００１０】
また、本発明情報処理装置に用いるプログラムは、映像信号に係る撮影条件を示す情報に応じて音量の調整用パラメータを変更するとともに、該調整用パラメータに従って、複数チャンネルの音声信号のレベルをそれぞれ変換して複数の音声信号を生成するステップを有するものである。
【００１１】
本発明では、映像信号に係る撮影条件に応じた調整用パラメータに従って各音声信号の音量調整が行われる。
【発明の効果】
【００１２】
本発明によれば、映像信号に係る撮影条件を考慮して音声信号のレベル調整を行うことで、映像に適合した現実味のある音響効果が得られる。
【００１３】
そして、音量バランスの調整用パラメータがズーミング操作の変倍率によって規定されるようにした構成形態では、ズームイン時においてフロント成分をリア成分に対して相対的に強めると、前方からの音声が強調され、音響的にもズーム効果（遠近感）を奏することができる。
【００１４】
また、ズーミング操作の変倍率が大きい場合に、フロント成分を含む音声信号に関して、センター成分を左右成分に対して相対的に強めることにより、音響的なズーム効果を増強させることができる。
【００１５】
映像信号に係る撮影条件を示す情報については、映像信号及び音声信号とともに記録媒体に記録しておき、再生時には該情報を記録媒体から映像信号及び音声信号とともに取り出せるように構成すると、撮影時の映像と音声に対して附帯情報として管理し易い。
【発明を実施するための最良の形態】
【００１６】
図１は、本発明に関して、撮像処理系及び記録処理系の構成例を示したものである。
【００１７】
情報処理装置１は、撮像機能と、撮影によって得られる映像信号やマルチ・チャンネル（例えば、４チャンネル）の音声信号を所定の記録媒体、ＤＶＤ（Digital Versatile Disk）等のディスク状記録媒体や、磁気テープ等のテープ状記録媒体に記録する機能を備えている。例えば、ビデオカメラ、カメラ機能を有するコンピュータやＰＤＡ（個人携帯端末）、各種映像機器が挙げられる。
【００１８】
情報処理装置１を構成するカメラ系は、ズームレンズを含む変倍光学系２と、固体撮像素子（例えば、ＣＣＤ型、ＣＭＯＳ型等のエリアイメージセンサ）や撮像管等を用いた撮像手段３を備えている。そして、撮像手段３によって得られた信号が撮像処理部４に送出されて処理される。ここでは、例えば、アナログ−ディジタル（Ａ／Ｄ）変換等が行われ、撮像処理部４の出力信号は記録及び出力処理部８に送られる。
【００１９】
カメラ制御部５は、ズーミング制御やフォーカス制御等を含むレンズ系のサーボ制御や、撮像手段３の電子シャッター制御等を担当しており、カメラ系の撮像条件に関するデータを管理している。映像信号についての撮影条件を示す情報、例えば、画サイズや画角、ズーミングの変倍率に関する情報、あるいは、測光情報、撮影時の明るさや周囲照度等の情報が記録及び出力処理部８に送られる。
【００２０】
複数のマイクロフォン６、６、…は、チャンネル毎の音声信号を取得するための音声入力手段を構成している。各マイクロフォンによる音声信号は音声信号処理部７に送られ、アンプ等で増幅されるとともに、アナログ−ディジタル（Ａ／Ｄ）変換等が行われた後で記録及び出力処理部８に送られる。
【００２１】
記録及び出力処理部８は、映像信号や音声信号を処理して記憶装置９に記録したり、あるいは、映像信号や音声信号を外部装置に対して出力する機能を有する。
【００２２】
例えば、図中に「（ＶＩＤＥＯ）」で示す映像信号と、「（ＡＵＤＩＯ）」で示す音声信号、そして、「（Ｓｕｂｃｏｄｅ）」で示すサブコードデータを処理して、記憶装置９に記録し又は外部装置に出力する。
【００２３】
サブコードデータには、カメラ制御部５からの撮影条件に関するデータ等、映像信号や音声信号に付随するデータが含まれている。
【００２４】
記憶装置９としては、光磁気ディスク等の光学式記録媒体を用いたドライブ装置や、磁気ディスクや、ＤＶテープ等の磁気式記録媒体を用いた装置等が用いられるが、本発明の適用において記録形態の如何は問わないので、不揮発性の半導体メモリ等を用いた各種形態での実施が可能である。尚、記憶装置９は記録及び出力処理部８とともに記録再生手段を構成しており、映像信号に係る撮影条件を示すデータを映像信号及び音声信号とともに記録媒体に記録し、又は該データを記録媒体から映像信号及び音声信号とともに再生する。
【００２５】
図２は、信号処理系の構成例を示したものである。
【００２６】
情報処理装置１０は、映像信号及び該映像信号に関連した複数チャンネルの音声信号を処理する機能を備えており、映像信号処理手段１１と音声変換処理手段１２を有する。
【００２７】
図中に「（ＶＩＤＥＯ）in」で示す映像入力信号は映像信号処理手段１１に送出されて必要な処理を施された後、映像出力信号「（ＶＩＤＥＯ）out」として後段回路に供給される。例えば、液晶表示デバイス（ＬＣＤ）や陰極管（ＣＲＴ）等を用いた表示手段やプロジェクタ装置等に送出されて映像表示が行われる。
【００２８】
また、図中に「（ＡＵＤＩＯ＿ＣＨj）in」（ｊ＝１、２、…、ｎ）で示す各チャンネルの音声入力信号は音声変換処理手段１２に送出されて処理される。そして、音声変換処理手段１２によって得られる、複数の音声出力信号「（ＡＵＤＩＯi）out」（ｉ＝１、２、…、ｍ）は、音声出力装置（サラウンドシステムを構成するスピーカ群）に送出される。例えば、４チャンネルの音声信号を５．１チャンネルの音声信号に変換する構成への適用において、フロント成分（左右及び中央の３成分）、低周波数成分、リア成分（左右の２成分）のうち、フロント成分やリア成分について音声の調整を行うことができる。
【００２９】
カメラ系の撮影条件を示すデータは、映像信号処理手段１１や音声変換処理手段１２に送られて参照される。例えば、撮影時のズーム情報に応じて、フロント成分とリア成分の音量調整に関するバランスを変更することで、より臨場感ある音響効果を得ることができる（その具体的な方法については後で詳述する。）。あるいは、撮影時の周囲照度等の情報に応じて、例えば、周囲照度が低くなった場合に全体の音量レベルを下げたり、フロント成分に対して背景音のレベルを相対的に高める等といった演出的効果を得ることが可能である。つまり、音声変換処理手段１２は、映像信号に係る撮影条件を示す情報に応じて規定される調整用パラメータを有しており、複数チャンネルの音声信号のレベルをそれぞれ調整して出力する。
【００３０】
尚、本発明の適用において映像信号処理手段１１による映像の加工処理等の如何は問わないので、カメラ系の撮影条件を示すデータに応じた各種の画像処理や編集、加工を採用することが可能である。
【００３１】
また、図１や図２に示す構成の適用形態としては、下記に示す事例が挙げられる。
【００３２】
・図１の構成を有する装置と、図２の構成を有する装置を別個に設けて両者を接続した構成形態
・図１に示す構成の全部若しくはその一部及び図２の構成を１つの装置内において具備する構成形態。
【００３３】
図３及び図４は、本発明の適用例を示したものであり、図３はビデオカメラの外観例を示し、図４はビデオカメラによって撮影された映像データを音声データとともにＤＶＤ等に記録することができる情報処理装置を含むシステムの構成を例示したものである。
【００３４】
図３に示すビデオカメラ１３は、フロントの左右２チャンネル及びリアの左右２チャンネルを含む４チャンネルの音声信号を記録して再生することができる。
【００３５】
本例において、ビデオカメラ１３の本体部を構成する筐体１４の上部には、集音装置１５に対する取付部が設けられており、該取付部に集音装置１５の支持部が着脱自在に取り付けられる。
【００３６】
集音装置１５は４つのマイクロフォン１５ＦＲ、１５ＦＬ、１５ＲＲ、１５ＲＬを備えている。マイクロフォン１５ＦＲ、１５ＦＬはビデオカメラ１３の前方（撮影方向）を向いて設置され、１５ＦＲが撮像方向に関して右側に指向性をもつマイクロフォン、１５ＦＬが撮像方向に関して左側に指向性をもつマイクロフォンである。また、マイクロフォン１５ＲＲ、１５ＲＬはビデオカメラ１３の後方を向いて設置され、１５ＲＲが撮像方向に関して右側に指向性をもつマイクロフォン、１５ＲＬが撮像方向に関して左側に指向性をもつマイクロフォンである。
【００３７】
尚、ビデオカメラ１３には撮影レンズ１６やモニター部１７が設けられている。本例では、カメラ本体部に集音装置１５を付設する構成を採用しているが、これは装置内部で発生する音響ノイズの影響を充分に低減するためである。よって、ノイズ等の影響を充分に考慮して各マイクロフォンを本体部に付設した形態（１５ＦＲ、１５ＦＬを筐体１４の前部に付設し、１５ＲＲ、１５ＲＬを筐体１４の後部に付設する）でも勿論構わない。
【００３８】
撮影した映像データや各マイクロフォンによって収集された音声データは、ディジタル化された上で、例えば、磁気テープ（ＤＶテープ等）に記録される。つまり、ビデオカメラ１３の記録処理部において映像信号は所定の変調処理（周波数変調）を受けた後、ヘリカルスキャン方式の磁気記録再生部を構成する磁気ヘッドによって磁気テープに記録される。尚、記録フレームを構成するトラックには映像記録領域や音声記録領域の他に、タイトルやＴＯＣ（Tables Of Contents）等の情報を格納するためのサブコード領域が設けられており、該サブコード領域に管理情報（カメラ撮影時のズーム情報等を含む。）が書き込まれる。例えば、ＮＴＳＣのＤＶフォーマットでは、１フレーム分のデータに関して、ビデオデータでは７６バイトのデータを含む１３８データブロックが用意され、オーディオデータでは７６バイトのデータを含む９データブロックが用意される。そして、５バイトのデータを含む１２データブロックがサブコードデータの記録に用いられる。
【００３９】
情報処理装置１８（図４参照）には、例えば、ＤＶＤへの記録機能を有するコンピュータ機器（パーソナルコンピュータやＣＥ機器等）が用いられる。情報処理装置１８は、ケーブル等を用いてビデオカメラ１３に接続されるか、あるいは無線通信を利用して繋がれており、ビデオカメラ１３から送出されてくるデータを取り込んで、必要に応じてデータ変換を行い、映像データ及び音声データをＤＶＤに記録する手段を備えている（マルチ・チャンネルの音声データをＤＶＤに記録できるので、臨場感にあふれるオーディオ環境でＤＶＤを作成することができる。）。
【００４０】
ＤＶＤ作成例についての全体的な流れは、下記に示す通りである。
【００４１】
（Ｓ１）ビデオカメラからの映像データ及び音声データ（４ｃｈ音声）の取得
（Ｓ２）編集、加工処理（カット編集、サラウンド音声のパラメータ調整等）
（Ｓ３）音声変換処理
（Ｓ４）オーサリング処理（メニュー作成処理や、動画及び音声をDVD-Video用に変換する処理等）
（Ｓ５）ＤＶＤの作成（動画及び音声等の記録）。
【００４２】
本システムにおいて、先ず、マルチ・チャンネル音声記録（本例では４ｃｈ音声記録）のビデオカメラで撮影を行い、４ｃｈ（チャンネル）分の音声データを映像データとともにテープに記録する。
【００４３】
そして、ビデオカメラ１３と情報処理装置１８とを接続する（例えば、両者をIEEE1394ケーブル等で接続する。）。
【００４４】
これにより、ビデオカメラ１３からのデータ、つまり、撮影した映像データ及び４ｃｈ音声データを、サブコードデータ（撮影条件データを含む。）とともに 情報処理装置１８に取り込むことができる。尚、このときの取り込み処理が、ビデオカメラ１３の再生速度（１倍速）でしか行えない場合において、高速な情報処理装置の使用が可能な場合には、データ取り込みと同時に４ｃｈのＰＣＭ（パルスコード変調）音声から５．１ｃｈのＰＣＭ音声への変換を行ったり（５．１ｃｈのＰＣＭ音声から５．１ｃｈのＡＣ−３音声への変換については処理時間を考慮して後で行う。）、あるいは４ｃｈのＰＣＭ音声から５．１ｃｈのＡＣ−３音声への変換を同時に行うことによって、処理時間を短縮することができる。尚、「ＡＣ−３」とは、米国ドルビー研究所開発のディジタルマルチチャンネル音声信号の高能率符号化方式であり、５．１ｃｈのサラウンド音声再生出力が可能とされる（フロント左右及び中央の各１ｃｈ及びリア左右の各１ｃｈと、低域チャンネル（０．１ｃｈ）を含む。）。
【００４５】
このとき、撮像後に音付けをするアフレコの音声(２ｃｈ＋２ｃｈ)と、４ｃｈ音声とをサブコードの管理情報に基づいて自動的に判別することにより、アフレコの場合は 「主音声」、「副音声」、「主音声＋副音声」の、３本の音声チャンネルでもってＤＶＤに音声データを記録する処理を行うように構成しても良い。
【００４６】
情報処理装置１８へのデータに取り込みに際しては、その映像信号処理手段や音声変換処理手段において、必要に応じて下記のような編集操作を行うことができる。
【００４７】
・映像のカット編集（不要なシーンの削除）
・サラウンド音声再生装置での音量バランスのモニタリングや、フロント及びリア、センターの各成分、ＬＦＥ（Low-Frequency Effects：低音域のウーファー成分）等の低周波数成分についての比率調整（ゲイン調整）。
【００４８】
音声データについては、例えば、５．１ｃｈＡＣ−３（Ｄｏｌｂｙ  ＡＣ３）やマルチチャンネルリニアＰＣＭ等のデータに変換される。
【００４９】
図５は４ｃｈ音声及び５．１ｃｈ音声について説明するための概略図であり、左側にビデオカメラ１３のマイク配置を示し、右側にはサラウンド再生環境でのスピーカー配置を示している。
【００５０】
図中に示す記号の意味は、以下の通りである。
【００５１】
（入力音声）
・Front Left(FL) ＝カメラ前方の左側音声
・Front Right(FR) ＝カメラ前方の右側音声
・Rear Left(RL) ＝カメラ後方の左側音声
・Rear Right(RR) ＝カメラ後方の右側音声。
【００５２】
（出力音声）
・Left(L) ＝前方左側音声
・Right(R)＝前方右側音声
・Center(C)＝前方中央音声
・LFE＝低域音声
・Left Surround(Ls)＝後方左側音声
・Right Surround(Rs)＝後方右側音声。
【００５３】
４ｃｈから５．１ｃｈへの音声変換処理において、フロント成分（R/L/C）を、やや強目に調整すると、より自然な感じでサラウンド音声を仕上げることができる（つまり、カメラでは前方の被写体を撮影しており、その音についても同様に前方から聞こえてくる場合が多いことや、人間の耳は後ろよりも前方から音の方が聞こえ易い構造になっていること等に依る。）。
【００５４】
前方の話者を撮影する場合等ではセンター成分（C）を強める方が良く、それ以外の場合はセンター成分を控え目にすることが好ましい（音の左右方向の定位がぶれるため、再生時の音の質が下がる。）。一般的には、講演会等で人が前で話しているようなシーンの場合、サラウンド方式としてＤＶＤを作成するよりも、従来のステレオ方式で作成する方が適している。よって、情報処理装置１８でのＤＶＤ作成時には、５．１ｃｈ又はステレオのどちらでＤＶＤに音声記録を行うのかについてユーザが選択できるように構成することが好ましい。また、サラウンド方式でＤＶＤに音声記録を行う場合には、センター成分をなるべく低めに調整することが望ましい（場合によってはゼロにしてしまう等。）。
【００５５】
ビデオカメラ１３で撮影した際のズーム情報を、管理情報に含めてサブコード領域に記録しておき、情報処理装置１８内で該管理情報からズーム情報を抜き出すことによって、撮影状況を反映した音作りが可能となる。例えば、ズームインの場合（より前方向に注目した場合）には、フロント成分の音量をより大きくすることによって、あたかも実際にズームインを行ったかのような音響的な印象を聴視者に与えることができる。
【００５６】
図６は、上記（Ｓ３）に関して、４ｃｈから５．１ｃｈに音声を変換する方法について基本例を説明するための図である。
【００５７】
先ず、下記に示すように、FL(Front Left)、FR(Front Right)、RL(Rear Left)、RR(Rear Right) の各入力音声をL、R、Ls、Rsの各出力音声に割り当てる。
【００５８】
・フロント左側音声（FL）→前方左側音声（L）
・フロント右側音声（FR）→前方右側音声（R）
・リア左側音声（RL）    →後方左側音声（Ls）
・リア右側音声（RR）    →後方右側音声（Rs）。
【００５９】
そして、フロントセンター成分（C）については、上記FLとFRの一部を使用して生成する。また、上記音声（FL,FR,RL,RR）の各低周波成分を抽出して、LFEを生成する。
【００６０】
このような変換により５．１ｃｈ音声が得られるが、本発明では、ズーム情報を含む撮影条件データによって規定される調整用パラメータに従って、複数チャンネルの音声信号のレベルがそれぞれ変換される。
【００６１】
以下では、ズーム情報を用いた音声変換処理について説明する。例えば、ズームイン時には、フロント成分（L,R,C）をリア成分（Ls,Rs）よりも強めることによって、対象に近づいた感じを出すことができる。
【００６２】
処理手順は、下記に示す通りである。
【００６３】
（１）LFE成分の生成
（２）フロント成分（L/C/R）の生成
（３）リア成分（Ls/Rs）の生成。
【００６４】
先ず、上記（１）では、上記FL、FR、RL、RR から低周波成分をそれぞれ抽出することにより、LFE成分を生成する。具体的には、低域通過フィルタ（ＬＰＦ）を用いて、例えば、１２０Ｈz以下の周波数成分を抜き出した音声信号に基づいて低音成分を得ることができる。
【００６５】
尚、FL、FR、RL、RR からLFE用の低周波成分を引いたものを、それぞれに小文字化してfl、fr、rl、rr と記すことにする。
【００６６】
上記（２）では、fl、fr の各成分からフロント成分を作成する。
【００６７】
以下では、フロントの左右成分と、リアの左右成分との間の比を調整するための調整用パラメータを「α」と記し、該パラメータがズーミング操作の変倍率によって規定されるものとする。パラメータαの値については、例えば、ズームアウト時に「α＝１」とされ、ズームイン時には１を越える所定値（α＞１）となるように選ばれている。
【００６８】
図７は、横軸に変倍率をとり、縦軸にαをとって両者の関係を例示したグラフ図である。
【００６９】
本例では、グラフ線ｇに示すように、ズーミングの変倍率に応じてα値が一次関数的に増加していく様子を示している（場合によってはα値の変化において飽和特性等をもたせるために、曲線的な変化も許容される。）。
【００７０】
変倍率によって決まるズーム係数のパラメータαを用いた場合、フロントの左右成分に関する変換則は、下記に示す通りである。
【００７１】
・fl2＝fl又は「fl×α」
・fr2＝fr又は「fr×α」。
【００７２】
尚、「fl2」、「fr2」は変換後の左右成分をそれぞれ示している。
【００７３】
各音声については、１以上の値を示すパラメータαを乗ずることによって、音声データのレベル（音量）が上限値を超える可能性があることを考慮すべきである。即ち、fl又はfrが上限を越えない音量範囲では、fl×αやfr×αの変換が許容されるが、上限を超える可能性がある場合には、「fl2＝fl」又は「fr2＝fr」に規定するか、あるいは上限を超えないようにα値を調整する等の処理を行う必要がある。
【００７４】
フロントのセンター成分については、fl、frの成分の一部を抜き出して生成する方法において、後述のように、ズームイン時に左右成分よりも強調する方法が挙げられる。
【００７５】
上記（３）では、リアの左右成分を生成する。
【００７６】
αを用いた変換則は、下記に示す通りである。
【００７７】
・Ls＝rl/α
・Rs＝rr/α。
【００７８】
つまり、α値の増加に伴ってリア成分のレベルが低下する。
【００７９】
上記のように、変倍率が大きくなるにつれて、主にフロント成分を含む音声信号レベルが、主にリア成分を含む音声信号レベルに対して相対的に強調される。
【００８０】
尚、このような関係については、下記に示す各種の態様が挙げられる。
【００８１】
・フロント成分を強めることにより、リア成分よりも強調する形態
・フロント成分に対してリア成分を弱めることにより、フロント成分を強調する形態
・フロント成分を強め、かつリア成分を弱めることにより、フロント成分を強調する形態。
【００８２】
例えば、リア成分の生成に関して、上記α値自体ではなく、α値と相関性を有する別のバラメータを用いて、rlやrrからLsやRsをそれぞれ導出することが可能である。
【００８３】
上記（２）のフロント成分については、よりズーム感を増すために、下記のように、ズームイン時にセンター成分（C）の強調処理をさらに追加することができる。
【００８４】
・L＝（１−β）×fl2
・R＝（１−β）×fr2
・C＝β×(fl2＋fr2)。
【００８５】
尚、ここでパラメータ「β」は、フロントの左右成分に対するセンター成分の比率を規定するものであり、例えば、サラウンド感を高めたい場合にはβ値を小さくし（０〜０．２程度）、逆に、サラウンド感を出したくない場合（例えば、講演会等での撮影）にはβ値を大きく（０．３〜０．８程度）すれば良い。
【００８６】
さらに、ズーム効果を高くした場合には、上式を一般化した下式を用いることができる。
【００８７】
・L＝（１−f（α）×β）×fl2
・R＝（１−f（α）×β）×fr2
・C＝f（α）×β×(fl2＋fr2)。
【００８８】
「f（α）」は、上記αに関する任意の関数であり、上記したセンター成分比率のパラメータβの値に対して、αと相関をもったf（α）の値をさらに乗じることによって、ズームイン時にセンター成分をさらに強めることができる。
【００８９】
尚、f（α）としては、例えば、定数「γ」を用いて「f（α）＝γ×α」としても良いし、あるいは、マイクロフォンと撮像系のズーム特性との関係から計測やシミュレーション等で求まる関数式を用いても良い。
【００９０】
いずれにしても、音量調整用のパラメータがズーミング操作の変倍率によって規定される場合において、該変倍率が大きい場合には、フロントのセンター成分を含む音声信号レベルが、フロントの左右成分を含む音声信号レベルに対して相対的に強調されるように変換される。
【００９１】
以上の説明では、ズームミング操作に従ってα等のパラメータが連続的に変化する例を挙げたが、本発明の適用においてはこのような例に限らず、例えば、ズームミング操作に従って各パラメータが段階的に変化したり、あるいは、所定範囲ではパラメータが連続的に変化し、別の範囲ではパラメータが段階的に変化するといった、各種形態での実施が可能である。また、調整用パラメータについては、ズーム情報に限らず、該情報に対してさらに別の情報（例えば、撮影モードの設定情報やユーザの操作情報等）を加味する方法が挙げられる。
【００９２】
上記した音量調整については、ビデオカメラ１３からの撮影条件データに基づいて情報処理装置１８で自動的に行われるが、他の機能として、ビデオカメラ１３から取り込んだデータを再生するときに、ユーザが音声データのモニタリングを行いながら、フロント成分とリア成分、センター成分の比率調整を行えるようにすると便利である。
【００９３】
また、LFEの調整に関して、マイクロフォンの位置によっては、ビデオカメラの機械的なノイズ等の影響を受け易いことが問題とされる。つまり、LFE成分は指向性が低いため、LFEの生成にあたっては、よりノイズを受け難い側のマイクロフォン（ノイズ源から離れた位置にあるもの）の寄与分を高めることが好ましい（よりノイズの少ない音を記録できる。）。そのためには、複数のマイクロフォンのうち、どれがノイズの影響を受け易く又は受け難いかを示す情報や、どのマイクロフォンの成分の寄与分を高めるのか等を示す情報を、ビデオカメラの機種毎にデータベース化して保有しておき、当該情報を管理情報に含めるか、あるいは、装置間で確立される通信経路で情報を受け渡すように構成することが好ましい。
【００９４】
上記（Ｓ４）のオーサリング処理の後、（Ｓ５）では上記の処理を行って生成した音声データ等がＤＶＤに記録される。そして、ＤＶＤを用いた、ホームシアターセット等のサラウンド再生環境において映像及び音声を再生することにより、臨場感あふれる映像表示及び音響効果を享受することができる。尚、上記パラメータα、β等の値をコード化して音声データとともにＤＶＤ等の記録媒体に記録しておくことも可能である（例えば、変換前の音声データに戻したい場合や、パラメータ値に基づいて音声データをさらに加工したい場合等に有効である。）。
【００９５】
上記した処理は、例えば、情報処理装置１８内のＣＰＵ（中央処理装置）及び該ＣＰＵによって解釈されて実行されるプログラムを用いて実現される。つまり、該プログラムは映像信号に係る撮影条件を示す情報に応じて音量の調整用パラメータを変更するとともに、該調整用パラメータに従って複数チャンネルの音声信号のレベルをそれぞれ変換して複数の音声信号を生成する処理ステップを有し、さらにはズーミング操作の変倍率に応じて該調整用パラメータを規定する場合において、下記に示すステップが含まれる。
【００９６】
・ズーミング操作の変倍率が大きい場合に、主にフロント成分を含む音声信号レベルが、主にリア成分を含む音声信号レベルに対して相対的に強調されるように変換するステップ
・ズーミング操作の変倍率が大きい場合に、フロントセンター成分を含む音声信号レベルが、フロント左右成分を含む音声信号レベルに対して相対的に強調されるように変換するステップ。
【００９７】
尚、上記の例では、４ｃｈ音声記録ビデオカメラ（４つのマイクロフォンを備え、前左、前右、後左、後右の各方向の音声を記録できる。）と、該ビデオカメラからデータを取り込むことができる情報処理装置（本例では、ＤＶＤの記録再生用ドライブ装置を有する。）とを、それぞれ別個の装置として両者を繋いだシステムにおいて、ムービーの４ｃｈ音声信号を５．１ｃｈに変換し、ＤＶＤに５．１ｃｈ音声で記録する例について説明したが、これに限らず、両者の機能を備えた装置（カメラ機能を有するＤＶＤレコーダ）等への適用が可能である。また、本発明の適用においては、５．１ｃｈのサラウンドシステムに限らず、例えば、リアセンターにスピーカを増設した６．１ｃｈシステムや、さらにスピーカ数を増やした７．１ｃｈシステム等への適用が可能である。
【００９８】
以上に説明した構成によれば、例えば、下記に示す利点が得られる。
【００９９】
・ビデオカメラ等で撮影した映像データを複数チャンネルの音声データとともに、ＤＶＤ等の記録メディアに記録してコンテンツを作成する場合に、サラウンド音声を記録して再生することで、従来よりも臨場感の高い音響効果が得られること（従来の装置では、せいぜい２ｃｈのステレオ音声に対応しているに過ぎない。）。
【０１００】
・ビデオカメラ等の撮影状況に応じて、各音声の調整バランスを変更することにより、臨場感を高められること（ズームイン時には、フロント成分の比率を高めることによって、映像面だけでなく、音響面でもズームインして対象に近寄ったかの如き効果を出すことができる。）。
【０１０１】
・ＤＶＤの作成処理を高速化できること（つまり、ビデオカメラからのデータ取得時に、４ｃｈ  ＰＣＭから５．１ｃｈ  ＰＣＭへの変換、あるいは４ｃｈ  ＰＣＭから５．１ｃｈ  ＡＣ−３への変換を行うことにより、作成時間を短縮することができる。）。
【０１０２】
・音声モードの自動判別が可能であること（ビデオカメラからデータ取得時に、例えば、ビデオデータ上のフラグ（例えば、ＤＶテープ上のフラグ等）を参照して、音声がアフレコ(2ch+2ch) の場合は、主音声、副音声、主音声及び副音声の３ｃｈの音声データを記録したＤＶＤを作成し、また、４ｃｈの場合は５．１ｃｈサラウンドの音声データを記録したＤＶＤを作成することができる。尚、このような判別処理は、例えば、情報処理装置で動作するアプリケーション側で自動で行うことができる。）。
【図面の簡単な説明】
【０１０３】
【図１】本発明に係る撮像処理系及び記録処理系の構成例を示す図である。
【図２】本発明に係る信号処理系の構成例を示す図である。
【図３】ビデオカメラの外観例を示す斜視図である。
【図４】ビデオカメラと情報処理装置を含むシステム構成の一例を示す説明図である。
【図５】４ｃｈ音声及び５．１ｃｈ音声について説明するための概略図である。
【図６】４ｃｈから５．１ｃｈへの音声変換方法について基本例を説明するための図である。
【図７】ズーミングの変倍率に対する音量調整用パラメータを例示したグラフ図である。
【符号の説明】
【０１０４】
１０…情報処理装置、１２…音声変換処理手段、１８…情報処理装置
【図１】
2005311604.tif 000003
【図２】
2005311604.tif 000004
【図３】
2005311604.tif 000005
【図４】
2005311604.tif 000006
【図５】
2005311604.tif 000007
【図６】
2005311604.tif 000008
【図７】
2005311604.tif 000009