(57)【要約】【課題】  記録された映像信号を任意の画角で再生する時に、記録された複数チャンネルの音声信号における指向性、あるいは指向角を可変させることができるようにする。【解決手段】  ｎ個（ｎは２以上の整数）のマイクユニット１０１からのｎチャンネルの音声信号と、ビデオカメラ１０３からの映像信号とを記録媒体に記録する記録装置１０５と、記録媒体に記録されたｎチャンネルの音声信号及び映像信号を再生する再生装置１０６と、再生装置１０６で再生された映像信号に基づく再生画像の特定の画角を選択する映像操作入力手段１１３と、選択された前記画角に対応する映像信号に基づいて、再生装置１０６で再生されたｎチャンネルの音声信号の指向角又は指向性を制御するための演算処理を行う音声演算処理部１０７とを有するようにする。【選択図】  図１
2006287544.tif 000002
【特許請求の範囲】
【請求項１】
ｎ個（ｎは２以上の整数）のマイクユニットからのｎチャンネルの音声信号と、ビデオカメラからの映像信号とを記録媒体に記録する記録手段と、
前記記録媒体に記録されたｎチャンネルの音声信号と映像信号とを再生する再生手段と、
前記再生手段で再生された前記映像信号に基づく再生画像の特定の画角を選択する選択手段と、
前記選択手段により選択された前記画角に対応する映像信号に基づいて、前記再生手段で再生された前記ｎチャンネルの音声信号の指向角及び指向性のうち、少なくともいずれか一方を制御するための演算処理を行う演算処理手段と
を有することを特徴とする映像音声記録再生装置。
【請求項２】
前記演算処理手段は、前記再生手段で再生された前記ｎチャンネルの音声信号から、立体音声再生が可能な複数の音声信号を更に生成することを特徴とする請求項１に記載の映像音声記録再生装置。
【請求項３】
ｎ個（ｎは２以上の整数）のマイクユニットからのｎチャンネルの音声信号と、ビデオカメラからの映像信号とを記録媒体に記録する記録手段と、
前記記録媒体に記録されたｎチャンネルの音声信号と映像信号とを再生する再生手段と、
前記再生手段で再生された前記映像信号に基づく再生画像の特定の対象画像を選択する選択手段と、
前記選択手段で選択された前記特定の対象画像を追尾制御する追尾制御手段と、
前記追尾制御手段で追尾制御された前記特定の対象画像における画角に基づいて、前記再生手段で再生された前記ｎチャンネルの音声信号の指向角及び指向性のうち、少なくともいずれか一方を制御するための演算処理を行う演算処理手段と
を有することを特徴とする映像音声記録再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラからの映像信号及び複数のマイクユニットからの音声信号を記録媒体に記録し、記録した映像信号及び音声信号を再生する映像音声記録再生装置に関するものである。
【背景技術】
【０００２】
図１０は、従来例における映像音声記録再生装置の概略構成を示したブロック図である。
図１０において、５０１はマイクユニット、５０２はマイク増幅器、５０３は音声演算処理部、５０４はビデオカメラ、５０５はビデオ信号処理部、５０６は映像信号処理部、５０７は映像操作入力手段、５０８は記録装置、５０９は再生装置、５１０は音声出力装置、５１１はスピーカ、５１２は映像出力装置、５１３はモニタである。
【０００３】
映像操作入力手段５０７によりパン、チルト、ズームなどの操作をされたビデオカメラ５０４からの映像信号は、ビデオ信号処理部５０５で映像電気信号に変換され、映像信号処理部５０６により記録媒体に記録する信号として記録装置５０８に入力される。また、複数のマイクユニット５０１からの音声信号は、マイク増幅器５０２で必要なレベルにまで増幅され、前記映像操作入力手段５０７の制御信号によりビデオカメラ５０４のパン、チルト、ズームなどに合わせた指向角、指向性の音声信号を合成するための音声演算処理部５０３に入力されて記録媒体に記録するために記録装置５０８に入力される。
【０００４】
記録装置５０８に記録された前記映像信号及び前記音声信号は、再生装置５０９により再生され、音声信号は音声出力装置５１０に入力されスピーカ５１１により音声として出力され、映像信号は映像出力装置５１２に入力されモニタ５１３により映像として出力される。
【０００５】
上述のように、ビデオカメラ５０４の向きや画角に従ってマイク音声の指向性、指向角を制御し、ビデオカメラ５０４をズームアップした場合には、マイク音声の指向角を狭角とし、広角で撮影している場合には音声信号も指向角を広くすることで、画像と音声が違和感のない状態で記録再生が可能である。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した従来の映像音声記録再生装置では、記録時に映像信号及び音声信号の画角、指向性、指向角などを設定するため、再生時に画角、指向性、指向角などを可変することはできなかった。
【０００７】
本発明は、ビデオカメラからの映像信号と複数のマイクユニットからの各音声信号を記録媒体（記録装置）に記録し、記録された映像信号を任意の画角で再生する時に、記録された複数チャンネルの音声信号における指向性、あるいは指向角を可変させることを実現する映像音声記録再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本出願に係る発明は、ｎ個（ｎは２以上の整数）のマイクユニットからのｎチャンネルの音声信号と、ビデオカメラからの映像信号とを記録媒体に記録する記録手段と、前記記録媒体に記録されたｎチャンネルの音声信号と映像信号とを再生する再生手段と、前記再生手段で再生された前記映像信号に基づく再生画像の特定の画角を選択する選択手段と、前記選択手段により選択された前記画角に対応する映像信号に基づいて、前記再生手段で再生された前記ｎチャンネルの音声信号の指向角及び指向性のうち、少なくともいずれか一方を制御するための演算処理を行う演算処理手段とを有することを特徴とする映像音声記録再生装置等を提供する。
【発明の効果】
【０００９】
本発明によれば、ビデオカメラからの映像信号と複数のマイクユニットからの各音声信号を記録媒体（記録装置）に記録し、記録された映像信号を任意の画角で再生する時に、選択された再生画像の画角に合わせて音声信号の指向性、あるいは指向角を可変させることができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明に係る実施形態を図面を参照して詳細に説明する。
【００１１】
（第１の実施形態）
図１は、本発明の第１実施形態における映像音声記録再生装置の概略構成を示したブロック図である。
図１において、１０１はマイクユニット、１０２はマイク増幅器、１０３はビデオカメラ、１０４はビデオ信号処理部、１０５は記録装置、１０６は再生装置、１０７は音声演算処理部、１０８は音声出力装置、１０９はスピーカ、１１０は映像信号処理部、１１１は映像出力装置、１１２はモニタ、１１３は映像操作入力手段である。
【００１２】
マイクユニット１０１からの音声信号は、マイク増幅器１０２で必要なレベルまで増幅され、マルチチャンネルで記録媒体に記録するために記録装置１０５に入力される。一方、ビデオカメラ１０３からのビデオ信号は、ビデオ信号処理部１０４で処理されて記録媒体に記録する映像信号として記録装置１０５に入力される。
【００１３】
記録装置１０５に記録された映像信号は、再生装置１０６で再生されて映像信号処理部１１０に入力され、映像信号処理部１１０では映像操作入力手段１１３による再生画像の再生画像画角制御に基づく信号処理がなされる。そして、映像信号処理部１１０から出力された映像信号は、映像出力装置１１１に入力され、モニタ１１２に画像として出力される。
【００１４】
また、記録装置１０５に記録されたマルチチャンネル音声信号は、再生装置１０６で再生されて音声演算処理部１０７に入力される。音声演算処理部１０７では、映像信号処理部１１０からの映像操作入力手段１１３により制御された再生画像に基づいて、入力された音声信号の指向性、指向角を制御するための演算処理がなされる。そして、音声演算処理部１０７からの音声信号は、音声出力装置１０８で電力増幅されてスピーカ１０９から音声として出力される。
【００１５】
図２及び図３は、本発明の第１の実施形態における映像音声記録再生装置の動作を説明するための図である。
図２において、１５０は再生画面、１５１は再生画面１５０の全画面の中から画像又は音声のズームアップしたい領域を映像操作入力手段１１３により指定された再生画面指定画角表示領域、１５２は再生画面指定画角表示領域１５１に表示される画像の画角に応じて、指向性、指向角を演算処理して合成された音声信号を出力する画角指定部拡大音声再生スピーカである。
【００１６】
図３において、１５３は再生画面１５０の中に表示された再生画面指定画角表示領域１５１の画像を拡大表示した拡大表示領域、１５４は拡大表示領域１５３に表示される画像の画角に応じて、指向性、指向角を演算処理して合成された音声信号を出力するための画角指定部拡大音声再生スピーカである。
【００１７】
図４は、マイクユニット１０１の指向特性の一例である双指向性を示した図である。
これは、複数のマイクユニット１０１をアレイ状に配置し、各マイクユニットからの音声信号を演算処理することにより、任意の指向性、指向角の音声信号を合成しようとするものである。
【００１８】
第１の実施形態によれば、映像信号及び音声信号を記録する時には、広い範囲で記録媒体（記録装置１０５）に保存し、再生時に映像を確認しながら再生画角操作を行うことで、音声の指向性、指向角は連動して調整制御がされるため、映像信号及び音声信号を記録後、簡単な操作で再編集が可能となる。また、再生する際に、１つの記録媒体からの映像信号及び音声信号により、画角の異なる複数の映像・音声データを作成することも可能である。また、最終的に必要な情報が音声のみの場合においても、再生した映像を見ながら、対象となる音源の方向や必要な指向角を設定することが可能となり、短時間で簡単に音声の指向性、指向角を設定して演算処理された音声信号を得ることが可能である。
【００１９】
これにより、ビデオカメラ１０３からの映像信号と複数のマイクユニット１０１からの音声信号を記録装置（記録媒体）１０５に記録し、その記録媒体から再生された映像信号に基づいて、複数チャンネルの音声信号において指向性、指向角が制御された音声信号が得られる映像音声記録再生装置を提供することが可能となる。
【００２０】
（第２の実施形態）
図５は、本発明の第２実施形態における映像音声記録再生装置の概略構成を示したブロック図である。
図５において、２０１はマイクユニット、２０２はマイク増幅器、２０３はビデオカメラ、２０４はビデオ信号処理部、２０５は記録装置、２０６は再生装置、２０７は音声演算処理部、２０８は音声出力装置、２０９は画角指定部拡大音声再生スピーカ、２１０は立体音声再生スピーカ、２１１は映像信号処理部、２１２は映像出力装置、２１３はモニタ、２１４は映像操作入力手段である。
【００２１】
マイクユニット２０１からの音声信号は、マイク増幅器２０２で必要なレベルまで増幅され、マルチチャンネルで記録媒体に記録するために記録装置２０５に入力される。一方、ビデオカメラ２０３からのビデオ信号は、ビデオ信号処理部２０４で処理されて記録媒体に記録する映像信号として記録装置２０５に入力される。
【００２２】
記録装置２０５に記録された映像信号は、再生装置２０６で再生されて映像信号処理部２１１に入力され、映像信号処理部２１１では映像操作入力手段２１４による再生画像の再生画像画角制御に基づく信号処理がなされる。そして、映像信号処理部２１１から出力された映像信号は、映像出力装置２１２に入力され、モニタ２１３に画像として出力される。
【００２３】
また、記録装置２０５に記録されたマルチチャンネル音声信号は、再生装置２０６で再生されて音声演算処理部２０７に入力される。音声演算処理部２０７では、映像信号処理部２１１からの映像操作入力手段２１４により制御された再生画像に基づいて、入力された音声信号の指向性、指向角を制御するための演算処理を行うとともに、スピーカ２１０の数と配置に従って立体音声再生が可能な音声信号を合成する処理を行う。そして、音声演算処理部２０７からの音声信号は、音声出力装置２０８で電力増幅されてスピーカ２０９から音声出力されるとともに、スピーカ２１０の数と配置に従って音声演算処理部２０７で合成された立体音声再生が可能な音声信号がスピーカ２１０から音声出力される。
【００２４】
図６及び図７は、本発明の第２の実施形態における映像音声記録再生装置の動作を説明するための図である。
図６において、２５０は再生画面、２５１は再生画面２５０の全画面の中から画像又は音声のズームアップしたい領域を映像操作入力手段２１４により指定された再生画面指定画角表示領域、２５３は再生画面指定画角表示領域２５１に表示される画像の画角に応じて、指向性、指向角を演算処理して合成された音声信号を出力するための画角指定部拡大音声再生スピーカ、２５２は立体音声再生のために演算処理して合成された音声信号を出力するためのスピーカである。
【００２５】
図７において、２５５は再生画面２５０の中に表示された再生画面指定画角表示領域２５１の画像を拡大表示した拡大表示領域であり、２５３は拡大表示領域２５５に表示される画像の画角に応じて指向性、指向角を演算処理して合成された音声信号を出力するための画角指定部拡大音声再生スピーカであり、２５２は立体音声再生のために演算処理して合成された音声信号を出力するためのスピーカである。
【００２６】
第２の実施形態によれば、映像信号及び音声信号を記録する時には、広い範囲で記録媒体（記録装置２０５）に保存し、再生時に映像を確認しながら再生画角操作を行うことで、音声の指向性、指向角は連動して調整制御がされるため、映像信号及び音声信号を記録後、簡単な操作で再編集が可能となる。また、対象とする音声だけでなく周囲の音声も立体的に再生されるため、対象となる音声だけに捕らわれない、あたかも撮影現場での収録作業のような操作環境を提供することも可能である。また、最終的に必要な情報が音声のみの場合においても、再生した映像を見ながら、且つ周囲の立体音声を聞きながら、対象となる音源の方向や必要な指向角を設定することが可能となり、短時間で簡単に音声の指向性、指向角を設定して演算処理された音声信号を得ることが可能である。
【００２７】
これにより、ビデオカメラ２０３からの映像信号と複数のマイクユニット２０１からの音声信号を記録装置（記録媒体）２０５に記録し、その記録媒体から再生された映像信号に基づいて、複数チャンネルの音声信号において指向性、指向角が制御された音声信号と立体音声信号が得られる映像音声記録再生装置を提供することが可能となる。
【００２８】
（第３の実施形態）
図８は、本発明の第３実施形態における映像音声記録再生装置の概略構成を示したブロック図である。
図３において、３０１はマイクユニット、３０２はマイク増幅器、３０３はビデオカメラ、３０４はビデオ信号処理部、３０５は記録装置、３０６は再生装置、３０７は音声演算処理部、３０８は音声出力装置、３０９はスピーカ、３１０は映像信号処理部、３１１は映像出力装置、３１２はモニタ、３１３は追尾制御処理部、３１４は映像操作入力手段である。
【００２９】
マイクユニット３０１からの音声信号は、マイク増幅器３０２で必要なレベルまで増幅され、マルチチャンネルで記録媒体に記録するために記録装置３０５に入力される。一方、ビデオカメラ３０３からのビデオ信号は、ビデオ信号処理部３０４で処理されて記録媒体に記録する映像信号として記録装置３０５に入力される。
【００３０】
記録装置３０５に記録された映像信号は、再生装置３０６で再生されて映像信号処理部３１０に入力される。映像信号処理部３１０では、追尾操作入力手段３１４による追尾条件の設定に基づき追尾制御処理部３１３で処理された再生画像内の追尾対象画像を含む画角領域指定枠表示領域、あるいは追尾対象画像を含む画角領域の拡大画像信号が生成される。そして、映像信号処理部３１０から出力された拡大画像信号は、映像出力装置３１１に入力され、モニタ３１２に画像として出力される。
【００３１】
また、記録装置３０５に記録されたマルチチャンネル音声信号は、再生装置３０６で再生されて音声演算処理部３０７に入力される。音声演算処理部３０７では、映像信号処理部３１０からの追尾制御処理部３１３により制御された再生画像の画角に基づいて、入力された音声信号の指向性、指向角を制御するための演算制御がなされる。そして、音声演算処理部３０７からの音声信号は、音声出力装置３０８で電力増幅されスピーカ３０９から音声出力される。
【００３２】
図９は、本発明の第３の実施形態における映像音声記録再生装置の動作を説明するための図である。
図９において、３５０は再生画面、３５１は再生画面３５０の全画面の中から追尾操作入力手段３１４により追尾対象画像が指定された追尾対象画像表示領域、３５３は追尾対象画像表示領域３５１に表示される追尾対象画像の画角に応じて、指向性、指向角を演算処理して合成された音声信号を出力するための画角指定部拡大音声再生スピーカ、３５２は立体音声再生のために演算処理して合成された音声信号を出力するためのスピーカである。
【００３３】
第３の実施形態によれば、映像信号及び音声信号を記録する時には、広い範囲で記録媒体（記録装置３０５）に保存し、再生時に任意の追尾対象を指定して、記録映像における追尾対象に対応した音声をズームアップするように指向性、指向角を制御しながら対象画像を追尾させた映像と音声を再生することが可能である。また、映像信号及び音声信号は記録装置３０５に蓄積されているため、追尾対象を変更して、再度追尾動作を行うことも可能な映像音声記録再生装置を提供することが可能である。
【００３４】
本発明の第１〜第３の実施形態では、音声演算処理部で入力された音声信号の指向性、指向角を制御するようにしているが、本発明においては、音声信号の指向性及び指向角のうち、少なくともいずれか一方を制御するものであればよい。
【図面の簡単な説明】
【００３５】
【図１】本発明の第１実施形態における映像音声記録再生装置の概略構成を示したブロック図である。
【図２】本発明の第１の実施形態における映像音声記録再生装置の動作を説明するための図である。
【図３】本発明の第１の実施形態における映像音声記録再生装置の動作を説明するための図である。
【図４】マイクユニット１０１の指向特性の一例である双指向性を示した図である。
【図５】本発明の第２実施形態における映像音声記録再生装置の概略構成を示したブロック図である。
【図６】本発明の第２の実施形態における映像音声記録再生装置の動作を説明するための図である。
【図７】本発明の第２の実施形態における映像音声記録再生装置の動作を説明するための図である。
【図８】本発明の第３実施形態における映像音声記録再生装置の概略構成を示したブロック図である。
【図９】本発明の第３の実施形態における映像音声記録再生装置の動作を説明するための図である。
【図１０】従来例における映像音声記録再生装置の概略構成を示したブロック図である。
【符号の説明】
【００３６】
１０１、２０１、３０１  マイクユニット
１０２、２０２、３０２  マイク増幅器
１０３、２０３、３０３  ビデオカメラ
１０４、２０４、３０４  ビデオ信号処理部
１０５、２０５、３０５  記録装置
１０６、２０６、３０６  再生装置
１０７、２０７、３０７  音声演算処理部
１０８、２０８、３０８  音声出力装置
１０９、３０９  スピーカ
１１０、２１１、３１０  映像信号処理部
１１１、２１２、３１１  映像出力装置
１１２、２１３、３１２  モニタ
２０９  画角指定部拡大音声再生スピーカ
２１０  立体音声再生スピーカ
３１３  追尾制御処理部
３１４  追尾操作入力手段
【図１】
2006287544.tif 000003
【図２】
2006287544.tif 000004
【図３】
2006287544.tif 000005
【図４】
2006287544.tif 000006
【図５】
2006287544.tif 000007
【図６】
2006287544.tif 000008
【図７】
2006287544.tif 000009
【図８】
2006287544.tif 000010
【図９】
2006287544.tif 000011
【図１０】
2006287544.tif 000012