(57)【要約】【課題】  伝送または記録される音声とモニタ用音声の音質を、少ない遅延の下で一致させる。【解決手段】  伝送データ生成部２４は、画像信号処理部２８からの動画データと、音声信号処理部３６からの２４ビットの音声データから伝送データを生成し、動画出力部４８から外部の受信装置に出力する。伝送データ生成部２４は、２４ビット音声データを１６ビットに削減するビット数削減部４２を具備する。ビット数削減部３８、ＤＡＣ５６及び音声出力部５８はモニタ用音声出力手段を構成する。ビット数削減部３８，４２は同じ構成と特性からなり、２４ビットを１６ビットに削減するか、２４ビットのまま出力するかを選択できる。ＣＰＵ１４は、ビット数削減部３８，４２を同じ動作に制御する。【選択図】  図１
2017067801.tif 000002
【特許請求の範囲】
【請求項１】
入力音声信号を第１の量子化ビット数で処理し出力する音声信号処理手段と、
前記音声信号処理手段からの前記第１の量子化ビット数の音声データを、前記第１の量子化ビット数より少ない第２の量子化ビット数に削減して出力するか、前記第１の量子化ビット数のまま出力する第１のビット数削減手段と、
前記第１のビット数削減手段から出力される音声データを符号化する音声エンコーダと、
前記音声エンコーダからの符号化された音声データを装置の外部に出力する出力手段と、
前記音声信号処理手段からの前記第１の量子化ビット数の音声データを、前記第２の量子化ビット数に削減して出力するか、前記第１の量子化ビット数のまま出力する第２のビット数削減手段と、
前記第２のビット数削減手段から出力される音声データをモニタ用に処理して出力するモニタ用音声出力手段と、
前記第１及び第２のビット数削減手段が前記音声信号処理手段からの前記第１の量子化ビット数の音声データを第２の量子化ビット数に削減して出力するか、前記第１の量子化ビット数のまま出力するかを同じく制御する制御手段
とを有することを特徴とする信号処理装置。
【請求項２】
前記第１のビット数削減手段と前記第２のビット数削減手段はそれぞれ、ディザ信号を発生するディザ発生手段と、前記音声信号処理手段からの前記第１の量子化ビット数の音声データに前記ディザ信号を加算する加算器と、前記加算器の出力を前記第２の量子化ビット数に削減するビット数変換手段とを有することを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記モニタ用音声出力手段が、音声データをアナログ音声信号に変換するデジタルアナログ変換手段を含むことを特徴とする請求項１または２に記載の信号処理装置。
【請求項４】
撮像手段と、
前記撮像手段からの動画信号を符号化する画像エンコーダ
とを備え、
前記出力手段は、前記画像エンコーダからの符号化された動画データと、前記音声エンコーダからの符号化された音声データとを多重して、装置の外部に出力する
ことを特徴とする請求項１から３のいずれか１項に記載の信号処理装置。
【請求項５】
入力音声信号を第１の量子化ビット数で処理し出力する音声信号処理ステップと、
前記音声信号処理ステップで処理された前記第１の量子化ビット数の音声データを、前記第１の量子化ビット数より少ない第２の量子化ビット数に削減して出力するビット数削減ステップと、
前記ビット数削減ステップにより生成される前記第２の量子化ビット数の音声データを符号化する符号化ステップと、
前記ビット数削減ステップにより生成される前記第２の量子化ビット数の音声データをモニタ用に処理して出力するモニタ用音声出力ステップ
とを有することを特徴とする信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置及び方法に関する。
【背景技術】
【０００２】
従来、デジタルビデオカメラ、いわゆるデジタルカムコーダは、撮像部により撮像された動画信号と、マイクで取得された音声信号とをそれぞれ圧縮符号化し、多重化して、メモリカード等の記録媒体に記録する。多重化された動画・音声データをネットワークにストリーミングする機能を有するデジタルビデオカメラも知られている。
【０００３】
デジタルカムコーダも、アナログ方式のもの同様に、動画像と音声を記録しながら、外部に動画と音声を出力するモニタ出力機能を持つのが一般的である。特に業務用の場合、記録中の音声をヘッドホン等により確認（モニタ）できる必要がある。
【０００４】
デジタルカムコーダでは、マイクにより取り込まれた音声には、圧縮符号化前に、音声品質向上のための種々のデジタル信号処理を施すことが行われる。例えば、音声に特殊効果を付与するエフェクト処理、レベル適正化処理、及び雑音低減処理等がある。音質向上のため、このような音声信号処理を、音声データの量子化ビット数又はビット深度（以下，「ビット数」という）を圧縮符号化の際のそれより多い状態で実行する。そして、音声信号処理した音声データのビット数を、圧縮符号化のビット数に圧縮符号化前に削減する。このようなビット数の削減処理は、例えば、特許文献１に記載されている。
【０００５】
音声信号のモニタに関しては、取り込まれた音声を耳で確認し、音声取り込みを迅速に操作する必要があり、そのために２つの重要な性能が求められる。第一は、着目する音声信号の音質に対する忠実性が高いことである。再記録の要否を判断する主要な要因だからである。第二は、発音源から実空間を通して耳に聞こえる直接音に対して、モニタ音声出力の時間遅延が少ないことである。
【０００６】
この２つの性能を実現するために、従来のデジタルカムコーダでは、フィルタ処理やレベル処理などの音質調整を済ませた音声信号処理部の出力信号を、モニタ音声出力部に供給するようにしている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平４−９０６１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
符号化の際の音声データビット数よりも多いビット数で音声データを処理する音声信号処理部の出力音声データの音質は、音声符号化部の入力音声データ（音声信号処理部の出力音声データのビット数を削減した音声データ）とは音質が異なる。従って、音声信号処理部の出力音声データからモニタ用音声信号を生成すると、忠実性を損なうことになる。
【０００９】
モニタ用の音声信号を、音声符号化部から出力される符号化データを復号化して得られる音声信号から生成することも考えられるが、画像データとの同期の関係で音声データが遅延されていることから、直接音から無視できない遅れが発生する。
【００１０】
取り込まれた動画と音声をインターネット上にストリーミングする機能を有するビデオカメラでも、同様の問題がある。則ち、ストリーミングされる音声と、モニタされる音声との間で、ストリーミング出力される音声とモニタされる音声の音質が可能な限り一致することが好ましく、遅延も少ないのが好ましい。
【００１１】
本発明は、直接音からの遅れが少なく、かつ外部に出力される音声との音質の相違が少ないモニタ用音声信号を生成出力する信号処理装置及び方法を提示することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明に係る信号処理装置は、入力音声信号を第１の量子化ビット数で処理し出力する音声信号処理手段と、前記音声信号処理手段からの前記第１の量子化ビット数の音声データを、前記第１の量子化ビット数より少ない第２の量子化ビット数に削減して出力するか、前記第１の量子化ビット数のまま出力する第１のビット数削減手段と、前記第１のビット数削減手段から出力される音声データを符号化する音声エンコーダと、前記音声エンコーダからの符号化された音声データを装置の外部に出力する出力手段と、前記音声信号処理手段からの前記第１の量子化ビット数の音声データを、前記第２の量子化ビット数に削減して出力するか、前記第１の量子化ビット数のまま出力する第２のビット数削減手段と、前記第２のビット数削減手段から出力される音声データをモニタ用に処理して出力するモニタ用音声出力手段と、前記第１及び第２のビット数削減手段が前記音声信号処理手段からの前記第１の量子化ビット数の音声データを第２の量子化ビット数に削減して出力するか、前記第１の量子化ビット数のまま出力するかを同じく制御する制御手段とを有することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、符号化しようとする音声とモニタ出力する音声の量子化ビット数を同じに制御するので、同等の音質を担保できる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施例の概略構成ブロック図である。
【図２】本実施例の制御手順のフローチャートである。
【発明を実施するための形態】
【００１５】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１６】
図１は、本発明に係る信号処理装置を適用したカムコーダの一実施例の概略構成ブロック図である。図１に示すカムコーダ１０は、撮像した動画を音声とともに記録する機能に加えて、動画と音声をストリーミング出力する機能と、モニタ用の音声信号出力機能を有する。カムコーダ１０は、ストリーミング出力する音声と、モニタ用の音声との間で、音質の相違と遅延が少なくなるように構成されている。なお、図１には、本発明の理解に必要な要素のみを図示してあり、電池及び記録媒体ドライブ等のその他の部分を省略してある。
【００１７】
カムコーダ１０は、内部バス１２を介して互いに接続されたＣＰＵ（中央演算装置）１４、プログラムＲＯＭ１６、メモリ１８、ディスプレイ２０、操作部２２及び伝送データ生成部２４を具備する。
【００１８】
内部バス１２は、各種データ、制御信号及び指示信号などをカムコーダ１０の各ブロックに送るための汎用バスである。図１では主たる接続先のみを図示しているが、必要に応じて接続先は増減しても良い。
【００１９】
ＣＰＵ１４は、カムコーダ１０の動作を制御する演算処理装置である。ＣＰＵ１４は、操作部２２を介して使用者からの指示を受け付けて、後述する各種プログラムを実行すると共に、ディスプレイ２０の表示制御なども行う。プログラムＲＯＭ１６には、データや、ＣＰＵ１４の動作処理手順（例えばカムコーダ１０の立ち上げ処理や基本入出力処理、後述する各処理等のプログラム）が記録されている。メモリ１８は、ＣＰＵ１４のワークエリアとして使用される。
【００２０】
ディスプレイ２０は、グラフィックユーザインターフェース（ＧＵＩ）を提供するための表示部である。操作部２２は、カムコーダ１０の筺体に配された複数のスイッチ、及び、ディスプレイ２０の表面上に配置された抵抗膜方式または静電容量方式によるタッチパネルからなる。ディスプレイ２０の表示画像とタッチパネルの検出領域とを組み合わせることによって、表示画像に応じたＣＰＵ１４への様々な操作入力を可能にする。
【００２１】
撮像部２６は、撮影レンズによる被写体の光学像をＣＣＤセンサまたはＣＭＯＳセンサ等の撮像素子により画像信号に変換し、アナログデジタル変換をした画像データを、一定周期で画像信号処理部２８に供給する。
【００２２】
画像信号処理部２８は、撮像部２６からの画像データに、ホワイトバランス調整、色・明るさなどを設定に基づいて調整する画質調整処理、画素数及びアスペクト比などの画像サイズを変更する処理等を施す。画像信号処理部２８は、このように処理された画像データを一定のビデオフォーマットに基づく動画データ形式で、記録部３０及び伝送データ生成部２４に供給する。画像信号処理部２８は、このような処理を実行するマイクロコンピュータまたはデジタル信号処理回路（ＤＳＰ）からなるが、ＣＰＵ１４が、プログラムによりこれらの処理を実行しても良い。
【００２３】
音声入力部３２は、内蔵マイクまたは音声入力端子を介して接続された外部マイクにより、カムコーダ１０の周囲の音声を取り込み、電気信号に変換する。ＡＤＣ（アナログデジタル変換器）３４は、音声入力部３２から出力されるアナログ音声信号を１サンプルあたり２４ビットのデジタル音声信号に変換し、音声信号処理部３６に供給する。また、内蔵または外部マイクはステレオマイクでもよいし、３つ以上のマイクでもよい。
【００２４】
音声信号処理部３６は、ＡＤＣ３４からの２４ビットのデジタル音声信号を一時的に不図示のメモリに記憶し、音声に特殊効果を付与するエフェクト処理、レベルの適正化処理及び雑音低減処理等の音声に関する処理を行う。音声信号処理部３６は、入力音声信号を処理して得られる２４ビットのデジタル音声信号を記録部３０、伝送データ生成部２４及びビット数削減部３８に供給する。音声信号処理部３６は例えば、これらの処理をプログラムにしたがって実行するデジタル信号処理回路又はマイクロコンピュータからなり、同様の機能はＣＰＵ１４上で動作するプログラムによっても代替可能である。
【００２５】
伝送データ生成部２４は、画像信号処理部２８からの動画データと、音声信号処理部３６からの音声データを、カムコーダ１０に直接又はネットワークを介して接続される機器に伝送するデータを生成する回路である。伝送データ生成部２４は、伝送用に動画データと音声データを圧縮符号化した上で多重化する。伝送データ生成部２４で生成された伝送データは、動画出力部４８に直接接続する又はネットワークを介して接続する外部の受信装置に伝送される。
【００２６】
画像エンコーダ４０が、画像信号処理部２８からの動画データを所定の動画符号化方式に従って圧縮符号化する。
【００２７】
外部の受信装置として、１６ビット音声データを受信可能な汎用機器を想定している。そのため、伝送データ生成部２４では、ビット数削減部４２が、音声信号処理部３６からの２４ビット音声データを１６ビット音声データにビット数を削減する。そして、音声エンコーダ４４が、ビット数削減部４２から出力される１６ビット音声データを所定の標準化された方式で圧縮符号化する。音声エンコーダ４４による音声データの圧縮符号化は、画像エンコーダ４０による圧縮符号化される画像フレームと同期動作する必要があり、音声データはそのための遅延を受ける。
【００２８】
多重装置４６は、画像エンコーダ４０からの符号化動画データと、音声エンコーダ４４からの符号化音声データを多重化し、所定形式、例えば、ストリーミング形式で動画出力部４８に出力する。動画出力部４８に接続する図示しない受信装置が、伝送データ生成部２４から出力される伝送データを受信し、動画を再生表示し、音声を再生出力する。もちろん、受信装置は、受信した伝送データを記録媒体に記録する記録装置であってもよい。
【００２９】
図示した実施例では、ビット数削減部４２は、ディザ発生部５０、加算器５２及びビット数変換部５４からなる。ディザ発生部５０は、ＣＰＵ１４により制御された強さと内容のディザ信号を発生する。加算器５２は、音声信号処理部３６からの２４ビット音声データにディザ発生部５０からのディザ信号を加算する。ビット数変換部５４は、加算器５２の２４ビット出力の下位８ビットを切捨て、切上げまたは四捨五入することにより、音声データの各サンプルのビット数を２４ビットから１６ビットに変換する。
【００３０】
モニタ用音声出力手段として、カムコーダ１０は、ビット数削減部３８、ＤＡＣ（デジタルアナログ変換器）５６及び音声出力部５８を有する。ビット数削減部３８は、ビット数削減部４２と同じ入出力特性の同じ回路構成からなり、音声信号処理部３６から出力される２４ビット音声データを１６ビット音声データにそのビット数を削減する。ビット数削減部３８は、ビット数削減部４２と同様に、ディザ発生部６０、加算器６２及びビット数変換部６４からなる。ディザ発生部６０は、ＣＰＵ１４により制御された強さと内容のディザ信号を発生する。加算器６２は、音声信号処理部３６からの２４ビット音声データにディザ発生部６０からのディザ信号を加算する。ビット数変換部６４は、加算器６２の２４ビット出力から下位８ビットを削除して１６ビット化する。
【００３１】
ＤＡＣ５６は、ビット数削減部３８からの音声データをアナログ音声信号に変換し、音声出力部５８に供給する。音声出力部５８は、ＤＡＣ５６からのアナログ音声信号を適宜増幅し、外部に出力する。この説明例では、音声出力部５８には、カムコーダ１０を操作するオペレータ又はディレクタが装着するヘッドホンが接続する。
【００３２】
ＣＰＵ１４は、ディザ発生部５０，６０が発生するディザ信号の付加量を同じに制御し、ビット数変換部５４，６４の変換の可否も同じに制御する。前者により、ビット数削減に関して、伝送データ生成部２４により伝送用に生成される音声データと、モニタ用の音声データの音質を同じにすることができる。後者により、伝送用の音声データとモニタ用の音声データを１６ビットベースとするか２４ビットベースとするかを合致させることが出来る。なお、このためには、音声エンコーダ４４とＤＡＣ５６が、１６ビットと２４ビットの両方に対応可能であればよい。これは、動画出力部４８に接続する受信装置が２４ビット音声データに対応する場合に有益であり、必要な機能である。
【００３３】
記録部３０は、画像信号処理部２８からの動画データと音声信号処理部３６からの２４ビット音声データを、記録用に処理して記録媒体に記録する。例えば、記録部３０は、伝送データ生成部２４と同様の動画・音声の符号化及び多重化装置を具備する。ビット数削減部４２と同様のビット数削減部を記録部３０にも設け、そのビット数削減部をビット数削減部４２と同期して同様に制御することで、記録音声とモニタ音声の量子化ビット数を同じに制御できる。
【００３４】
図２を参照して、伝送用の音声データとモニタ用の音声データの連携に関するＣＰＵ１４の制御動作を説明する。図２は、ＣＰＵ１４による連携制御の動作フローチャートを示す。ＣＰＵ１４は、図２に示すフローチャートで示される制御動作を実現する制御プログラムをプログラムＲＯＭ１６から読み込み実行することで、図２に示す各処理を実現する。
【００３５】
Ｓ２０１で、ＣＰＵ１４は、動画データを動画出力部４８から出力する動画出力機能が有効になっているかどうかを判断する（Ｓ２０１）。ＣＰＵ１４は、動画出力機能が有効な場合（Ｓ２０１）、Ｓ２０２に進み、動画出力機能が無効の場合（Ｓ２０１）、Ｓ２０７に進む。この機能の有効／無効の設定は、ユーザがディスプレイ２０に表示されるメニュ画面を見ながら操作部２２を使って行う方法が一般的である。動画出力機能が有効になっている場合、ユーザは、動画出力部４８から出力される動画データに含まれる音声データで音声の内容と音質を確認したいと思われる。他方、動画出力機能が無効になっている場合、ユーザは、記録音声の音質で音声を聴きたいものと考えられる。
【００３６】
Ｓ２０２で、ＣＰＵ１４は、動画出力部４８に、適切な受信装置が接続されているかどうかを判断する。この判断は、例えば、動画出力部４８の外部機器接続端子に挿抜検出機構を配置することで、または、ネットワーク経由の場合には受信装置との間でリンクが確立したかどうかで、実現されうる。ＣＰＵ１４は、適切な受信装置の接続を確認できる場合（Ｓ２０２）、Ｓ２０３に進み、確認できない場合（Ｓ２０２）、Ｓ２０７に進む。
【００３７】
Ｓ２０３で、ＣＰＵ１４は、音声データをダウンコンバート、すなわち、２４ビットから１６ビットへの削減を行うべきかどうかを判断する。ユーザはダウンコンバートの要否をメニュ画面上で予めＣＰＵ１４に指示することができる。メニュ画面上でのダウンコンバートの指示は、採用する量子化ビット数を直接選択するものでも、間接的又は結果として選択するものでも、どちらでもよい。
【００３８】
音声データをダウンコンバートする場合（Ｓ２０３）、Ｓ２０４で、ＣＰＵ１４は、ビット数削減部４２のディザ発生部５０及びビット数変換部５４を有効にする。これにより、ビット数削減部４２は、音声信号処理部３６からの２４ビット音声データを１６ビットに落として音声エンコーダ４４に供給し、音声エンコーダ４４は１６ビットベースで音声データを圧縮符号化する。さらに、Ｓ２０５で、ＣＰＵ１４は、ビット数削減部３８のディザ発生部６０及びビット数変換部６４を有効にする。これにより、ビット数削減部３８は、音声信号処理部３６からの２４ビット音声データを１６ビットに落としてＤＡＣ５６に供給し、ＤＡＣ５６は１６ビット音声データをアナログ音声信号に変換する。
【００３９】
ディザ発生部５０，６０が発生するディザ信号の内容と強度を同じにし、ビット数変換部５４，６４の変換処理を同じにする。こうすることで、１６ビット化の結果を同じにすることができ、動画出力から得られる音声と、モニタ用出力の音声の音質を等しくすることができる。
【００４０】
音声データをダウンコンバートしない場合（Ｓ２０３）、Ｓ２０６で、ＣＰＵ１４は、ビット数削減部４２のディザ発生部５０及びビット数変換部５４を無効にする。これにより、ビット数削減部４２は、音声信号処理部３６からの２４ビット音声データを２４ビットのまま音声エンコーダ４４に供給し、音声エンコーダ４４は２４ビットベースで音声データを圧縮符号化する。さらに、Ｓ２０７で、ＣＰＵ１４は、ビット数削減部３８のディザ発生部６０及びビット数変換部６４を無効にする。これにより、ビット数削減部３８は、音声信号処理部３６からの２４ビット音声データを２４ビットのままＤＡＣ５６に供給し、ＤＡＣ５６は２４ビット音声データをアナログ音声信号に変換する。
【００４１】
動画出力機能が無効の場合（Ｓ２０１）、または、動画出力部４８に適切な受信装置が接続していない場合（Ｓ２０２）、Ｓ２０７で、ＣＰＵ１４は、ビット数削減部３８のディザ発生部６０及びビット数変換部６４を無効にする。これにより、ビット数削減部３８は、音声信号処理部３６からの２４ビット音声データを２４ビットのままＤＡＣ５６に供給し、ＤＡＣ５６は２４ビット音声データをアナログ音声信号に変換する。
【００４２】
図２に示す処理により、動画出力機能により出力される音声の音質と、モニタ用音声の音質を合わせることが出来る。モニタ用音声は実音声からの遅延も無視できる／少ないので、音声取り込み環境の調整を適切に行えるようになる。
【００４３】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００４４】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するプログラムを、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2017067801.tif 000003
【図２】
2017067801.tif 000004