(57)【要約】【課題】記録済みの音声に他の音声を合成できるようにする。【解決手段】音声信号の符号化及び復号化処理を行う符号化処理手段と、演算処理手段と、ＢＧＭ音声信号を記憶する記憶手段とを有し、前記符号化手段と前記演算処理手段が共通の転送バスに接続され、記録媒体に記録済みの符号化された音声信号と前記記憶手段に記憶されたＢＧＭ音声信号とを合成する場合に、前記符号化処理手段により前記記録済みの符号化された音声信号を復号し、前記演算処理手段は、前記復号された音声信号と前記ＢＧＭ音声信号のサンプリング周波数が一致している場合に、ビットシフト処理により前記合成を行う。【選択図】図１
2016206366.tif 000002
【特許請求の範囲】
【請求項１】
音声信号の符号化及び復号化処理を行う符号化処理手段と、
演算処理手段と、
ＢＧＭ音声信号を記憶する記憶手段とを有し、
前記符号化手段と前記演算処理手段が共通の転送バスに接続され、
記録媒体に記録済みの符号化された音声信号と前記記憶手段に記憶されたＢＧＭ音声信号とを合成する場合に、前記符号化処理手段により前記記録済みの符号化された音声信号を復号し、前記演算処理手段は、前記復号された音声信号と前記ＢＧＭ音声信号のサンプリング周波数が一致している場合に、ビットシフト処理により前記合成を行うことを特徴とする信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置に関する。
【背景技術】
【０００２】
近年、撮影装置の高機能化が進んでいる。高機能化の一環として動画／静止画の両方を撮影可能なカメラが多数みられる。これらのカメラは、動画撮影において、動画を取得すると同時に音声も取得し、動画と同期させて記録を行う。
【０００３】
動画ファイルはMPEG4などで圧縮した後に、インターネット上にアップロードして閲覧することも可能である。これら動画ファイルの容量を小さくするために、音声信号に符号化を行い、データの圧縮を行う符号化方式が多数提案されている。
音声信号を圧縮する符号化方式は、オーディオコーデックと呼ばれ、AAC-LC, HE-AACなどの方式がある。
【０００４】
これらオーディオコーデックの中には、揮発性RAMを内蔵し、起動時に動作用ファームを書き込むことで符号化／復号化処理を行うことを特徴とするものがある。プログラムの書換えにより、符号化方式を変えられる特徴を持ち、カメラなどでも多く使用されている。
【０００５】
また、上記動画／静止画の両方を撮影可能なカメラを用い、ユーザがカメラにて撮影した動画ファイルに背景音楽を合成し、映画のように演出効果を高めたいという要望がある。
この場合、SDカードなどに所望の背景音楽データ、および撮影した動画データを保存し、カメラ上の操作部材で編集処理を行う方法をとる。
【０００６】
背景音楽データはWaveなどのPCMデータ、動画データはMP4などの圧縮データで保存されているとする。
【０００７】
しかし、オーディオ処理回路と符号化／復号化回路が音声転送バスを共有して演算処理回路に接続される撮影装置では、再生経路が複雑になるだけでなく、合成したファイルを撮影装置内に保存することが出来ない為、再生させるたびに合成作業が必要となる。
【０００８】
そこで、特許文献１のように、各種ビデオオブジェクトと再生経路の情報を記したメタデータを保持し、演算処理装置がそれをもとに合成を行うシステムも提案されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】国際公開第98／21722号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１では、メタデータなどの記述ファイルを別に準備しなければならない。カメラ上の操作部材でこれら記述ファイルを編集するのは難しく、使い勝手に課題がある。
【００１１】
本発明は、記録済みの音声に他の音声を合成できるようにすることを目的とする。
【課題を解決するための手段】
【００１２】
上記の目的を達成するために、本発明の信号処理装置は、音声信号の符号化及び復号化処理を行う符号化処理手段と、演算処理手段と、ＢＧＭ音声信号を記憶する記憶手段とを有し、前記符号化手段と前記演算処理手段が共通の転送バスに接続され、記録媒体に記録済みの符号化された音声信号と前記記憶手段に記憶されたＢＧＭ音声信号とを合成する場合に、前記符号化処理手段により前記記録済みの符号化された音声信号を復号し、前記演算処理手段は、前記復号された音声信号と前記ＢＧＭ音声信号のサンプリング周波数が一致している場合に、ビットシフト処理により前記合成を行うことを特徴とする。
【発明の効果】
【００１３】
本発明の信号処理装置によれば、記録済みの音声に、他の音声を合成することができる。
【図面の簡単な説明】
【００１４】
【図１】デジタルカメラの要部の構成を示すブロック図である。
【図２】デジタルカメラの構成を示すブロック図である。
【図３】音声合成処理を示す図である。
【図４】音声データ合成処理を示す図である。
【発明を実施するための形態】
【００１５】
以下、添付の図面を参照して、本発明の好適な実施形態を説明する。
【００１６】
図２はデジタルカメラのシステム構成を示すブロック図である。20は、デジタルカメラである。マイク21は、音声データ取得手段である。音声処理回路22は、マイク21で得られた音声データを演算処理部26で取得するためにA／D変換を、演算処理部26で生成された音声データをスピーカ23で出力するためにD／A変換を行う。
【００１７】
24は撮像素子を備える撮像部である、各レンズ郡を通ってきた被写体像を電気信号に変換する。A／D変換器25は撮像素子24のアナログ信号出力をデジタル信号に変換する。タイミング発生回路36は、不図示のメモリ制御回路および演算処理部26により制御され、A／D変換器25にクロック信号や制御信号を供給する。
【００１８】
画像処理部27は、A／D変換器25からのデータ或いは不図示のメモリ制御回路からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理部27においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB（オートホワイトバランス）処理も行っている。A／D変換器25のデータが画像処理部27、不図示のメモリ制御回路を介して、或いはA／D変換器25のデータが直接メモリ制御回路を介して、SDRAM34に書き込まれる。通信制御部28は、接続されるカメラ等の機器との通信を制御する。
【００１９】
デジタルカメラは、不図示の外部出力コネクタを備えており、撮影した画像の出力を外部モニタに出力する。外部出力コネクタにコネクタが挿されている場合は不図示の外部出力接続検知手段により演算処理部26は外部出力状態を知る事が出来る。例えば、HDMI（登録商標）コネクタ等が用いられる。29は操作部であり、ユーザによる指示入力が行われる。
【００２０】
LCD31およびLCDドライバ30は、画像表示部であり、SDRAM34に書き込まれた表示用の画像データLCDドライバ30を介してLCD31に表示される。画像表示部を用いて撮像した画像データを逐次表示すれば、ライブビュー機能を実現することが可能である。また、画像表示部は、演算処理部26の指示により任意に表示をON／OFFすることが可能であり、表示をOFFにした場合にはデジタルカメラの電力消費を大幅に低減することが出来る。
【００２１】
SDRAM34は、撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。また、SDRAM34は演算処理部26の作業領域としても使用することが可能である。SDRAM34は、記録媒体の書き込みバッファとしても使われる。
【００２２】
カードコネクタ33は、記録媒体とのインターフェースである。インターフェースとしては、SDカードやコンパクトフラッシュ（登録商標）カード等の規格に準拠したものを用いて構成して構わない。記録媒体32はメモリカード等の記録媒体である。また、この記録媒体32の代わりに各種通信カードを接続することにより、他機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。
【００２３】
FLASHROM35は画像形成装置のシステム制御用プログラムを格納している。音声符号化／復号化回路37は、音声処理回路にて出力された音声データの圧縮／解凍処理を行う。音声処理回路から出力された音声データを符号化、データ量を圧縮して記録媒体32などに記録を行う。また、記録媒体32などに記録された音声データを復号化、解凍して音声処理回路などへ出力する。演算処理部26は、デジタルカメラ20全体を制御する回路である。モータ駆動部38は、鏡筒およびレンズユニットを制御するモータの駆動回路である。演算処理部26により制御され、不図示のズームレンズ、フォーカスユニット、絞り／シャッターユニットなどの制御を行なう。演算処理部26は、FLASHROM35に記録されたプログラムを実行することで、後述する各実施例の処理を実現する。SDRAM34は、演算処理部26の動作用の定数、変数、FLASHROM35から読み出したプログラム等を展開するメモリである。FLASHROM35は電気的に消去／記録可能なメモリである。FLASHROM35には、演算処理部26の動作用の定数、プログラム等が記憶される。
【００２４】
［実施例］
以下、図１、２を用いて、本実施例に関わるシステム構成を詳細に説明する。図１は図２中マイク21、音声処理回路22、スピーカ23、演算処理部26、SDRAM34、音声符号化／復号化回路37の回路構成を詳細に示したブロック図である。１は、演算処理部であり、図2内の演算処理部26を示す。4は、符号化／復号化回路であり、図２内の音声符号化／復号化回路37を示し、符号化／復号化器5を内包する。７は、音声処理回路であり、図２内の音声処理回路22を示し、ADDA変換器8を内包する。9、10は、それぞれマイク、スピーカであり、図2内マイク21ならびにスピーカ23を示す。11は、SDRAMであり、図2内のSDRAM34を示す。
【００２５】
2は、第一のシリアルバスであり、演算処理部1から符号化／復号化回路4間に対する制御コマンドの送受信に用いられる。3は、第二のシリアルバスであり、演算処理部１から符号化／復号化回路4へ符号化データを送信／受信するのに用いられる。
【００２６】
6は、デジタル音声転送バスであり、音声用のD／A変換器の入力やA／D変換器の出力を転送するために用いられている。演算処理部1、音声処理回路7、符号化／復号化回路4は、このデジタル音声転送バス6で接続されている。また、音声処理回路7、符号化／復号化回路4は、一部の信号線を共有し、接続されている。
【００２７】
12は、前述した不図示の外部出力コネクタであり、撮影した画像の出力を外部モニタに出力する。例えば、HDMIコネクタ等が用いられる。13は、図２内のSDカード32およびSDカードコネクタ33を示し、撮影画像や動画を記録するのに用いられる。
【００２８】
図１、図２、図３、図４を用いて、実施例における音声処理に関わるシステムの各音声処理を説明する。図３は、実施例における音声処理に関わるシステムの録音処理を示す概念図である。
【００２９】
まず、デジタルカメラ20にて動画の編集を行う場合、操作者は図2中操作部29のメニューボタンを用いて動画と背景音楽データの選択を行う。演算処理部1は、図2中SDカード32の記録媒体から符号化された動画の圧縮データを読出し、シリアルバス3を経由し、符号化／復号化回路4内の符号化／復号化器5に入力、非圧縮の音声データに復号化される（S31）。復号化された音声データは、デジタル音声転送バス6を通り、演算処理部1のSDRAM11に一旦保存され（S32）、その後SDカード32に書きこまれる（S33）。
【００３０】
次に演算処理部1は、その後前記復号化された音声データと、背景音楽データが同じサンプリング周波数で録音されたデータであるかを判別する。
【００３１】
同じサンプリング周波数で録音されたデータであると判別された場合にのみ、演算処理部1は、SDカード32から前記復号化された音声データと、背景音楽データの読出しを行う。
【００３２】
この読出しの際に演算処理部1内で、音声データ合成処理を行う。非圧縮音声データは、8bitの場合は0~255、16bitの場合は-32768〜32767の値が、音声波形データとしてバイナリファイルに格納される。音声波形データの並びは、必ずL->R->L...のようにそれぞれのチャンネルの音が交互に配置されている。サンプリング周波数が、48kHzであれば、48kHz毎に8bitまたは16bitのデータが、ファイル上に記録されている。よって、2つのデータのサンプリング周波数が同じであれば、単純なビット同士の比較が可能となり、データ同士の論理積でデータの合成が可能となる。
【００３３】
図４は実施例における演算処理部内の音声データ合成方法を説明する概念図である。2つのデータがビットシフト処理41および42に入力され、加算処理43で加算され、合成データが作られる。ビットシフト41、42の処理は、演算処理部内の不図示のDMACの読出し処理で行われる。SDカードからの読出しの際に、シフト量に応じてデータの読み出し幅を変えることでビットシフトを実現する。ボリュームを小さくしたい場合は、LSB側へビットシフトして読出しを行い、大きくしたい場合はMSB側へビットシフトして読出しを行う。また、ビットシフト処理に用いるシフト量は、操作者が図2中操作部29のメニューボタンなどで、動画および背景音楽データのボリュームレベルとして設定する。加算器43の処理は、演算処理部内の不図示のレジスタへの書き込み処理とDMACの読出し処理を組み合わせて行われる。
【００３４】
前述のビットシフト処理にてSDカードから読みだされた2つのデータは、一旦DMACにより演算処理部内の2つのレジスタに保存される。その後、演算処理部は前記2つのレジスタの値を論理演算し加算処理を行い、演算結果を別なレジスタに格納する。格納された結果は、再びDMACによりメモリ領域に保存されることで加算処理が完了する。
【００３５】
その後、保存されたデータは、DMACにより読みだされ、SDカードに合成データとして記録される。（S34）操作者は、デジタルカメラ20側の図2中操作部29の再生ボタンを押すこと、前述の合成データがでデジタル音声転送バス6を経由し音声処理回路に入力、SPKにて音声が鳴動する。同時に、動画の再生開始を行う。
【００３６】
以上、本実施例により、オーディオ処理回路と符号化／復号化回路が音声転送バスを共有して演算処理回路に接続される撮影装置で、合成したファイルを撮影装置内で合成／保存することが可能となる。
【符号の説明】
【００３７】
20  デジタルカメラ、21  マイク、22  音声処理回路
【図４】
2016206366.tif 000003
【図１】
2016206366.tif 000004
【図２】
2016206366.tif 000005
【図３】
2016206366.tif 000006