(57)【要約】【課題】  動画記録に於いて特別なハードウェアなしで音声と画像の先頭をそろえる手段を提供する。【解決手段】  フレームまたはｖｓｙｎｃを検出したら動画記録を開始しオーディオコーデックおよびオーディオインターフェイスを設定しておく。次のｖｓｙｎｃを検出したらオーディオインターフェイスのｆｉｆｏをクリアしてＤＭＡ転送を開始する。【選択図】  図１
2007074247.tif 000002
【特許請求の範囲】
【請求項１】
画像信号の入力手段と、
入力された画像信号を間引く画像フレーム選択手段と、
入力された画像信号のフレームの開始を検出するフレーム開始検出手段と、
該フレーム選択手段によって選択されたフレームをメモリに書き込むフレーム
出力手段とを有するビデオ信号処理部と、
マイクと、
オーディオ信号のA/D変換手段と、
A/D変換されたオーディオ信号の受信手段と、
該オーディオ信号受信手段を一時的に格納するfifoとを有するオーディオ信号i/fと、
DMACと、
該オーディオ信号i/fからのオーディオ信号を該DMACによってメモリに書き込むオーディオ信号処理部と
を有する動画記録装置において、
動画記録開始時に、該フレーム開始検出手段によりフレームの検出直後に動画記録を開始設定及びオーディオ信号記録開始設定を行ない、次のフレームを検出したらオーディオ信号i/fのfifoをクリアしてDMACによりDMA転送を開始することを特徴とする動画記録装置。
【請求項２】
前記第１項の動画記録装置において、画像信号入力手段としてカメラを有し、
動画記録開始時に、にオーディオ信号記録開始設定を行ない、該フレーム開始検出手段によりフレームを検出したら動画記録を開始設定及びオーディオ信号i/fのfifoをクリアしてDMACによりDMA転送を開始することを特徴とする動画記録装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオとビデオを同時に記録する動画記録装置に関する。
【背景技術】
【０００２】
従来、オーディオとビデオを同時に記録する動画記録装置では、オーディオ信号の記録開始時間とビデオ信号の記録開始時間をそろえるのに、ビデオ信号処理部よりオーディオ信号処理部に記録開始を指示するようなハードウェアになっていた。
【０００３】
又、別の従来例としては、特許文献１をあげることが出来る。
【特許文献１】特開平10-276388号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、ビデオ信号処理部よりオーディオ信号処理部に記録開始を指示するような専用ハードウェアを構築すると、ビデオ信号処理部とオーディオ信号処理部とが依存関係を持ってしまうために、コストが上昇してしまう、ハードウェアの変更が困難になってしまう、という問題点がある。
【０００５】
また、オーディオ信号の開始データをメモリ上でＣＰＵによりサーチして不要な部分を破棄する処理をする構成では、オーディオ信号を符号化する際のデータの格納されるメモリのアドレス、及びサイズが所望のアドレス、及びサイズにならないため、一旦所望のアドレス、サイズにコピーするなどの処理が必要になってしまい、オーディオ信号の処理に時間、メモリを余分に消費してしまう、という問題点がある。
【課題を解決するための手段】
【０００６】
本発明によれば、動画記録開始時に、フレームの検出直後に動画記録の開始設定及びオーディオ信号記録開始設定を行ない、次のフレームを検出したらオーディオ信号i/fのfifoをクリアしてDMACによりDMA転送を開始することにより、ビデオ信号処理部とオーディオ信号処理部とをハード的に結びつけることなく録画開始時の同期をとるように構成したものである。
【発明の効果】
【０００７】
本発明によれば、動画記録開始時に、フレームの検出直後に動画記録の開始設定及びオーディオ信号記録開始設定を行ない、次のフレームを検出したらオーディオ信号i/fのfifoをクリアしてDMACによりDMA転送を開始することにより、ビデオ信号処理部とオーディオ信号処理部とをハード的に結びつけることなく録画開始時の同期をとるように構成することができ、コストの上昇を抑え、ハードウェアの設計変更を容易にすることができる。
【０００８】
さらに、オーディオ信号を符号化する際のデータの格納されるメモリのアドレス、及びサイズが所望のアドレス、及びサイズに設定できるため、オーディオ信号の処理時間、及び、メモリを無駄にしない。
【発明を実施するための最良の形態】
【０００９】
次に、本発明の詳細を実施例の記述に従って説明する。
【実施例１】
【００１０】
図１は本発明の実施例の１形態を表すブロック図である。
【００１１】
１０１は全体の制御をおこなうＣＰＵ、
１０２は動画像、および静止画像を撮影するカメラ、
１０３はカメラ１０２から入力される画像信号を処理するビデオ信号処理部で、以下ＶＰＢ（Ｖｉｄｅｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｂｌｏｃｋ）と呼ぶ。
【００１２】
１０４は画像の表示や操作のための表示をおこなう表示部、
１０５は表示部１０４の制御をおこなう表示制御部、
１０６はユーザが操作をおこなう操作部でボタンやキー、ペン入力のためのデジタイザを含む。
【００１３】
１０７は静止画像、動画像、音声、音楽の符号化、復号化をおこなう符号化／復号化部で、このうち１つまたは複数がプログラムメモリ１１１に格納されるソフトウェアによって実装されていても良い。
【００１４】
１０８はオーディオ信号を取り込むマイク、
１０９は音の入出力を制御するオーディオ信号制御部、
１１０は音声やキータッチ音などのオーディオ信号を出力するスピーカ、
１１１はプログラムを格納するプログラムメモリ、
１１２はデータを格納するデータメモリで、Ｆｌａｓｈメモリ、ＳＲＡＭ、ＤＲＡＭなどで構成されている。
【００１５】
１１３は静止画像や動画像を格納する外部記憶装置で、半導体による記憶装置で構成されていてもよい。
【００１６】
１１４は外部記憶装置１１３を制御する外部記憶制御部、
１１５は通信制御部で、有線、あるいは無線によって外部機器やネットワークとの通信をおこなう。
【００１７】
１１６は各部を接続するバスである。
【００１８】
図２はオーディオ信号処理部１０９の詳細を表すブロック図である。
【００１９】
２０１はオーディオコーデック、
２０２はオーディオコーデック２０１の制御を行うためのオーディオコーデック制御部、
２０３はオーディオコーデック制御部２０２とオーディオコーデック２０１とを接続する制御線で、I2Cまたは同期シリアルなどで構成される。
【００２０】
２０４はオーディオコーデック２０１と音声データをやりとりするオーディオデータ制御部、
２０５はオーディオデータが一時的に蓄積されるfifo、
２０６はオーディオデータ制御部２０３とオーディオコーデック２０１とを接続するデータ線で、I2S等で構成される。
【００２１】
２０７はＤＭＡＣで、ｆｉｆｏ２０５＝データ・メモリ１１２間のデータの送受を受け持つ。
【００２２】
図３は本発明の実施形のシーケンス・フローの１例である。本シーケンスはプログラム・メモリ１１１に格納されており、ＣＰＵ１０１によって実行される。
【００２３】
動画の撮影開始に先だって、カメラに対して撮影開始設定する（Ｓ３０１)。設定内容はＡＦ、ＡＥ、ＡＷＢ、などの動作モード等である。
【００２４】
動作モード設定が完了したら、カメラからの設定完了応答を待つ（Ｓ３０２）。
【００２５】
次に、フレームの検出を行う（Ｓ３０３）。画像信号のうちの、制御信号の代表的なものである、Ｆｒａｍｅ，ＶＳＹＮＣ，ＨＳＹＮＣの例を図４に示す。インターレース画像が入力となる場合は、Ｆｒａｍｅ信号によってＶＳＹＮＣを選択的に検出することにより、新たなフレームの検出を行なう。
【００２６】
Ｓ３０３で、新たなフレームの開始が検出されたらＶＰＢ１０３の設定を行なう（Ｓ３０４）。設定内容は符号化／復号化部１０７に渡すためのデータを格納するデータ・メモリ１１２上のアドレス、取りこむべき画像のサイズ、画像のフレームレートなどである。ここでＶＰＢの設定が完了すると、次のフレームから指定フレームレート毎に画像がデータ・メモリ１１２の所定のアドレスに書き込まれる。
【００２７】
次に符号化／復号化部１０７の符号化部に対して設定を行なう（Ｓ３０５）。設定内容はＳ３０４で設定したデータ・メモリ１１２上のアドレスや符号化方式に応じた内容である。
【００２８】
更にオーディオ信号処理部１０９に対して各種の設定を行なう（Ｓ３０６）。設定内容は録音であることの設定、入力ゲイン、サンプリング周波数、符号化／復号化部１０７に渡すためのデータを格納するデータ・メモリ１１４上のアドレス、取りこむべき音声のサイズの設定などで、オーディオコーデック制御部２０４を経由してオーディオコーデック２０１に設定するもの、オーディオデータ制御部２０４の設定するも、及びＤＭＡＣ２０７に設定するものがある。
【００２９】
Ｓ３０６でオーディオの設定が完了すると、オーディオコーデック２０１よりオーディオデータがＩ２Ｓ２０６経由でｆｉｆｏ２０５に蓄積される。しかしながらＤＭＡＣ２０７は起動されていないので、オーディオデータはデータ・メモリ１１２には転送されない。
【００３０】
Ｓ３０６でオーディオ信号処理部１０９に対する設定が完了したら、再びフレームが検出されるまで待つ（Ｓ３０７）。
【００３１】
フレームが検出されたら、オーディオデータ制御部２０４のｆｉｆｏ２０５をクリアし、ＤＭＡＣ２０７をスタートする（Ｓ３０８）。
【００３２】
ＶＰＢ１０３への設定が有効になるためにはＶＰＢ１０３がフレームを検出するより一定時間前でなければならない。ＣＰＵ１０１の動作速度はＦｒａｍｅ信号の変化に比較して充分に高速であるのでＳ３０６でのオーディオ関連の設定は、ＶＰＢ１０３が取り込みを開始するフレームを検出するまでに充分時間がある。Ｓ３０８でＤＭＡＣをスタートさせる前にｆｉｆｏ２０５に蓄積されているオーディオデータはＳ３０８でクリアされる。オーディオデータは、Ｓ３０７で検出され、ＶＰＢ１０３によってデータ・メモリ１１２に取り込まれるフレームにぴったり同期したデータがＤＭＡＣ２０７によってデータ・メモリ１１２に転送されることになる。
【実施例２】
【００３３】
図５は本発明の実施形のシーケンス・フローの１例である。本シーケンスはプログラム・メモリ１１１に格納されており、ＣＰＵ１０１によって実行される。
【００３４】
動画の撮影開始に先だって、カメラに対して撮影開始設定する（Ｓ５０１)。設定内容はＡＦ、ＡＥ、ＡＷＢ、などの動作モード等である。
【００３５】
動作モード設定が完了したら、カメラからの設定完了応答を待つ（Ｓ５０２）。
【００３６】
次に、オーディオ信号処理部１０９に対して各種の設定を行なう（Ｓ５０３）。設定内容は録音であることの設定、入力ゲイン、サンプリング周波数、符号化／復号化部１０７に渡すためのデータを格納するデータ・メモリ１１２上のアドレス、取りこむべき音声のサイズの設定などで、オーディオコーデック制御部２０４を経由してオーディオコーデック２０１に設定するもの、オーディオデータ制御部２０４の設定するも、及びＤＭＡＣ２０７に設定するものがある。
【００３７】
Ｓ５０３でオーディオの設定が完了すると、オーディオコーデック２０１よりオーディオデータがＩ２Ｓ２０６経由でｆｉｆｏ２０５に蓄積される。しかしながらＤＭＡＣ２０７は起動されていないので、オーディオデータはデータ・メモリ１１４には転送されない。
【００３８】
次に、フレームの検出を行う（Ｓ５０４）。
【００３９】
フレームが検出されたら、オーディオデータ制御部２０４のｆｉｆｏ２０５をクリアし、ＤＭＡＣ２０７をスタートする（Ｓ５０５）。Ｓ５０４でＤＭＡＣをスタートさせる前にｆｉｆｏ２０５に蓄積されているオーディオデータはＳ５０３でクリアされる。オーディオデータは、Ｓ５０４で検出され、カメラ１０２によってデータ・メモリ１１４に取り込まれるフレームにぴったり同期したデータがＤＭＡＣ２０７によってデータ・メモリ１１２に転送されることになる。
【００４０】
次にＶＰＢ１０３の設定を行なう（Ｓ５０６）。設定内容は符号化／復号化部１０７に渡すためのデータを格納するデータ・メモリ１１４上のアドレス、取りこむべき画像のサイズ、画像のフレームレートなどである。ここでＶＰＢの設定が完了すると、次のフレームから指定フレームレート毎に画像がデータ・メモリ１１２の所定のアドレスに書き込まれる。ＶＰＢ１０３への設定が有効になるためにはＶＰＢ１０３がフレームを検出するより一定時間前でなければならない。ＣＰＵ１０１の動作速度はＦｒａｍｅ信号の変化に比較して充分に高速であるのでＳ５０６でオーディオ関連の起動は、ＶＰＢ１０３が取り込みを開始するフレームを検出するまでに充分時間がある。
【００４１】
次に符号化／復号化部１０７の符号化部に対して設定を行なう（Ｓ５０５）。設定内容はＳ５０４で設定したデータ・メモリ１１２上のアドレスや符号化方式に応じた内容である。
【００４２】
カメラでは、画像センサから取り込んだ画像を一旦画像処理してＶＰＢ１０３に画像データを転送するために、画像蓄積用のバッファを２つ以上持っている。画像センサからの画像取り込みのタイミングとＶＰＢ１０３への画像データ転送のタイミングは同一であるので、Ｓ５０４の時点で検出されたフレームの１フレーム前の画像データを画像センサで取り込んでいることになる。つまり、Ｓ５０５で転送を開始したオーディオデータにぴったり同期した画像データがカメラ１０２によって撮影されていることになる。
【図面の簡単な説明】
【００４３】
【図１】本発明の実施例の１形態を表すブロック図
【図２】本発明の実施例の１形態の詳細を表すブロック図
【図３】本発明の実施例の１例を表すシーケンス・フロー
【図４】本発明の実施例の１例を表す画像信号のうちの、制御信号の代表を示す波形
【図５】本発明の実施例の１例を表すシーケンス・フロー
【符号の説明】
【００４４】
１０１  ＣＰＵ
１０２  カメラ
１０３  ビデオ信号処理部（ＶＰＢ）
１０４  表示部
１０５  表示制御部
１０６  操作部
１０７  符号化／復号化部
１０８  マイク
１０９  オーディオ信号処理部
１１０  スピーカ
１１１  プログラムメモリ
１１２  データメモリ
１１３  外部記憶装置
１１４  外部記憶制御部
１１５  通信制御部
１１６  バス
２０１  オーディオコーデック
２０２  オーディオコーデック制御部
２０３  制御線
２０４  オーディオデータ制御部
２０５  fifo
２０６  データ線
２０７  ＤＭＡＣ
【図１】
2007074247.tif 000003
【図２】
2007074247.tif 000004
【図３】
2007074247.tif 000005
【図４】
2007074247.tif 000006
【図５】
2007074247.tif 000007