(57)【要約】    【課題】      任意の入力デバイスを組み合わせてマルチメディアデータを記録した場合においても再生時に同期を確立すること。    【解決手段】  マルチメディアデータ記録装置１０１は、マルチメディアデータを同時に取り込む映像及び音声入力デバイスと、映像及び音声入力デバイスから映像信号及び音声信号が入力されるまでの遅延時間を記憶するＤｅｌａｙ値テーブル１２３と、Ｄｅｌａｙ値テーブル１２３で最も短い遅延時間と最も長い遅延時間の間に入力されるメディアデータについて調整を行う調整部１２６と、調整部１２６において調整されたメディアデータを含んでタイムスタンプを付与する多重化回路１０５と、マルチメディアデータを記録媒体に記録させる書き込み回路１０８と、を具備する。  【選択図】      図２
2006128887.tif 000002
【特許請求の範囲】
【請求項１】
マルチメディアデータを同時に取り込む複数の入力デバイスと、
前記入力デバイスに入力開始を送信してから前記入力デバイスからメディアデータが入力されるまでの遅延時間を記憶する記憶手段と、
前記記憶手段が記録する前記入力デバイスの中で最も短い遅延時間と最も長い遅延時間の間に入力されるメディアデータについて調整を行う調整手段と、
前記調整手段において調整されたメディアデータを含んで前記マルチメディアデータの再生時前記マルチメディアデータ間の同期を確立するタイムスタンプを付与して前記マルチメディアデータを記録媒体に記録させる記録制御手段と、
を具備することを特徴とするマルチメディアデータ記録装置。
【請求項２】
前記調整手段は、遅延時間が最も長い入力デバイスに合わせて、前記遅延時間までの間、前記遅延時間よりも遅延時間が短い入力デバイスから入力されるメディアデータを破棄することを特徴とする請求項１記載のマルチメディアデータ記録装置。
【請求項３】
前記調整手段は、遅延時間が最も短い入力デバイスに合わせて、前記遅延時間から他の入力デバイスの遅延時間までの間、他の入力デバイスから入力される所定のメディアデータを生成することを特徴とする請求項１記載のマルチメディアデータ記録装置。
【請求項４】
前記マルチメディアは、映像メディア及び音声メディアであって、
前記調整手段は、音声入力デバイスの遅延時間が映像入力デバイスの遅延時間よりも短い場合、前記音声入力デバイスの遅延時間から前記映像入力デバイスの遅延時間までの間に前記音声入力デバイスから入力される音声データを破棄し、前記音声入力デバイスの遅延時間が前記映像入力デバイスの遅延時間よりも長い場合、前記映像入力デバイスの遅延時間から前記音声入力デバイスの遅延時間までの間、所定の音声データを生成することを特徴とする請求項１記載のマルチメディアデータ記録装置。
【請求項５】
前記所定の音声データは、無音の音声データであることを特徴とする請求項４記載のマルチメディアデータ記録装置。
【請求項６】
前記マルチメディアは、映像メディア及び音声メディアであって、
前記調整手段は、映像入力デバイスの遅延時間が音声入力デバイスの遅延時間よりも短い場合、前記映像入力デバイスの遅延時間から前記音声入力デバイスの遅延時間までの間に前記映像入力デバイスから入力される映像データを破棄し、前記映像入力デバイスの遅延時間が前記音声入力デバイスの遅延時間よりも長い場合、前記音声入力デバイスの遅延時間から前記映像入力デバイスの遅延時間までの間、所定の映像データを生成することを特徴とする請求項１記載のマルチメディアデータ記録装置。
【請求項７】
前記所定の映像データは、白画像データであることを特徴とする請求項６記載のマルチメディアデータ記録装置。
【請求項８】
前記記録制御手段は、
前記入力デバイスから入力されたメディアデータを符号化して圧縮する符号化手段と、
前記符号化手段によって符号化した圧縮メディアデータを多重化する多重化手段と、
前記多重化手段が多重化した多重化ストリームを前記記録媒体に記録する記録手段と、
を制御することを特徴とする請求項１から請求項７のいずれかに記載のマルチメディアデータ記録装置。
【請求項９】
複数の入力デバイスから同時に各メディアデータを取り込むステップと、
前記入力デバイスの中で最も短い遅延時間と最も長い遅延時間の間に入力されるメディアデータについて調整を行う調整ステップと、
前記調整されたメディアデータを含んで前記メディアデータの再生時前記メディアデータ間の同期を確立するタイムスタンプを付与して前記メディアデータを記録媒体に記録するステップと、
を順に実行することを特徴とするマルチメディアデータ記録方法。
【請求項１０】
前記調整ステップは、遅延時間が最も長い入力デバイスに合わせて、前記遅延時間までの間、前記遅延時間よりも遅延時間が短い入力デバイスから入力されるメディアデータを破棄することを特徴とする請求項９記載のマルチメディアデータ記録方法。
【請求項１１】
前記調整ステップは、遅延時間が最も短い入力デバイスに合わせて、前記遅延時間から他の入力デバイスの遅延時間までの間、他の入力デバイスから入力される所定のメディアデータを生成することを特徴とする請求項９記載のマルチメディアデータ記録方法。
【請求項１２】
前記メディアは、映像メディア及び音声メディアであって、
前記調整ステップは、音声入力デバイスの遅延時間が映像入力デバイスの遅延時間よりも短い場合、前記音声入力デバイスの遅延時間から前記映像入力デバイスの遅延時間までの間に前記音声入力デバイスから入力される音声データを破棄し、前記音声入力デバイスの遅延時間が前記映像入力デバイスの遅延時間よりも長い場合、前記映像入力デバイスの遅延時間から前記音声入力デバイスの遅延時間までの間、所定の音声データを生成することを特徴とする請求項９記載のマルチメディアデータ記録方法。
【請求項１３】
前記メディアは、映像メディア及び音声メディアであって、
前記調整ステップは、映像入力デバイスの遅延時間が音声入力デバイスの遅延時間よりも短い場合、前記映像入力デバイスの遅延時間から前記音声入力デバイスの遅延時間までの間に前記映像入力デバイスから入力される映像データを破棄し、前記映像入力デバイスの遅延時間が前記音声入力デバイスの遅延時間よりも長い場合、前記音声入力デバイスの遅延時間から前記映像入力デバイスの遅延時間までの間、所定の映像データを生成することを特徴とする請求項９記載のマルチメディアデータ記録方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画と音声のように複数の入力デバイスやエンコーダから同時に入力されるマルチメディアデータを記録するマルチメディアデータ記録装置及びマルチメディアデータ記録方法に関し、特に、入力デバイスやエンコーダの組み合わせに関わらず同期がずれることなくマルチメディアデータを再生できるマルチメディアデータ記録装置及びマルチメディアデータ記録方法に関する。
【背景技術】
【０００２】
従来、ユーザは、ビデオカメラや録画再生装置などによって動画と音声を同時に録画し、音声付きの動画を再生して楽しんできたが、録画した動画にパソコンなどを使ってタイトル文字を表示させたり、特殊効果を施すなどの編集を行い、新たなコンテンツを作成するユーザもいて、そのための編集ソフトも販売されている。
【０００３】
近年、マルチメディアの発達に伴い、カメラ付携帯電話やデジタルカメラなどに動画の記録機能を搭載したＡＶモバイル機器も普及し、立体動画表示装置なども発表され、様々な機器を組み合わせて動画を録画し、再生したいというユーザの要望があるため、ビデオカメラ、録画再生装置、パソコン、及びＡＶモバイル機器の間で互換性の在るＭＰＥＧ４エンコーダおよびＭＰＥＧ４デコーダなどを搭載しているものが多い。そのような中、動画と音声を多重化するとき、動画と音声のメディアによるエンコード時間の差を吸収して録画を行うものもある(例えば、特許文献１参照)。
【０００４】
特許文献１の符号記録装置は、図１２に示すように、映像信号から圧縮ビデオデータを生成するビデオエンコーダ１１と、音声信号から圧縮オーディオデータを生成するオーディオエンコーダ１２と、ビデオエンコーダ１１に於ける処理時間とオーディオエンコーダ１２に於ける処理時間の差異を吸収する遅延回路１３とを備え、オーディオエンコーダ１２でエンコードされた圧縮オーディオデータが、バッファメモリで構成される遅延回路１３においてビデオエンコーダ１１での処理が終了するまで遅延された後、ＭＰＥＧシステムエンコーダ１４へ転送されて多重化されて記録媒体１５に記録されるため、時間的に対応関係にある圧縮ビデオデータと圧縮オーディオデータが近い位置に記録される。
【０００５】
一方、例えば、記録装置に対して同時刻に録画命令と録音命令を発行した場合、通常、映像信号を入力するカメラ又は液晶などの映像入力デバイスに、録画命令を送信してからビデオエンコーダ１１に映像信号が入力されるまでの遅延時間Ｖｄと、音声信号を入力するマイク又はスピーカなどの音声入力デバイスに、録音命令を送信してからオーディオエンコーダ１２に音声信号が入力されるまでの遅延時間Ａｄは、同一ではないため、録画命令と録音命令を同時刻に発行して記録を開始しようとするとき、ビデオエンコーダ１１とオーディオエンコーダ１２は、同じ時刻から映像信号及び音声信号を受け取ることはできないので、厳密には録画及び録音は同じ時刻から開始されない。
【０００６】
図１３は、記録装置において録画と録音が開始される時刻について説明する図である。例えば、映像入力デバイスがカメラで音声入力デバイスがマイクの場合、カメラに録画命令を送信してカメラから映像信号が入力されて動画の録画が開始できるようになるまでの遅延時間Ｖｄは、例えば３０ｍｓで、マイクに録音命令を送信してマイクから音声信号が入力されて録音が開始できるようになるまでの遅延時間Ａｄは、例えば１００ｍｓであるとすると、録画命令と録音命令を同時に送信した場合、録画が開始されて、録音が開始されるまでの（Ａｄ−Ｖｄ）＝７０ｍｓ間に発せられた音声は、実際には録音することができないので、最初に録画された動画の７０ｍｓ後の音声が最初に録画された動画の音声として記録される。
【０００７】
図１４は、圧縮ビデオデータと圧縮オーディオデータにタイムスタンプＰＴＳを設定する処理について説明する図である。例えば、図１２で示すＭＰＥＧシステムエンコーダ１４では、ビデオエンコーダ１１及びオーディオエンコーダ１２がそれぞれの入力デバイスから最初のデータを受信した時刻から経過した時間に基づいて再生時刻を示すタイムスタンプＰＴＳを設定するので、最初の動画と最初の音声が７０ｍｓずれると、順番に７０ｍｓずれた圧縮ビデオデータと圧縮オーディオデータに対して同じタイムスタンプＰＴＳが設定され、最後まで同期が７０ｍｓずれた圧縮ビデオデータと圧縮オーディオデータに対して同じタイムスタンプＰＴＳが設定されることになる。従来の記録装置では、映像入力デバイスと音声入力デバイスが固定であったため、入力デバイス側で遅延時間に合わせて録画命令と録音命令の送信タイミングをずらすなどして遅延時間のずれを調整していた。
【特許文献１】特開平１０-１９９１４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、カメラとマイク、液晶とスピーカなどの入力デバイスの組み合わせを変更して録画を行うと、入力デバイス側で動画と音声のずれを調整することができなくなる。特許文献１の符号記録装置は、同じタイムスタンプＰＴＳを有して同期を取るべき圧縮ビデオデータと圧縮オーディオデータを近い位置に記録し、再生時の読み上げデータ量を少なくするだけであって、入力デバイスの組み合わせを変更して録画を行うと、入力デバイスによって信号が入力されるまでの遅延時間が異なるために、記録された複数のメディアデータの同期がずれて記録されるという問題が生じる。
【０００９】
本発明は、かかる点に鑑みてなされたものであり、任意の入力デバイスを組み合わせてマルチメディアデータを記録した場合においても再生時に同期を確立することができるマルチメディアデータ記録装置及びマルチメディアデータ記録方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明のマルチメディアデータ記録装置は、マルチメディアデータを同時に取り込む複数の入力デバイスと、前記入力デバイスに入力開始を送信してから前記入力デバイスからメディアデータが入力されるまでの遅延時間を記憶する記憶手段と、前記記憶手段が記録する前記入力デバイスの中で最も短い遅延時間と最も長い遅延時間の間に入力されるメディアデータについて調整を行う調整手段と、前記調整手段において調整されたメディアデータを含んで前記マルチメディアデータの再生時前記マルチメディアデータ間の同期を確立するタイムスタンプを付与して前記マルチメディアデータを記録媒体に記録させる記録制御手段と、を具備することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、任意の入力デバイスを組み合わせてマルチメディアデータを記録した場合においても再生時に同期を確立することができるという効果がある。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態１及び実施の形態２について図面を参照して詳細に説明する。実施の形態１は、映像入力デバイスと音声入力デバイスにおいて映像及び音声信号が入力されるまでの遅延時間の差分をオーディオデータによって調整するものであり、実施の形態２は、映像入力デバイスと音声入力デバイスにおいて映像及び音声信号が入力されるまでの遅延時間の差分をビデオデータによって調整するものである。
【００１３】
（実施の形態１）
図１は、本発明の実施の形態１に係るマルチメディアデータ記録装置の構成を示すブロック図である。図１に示すように、マルチメディアデータ記録装置１０１は、Ｏｎによって録画及び録音を開始し、Ｏｆｆによって録画及び録音を終了する操作スイッチ１０２と、録画命令に従ってカメラ又は液晶などの映像入力デバイスからリアルタイムに入力される映像信号を公知のビデオ圧縮方式に従って圧縮符号化して映像ストリームを生成するビデオエンコーダ１０３と、録音命令に従ってマイク又はスピーカなどの音声入力デバイスからリアルタイムに入力される音声信号を公知のオーディオ圧縮方式に従って圧縮符号化して音声ストリームを生成するオーディオエンコーダ１０４と、ビデオエンコーダ１０３及びオーディオエンコーダ１０４に接続されて映像ストリームと音声ストリームを多重化して多重化ストリームを生成する多重化回路１０５と、多重化ストリームをフォーマット化するフォーマッタ１０６と、フォーマット化した多重化ストリームを記録媒体１０７に書き込む書き込み回路１０８とをそれぞれコントローラ１０９に接続して備える。
【００１４】
ビデオエンコーダ１０３は、ビデオエンコーダ１０３に接続されるＲＡＭ１１３を用いて映像ストリームを生成し、オーディオエンコーダ１０４は、オーディオエンコーダ１０４に接続されるＲＡＭ１１４を用いて音声ストリームを生成し、多重化回路１０５は、多重化回路１０５に接続されるＲＡＭ１１５を用いて多重化ストリームを生成して記憶する。
【００１５】
ＲＡＭ１１５に記憶された多重化ストリームは、一定時間毎にフォーマッタ１０６に接続されるＲＡＭ１１６に送られてセクタ単位で蓄積され、蓄積量が記録ブロック単位量に達すると、フォーマッタ１０６が誤り訂正符号等を付加し、フォーマット化した多重化ストリームを書き込み回路１０８へ送り、書き込み回路１０８によって記録ブロック単位毎に記録媒体１０７に記録される。
【００１６】
ビデオエンコーダ１０３及びオーディオエンコーダ１０４は、入力デバイスから最初のデータを受信した時刻から経過した時間に基づいてタイムスタンプを設定し、多重化回路１０５は、ビデオエンコーダ１０３及びオーディオエンコーダ１０４で設定されたタイムスタンプに基づいて多重化ストリームに再生時刻を示すタイムスタンプＰＴＳを設定する。
【００１７】
図２は、本発明の実施の形態１に係るコントローラの機能ブロック図である。図２に示すように、コントローラ１０９は、操作スイッチ１０２のＯｎ又はＯｆｆを受信する受信部１２１と、受信部１２１が操作スイッチ１０２のＯｎを受信すると、映像入力デバイス及びビデオエンコーダ１０３に録画開始命令を、音声入力デバイス及びオーディオエンコーダ１０４に録音開始命令を送信する送信部１２２と、カメラ又は液晶などの映像入力デバイスと、マイク又はスピーカなどの音声入力デバイス・エンコーダの遅延時間を記録するＤｅｌａｙ値テーブル１２３及びオーディオフレーム単位の各エンコーダでのコーデックに準拠した無音の圧縮オーディオデータ１２４を記憶する記憶部１２５と、Ｄｅｌａｙ値テーブル１２３を参照して映像入力デバイスと音声入力デバイスの組み合わせによる遅延時間の違いをオーディオデータによって調整する調整部１２６と、多重化回路１０５を制御する多重化制御部１２７と、フォーマッタ１０６及び書き込み回路１０８を制御する記録制御部１２８とを備える。
【００１８】
調整部１２６は、生成した無音の音声ストリームを多重化回路１０５に転送して、映像入力デバイスと音声入力デバイス遅延時間の差分によって実際には録音することができなかった最初の音声として記録させる。
【００１９】
受信部１２１が操作スイッチ１０２のＯｆｆを受信すると、送信部１２２は、映像入力デバイス及びビデオエンコーダ１０３に録画終了命令を、音声入力デバイス及びオーディオエンコーダ１０４に録音終了命令を送信して処理を終了する。
【００２０】
図３は、本発明の実施の形態１に係るＤｅｌａｙ値テーブルの構成例を示す図である。図３に示すように、Ｄｅｌａｙ値テーブル１２３は、映像入力デバイス１３１に録画命令を送信してからビデオエンコーダ１０３に映像信号が入力されるまでの遅延時間Ｖｄと、音声入力デバイス１３２に録音命令を送信してからオーディオエンコーダ１０４に音声信号が入力されるまでの遅延時間Ａｄを入力メディア毎に記憶したものである。
【００２１】
以上のように構成されたマルチメディアデータ記録装置１０１の動作について説明する。図４は、本発明の実施の形態１に係るマルチメディアデータ記録装置の動作を説明するフロー図である。図４に示すように、ユーザによって、操作スイッチ１０２がＯｎされると、受信部１２１が操作スイッチ１０２のＯｎを受信し（ＳＴ１０１；Ｙｅｓ）、送信部１２２が、ビデオエンコーダ１０３に録画開始命令を、オーディオエンコーダ１０４に録音開始命令を送信する（ＳＴ１０２）。
【００２２】
調整部１２６は、Ｄｅｌａｙ値テーブル１２３からマルチメディアデータ記録装置１０１に接続された映像入力デバイス１３１の遅延時間Ｖｄと音声入力デバイス１３２の遅延時間Ａｄを求め、映像入力デバイス１３１の遅延時間Ｖｄと音声入力デバイス１３２の遅延時間Ａｄを比較する（ＳＴ１０３）。
【００２３】
図５は、本発明の実施の形態１に係る音声入力デバイスの遅延時間が映像入力デバイスの遅延時間より長い場合の調整部の処理を説明する図である。図５に示すように、音声入力デバイスの遅延時間Ａｄが映像入力デバイスの遅延時間Ｖｄより長い場合、遅延時間Ｖｄで映像入力デバイスから映像信号が入力されるが、それに対応した音声信号は遅延時間Ａｄまで入力されない。
【００２４】
調整部１２６は、音声入力デバイスの遅延時間Ａｄが映像入力デバイスの遅延時間Ｖｄより長い場合（ＳＴ１０３；Ｙｅｓ）、ＲＡＭ１１４を用いて記憶部１２５の無音の圧縮オーディオデータ１２４を音声入力デバイスの遅延時間Ａｄと映像入力デバイスの遅延時間Ｖｄの差分だけオーディオフレーム単位にコピーして音声ストリームを生成し（ＳＴ１０４）、遅延時間Ｖｄから遅延時間Ａｄに至るまでの間生成した音声ストリームのタイムスタンプＴＳａに映像入力デバイスの遅延時間Ｖｄから順に遅延時間Ｖｄに経過時間を加算した時間を設定し（ＳＴ１０５）、例えば、図５に示すように、タイムスタンプＴＳａとしてＶｄ及びＶｄ＋１が設定された無音の音声ストリームを多重化回路１０５に転送して多重化ストリームに挿入する（ＳＴ１０６）。
【００２５】
ビデオエンコーダ１０３は、録画命令を受信すると（ＳＴ２０１；Ｙｅｓ）、遅延時間Ｖｄ後に映像入力デバイスから映像信号の受信が可能となるので（ＳＴ２０２）、最初の映像ストリームのタイムスタンプＴＳｖに映像入力デバイスの遅延時間Ｖｄを設定し（ＳＴ２０３）、カメラ又は液晶などの映像入力デバイスからリアルタイムに入力される映像信号を受信して（ＳＴ２０４）、１ビデオフレーム、例えば１／３０秒毎に（ＳＴ２０５；Ｙｅｓ）、圧縮符号化処理を実行して（ＳＴ２０６）、圧縮ビデオデータを設定した映像ストリームをビデオフレーム単位で多重化回路１０５へ転送する（ＳＴ２０７）。
【００２６】
オーディオエンコーダ１０４は、録音命令を受信すると（ＳＴ３０１；Ｙｅｓ）、遅延時間Ａｄ後に音声入力デバイスから音声信号の受信が可能となるので（ＳＴ３０２）、最初の音声ストリームのタイムスタンプＴＳａに音声入力デバイスの遅延時間Ａｄを設定し（ＳＴ３０３）、マイク又はスピーカなどの音声入力デバイスからリアルタイムに入力される音声信号を受信して（ＳＴ３０４）、１オーディオフレーム毎に（ＳＴ３０５；Ｙｅｓ）、圧縮符号化処理を実行して（ＳＴ３０６）、圧縮オーディオデータを設定した音声ストリームをオーディオフレーム単位で多重化回路１０５へ転送する（ＳＴ３０７）。
【００２７】
つまり、図５に示すように、音声入力デバイスの遅延時間Ａｄが映像入力デバイスの遅延時間Ｖｄより長い場合は、音声信号が入力されるまでに入力される映像信号に対応したタイムスタンプＴＳａがＶｄ及びＶｄ＋１の無音の音声ストリームを調整部１２６が生成して多重化回路１０５に転送することで、音声ストリームと映像ストリームの同期を確立する。
【００２８】
図６は、本発明の実施の形態１に係る音声入力デバイスの遅延時間が映像入力デバイスの遅延時間より短い場合の調整部の処理を説明する図である。図６に示すように、音声入力デバイスの遅延時間Ａｄが映像入力デバイスの遅延時間Ｖｄより短い場合、遅延時間Ａｄで音声入力デバイスから音声信号が入力されるが、それに対応した映像信号は遅延時間Ｖｄまで入力されない。
【００２９】
ＳＴ１０３において音声入力デバイスの遅延時間Ａｄが映像入力デバイスの遅延時間Ｖｄより短いか又は等しい場合であって（ＳＴ１０３；Ｎｏ）、音声入力デバイスの遅延時間Ａｄが映像入力デバイスの遅延時間Ｖｄより短くて、映像入力デバイスの遅延時間Ｖｄと音声入力デバイスの遅延時間Ａｄの差分時間が経過していなければ（ＳＴ１０８;Ｎｏ）、その間は、映像ストリームのない音声ストリームのみがオーディオエンコーダ１０４から多重化回路１０５に転送されるので、調整部１２６は、例えば、タイムスタンプＴＳａがＡｄ及びＡｄ＋１の音声ストリームを多重化回路１０５に転送しないで破棄する（ＳＴ１０７；Ｎｏ）。
【００３０】
つまり、図６に示すように、音声入力デバイスの遅延時間Ａｄが映像入力デバイスの遅延時間Ｖｄより短い場合は、映像ストリームが生成されるまでに生成されたタイムスタンプＴＳａがＡｄ及びＡｄ＋１の音声ストリームを調整部１２６が破棄することで音声ストリームと映像ストリームの同期を確立する。
【００３１】
ＳＴ１０８において、音声入力デバイスの遅延時間Ａｄが映像入力デバイスの遅延時間Ｖｄと等しいか、より長いか、又は既に音声入力デバイスの遅延時間Ａｄと映像入力デバイスの遅延時間Ｖｄの差分時間が経過していれば（ＳＴ１０８;Ｙｅｓ）、入力デバイスから映像信号と音声信号の両方が入力可能となって、ビデオエンコーダ１０３とオーディオエンコーダ１０４で映像ストリームと音声ストリームの両方が生成されるので受信した映像ストリームと音声ストリームをそのまま多重化回路１０５に転送する（ＳＴ１０９）。
【００３２】
多重化制御部１２７は、多重化回路１０５を制御して、多重化回路１０５に映像ストリームと音声ストリームを多重化して多重化ストリームを生成し、ビデオエンコーダ１０３及びオーディオエンコーダ１０４において設定された映像ストリームのタイムスタンプＴＳｖ、及び音声ストリームのタイムスタンプＴＳａに基づいて多重化ストリームに再生時刻を示すタイムスタンプＰＴＳを設定する処理を実行させ、記録制御部１２８は、フォーマッタ１０６及び書き込み回路１０８を制御して、多重化ストリームをフォーマット化して記録媒体１０７に書き込む。
【００３３】
操作スイッチ１０２がＯｆｆされて、受信部１２１が操作スイッチ１０２のＯｆｆを受信するまで（ＳＴ１１０；Ｎｏ）、ＳＴ１０７からＳＴ１０９の処理を繰り返し実行し、受信部１２１が操作スイッチ１０２のＯｆｆを受信すると（ＳＴ１１０；Ｙｅｓ）、送信部１２２が、ビデオエンコーダ１０３に録画終了命令を、オーディオエンコーダ１０４に録音終了命令を送信して（ＳＴ１１１）、処理を終了する。
【００３４】
ビデオエンコーダ１０３は、録画終了命令を受信するまで（ＳＴ２０８；Ｎｏ）、映像ストリームのタイムスタンプＴＳｖをＶｄからの経過時間をＶｄに加算して更新しながら（ＳＴ２０９）、ＳＴ２０４に戻ってＳＴ２０４からＳＴ２０９の処理を繰り返して、多重化回路１０５にビデオフレーム単位の映像ストリームを転送し、ＳＴ２０８において録画終了命令を受信すると（ＳＴ２０８；Ｙｅｓ）、処理を終了する。
【００３５】
オーディオエンコーダ１０４は、録音終了命令を受信するまで（ＳＴ３０８；Ｎｏ）、音声ストームのタイムスタンプＴＳａにＡｄからの経過時間をＡｄに加算して更新しながら（ＳＴ３０９）、ＳＴ３０４に戻ってＳＴ３０４からＳＴ３０９の処理を繰り返して、多重化回路１０５にオーディオフレーム単位の音声ストリームを転送し、ＳＴ３０８において録音終了命令を受信すると（ＳＴ３０８；Ｙｅｓ）、処理を終了する。
【００３６】
このように、本発明の実施の形態１によれば、マルチメディアデータ記録装置１０１のコントローラ１０９に音声入力デバイスの遅延時間Ａｄが映像入力デバイスの遅延時間Ｖｄより長い場合は、音声信号が入力されるまでに入力される映像信号に対応した無音の音声ストリームを生成して多重化回路１０５に転送し、音声入力デバイスの遅延時間Ａｄが映像入力デバイスの遅延時間Ｖｄより短い場合は、映像ストリームが生成されるまでに生成された音声ストリームを破棄する調整部１２６を設けたので、任意の入力デバイスを組み合わせてマルチメディアデータを記録した場合においても再生時に同期を確立することができる。
【００３７】
尚、調整部１２６が生成する音声ストリームは、無音の音声ストリームに限定されない。音声入力デバイスから最初に入力される音声信号を圧縮符号化した圧縮オーディオデータをコピーして用いてもよい。
【００３８】
尚、オーディオエンコーダ１０４としてＡＭＲ（Adaptive Multi Rate）形式を用いれば２０ｍｓ単位での圧縮オーディオデータの挿入及び削除を容易に行うことができる。その場合調整精度は２０ｍｓ単位になってしまうが視聴覚上問題ないレベルである。
【００３９】
（実施の形態２）
図７は、本発明の実施の形態２に係るマルチメディアデータ記録装置の構成を示すブロック図である。図７において、図１に示す実施の形態１に係るマルチメディアデータ記録装置の構成を示すブロック図と同じ機能ブロックについては同一の符号を付して説明を省略する。図７に示すように、実施の形態２のマルチメディアデータ記録装置２０１は、コントローラ２０９が実施の形態１のマルチメディアデータ記録装置１０１と異なる。
【００４０】
図８は、本発明の実施の形態２に係るコントローラの機能ブロック図である。図８において、図２に示す実施の形態１に係るコントローラの機能ブロック図と同じ機能ブロックについては同一の符号を付して説明を省略する。図８に示すように、実施の形態２のコントローラ２０９は、記憶部１２５にビデオフレーム単位の白画像の圧縮ビデオデータ２２４を記憶することと、調整部２２６が実施の形態１のコントローラ１０９と異なる。
【００４１】
調整部２２６は、Ｄｅｌａｙ値テーブル１２３を参照して映像入力デバイスと音声入力デバイスの組み合わせによる遅延時間の違いをビデオデータによって調整し、生成した白画像の映像ストリームを多重化回路１０５に転送して、映像入力デバイスと音声入力デバイス遅延時間の差分によって実際には録画することができなかった最初の動画として記録させる。
【００４２】
以上のように構成されたマルチメディアデータ記録装置２０１の動作について説明する。図９は、本発明の実施の形態２に係るマルチメディアデータ記録装置の動作を説明するフロー図である。図９において、図４に示す実施の形態１に係るマルチメディアデータ記録装置の動作を説明するフロー図と同じ処理ステップについては同一の符号を付して説明を省略する。
【００４３】
調整部２２６は、Ｄｅｌａｙ値テーブル１２３からマルチメディアデータ記録装置２０１に接続された映像入力デバイス１３１の遅延時間Ｖｄと音声入力デバイス１３２の遅延時間Ａｄを求め、映像入力デバイス１３１の遅延時間Ｖｄと音声入力デバイス１３２の遅延時間Ａｄを比較する（ＳＴ５０１）。
【００４４】
図１０は、本発明の実施の形態２に係る映像入力デバイスの遅延時間が音声入力デバイスの遅延時間より長い場合の調整部の処理を説明する図である。図１０に示すように、映像入力デバイスの遅延時間Ｖｄが音声入力デバイスの遅延時間Ａｄより長い場合、遅延時間Ａｄで音声入力デバイスから音声信号が入力されるが、それに対応した映像信号は遅延時間Ｖｄまで入力されない。
【００４５】
調整部２２６は、映像入力デバイスの遅延時間Ｖｄが音声入力デバイスの遅延時間Ａｄより長い場合（ＳＴ５０１；Ｙｅｓ）、ＲＡＭ１１４を用いて記憶部１２５の白画像の圧縮ビデオデータ２２４を映像入力デバイスの遅延時間Ｖｄと音声入力デバイスの遅延時間Ａｄの差分だけビデオフレーム単位にコピーして映像ストリームを生成し（ＳＴ５０２）、遅延時間Ａｄから遅延時間Ｖｄに至るまでの間、生成した映像ストリームのタイムスタンプＴＳｖに音声入力デバイスの遅延時間Ａｄから順に遅延時間Ａｄに経過時間を加算した時間を設定し（ＳＴ５０３）、例えば、図１０に示すように、タイムスタンプＴＳｖとしてＡｄ及びＡｄ＋１が設定された白画像の映像ストリームを多重化回路１０５に転送して多重化ストリームに挿入する（ＳＴ５０４）。
【００４６】
ビデオエンコーダ１０３とオーディオエンコーダ１０４は、図４の実施の形態１と同じ処理を行い、映像ストリームと音声ストリームを多重化回路１０５へ転送する。
【００４７】
つまり、図１０に示すように、映像入力デバイスの遅延時間Ｖｄが音声入力デバイスの遅延時間Ａｄより長い場合は、映像信号が入力されるまでに入力される音声信号に対応したタイムスタンプＴＳｖがＡｄ及びＡｄ＋１の白画像の映像ストリームを調整部２２６が生成して多重化回路１０５に転送することで、映像ストリームと音声ストリームの同期を確立する。
【００４８】
図１１は、本発明の実施の形態２に係る映像入力デバイスの遅延時間が音声入力デバイスの遅延時間より短い場合の調整部の処理を説明する図である。図１１に示すように、映像入力デバイスの遅延時間Ｖｄが音声入力デバイスの遅延時間Ａｄより短い場合、遅延時間Ｖｄで映像入力デバイスから映像信号が入力されるが、それに対応した音声信号は遅延時間Ａｄまで入力されない。
【００４９】
ＳＴ５０１において映像入力デバイスの遅延時間Ｖｄが音声入力デバイスの遅延時間Ａｄより短いか又は等しい場合であって（ＳＴ５０１；Ｎｏ）、映像入力デバイスの遅延時間Ｖｄが音声入力デバイスの遅延時間Ａｄより短くて、音声入力デバイスの遅延時間Ａｄと映像入力デバイスの遅延時間Ｖｄの差分時間が経過していなければ（ＳＴ５０５;Ｎｏ）、その間は、音声ストリームのない映像ストリームのみがビデオエンコーダ１０３から多重化回路１０５に転送されるので、調整部２２６は、例えば、タイムスタンプＴＳｖがＶｄ及びＶｄ＋１の映像ストリームを多重化回路１０５に転送しないで破棄する（ＳＴ１０７；Ｎｏ）。
【００５０】
つまり、図１１に示すように、映像入力デバイスの遅延時間Ｖｄが音声入力デバイスの遅延時間Ａｄより短い場合は、音声ストリームが生成されるまでに生成されたタイムスタンプＴＳｖがＶｄ及びＶｄ＋１の映像ストリームを調整部２２６が破棄することで、映像ストリームと音声ストリームの同期を確立する。
【００５１】
ＳＴ５０５において、映像入力デバイスの遅延時間Ｖｄが音声入力デバイスの遅延時間Ａｄと等しいか、より長いか、又は既に映像入力デバイスの遅延時間Ｖｄと音声入力デバイスの遅延時間Ａｄの差分時間が経過していれば（ＳＴ５０５;Ｙｅｓ）、入力デバイスから映像信号と音声信号の両方が入力可能となって、ビデオエンコーダ１０３とオーディオエンコーダ１０４で映像ストリームと音声ストリームの両方が生成されるので受信した映像ストリームと音声ストリームをそのまま多重化回路１０５に転送する（ＳＴ１０９）。
【００５２】
このように、本発明の実施の形態２によれば、マルチメディアデータ記録装置２０１のコントローラ２０９に、映像入力デバイスの遅延時間Ｖｄが音声入力デバイスの遅延時間Ａｄより長い場合は、映像信号が入力されるまでに入力される音声信号に対応した白画像の映像ストリームを生成して多重化回路１０５に転送し、映像入力デバイスの遅延時間Ｖｄが音声入力デバイスの遅延時間Ａｄより短い場合は、音声ストリームが生成されるまでに生成された映像ストリームを破棄する調整部２２６を設けたので、任意の入力デバイスを組み合わせてマルチメディアデータを記録した場合においても再生時に同期を確立することができる。
【００５３】
尚、調整部２２６が生成する映像ストリームは、白画像の映像に限定されない。黒画像でもよい。
【００５４】
また、映像入力デバイスから最初に入力される映像信号を圧縮符号化した圧縮ビデオデータをコピーしたものでもよい。
【００５５】
尚、ビデオエンコーダ１０３にＭＰＥＧ４形式を用いると、ＭＰＥＧ４では前方向予測フレーム、後方予測フレーム、及び双方向予測フレームなどの補間フレームがあるため、圧縮ビデオデータの挿入及び削除処理には更に特別な処理が必要となる。
【００５６】
本発明の実施の形態１では、音声ストリームによって、本発明の実施の形態２では、映像ストリームによって動画と音声の同期を確立したが、音声ストリーム又は映像ストリームのいずれかに決めて同期を確立するのではなくて、入力デバイスの遅延時間が長い入力デバイスに合わせて、短い入力デバイスが先に生成するストリームを破棄する処理を行ってもよい。
【００５７】
また、入力デバイスの遅延時間が短い入力デバイスに合わせて、不足する長い入力デバイスのストリームを生成して多重化回路１０５に転送する処理を行ってもよい。
【産業上の利用可能性】
【００５８】
本発明に係るマルチメディアデータ記録装置は、任意の入力デバイスを組み合わせてマルチメディアデータを記録した場合においても再生時に同期を確立することができるという効果を有し、動画と音声のように複数の入力デバイスから同時に入力されるマルチメディアデータを記録するマルチメディアデータ記録装置に関し、特に、入力デバイスの組み合わせに関わらず同期がずれることなくマルチメディアデータを再生できるマルチメディアデータ記録装置に有効である。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施の形態１に係るマルチメディアデータ記録装置の構成を示すブロック図
【図２】本発明の実施の形態１に係るコントローラの機能ブロック図
【図３】本発明の実施の形態１に係るＤｅｌａｙ値テーブルの構成例を示す図
【図４】本発明の実施の形態１に係るマルチメディアデータ記録装置の動作を説明するフロー図
【図５】本発明の実施の形態１に係る音声入力デバイスの遅延時間が映像入力デバイスの遅延時間より長い場合の調整部の処理を説明する図
【図６】本発明の実施の形態１に係る音声入力デバイスの遅延時間が映像入力デバイスの遅延時間より短い場合の調整部の処理を説明する図
【図７】本発明の実施の形態２に係るマルチメディアデータ記録装置の構成を示すブロック図
【図８】本発明の実施の形態２に係るコントローラの機能ブロック図
【図９】本発明の実施の形態２に係るマルチメディアデータ記録装置の動作を説明するフロー図
【図１０】本発明の実施の形態２に係る映像入力デバイスの遅延時間が音声入力デバイスの遅延時間より長い場合の調整部の処理を説明する図
【図１１】本発明の実施の形態２に係る映像入力デバイスの遅延時間が音声入力デバイスの遅延時間より短い場合の調整部の処理を説明する図
【図１２】従来の符号記録装置の構成を示すブロック図
【図１３】記録装置において録画と録音が開始される時刻について説明する図
【図１４】圧縮ビデオデータと圧縮オーディオデータにタイムスタンプＰＴＳを設定する処理について説明する図
【符号の説明】
【００６０】
１０１、２０１  マルチメディアデータ記録装置
１０２  操作スイッチ
１０３  ビデオエンコーダ
１０４  オーディオエンコーダ
１０５  多重化回路
１０６  フォーマッタ
１０７  記録媒体
１０８  書き込み回路
１０９、２０９  コントローラ
１１３、１１４、１１５、１１６  ＲＡＭ
１２１  受信部
１２２  送信部
１２３  Ｄｅｌａｙ値テーブル
１２４  無音の圧縮オーディオデータ
１２５  記憶部
１２６、２２６  調整部
１２７  多重化制御部
１２８  記録制御部
１３１  映像入力デバイス
１３２  音声入力デバイス
２２４  白画像の圧縮ビデオデータ
【図１】
2006128887.tif 000003
【図２】
2006128887.tif 000004
【図３】
2006128887.tif 000005
【図４】
2006128887.tif 000006
【図５】
2006128887.tif 000007
【図６】
2006128887.tif 000008
【図７】
2006128887.tif 000009
【図８】
2006128887.tif 000010
【図９】
2006128887.tif 000011
【図１０】
2006128887.tif 000012
【図１１】
2006128887.tif 000013
【図１２】
2006128887.tif 000014
【図１３】
2006128887.tif 000015
【図１４】
2006128887.tif 000016