(57)【要約】【課題】音声データと動画像データの同期ずれを複雑な回路を用いずに補正する。【解決手段】動画像信号と前記動画像信号に対応した音声信号とを入力し、動画像信号を第１のクロックに従って第１のメモリに書き込むと共に音声信号を前記第１のクロック信号に従って第２のメモリに書き込む書き込み制御手段と、前記第１のクロック信号に従って前記第１のメモリから前記動画像信号を読み出すと共に、前記第１のクロックとは異なる周波数の第２のクロックに従って前記第２のメモリから前記音声信号を読み出し、前記読み出した動画像信号と音声信号とを伝送路を介して外部装置に伝送する通信手段と、前記第２のメモリにおける前記音声信号の書き込み位置と読み出し位置とに基づき、前記音声信号の読み出し位置を変更する読み出し制御手段とを備える。【選択図】      図２
2005057321.tif 000002
【特許請求の範囲】
【請求項１】
動画像信号と前記動画像信号に対応した音声信号とを入力する入力手段と、
前記動画像信号を第１のタイミング信号に従って第１の記憶手段に書き込むと共に前記音声信号を前記第１のタイミング信号に従って第２の記憶手段に書き込む書き込み制御手段と、
前記第１のタイミング信号に従って前記第１の記憶手段から前記動画像信号を読み出すと共に、前記第１のタイミング信号とは異なる周波数の第２のタイミング信号に従って前記第２の記憶手段から前記音声信号を読み出し、前記読み出した動画像信号と音声信号とを伝送路を介して外部装置に伝送する通信手段と、
前記第２の記憶手段における前記音声信号の書き込み位置と読み出し位置とに基づき、前記音声信号の読み出し位置を変更する読み出し制御手段とを備える信号処理装置。
【請求項２】
前記読み出し制御手段は、前記音声信号の書き込み位置と読み出し位置の差が所定値となった場合に、前記読み出し位置を所定の位置に変更することを特徴とする請求項１記載の信号処理装置。
【請求項３】
前記通信手段は前記動画像信号と音声信号とをＵＳＢ規格に従って伝送し、前記動画像信号をＵＳＢビデオクラスに従って伝送し、前記音声信号をＵＳＢオーディオクラスに従って伝送することを特徴とする請求項１記載の信号処理装置。
【請求項４】
前記第２のタイミング信号は前記外部装置より与えられることを特徴とする請求項１記載の信号処理装置。
【請求項５】
前記読み出し制御手段は、前記音声信号の書き込み位置に基づいて前記所定の位置を決定することを特徴とする請求項１記載の信号処理装置。
【請求項６】
前記読み出し制御手段は、前記音声信号の読み出し位置が前記所定の位置からの所定の許容範囲を超えた場合、前記音声信号の読み出し位置を前記所定の位置に変更することを特徴とする請求項５記載の信号処理装置。
【請求項７】
動画像信号と前記動画像信号に対応した音声信号とを入力する入力手段と、
前記動画像信号を第１のタイミング信号に従って第１の記憶手段に書き込むと共に前記音声信号を前記第１のタイミング信号に従って第２の記憶手段に書き込む書き込み制御手段と、
前記第１のタイミング信号に従って前記第１の記憶手段から前記動画像信号を読み出すと共に、前記第１のタイミング信号とは異なる周波数の第２のタイミング信号に従って前記第２の記憶手段から前記音声信号を読み出し、前記読み出した動画像信号と音声信号とを伝送路を介して外部装置に伝送する通信手段と、
前記通信手段により前記外部装置から入力した所定のトリガ信号に応じて、前記音声信号の読み出し位置を所定の位置に変更する読み出し制御手段とを備える信号処理装置。
【請求項８】
前記読み出し制御手段は前記通信手段により入力した前記動画像信号中の１フレームを静止画として抽出するための指示信号に応じて前記読み出し位置を変更することを特徴とする請求項７記載の信号処理装置。
【請求項９】
動画像信号と前記動画像信号に対応した音声信号とを入力する入力手段と、
前記動画像信号を第１のタイミング信号に従って第１の記憶手段に書き込むと共に前記音声信号を前記第１のタイミング信号に従って第２の記憶手段に書き込む書き込み制御手段と、
前記第１のタイミング信号に従って前記第１の記憶手段から前記動画像信号を読み出すと共に、前記第１のタイミング信号とは異なる周波数の第２のタイミング信号に従って前記第２の記憶手段から前記音声信号を読み出し、前記読み出した動画像信号と音声信号とを伝送路を介して外部装置に伝送する通信手段と、
前記第２の記憶手段から読み出された音声信号の音量に応じて、前記第２の記憶手段における前記音声信号の読み出し位置を所定の位置に変更する読み出し制御手段とを備える信号処理装置。
【請求項１０】
前記読み出し制御手段は前記音声信号の音量が所定の閾値よりも小さくなったことに応じて前記読み出し位置を変更することを特徴とする請求項９記載の信号処理装置。
【請求項１１】
前記読み出し制御手段は更に、前記所定の位置に格納されている音声信号の音量が前記所定の閾値よりも小さくなったことに応じて前記読み出し位置を変更することを特徴とする請求項１０記載の信号処理装置。
【請求項１２】
前記読み出し制御手段は、前記所定の位置を前記第２の記憶手段における前記音声信号の現在の読み出し位置に基づいて決定することを特徴とする請求項９記載の信号処理装置。
【請求項１３】
動画像信号と前記動画像信号に対応した音声信号とを入力する入力手段と、
前記動画像信号を第１のタイミング信号に従って第１の記憶手段に書き込むと共に前記音声信号を前記第１のタイミング信号に従って第２の記憶手段に書き込む書き込み制御手段と、
前記第１のタイミング信号に従って前記第１の記憶手段から前記動画像信号を読み出すと共に、前記第１のタイミング信号とは異なる周波数の第２のタイミング信号に従って前記第２の記憶手段から前記音声信号を読み出し、前記読み出した動画像信号と音声信号とを伝送路を介して外部装置に伝送する通信手段と、
前記第２の記憶手段における前記音声信号の現在の読み出し位置に基づいて決定した所定の位置に格納されている音声信号の音量に応じて、前記第２の記憶手段における前記音声信号の読み出し位置を前記所定の位置に変更する読み出し制御手段とを備える信号処理装置。
【請求項１４】
動画像信号と前記動画像信号に対応した音声信号とを入力する入力手段と、
前記動画像信号を第１のタイミング信号に従って第１の記憶手段に書き込むと共に前記音声信号を前記第１のタイミング信号に従って第２の記憶手段に書き込む書き込み制御手段と、
前記第１のタイミング信号に従って前記第１の記憶手段から前記動画像信号を読み出すと共に、前記第１のタイミング信号とは異なる周波数の第２のタイミング信号に従って前記第２の記憶手段から前記音声信号を読み出し、前記読み出した動画像信号と音声信号とを伝送路を介して外部装置に伝送する通信手段と、
一定期間毎に、前記第２の記憶手段における前記音声信号の読み出し位置を現在の読み出し位置に基づいて決定した所定の位置に変更する読み出し制御手段とを備える信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は信号処理装置に関し、特に画像データや音声データを一度メモリに蓄積した後に送信する装置に関する。
【０００２】
【従来の技術】
近年、パーソナルコンピュータ（以下パソコン）と周辺機器を接続するコンピュータ・インタフェースの開発がすすんできており、代表的なバス規格としてＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）やＩＥＥＥ１３９４などが広く利用されるようになってきている。
【０００３】
これらのコンピュータ・インタフェースは、デジタルカメラ、あるいは、デジタルビデオカメラで記憶媒体、例えばメモリカードに記録した静止画像、動画像等のデジタルデータをパソコンに転送するのに利用されている。また、最近では記憶媒体内の静止画像、動画像ファイルの転送に加え、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やテープ等の記憶媒体からの入力画像及び音声をパソコン側に転送しつつ再生するストリーミングにおいても前記インタフェースが用いられるようになってきている。
【０００４】
ＵＳＢにおけるストリーミングについては、ビデオクラスインターフェースを用いるのが一般的である。ビデオクラスインターフェースは、「Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ  Ｄｅｖｉｃｅ  Ｃｌａｓｓ  Ｄｅｆｉｎｉｔｉｏｎ  ｆｏｒ  Ｖｉｄｅｏ  Ｄｅｖｉｃｅｓ」の仕様書に規定されており、転送方法が規定されている画像のフォーマットとしては、ＭＪＰＥＧ（Ｍｏｔｉｏｎ−ＪＰＥＧ）、ＤＶ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ）フォーマット  、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）などがある。
【０００５】
また、ビデオクラスインターフェースを用いてストリーミングを行う場合、アイソクロナス転送とバルク転送のいずれを用いることもできるが、画像及び音声の連続性を保ち、画像のフレーム切り替わりのタイミングをパソコンに認識しやすくする為、通常アイソクロナス転送を用いる。
【０００６】
サブタイプ（ＵＳＢ用語：ビデオクラスインターフェースにおける動画像転送フォーマット）としてＭＪＰＥＧフォーマットを選択する場合、音声の転送は、ビデオクラスインターフェースで規定されていない為、画像に音声データを付加したストリーミングを行う場合、ビデオクラスインターフェースとは別にオーディオクラスインターフェースを利用することになる。以下では、ＭＪＰＥＧフォーマットによるストリーミング時に用いる、ビデオクラスおよびオーディオクラスについて、それぞれのクラスのデータ転送について説明する。
【０００７】
まず、ＵＳＢオーディオクラスにおける音声データ転送について説明する。
【０００８】
非同期転送においては、ＵＳＢホストからデバイスに対して一定周期で送られてくるＳＯＦ（Ｓｔａｒｔ  ｏｆ  Ｆｒａｍｅ）に同期してデータ転送が行われる。オーディオクラスでは、カメラ側はＳＯＦに基づいてＰＣから一定間隔で送られてくるデータ送信要求を受ける度に、必ず一定量のデータを送信しなくてはならない。
【０００９】
ＰＣからやってくるデータ送信要求はＰＣ側のクロックによるものであるが、その一方でカメラ側はＰＣのクロックではなく自身が発生するクロックに基づいて音声データを作成する。両者のクロックが全く同一の周波数であれば問題ないが、実際には必ず誤差が存在するため、単位時間当たりのカメラ側のデータ作成量とＰＣからのデータ読み出し量はわずかに異なる。
【００１０】
ストリーミング時、転送されるデータは音声格納用メモリに一定時間分バッファリングされているが、書き込みクロックと読み出しクロックとの誤差により、ストリーミング時間の経過に従って音声格納用メモリのデータ書き込み位置とデータ読み出し位置の間隔が変動し、前記間隔が一定範囲を外れてしまうと、バッファオーバーランやバッファアンダーランが生じ、転送データに破綻をきたしてしまう。
【００１１】
次に、ＵＳＢビデオクラスにおける動画像データ転送について説明する。
【００１２】
ＵＳＢビデオクラスでもオーディオクラスの場合と同様にＰＣがＳＯＦに基づき一定間隔でデータ送信要求をカメラ側に送信する。しかし、オーディオクラスの場合とは異なり、転送するデータ量はカメラ側のクロックに合わせるようになっている。
【００１３】
図１９は映像データの転送タイミングを示した図である。ＰＣからのデータ送信要求はＳＯＦに基づいており、常に一定間隔でカメラ側に送信されているが、送信要求を受けたカメラ側では常に映像データを送信するということをせず、自身が発生するフレーム毎のクロックを受けたうえで１フレーム分の映像データを送信する。ＰＣ側では新たに１フレーム分の映像データを受信するたびに表示フレームを更新すればよい。この方法では、カメラ側の映像データ格納用メモリにバッファオーバーランやバッファアンダーランは発生しない。
【００１４】
ここまでに、ＵＳＢにおけるオーディオクラス、ビデオクラスの転送についてそれぞれ説明した。以下では前記２つのクラスを組み合わせた音声および動画像のストリーミングについて説明する。
【００１５】
デジタルビデオカメラ等において動画像および音声のストリーミングを行う際、動画像データを生成する動画像用撮像装置と音声データを生成する集音装置とは互いに異なるクロックによって駆動する。
【００１６】
通常、デジタルビデオカメラには映像と音声の生成に異なるクロックを用いることで生じる映像と音声の同期ずれを防ぐための機構を備えている。
【００１７】
しかし、ストリーミング時において、動画像データの転送にＵＳＢビデオクラスを、オーディオデータの転送にＵＳＢオーディオクラスを用いる場合、動画像データと音声データとが別々の方法で転送されてしまうため、同期ずれの問題が生じる。
【００１８】
すなわち、前記したようにＵＳＢオーディオクラスにおいては転送されるデータ量はＰＣ側のクロックによって決定されるのに対し、ＵＳＢビデオクラスにおいてはカメラ側のクロックによって決定されるため、両クロックの誤差によって音声が映像に対して進んだり遅れたりする現象が生じる。また、このずれは時間の経過とともに大きくなり、ついには前記した音声データ格納用バッファのオーバーランやアンダーランが生じ、ストリーミングに破綻を来たしてしまう。
【００１９】
これに関連した技術が特許文献１に開示されている。
【００２０】
【特許文献１】
特開２０００−２１０８１号公報
【００２１】
【発明が解決しようとする課題】
特許文献１では、ホスト（ＰＣ）とデバイス（カメラ）とが、連続する２つの同期信号（ＳＯＦ）の間に生じるクロックの数や受信したデータ数をカウントし、これらをフィードバックすることでデータ送信量を決定する方式を採っている。
【００２２】
しかし、このような方法では処理が煩雑になってしまうという問題があった。
【００２３】
本発明はこのような問題点に鑑みてなされたものであり、音声と動画像のストリーミング時に生じる音声データと動画像データの同期ずれを複雑な回路を用いずに補正することを目的とする。
【００２４】
【課題を解決するための手段】
前記目的を達成するため、本発明においては、動画像信号と前記動画像信号に対応した音声信号とを入力する入力手段と、前記動画像信号を第１のタイミング信号に従って第１の記憶手段に書き込むと共に前記音声信号を前記第１のタイミング信号に従って第２の記憶手段に書き込む書き込み制御手段と、前記第１のタイミング信号に従って前記第１の記憶手段から前記動画像信号を読み出すと共に、前記第１のタイミング信号とは異なる周波数の第２のタイミング信号に従って前記第２の記憶手段から前記音声信号を読み出し、前記読み出した動画像信号と音声信号とを伝送路を介して外部装置に伝送する通信手段と、前記第２の記憶手段における前記音声信号の書き込み位置と読み出し位置とに基づき、前記音声信号の読み出し位置を変更する読み出し制御手段とを備える構成とした。
【００２５】
【発明の実施の形態】
（実施形態１）
以下、本発明の第１の実施形態について説明する。この実施形態ではデジタルビデオカメラで撮像した動画像データおよび集音した音声データをＵＳＢによって接続されたＰＣへ転送しつつ、ＰＣ側で受け取ったデータの再生を行う場合に本発明を適用したものである。
【００２６】
図１に示すように、ＵＳＢホスト（パソコン）２００とＵＳＢ端子を備えたデジタルビデオカメラ１００とがＵＳＢケーブルによって接続されている。デジタルビデオカメラ１００で取得した映像データおよび音声データはＵＳＢケーブルを通じてＵＳＢホスト（パソコン）２００へと転送され、再生される。なお、動画像データの転送にはＵＳＢビデオクラスを、音声データの転送にはＵＳＢオーディオクラスを用いる。
【００２７】
図２はデジタルビデオカメラ１００およびＵＳＢホスト（パソコン）２００のシステム構成を示した図である。
【００２８】
デジタルビデオカメラ１００はカメラ制御１０１、動画撮像装置１０２、動画格納用メモリ１０３、集音装置１０４、音声格納用メモリ１０５、音声格納用メモリ監視設定装置１０６、ＵＳＢコントローラ１０７、パケット化装置１０８、ＵＳＢ受信バッファ１０９、ＵＳＢ送信バッファ１１０を有する。
【００２９】
カメラ制御１０１は動画撮像装置１０２および集音装置１０３に対して動作クロックを供給することで適切なタイミングで動作させる。
【００３０】
動画撮像装置１０２はカメラ制御１０１の指示を受けて被写体像をデジタルデータに変換し、動画格納用メモリ１０３に書き込み、集音装置１０４はカメラ制御１０１の指示を受けて音声をサンプリングし、デジタルデータとして音声格納用メモリ１０５に書き込む。
【００３１】
動画格納用メモリ１０３及び音声格納用メモリ１０４は先入れ先だし方式のリングバッファとなっており、一定時間分の動画像または音声データをバッファリングする。
【００３２】
パケット化装置１０８はＵＳＢコントローラ１０７の指示を受けて動画格納用メモリ１０３より動画像データを取り出し、ＵＳＢのパケットに分割してＵＳＢ送信バッファ１１０へ格納する。また、同様に音声格納用メモリ１０５より音声データを取り出し、ＵＳＢのパケットに分割してＵＳＢ送信バッファ１１０へ格納する。
【００３３】
ＵＳＢコントローラ１０７はＵＳＢホスト２００よりデータ送信要求を受けるとパケット化装置に対して指示を出すことで動画格納用メモリに格納された動画像データおよび音声格納用メモリに格納された音声データをＵＳＢ送信バッファへ格納するとともに、音声格納用データ監視設定装置に対してデータ送信要求を受けたことを通知する。
【００３４】
ＵＳＢホスト（パソコン）２００はＵＳＢ送信バッファ２０１、ＵＳＢ受信バッファ２０２、ＵＳＢコントローラ２０４、再生データバッファ２０７、再生機構２０６、映像出力装置２０３、音声出力装置２０５を有する。
【００３５】
ＵＳＢコントローラ２０４はＵＳＢホスト２００におけるストリーミング動作のクロックを供給するものであり、ＵＳＢ送信バッファ２０１に対して一定間隔でデータ送信要求を格納するとともに、再生機構２０６に対して再生のタイミングを供給する。
【００３６】
ＵＳＢ送信バッファ２０１はＵＳＢコントローラ２０４によって格納されたデータ転送要求をデジタルビデオカメラ１００へと送信する。ＵＳＢ受信バッファ２０２はデジタルビデオカメラ１００から受け取った受信データを再生データバッファ２０７へと格納する。再生データバッファ２０７は先入れ咲き出し方式のバッファであり、一定時間分の再生データを格納する。再生機構２０６はＵＳＢコントローラ２０４からのクロックを受けて再生データバッファ２０７より再生データを取り出して映像信号および音声信号へと変換し、映像出力装置２０３および音声出力装置２０５へと出力する。映像出力装置２０３は再生機構２０６より受け取った映像信号を映像として出力する。音声出力装置２０５は再生機構２０６より受け取った音声信号を音声として出力する。
【００３７】
以下、音声格納用メモリ監視設定装置１０６の動作について説明する。
【００３８】
図４は音声格納用メモリ１０５の周辺構成を示す図である。
【００３９】
音声格納用メモリ１０５はリングバッファ形式となっており、定められたメモリ領域上において、データ読み出し位置（アドレス）ｒとデータ書き込み位置ｗを保持している。データ書き込み時にはデータ書き込み位置ｗに対象データを書き込み、データ書き込み位置ｗを後ろへずらす。また、データ読み出し時にはデータ読み出し位置ｒからデータを読み出し、データ読み出し位置ｒを後ろへずらす。
【００４０】
データ書き込み位置ｗ、データ読み出し位置ｒ共に、メモリ領域上の一番後ろに到達した場合はメモリ領域の先頭に戻る。
【００４１】
以上のようにデータ書き込み位置ｗ、データ読み出し位置ｒが定められたメモリ領域内を巡回することで、先入れ先だし方式のバッファを実現している。
【００４２】
本実施形態では、図３に示した様に、デジタルビデオカメラ１００とＵＳＢホスト（ＰＣ）２００のクロックの誤差によって生じる、音声用格納用メモリ１０５におけるデータ読み出し位置ｒの理想の位置ｒ’からのずれの大きさが、許容値αを超えた時点でデータ読み出し位置ｒを理想の位置ｒ’に移動するという考えに基づいて解決している。
【００４３】
図３は音声格納要メモリ１０５におけるデータの様子を示す図であり、音声格納用メモリ１０５における理想の読み出し位置ｒ’とは、音声格納用バッファ１０５がバッファリングするデータ量の理想値ａ’よって決定できる。
【００４４】
ストリーミング時において音声と動画像の同期ずれを生じないためには、音声格納用メモリ１０５がバッファリングしている音声データの量が一定に保たれる必要があることから、保たれるべき音声データ量の理想値ａ’はストリーミング開始時にバッファリングされるデータ量ということになる。データ読み出し位置ｒとデータ書き込み位置ｗが分かると、バッファリングされているデータ量ａを求めることができるが、逆に、バッファリングするデータ量の理想値ａ’をもとにして、現在のデータ書き込み位置ｗに対する理想のデータ読み出し位置ｒ’を求めることができる。
【００４５】
即ち、音声格納用メモリ監視設定装置１０６はＵＳＢコントローラ１０７よりデータ送信要求を受けたことを通知されると、図５のフローに示した処理を実行する。
【００４６】
まず、現在のデータ書き込み位置ｗをもとに、バッファリングするデータ量の理想値ａ’だけバッファリングされていた場合の理想のデータ読み出し位置ｒ’を求める（Ｓ５０１）。次に、理想のデータ書き込み位置ｒ’と一定の範囲αとから、データ読み出しの許容範囲Ｄを求める（Ｓ５０２）。そして、読み出し位置ｒが許容範囲Ｄ内にあるか否かを判定し（Ｓ５０３）、許容範囲に入っていなければデータ読み出し位置ｒを理想のデータ読み出し位置ｒ’へと移動する（Ｓ５０４）。
【００４７】
この様に、本形態によれば、音声格納用メモリ１０５における読み出し位置が理想の読み出し位置から所定の許容範囲を超えていた場合、強制的に読み出し位置をこの理想の読み出し位置に移動するため、書き込みクロックと読み出しクロックとの誤差によるデータの破綻を防止することができる。
【００４８】
（実施形態２）
次に、第２の実施形態について説明する。
【００４９】
第１の実施形態では音声格納用メモリにおけるデータ読み出し位置が許容範囲から外れた場合にデータ読み出し位置を補正する方式を採ったが、本実施形態は外部接続先からの何らかのトリガをタイミングとしてデータ読み出し位置を補正する。
【００５０】
本実施形態における構成は第１の実施形態と基本的に同じであり、デジタルビデオカメラとＵＳＢホストの接続については図１、構成については図６の通りである。第１の実施形態と同じく、動画像データの転送にはＵＳＢビデオクラスを、音声データの転送にはＵＳＢオーディオクラスを用いている。
【００５１】
本実施形態で用いているＵＳＢビデオクラスにおいては、ＵＳＢホストたるＰＣ２００からの指示によってストリーミング中の任意の時点での映像を静止画としてＰＣ２００へと取り込む機能についても定められている。
【００５２】
この静止画取り込み機能を用いるために、本実施形態におけるデジタルビデオ１００は静止画撮像装置１１１および静止画格納用メモリ１１２を備えている。静止画撮像装置１１１はカメラ制御１０１の指示を受けて被写体像をデジタルデータに変換する。また、静止画格納用メモリ１１２はパケット化装置１０８に静止画データを渡すまで間、静止画データをバッファリングするものである。
【００５３】
ＰＣ２００への静止画取り込みは以下のような手順によって行われる。
【００５４】
まず、静止画取り込み動作はユーザーがＵＳＢホスト（ＰＣ）２００上で動作する再生機構２０６を操作して静止画取り込みを指示することで開始される。すると静止画取り込み要求がＵＳＢコントローラ２０４、ＵＳＢ送信バッファ２０１を通じてデジタルビデオカメラ１００へ送信される。デジタルビデオカメラ１００側では、前記静止画取り込み要求がＵＳＢ受信バッファ１０９を通じてＵＳＢコントローラ１０７へと伝えられる。
【００５５】
静止画取り込み要求を受けたＵＳＢコントローラ１０７はカメラ制御１０１に対して静止画取り込みの指示を出すとともに、音声格納用メモリ監視設定装置１０６に対して静止画取り込み要求を受けたことを伝える（詳細は後述）。静止画取り込み要求を受けたカメラ制御１０１は静止画撮像装置１１１に対して指示を出して静止画データを生成し、静止画格納用メモリ１１２を介してパケット化装置１０８へと渡す。パケット化装置１０８は動画データや音声データの場合と同様に静止画データをパケット化してＵＳＢ送信バッファ１１０に格納する。
【００５６】
ＵＳＢ送信バッファに格納された静止画データはＵＳＢホスト２００に送信され、ＵＳＢ受信バッファ２０２、再生データバッファを通じて再生機構２０６に送られる。再生機構２０６は静止画データを受け取るとそれを映像出力装置２０３に一定時間出力する。また、静止画取り込み時は取り込んだ静止画をファイルとして保存するために、ＵＳＢホスト（ＰＣ）２００が備えるファイルＩ／Ｏ２０８を利用する。
【００５７】
本実施形態のような静止画取り込み時には、再生装置２０６は電子音などのシャッター音を発生する。
【００５８】
音声格納用メモリ１０５のデータ読み出し位置の補正時には、転送される音声データが不連続になるために、再生される音声にノイズのような不快な音が発生することがある。
【００５９】
この問題を解決するため、本実施形態では静止画取り込み時のシャッター音を発するタイミングで音声データ読み出し位置の補正を行うことで、不快な音を利用者に聴こえないように考慮した。
【００６０】
以下、静止画取り込み時における音声格納用メモリ監視設定装置の動作を説明する。図７は図３と同様、音声格納用メモリの様子を示す図であり、図９は音声データ格納用メモリの要部の構成を示す図である。図９は音声格納用メモリ監視設定装置の動作を示すフローチャートである。
【００６１】
静止画取り込み要求を受けたＵＳＢコントローラ１０７が音声格納用メモリ監視設定装置１０６に対して静止画取り込み要求を受けたことを通知すると、音声格納用メモリ監視設定装置１０６は音声格納用メモリ１０５のデータ読み出し位置をリセットする。
【００６２】
そして、現在のデータ書き込み位置ｗをもとに、バッファリングするデータ量の理想値ａ’だけバッファリングされていた場合の理想のデータ書き込み位置ｒ’を求める（Ｓ９０１）。そして、データ読み出し位置ｒを理想のデータ読み出し位置ｒ’へと移動する（Ｓ９０２）。
【００６３】
（実施形態３）
次に、第３の実施形態について説明する。
【００６４】
第２の実施形態は、静止画取り込み動作中にストリーミング再生が中断するタイミングを利用して音声格納用メモリのデータ読み出し位置をリセットすることで、リセット時の不快なノイズを回避することを可能にしたものであったが、本実施形態は、音声の音量が所定の閾値よりも小さくなったタイミングでリセットすることで、ノイズが利用者に与える不快感を最小限にする。
【００６５】
本実施形態の構成は基本的に第１の実施形態と同じであり、デジタルビデオカメラとＵＳＢホストの接続については図１、構成については図１０のとおりである。第１の実施形態と異なる部分についてのみ以下で説明する。
【００６６】
図１１は音声格納用メモリ監視設定装置１０６の要部の構成を示す図であり、図１２はその処理を示すフローチャートである。音声格納用メモリ監視設定装置１０６、はＵＳＢコントローラ１０７からデータ送信要求を受けたことを通知されると、現在のデータ書き込み位置ｗをもとに、バッファリングするデータ量の理想値ａ’だけバッファリングされていた場合の理想のデータ書き込み位置ｒ’を求める（Ｓ１２０１）。次に、現在のデータ読み出し位置ｒに格納された音声データの音量が十分に小さいか否かを判別し（Ｓ１２０２）、十分小さい場合にはデータ読み出し位置ｒを理想のデータ読み出し位置ｒ’へと移動する（Ｓ１２０３）。
【００６７】
（実施形態４）
次に、第４の実施形態について説明する。
【００６８】
第４の実施形態は、第３の実施形態と同じ考えに基づいてなされたものであるが、データ読み出し位置のリセットをするかどうかの判定に用いる音声データを取得する場所が異なる。
【００６９】
本実施形態の構成は基本的に第３の実施形態と同じであり、デジタルビデオカメラとＵＳＢホストの接続については図１、構成については図１０のとおりである。第３の実施形態と異なる部分についてのみ以下で説明する。
【００７０】
図１３は音声格納用メモリ監視設定装置１０６の要部構成を示す図であり、図１４は音声格納用メモリ監視設定装置１０６の処理を示すフローチャートである。
【００７１】
音声格納用メモリ監視設定装置１０６はＵＳＢコントローラ１０７からデータ送信要求を受けたことを通知されると、現在のデータ書き込み位置ｗをもとに、理想のデータ書き込み位置ｒ’を求める（Ｓ１４０１）。次に、理想のデータ読み出し位置ｒ’に格納された音声データの音量が十分に小さいか否かを判別し（Ｓ１４０２）、十分小さいと判断した場合、データ読み出し位置ｒを理想のデータ読み出し位置ｒ’へと移動する（Ｓ１４０３）。
【００７２】
（実施形態５）
次に、第５の実施形態について説明する。
【００７３】
第５の実施形態は、第３および第４の実施形態において、データ読み出し位置のリセットをするかどうかの判定に用いる音声データを、現在のデータ読み出し位置ｒと理想のデータ読み出し位置ｒ’との両方から取得する。
【００７４】
本実施形態の構成は基本的に第３の実施形態と同じであり、デジタルビデオカメラとＵＳＢホストの接続については図１、構成については図１０のとおりである。第３の実施形態となる部分についてのみ以下で説明する。
【００７５】
図１５は音声格納用メモリ監視設定装置１０６の要部の構成を示す図であり、図１６はこの音声格納用メモリ監視設定装置１０６の処理を示すフローチャートである。
【００７６】
音声格納用メモリ監視設定装置１０６はＵＳＢコントローラ１０７からデータ送信要求を受けたことを通知されると、現在のデータ書き込み位置ｗをもとに理想のデータ書き込み位置ｒ’を求める（Ｓ１６０１）。次に、現在のデータ読み出し位置ｒの音声データの音量が十分に小さいか否かを判定し（Ｓ１６０２）、小さい場合、更に、理想のデータ読み出し位置ｒ’に格納された各音声データの音量が十分に小さいか否かを判定する（Ｓ１６０３）。Ｓ１６０３で音量が十分に小さいと判断した場合、データ読み出し位置ｒを理想のデータ読み出し位置ｒ’に移動する（Ｓ１６０４）。
【００７７】
（実施形態６）
次に、第６の実施形態について説明する。
【００７８】
第２の実施形態では、静止画取り込み動作中にストリーミング再生が中断するタイミングを利用して音声格納用メモリのデータ読み出し位置をリセットしていたが、本実施形態はタイマを用いて一定時間毎に強制的にデータ読み出し位置のリセットを行う。
【００７９】
本実施形態の構成は基本的に第１の実施形態と同じであり、デジタルビデオカメラとＵＳＢホストの接続については図１、構成については図１７のとおりである。第１の実施形態と異なる部分についてのみ以下で説明する。
【００８０】
ＵＳＢコントローラ１０７はデータ送信要求を受けてもそれを音声格納用メモリ監視設定装置１０６に対して通知しない。デジタルビデオカメラ１００はタイマ１１１を有する。タイマ１１１は一定期間ごとに音声格納用メモリ監視設定装置１０６に対してタイミング信号を出力する。
【００８１】
音声格納用メモリ監視設定装置１０６はタイマ１１１からタイミング信号を受けると、音声格納用メモリ１０５の読み出し位置を以下の様に制御する。
【００８２】
図１８は本形態における音声格納用メモリ監視設定装置１０６の要部構成を示す図である。音声格納用メモリ監視設定装置１０６はタイミング信号を受けると、現在のデータ書き込み位置ｗをもとに理想のデータ書き込み位置ｒ’を求め、データ読み出し位置ｒを理想のデータ読み出し位置ｒ’へと移動する。
【００８３】
以上説明した各実施形態によれば、音声と動画像のストリーミング時に生じる音声データと動画像データの同期ずれを複雑な回路を用いずに補正することが可能となる。
【００８４】
【発明の効果】
以上説明したように、本発明によれば、音声データと動画像データの同期ずれを複雑な回路を用いずに補正することが可能となる。
【図面の簡単な説明】
【図１】本発明が適用されるデジタルビデオカメラとパソコンとの接続を示す図である。
【図２】本発明が適用されるデジタルビデオカメラとパソコンの構成を示すブロック図である。
【図３】音声データのバッファリングの様子を示す図である。
【図４】音声格納用メモリの制御のための構成を示す図である。
【図５】音声データの読み出し制御を示すフローチャートである。
【図６】本発明が適用されるデジタルビデオカメラとパソコンの構成を示すブロック図である。
【図７】音声データのバッファリングの様子を示す図である。
【図８】音声格納用メモリの制御のための構成を示す図である。
【図９】音声データの読み出し制御を示すフローチャートである。
【図１０】本発明が適用されるデジタルビデオカメラとパソコンの構成を示すブロック図である。
【図１１】音声格納用メモリの制御のための構成を示す図である。
【図１２】音声データの読み出し制御を示すフローチャートである。
【図１３】音声格納用メモリの制御のための構成を示す図である。
【図１４】音声データの読み出し制御を示すフローチャートである。
【図１５】音声格納用メモリの制御のための構成を示す図である。
【図１６】音声データの読み出し制御を示すフローチャートである。
【図１７】本発明が適用されるデジタルビデオカメラとパソコンの構成を示すブロック図である。
【図１８】音声格納用メモリの制御のための構成を示す図である。
【図１９】音声データと画像データの送信の様子を示す図である。
【図１】
2005057321.tif 000003
【図２】
2005057321.tif 000004
【図３】
2005057321.tif 000005
【図４】
2005057321.tif 000006
【図５】
2005057321.tif 000007
【図６】
2005057321.tif 000008
【図７】
2005057321.tif 000009
【図８】
2005057321.tif 000010
【図９】
2005057321.tif 000011
【図１０】
2005057321.tif 000012
【図１１】
2005057321.tif 000013
【図１２】
2005057321.tif 000014
【図１３】
2005057321.tif 000015
【図１４】
2005057321.tif 000016
【図１５】
2005057321.tif 000017
【図１６】
2005057321.tif 000018
【図１７】
2005057321.tif 000019
【図１８】
2005057321.tif 000020
【図１９】
2005057321.tif 000021