(57)【特許請求の範囲】
【請求項１】
伝送系を介して配信される連続情報を記録する記録方法において、
前記伝送系を介して配信される前記連続情報である動画像情報を一時記憶媒体に順次格納し、
所定の一定周期の間に前記一時記憶媒体へ格納された前記動画像情報の全部を、前記一時記憶媒体へ格納する動作の完了を待たずに読出して個別格納ファイルに格納することを特徴とする連続情報の記録方法。
【請求項２】
前記一時記憶媒体への格納動作開始から経過した時間に対応する読み出し予定回数を求め、実際の読み出し回数と比較行い、前記実際の読み出し回数が前記求めた読み出し予定回数より少なければ、次の読み出し周期を待たずに一時記憶媒体から連続して動画像情報を読み出し、個別格納ファイルに格納することを特徴とする請求項１記載の連続情報の記録方法。
【請求項３】
伝送系を介して配信される前記連続情報である音声情報を一時記憶媒体に順次格納し、
前記一時記憶媒体への格納動作開始から経過した時間に対応する音声情報の理論的情報長を求め、前記求めた理論的情報長と前記一時記憶媒体へ格納された音声情報の実際の情報長とを比較し、前記実際の情報長が大きければ理論的情報長との差分を削除し、小さければ理論的情報長との差分を抑制するように音声情報の一部を補完して個別格納ファイルに格納することを特徴とする請求項１記載の連続情報の記録方法。
【請求項４】
前記連続情報である動画像情報と音声情報それぞれについて作成された前記個別格納ファイルを合成し、合成ファイルを作成することを特徴とする請求項３記載の連続情報の記録方法。
【請求項５】
伝送系を介して配信される連続情報を記録する記録装置において、
前記伝送系を介して配信される前記連続情報である動画像情報及び音声情報を受信する連続情報受信部と、
前記連続情報受信部で受信した動画像情報及び音声情報を一時記憶媒体にそれぞれ順次格納する連続情報管理部と、
所定の一定周期の間に前記一時記憶媒体へ格納された前記動画像情報及び音声情報のそれぞれ全部を、前記一時記憶媒体へ格納する動作の完了を待たずに読出して動画像情報と音声情報をそれぞれ個別格納ファイルに格納する連続情報記録部と、
動画像情報と音声情報のそれぞれについて作成された複数の前記個別格納ファイルを合成し、合成格納ファイルを作成する合成部とを有することを特徴とする連続情報の記録装置。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明は、音声や画像等の連続情報を圧縮・伸長する機能を含む伝送系を介して配信される前記連続情報を記録する記録方法および記録装置に関し、特に、前記連続情報の連続性を良好に保持し得る記録装置および記録装置に関する。
【０００２】
近年、インターネットが急速に拡大するとともに、マルチメディア機能を有する情報通信端末装置等の普及がめざましい。すなわち、インターネットを介して音声や画像等の連続情報をやりとりする通信形態の利用が進んでおり、テレビ電話システムや動画像による遠隔監視システムのような通信アプリケーションにおいては、より安価で取扱い容易なものが求められている。
【０００３】
【従来の技術】
インターネットを介して音声や画像等の連続情報をやりとりする通信形態として、インターネットテレビ電話システムを例に従来の技術を説明する。
【０００４】
従来のインターネットテレビ電話システムにおいて、画像データと音声データとを別入力で録画する場合、画像データと音声データを別々にファイルに記録しておき、通話終了時に画像ファイルと音声ファイルを合成する方法をとっていた。
【０００５】
このような従来の方法では、伝送系や端末性能の影響によって画像データや音声データにゆらぎが発生した場合、各データ間の同期がとれなくなり、ファイルの合成時あるいは再生時に画像と音声がずれることがあった。
【０００６】
これを解決するため、ファイルにタイムスタンプなどを記録しておき、ファイル合成時に同期をとるタイムスタンプ方式があった。
【０００７】
しかしながら、タイムスタンプ方式では、処理が複雑となる上、送信側および受信側が同じ方式に対応している必要があるといった問題があった。
【０００８】
【発明が解決しようとする課題】
したがって、本発明の目的は、音声や画像等の連続情報を圧縮・伸長する機能を含む伝送系を介して配信される前記連続情報を記録する記録方法および記録装置において、上記のような従来の問題を解決し、相手を問わず簡便に同期をとることが可能な連続情報の記録方法および記録装置を提供することである。
【０００９】
【課題を解決するための手段】
本発明は、前述の目的を達成するため、以下に述べる構成を有するものである。
【００１０】
すなわち、本発明は、伝送系を介して配信される連続情報を記録する記録方法において、前記伝送系を介して配信される前記連続情報を一時記憶媒体に順次格納し、所定の一定周期の間に前記一時記憶媒体へ格納された前記連続情報の全部を、前記一時記憶媒体へ格納する動作の完了を待たずに読出して個別格納ファイルに格納することを特徴とする。
【００１１】
さらに、前記一時記憶媒体への格納動作開始から経過した時間に対応する読み出し予定回数を求め、実際の読み出し回数と比較行い、前記実際の読み出し回数が前記求めた読み出し予定回数より少なければ、次の読み出し周期を待たずに一時記憶媒体から連続して連続情報を読み出し、個別格納ファイルに格納する。
【００１２】
さらに、前記一時記憶媒体への格納動作開始から経過した時間に対応する連続情報の理論的情報長を求め、前記求めた理論的情報長と前記一時記憶媒体へ格納された連続情報の実際の情報長とを比較し、前記実際の情報長が大きければ理論的情報長との差分を削除し、小さければ理論的情報長との差分を抑制するように連続情報の一部を補完して個別格納ファイルに格納する。
【００１３】
さらに、複数種類の連続情報によって作成された複数の前記個別格納ファイルを合成し、合成格納ファイルを作成する。
【００１４】
【発明の実施の形態】
以下、図を参照しつつ、本発明の実施の形態を詳述する。
【００１５】
図１は、本発明の実施例のシステム構成を示す図である。
【００１６】
図１において、１０はネットワーク、１１，１ｎ，２は画像通信端末装置、２１は画像通信端末装置２の音声情報受信部、２２は音声情報管理部、２３は音声情報記録部、２４は画像情報受信部、２５は画像情報管理部、２６は画像情報記録部、２７は音声画像合成部である。
【００１７】
複数の画像通信端末装置１１，１ｎ，２はそれぞれネットワーク１０を介して通信可能に接続されている。画像通信端末装置２は音声情報受信部２１、音声情報管理部２２、音声情報記録部２３、画像情報受信部２４、画像情報管理部２５、画像情報記録部２６、音声画像合成部２７を備え、ネットワーク１０を介して送受される画像データ及び音声データをそれぞれ別個にファイルへ記録した後、両者を合成し音声付きの画像データを生成する。
【００１８】
本発明を実装する画像通信端末装置は、画像データ及び音声データについて、次のように処理を行うことにより、インターネットテレビ電話システムを構成する。
【００１９】
すなわち、画像データと音声データは単位時間あたりのデータ量は形式により特定可能である。そこで、録画時間分の保存データ量を保証することで画像データと音声データの録画時間を同期させるように、連続情報の記録方法および記録装置を構成する。画像は、フラッシュ的で且つ画像が瞬間的に止まったり飛んだりしても十分実用に耐える画質となるが、音声は比較的高い連続性が求められるため処理方式を変えている。
≪画像処理方式≫
まず、通信系のゆらぎに対する対策を説明する。
【００２０】
図２は、本発明の第１の画像処理方式を説明する図である。図２に示すように、10Hzのフレームレートで通信している場合、受信側では受信すれば録画バッファに書込む。録画バッファから100ms毎に画像データを取り込み、ファイルに書き込む。この時、通信のゆらぎにより必ずしも100msでバッファのデータが書き換わっているとは限らないが、書き換わっていない場合でもバッファに残っている前の画像データをファイルに保存する。同様に１画像分とぶこともあるが、現在のバッファの画像データをファイルに保存する。
【００２１】
次に、端末のゆらぎに対する対策を説明する。
【００２２】
図３は、本発明の第２の画像処理方式を説明する図である。すなわち、端末のCPU使用率等によりゆらぎが発生し、正確に100ms毎にバッファから読み出せない場合も起こる。これに対して、図３に示すように、録画開始からのシステム時間からバッファから読み出すべき回数を計算し、実際に読み出した回数と比較する。回数が少なければ、次の周期を待たずに連続してバッファから画像データを読み出し、ファイルに書き込む。
≪音声処理方式≫
以下、音声処理における通信系のゆらぎに対する対策を説明する。
【００２３】
図４は、本発明の音声処理方式を説明する図である。まず、図４の（イ）に示すように、録音開始直後の音声データをバッファに書き込む。次に音声データを受信すると録音開始からの時間を取得し、音声データのサイズを計算する。そのサイズと先のバッファの音声データサイズを比較し、音声データが大きければ差分を削除し、小さければ無音或いは音声データの最後の部分のデータを補完してファイルに書き込む。これを繰り返す。
【００２４】
このように処理することにより、図４（ロ）に示すように、ゆらぎによるずれの少ない音声データのファイルを作成することができる。反対に、上記のような処理を行わない場合は、図４（ハ）に示す斜面部のようにデータがずれてしまう。
【００２５】
図５は、本発明の記録方法の各種処理動作を説明する図である。
【００２６】
音声情報受信部 21において、ネットワークに接続された画像通信端末装置11から音声情報11Aを受信する（Ｓ１１）。
【００２７】
音声情報管理部 22において、音声情報受信部 21から音声情報11Aを受信し（Ｓ１２）、録音開始からの時間を算出し、音声情報11Aが大きければ差分を削除し、小さければ音声情報11Aを補完し（Ｓ１３）、音声情報記録部23に通知する音声情報11Bを作成する（Ｓ１４）。
【００２８】
音声情報記録部 23において、音声情報管理部 22から受信した音声情報11Bを記録媒体に音声情報23Aとして記録する（Ｓ１５）。
画像情報受信部 24において、ネットワークに接続された画像通信端末装置11から画像情報11Vを受信し（Ｓ２１）、画像情報管理部25において、画像情報11Vを受信し（Ｓ２２）、画像情報11Vを録画バッファ 25Bに書き込む（Ｓ２３）。以後、録画バッファ25Bの内容を周期的に読み取り、画像情報記録部26に通知する画像情報11Wを作成端末の負荷等により録画バッファ25Bから正確な時間に読み出せなかった場合は、読出回数を算出し、次回の周期に連続して読み出す（Ｓ２４）。
【００２９】
画像情報記録部 26において、画像情報管理部 25から受信した画像情報11Wを記録媒体に画像情報26Aとして記録する（Ｓ２５）。
【００３０】
最後に、音声画像合成部 27において、音声情報記録部 23で作成した音声情報23Aと、 画像情報記録部 26で作成した画像情報26Aを合成して音声画像情報27Aを作成する（Ｓ３０）。
【００３１】
以下、図６を参照し、本発明の別の実施例を説明する。
【００３２】
図６は、本発明の別の実施例のシステム構成を示す図である。図１と同一または同等の構成については、同一の符号が付されている。以下、図１とは異なる構成について説明する。
【００３３】
情報出力部３を実装することにより、受信した音声および画像を画像通信端末装置11で参照することが可能となる。すなわち、音声情報受信部21で受信した音声情報11Aを音声情報管理部22に通知すると同時に音声情報出力部31に通知することにより、 画像通信端末装置で受信した音声を再生することが可能となる。また、画像情報受信部24で受信した画像情報11Vを画像情報管理部25に通知すると同時に画像情報出力部32に通知することにより、 画像通信端末装置で受信した               画像を表示することが可能となる。
【００３４】
キャプチャ機器部４を実装することにより、別の画像通信端末装置1nと画像通信端末装置2間の会話を行うことが可能となる (TV電話機能) 。すなわち、音声情報入力部42でキャプチャした音声情報42Aを音声情報送信部41に通知する。
【００３５】
次に、音声情報入力部から受信した音声情報42Aを画像通信端末装置11に送信することにより、画像通信端末間で音声通信を行う。また、画像情報入力部44でキャプチャした画像情報44Aを画像情報送信部43に通知する。そして、画像情報入力部から受信した画像情報44Aを画像通信端末装置11に送信することにより、画像通信端末装置間で画像通信を行う。
【００３６】
さらに、圧縮処理部５および伸長処理部６を実装することにより、画像交換を行った場合に画像通信端末装置間の通信情報量を削減することが可能となる。
【００３７】
圧縮処理部５においては、まず、音声情報入力部42でキャプチャした音声情報42Aを音声情報圧縮部51で圧縮して音声情報送信部41に通知する。次に、画像情報入力部52でキャプチャした画像情報44Aを画像情報圧縮部52で圧縮して画像情報送信部43に通知する。
【００３８】
伸長処理部６においては、まず、音声情報受信部21で受信した音声情報11Aを音声情報伸長部61で伸長して音声情報管理部22(音声情報出力部31)に通知する。次に、画像情報受信部24で受信した画像情報24Vを画像情報伸長部62で伸長して画像情報管理部25(画像情報出力部32)に通知する。
【００３９】
【発明の効果】
以上、詳述した通り、本発明によれば、音声や画像等の連続情報を圧縮・伸長する機能を含む伝送系を介して配信される前記連続情報を記録する記録方法および記録装置において、上記のような従来の問題を解決し、相手を問わず簡便に同期をとることが可能な連続情報の記録方法および記録装置を提供することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施例のシステム構成を示す図である。
【図２】本発明の第１の画像処理方式を説明する図である。
【図３】本発明の第２の画像処理方式を説明する図である。
【図４】本発明の音声処理方式を説明する図である。
【図５】本発明の記録方法の各種処理動作を説明する図である。
【図６】本発明の別の実施例のシステム構成を示す図である。
【符号の説明】
１０：ネットワーク
１１，１ｎ，２：画像通信端末装置
２１：音声情報受信部、２２：音声情報管理部、２３：音声情報記録部、２４：画像情報受信部、２５：画像情報管理部、２６：画像情報記録部、２７：音声画像合成部
３：情報出力部、３１：音声情報出力部、３２：画像情報出力部
４：キャプチャ機器部、４１：音声情報送信部、４２：音声情報入力部、４３：画像情報送信部、４４：画像情報入力部
５：圧縮処理部、５１：音声情報圧縮部、５２：画像情報入力部
６：伸長処理部、６１：音声情報伸長部、６２：画像情報伸長部
【図１】
0004147767.tif 000002
【図２】
0004147767.tif 000003
【図３】
0004147767.tif 000004
【図４】
0004147767.tif 000005
【図５】
0004147767.tif 000006
【図６】
0004147767.tif 000007