(57)【要約】【課題】複数機器で撮影した動画をリアルタイムに多重化記録する際、機器間の動画転送に遅延を考慮して、多重化のタイミングを同期させる装置を提供すること。【解決手段】外部機器から記録開始信号を受け取ると、自機器のストリームデータのバッファリングを開始し、外部機器からのストリームデータが到着した時点で、バッファリングしていた自機器のストリームデータと、外部機器からのストリームデータから、同じ時刻のストリームデータを取り出し、多重化を行う。【選択図】図１
2006157492.tif 000002
【特許請求の範囲】
【請求項１】
複数ストリームデータを多重化して記録を行う装置であって、
ストリームデータの記録処理に関する制御信号を出力する制御部と、
現在の時刻情報を保持しているクロック部と、
ストリームデータ入力を受け、前記クロック部から得たタイムスタンプをそのストリームデータに付加する入力部と、
前記制御部から制御信号を受け取るとともに、外部機器と制御信号の送受信を行う外部制御信号通信部と、
外部機器からのストリームデータを受け付ける外部入力部と、
前記制御部からの制御信号を受け取り、前記入力部からはストリームデータを受け取り、エンコードを実施するエンコード部と、
前記エンコード部でエンコードされたストリームデータをバッファーに保存するとともに、前記外部制御信号通信部からのバッファリング開始指示を受けて、前記外部入力部で入力されたストリームデータを、バッファーに保存するバッファー管理部と、
前記バッファー管理部で保存されている複数のストリームデータを取り出し、多重化を行う多重化部とを備えたことを特徴とする複数ストリーム多重化記録装置。
【請求項２】
前記バッファー管理部は、前記外部制御信号通信部からのバッファリング停止指示を受けて、前記外部入力部で入力されたストリームデータのバッファーへの保存を停止することを特徴とする請求項１に記載の複数ストリーム多重化記録装置。
【請求項３】
エンコード部より出力されたストリームデータを、外部機器に対して出力を行なう外部出力部を備えたことを特徴とする請求項１に記載の複数ストリーム多重化記録装置。
【請求項４】
前記外部制御信号通信部が、外部機器から記録開始準備完了信号を受けた際、他機器への記録開始信号を、前記外部制御信号通信部を介して通知するネゴシエーション部を備えたことを特徴とする請求項１に記載の複数ストリーム多重化記録装置。
【請求項５】
前記外部制御信号通信部が、外部機器から制御信号を受け取る際に発生する遅延時間を、前記クロック部からの時間情報により測定する遅延時間測定部と、
前記遅延時間測定部で測定した遅延時間分だけ、前記エンコード部から受信したストリームデータを遅延バッファーに保存し、遅延時間が経過すれば、前記バッファー管理部に送る遅延バッファー部を備えたことを特徴とする請求項１に記載の複数ストリーム多重化記録装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画データや音声データなどのストリームデータを記録するデジタル記録装置に関し、特に同時刻のストリームデータを多重化するデジタル記録装置に関するものである。
【背景技術】
【０００２】
ビデオカメラの登場により、動画を撮影することは、一般の人々でも簡単に行えるようになった。その登場以後、ビデオカメラの高画質化、高機能化、小型化が進むとともに、同時に低価格化も進んだため、ビデオカメラは広く普及した。最近では、携帯電話やデジタルスチルカメラなどにも、動画を撮影する機能が付加されており、動画を撮影できる機器はさらに増加している。
【０００３】
運動会や結婚式などのイベント開催時には、多数の人がデジタルビデオカメラやデジタルスチルカメラなどを持ってくるため、動画を撮影できる機器が数多く存在することになる。そのため、それらが同時に稼動した時には、同じ時間の同じ場面を様々な角度から撮影していることになる。
【０００４】
現在のデジタルビデオカメラやデジタルスチルカメラは、ネットワーク機能を持たないため、自機器にて撮影した動画しか自機器には記録できないが、ネットワーク機能を付加されれば、同じ時間の同じ場面を別角度から他機器により撮影されている動画を、自機器に記録することが可能となる。単に記録が可能になるだけでなく、自機器で撮影中の動画と他機器により撮影された動画を多重化して記録することも可能となる。
【０００５】
複数のカメラで撮影された動画を多重化して記録する装置として、入力、エンコード、多重化の実施タイミングを、同期手段からの信号に合わせることにより、複数のカメラからの入力を、リアルタイムに多重化して記録する技術が開示されている（例えば、特許文献1参照）。
【特許文献１】特開平１１−１０３４４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、前記従来技術では、特定のカメラが撮影した動画の転送に遅延が発生した場合、複数のカメラからの入力、エンコード、多重化の実施タイミングを同期手段によって合わせることができず、リアルタイムに多重化して記録することができないという課題を有していた。
【０００７】
他機器で撮影されている動画を、有線または無線ネットワークを介して受信して、自機器で多重化して記録する場合、転送に伴うネットワーク遅延や、他機器上での処理遅延などが発生する。つまり、自機器で撮影している動画と他機器から受信した動画では、少なくともこれら遅延時間分のズレが生じ、動画の入力タイミングで同期させても、各動画が撮影された時刻を正しく合致させることができない。
【０００８】
本発明は、前記従来の課題を解決するもので、ネットワーク上に複数のカメラがあり、それらの入力をリアルタイムに撮影時刻を合わせて多重化して記録する機能を提供することを目的としている。
【課題を解決するための手段】
【０００９】
前記従来の課題を解決するために、本発明の複数ストリーム多重化記録装置は、ストリームデータの記録処理に関する制御信号を出力する制御部と、現在の時刻情報を保持しているクロック部と、ストリームデータ入力を受け、前記クロック部から得たタイムスタンプをそのストリームデータに付加する入力部と、前記制御部から制御信号を受け取るとともに、外部機器と制御信号の送受信を行う外部制御信号通信部と、外部機器からのストリームデータを受け付ける外部入力部と、前記制御部からの制御信号を受け取り、前記入力部からはストリームデータを受け取り、エンコードを実施するエンコード部と、前記エンコード部でエンコードされたストリームデータをバッファーに保存するとともに、前記外部制御信号通信部からのバッファリング開始指示を受けて、前記外部入力部で入力されたストリームデータを、バッファーに保存するバッファー管理部と、前記バッファー管理部で保存されている複数のストリームデータを取り出し、多重化を行う多重化部とを備え、エンコードの処理遅延や転送遅延を考慮した複数ストリームの多重化を行う。
【００１０】
本構成によって、機器間の動画転送に遅延が発生する環境下にあるとき、他機器で撮影した動画と自機器で撮影している動画をリアルタイムに多重化して記録することができる。
【発明の効果】
【００１１】
本発明の複数ストリーム多重化記録装置によれば、動画が撮影できる機器が複数台あり、機器間の動画転送に遅延が発生する環境下にあるとき、他機器で撮影した動画と自機器で撮影している動画をリアルタイムに撮影時刻を合わせて多重化して記録することができる。
【発明を実施するための最良の形態】
【００１２】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００１３】
（実施の形態１）
図１は、本発明の実施の形態１における複数ストリーム多重化記録装置の構成を示す図である。
【００１４】
図１において、装置１００は複数ストリーム多重化記録装置全体を示すものである。
【００１５】
入力部１０は、可視光や音声といった外部情報を、機器で扱えるようにするため、電気信号であるストリームデータに変換する手段であり、カメラやマイクなどにあたる。獲得したストリームデータにクロック部２０から得た時刻情報を付加して、エンコーダ部４０に送る。なお、カメラは、静止画のみでなく動画を撮影できるものとし、入力対象のストリームデータは、動画データ／音声データのどちらか一方であっても、両方であってもよい。
【００１６】
クロック部２０は、時刻情報を保持し、入力部１０と制御部３０に提供するものである。その時刻情報は、内部にリアルタイムクロックと呼ばれるハードウェアを内蔵して生成してもよいし、ＧＰＳレシーバーを内蔵し、ＧＰＳから得られるものを利用してもよいし、ＮＴＰ（Ｎｅｔｗｏｒｋ  Ｔｉｍｅ  Ｐｒｏｔｃｏｌ）を利用してインターネット経由で獲得しても良い。なお、この時刻情報は、装置１００、２００、３００で常に同じものを保持ものとする。
【００１７】
制御部３０は、記録開始スイッチ、記録停止スイッチなどであり、利用者からの操作を受け付けるものである。受け付けた操作は信号に変換して、エンコーダ部４０と、外部制御信号通信部６０に送信する。
【００１８】
エンコード部４０は、制御部３０から記録開始信号を受け取ると、入力部１０からストリームデータを受け取り、ＭＰＥＧ２、ＭＰＥＧ４、ＡＡＣ、Ａ３Ｃ、ＭＰ３などのエンコード方式を用いてエンコードするものである。エンコードしたデータは、外部出力部５０とバッファー管理部７０に送られる。
【００１９】
外部出力部５０は、イーサーネット、無線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈなどの方式で接続された外部機器に対して、エンコード部４０でエンコードされたストリームデータを送信するものである。
【００２０】
外部入力部５１は、イーサーネット、無線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈなどの方式で接続された外部機器から、エンコードされたストリームデータを受信するものである。
【００２１】
外部制御信号通信部６０は、イーサーネット、無線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈなどの方式で接続された外部機器と、制御信号の送受信を行うものである。また、制御部３０からも制御信号を受信する。さらに、バッファー管理部７０に対して、バッファリング開始指示、及び、バッファリング停止指示の発行を行う。
【００２２】
バッファー管理部７０は、エンコード部４０と外部入力部５１から受信したストリームデータを、外部制御信号通信部６０からのバッファリング開始指示、及び、バッファリング停止指示を受けて、ＲＡＭや２次記憶装置などの記録領域に、バッファリングの開始、及び、停止をするものである。
【００２３】
多重化部８０は、バッファー管理部７０で記録されている複数のストリームデータを取り出し、同時刻のストリームデータがあれば多重化処理を行うものである。
【００２４】
記録部９０は、多重化部８０で多重化されたデータを、ＤＶＤ−ＲＡＭ等の光ディスク、ＳＤカード等のメモリカード、ハードディスク等の磁気ディスクなどに記録するものである。
【００２５】
図２は、本発明の実施の形態１における複数ストリーム多重化記録装置が３台あった場合、イーサーネット、無線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈなどの方式により接続する際の接続構成を示す。
【００２６】
図２において、装置１００、２００、３００は、図１で示される装置１００と同じものである。また、外部出力部５０、２５０、３５０は、図１で示される外部出力部５０と同じものであり、外部入力部５１、２５１、３５１は、図１で示される外部出力部５１と同じものであり、外部制御信号通信部６０、２６０、３６０は、図１で示される外部制御信号通信部６０と同じものである。
【００２７】
接続５０１は、外部出力部５０は外部入力部２５１、３５１と接続されており、外部出力部５０から出力されたストリームデータは、外部入力部２５１、３５１に送信されることを示している。なお、接続５０２、５０３に関して、接続５０１と同様の接続を示しているのは明らかである。
【００２８】
接続６００は、外部制御信号通信部６０、２６０、３６０を結ぶものであり、装置１００、２００、３００それぞれから発生した制御信号の送受信を行うものである。
【００２９】
以上のように構成された複数ストリーム多重化記録装置について、その動作を説明する。
【００３０】
（装置１００のストリームデータの記録）
最初に、装置１００の入力部からだけストリームデータを取得して、装置１００の記録部に記録する場合について説明する。
【００３１】
図３は、装置１００の入力部１０からストリームデータを取得し、記録部９０に記録するシーケンスを表している。このとき、外部入力部５１からストリームデータは入力されていないものとする。また、ここでは装置１００が起動されており、入力部１０において動画や音声などのストリームデータを作成し、クロック部２０から取得した時刻情報をストリームデータに付加し、エンコード部４０に送信しているとして説明する。
【００３２】
装置１００の使用者が、記録開始ボタンを押すと、制御部３０は記録開始ボタンが押されたことを感知するとともに、クロック部２０からその時点の記録開始時刻Ｔ３１を取得する（Ｓ３０１）。次に、制御部３０はエンコード部４０に記録開始通知を行う（Ｓ３０２）。次に、制御部３０は、外部制御信号通信部６０に対し、記録開始通知と記録開始時刻Ｔ３１の通知を行う（Ｓ３０３）。
【００３３】
外部制御信号通信部６０は、制御部３０から記録開始信号と記録開始時刻Ｔ３１を受け取ると、接続６００に接続されている他の機器に対して、記録開始信号と記録開始時刻Ｔ３１を送信する（Ｓ３０４）。次に、外部制御信号通信部６０はバッファー管理部７０に対し、バッファリング開始指示と記録開始時刻Ｔ３１を通知する（Ｓ３０５）。
【００３４】
エンコード部４０は、制御部３０から記録開始信号を受け取ると、入力部１０からストリームデータを受け取り、エンコードを開始する（Ｓ３０６）。エンコードが完了したストリームデータは、バッファー管理部７０と外部出力制御部５０に送られる（Ｓ３０７）。なお、外部出力部５０に送られたストリームデータは、接続５００を通して装置２００や装置３００に送信される（Ｓ３０８）。
【００３５】
バッファー管理部７０は、外部制御信号通信部６０から、バッファリング開始要求を受け付けると、バッファリング数を１加算する。この場合には、バッファリング数は０から１に変化する。バッファリング数が１の場合には、バッファー管理部はバッファリングすべきストリームデータはないと判断し、エンコード部４０から得たストリームデータをそのまま多重化部８０に送信する（Ｓ３０９）。なお、バッファー管理部７０の詳しいシーケンスは後述する。
【００３６】
多重化部８０は、バッファー管理部７０より受け取ったストリームデータが単一のストリームーデータであるため、多重化せずそのまま記録部に送信する（Ｓ３１０）。
【００３７】
記録部９０は、多重化部８０より受け取ったストリームデータを、記録媒体に記録する（Ｓ３１１）。
【００３８】
（装置１００と装置２００のストリームデータの多重化記録）
続いて、前記状態から、装置２００の記録が始まり、装置２００の入力部で取得されエンコード部でエンコードされたストリームデータが、外部出力部２５０を通して、装置１００の外部入力部５１に入力され、多重記録する場合について説明する。
【００３９】
図４は、装置１００の入力部１０からストリームデータを取得し、さらに外部入力部５１からもストリームデータを取得して、多重化部８０により多重化された後、記録部９０に記録するシーケンスを表している。
【００４０】
装置２００の記録開始ボタンが押されると、装置２００は外部制御信号通信部２６０より記録開始信号とその記録開始時刻Ｔ３２を送信する。記録開始信号と記録開始時刻Ｔ３２は、接続６００を通して、装置１００の外部制御信号通信部６０に送られる。また、装置２００の入力部から取得されたストリームデータは、エンコードされ外部出力部２５０から送信される。送信されたストリームデータは、接続５０２を通して、装置１００の外部入力制御部５１に送られる。なお、ストリームデータの転送は、エンコードに時間を要することと、静止画などと比べてデータ量が多いため、転送時にネットワーク遅延が大きい。そのため、外部制御信号通信部６０に記録開始信号が届いてから、外部入力部５１にストリームデータが届くまでには時間遅延が発生する。
【００４１】
外部制御信号通信部６０は、記録開始信号と記録開始時刻Ｔ３２を受け取る（Ｓ４０１）と、バッファー管理部７０に対し、バッファリング開始要求と記録開始時刻Ｔ３２を送る（Ｓ４０２）。
【００４２】
バッファー管理部７０は、外部制御信号通信部６０から、バッファリング開始要求を受け付けると、バッファリング数を１加算する（Ｓ４０３）。この場合には、バッファリング数は１から２に変化する。バッファリング数が２の場合には、バッファー管理部７０はエンコーダ部４０のバッファリング開始する必要があると判断し、エンコード部４０から得たストリームデータのバッファリングを開始する（Ｓ４０４）。なお、バッファー管理部７０の詳しいシーケンスは後述する。
【００４３】
接続５０２を通して、外部入力部５１はストリームデータを受信する（Ｓ４０５）と、受信したストリームデータをバッファー管理部７０に送る（Ｓ４０６）。
【００４４】
外部入力部５１からのストリームデータを受信したバッファー管理部７０は、そのストリームデータのバッファリングを開始する（Ｓ４０７）。次に、バッファー管理部７０は、バッファーの中で記録開始時刻Ｔ３２のストリームデータを探し、多重化部８０に探したストリームデータを送信する（Ｓ４０８）。なお、引き続き、記録開始時刻Ｔ３２以降の時刻のストリームデータに関しても探し、多重化部８０に送信を続ける。バッファー管理部７０の詳しいシーケンスは後述する。
【００４５】
多重化部８０は、バッファー管理部７０より受信した、同じ時刻のストリームデータを多重化する。多重化したデータは、記録部９０に送信する（Ｓ４０８）。
【００４６】
記録部９０は、受信したストリームデータを記録媒体に記録する（Ｓ４０９）。
【００４７】
以上により、ネットワーク遅延のある環境下にあり、加えて、他機器の記録開始タイミングを自機器側で制御できない環境下において、他機器により取得されたストリームデータと自機器で取得したストリームデータとを多重化して記録することが可能となる。
【００４８】
（バッファリング開始要求受信時のバッファー管理部）
図５は、外部制御信号通信部６０から、バッファリング開始要求を受け、バッファリングを実施し、多重化部８０にストリームデータを送信するまでの、バッファー管理部７０のシーケンスを表している。
【００４９】
まず、外部制御信号通信部６０から、バッファリング開始要求と記録開始時刻Ｔ１０を受け取ると、バッファー管理部７０は、バッファリング数を１加算する（Ｓ５０１）。
【００５０】
次に、バッファー管理部７０は、現在のバッファリング数を調べる（Ｓ５０２）。このとき、バッファリング数が１であるならば、自機器の入力からの記録のみと判断できるので、エンコード部４０からストリームデータを受信し、そのまま多重化部８０に送信する（Ｓ５０３）。もし、バッファリング数が２以上であるならば、自機器からの入力に加えて他機器からの入力もあると判断できるので、バッファリングの開始を行う。このとき、エンコード部４０から受信したストリームデータのバッファリングが行われていなければ、そのバッファリングを開始する（Ｓ５０４）。
【００５１】
外部入力部５１がストリームデータを受信すると、バッファー管理部７０に送信する。バッファー管理部７０は、そのストリームデータの受信を行い、バッファリングを行う（Ｓ５０５）。
【００５２】
次に、バッファー管理部７０は、バッファリング要求と同じ数のストリームデータがバッファー内にあるかを調べる（Ｓ５０６）。もし、ない場合には外部入力部５１から、ストリームデータが送信されるのを待つ。もし、ある場合には記録開始時刻Ｔ１０のストリームデータをバッファー内から探し（Ｓ５０７）、多重化部８０に送信する（Ｓ５０８）。なお、引き続き、記録開始時刻Ｔ１０以降の時刻のストリームデータに関しても探し、多重化部８０に送信を続ける。
【００５３】
そして、多重化部に送信したストリームデータをバッファーから削除する（Ｓ５０９）。
【００５４】
（装置２００の記録停止に伴い、多重化記録の停止）
続いて、前記状態から、装置２００の記録が停止し、外部出力部２５０からのストリームデータの出力が停止し、装置１００の多重化記録が終わり、装置１００の入力部からのストリームのみが記録される場合について説明する。
【００５５】
図６は、装置１００の入力部１０と外部入力部５１から取得していたストリームデータのうち、外部入力部５１からのストリームデータが停止し、多重化記録から入力部１０のみストリームデータの記録に切り替わるシーケンスを表している。
【００５６】
装置２００の記録停止ボタンが押されると、装置２００は外部制御信号通信部２６０より記録停止信号とその記録開始時刻Ｔ３３を送信する。記録停止信号と記録停止時刻Ｔ３３は、接続６００を通して、装置１００の外部制御信号通信部６０に送られる。また、装置２００は、入力部から取得していたストリームデータのエンコードを停止し、外部出力部２５０への送信も停止する。そのため、外部出力部２５０から送信されていたストリームデータの送信も停止される。なお、ストリームデータの転送は、エンコードに時間を要することと、静止画などと比べてデータ量が多いため、転送時にネットワーク遅延が大きい。そのため、外部制御信号通信部６０に記録停止信号が届いてから、外部入力部５１に最後のストリームデータが届くまでには時間遅延が発生する。
【００５７】
外部制御信号通信部６０は、記録停止信号と記録停止時刻Ｔ１１を、接続６００を通して受信する（Ｓ６０１）。次に、バッファリング停止要求と記録停止時刻Ｔ１１をバッファー管理部７０に送る（Ｓ６０２）。
【００５８】
バッファー管理部７０は、バッファリング停止要求と記録停止時刻Ｔ１１を受け取ると、バッファリング数を１減らす。このとき、バッファリング数は２から１になる（Ｓ６０３）。しかし、すぐにはバッファリングを停止せず、同じ時刻のストリームデータを探し、多重化部８０への送信を続ける（Ｓ６０４）。そののち、探したストリームデータの時刻が記録停止時刻Ｔ１１と同じになれば、外部入力部５１からのストリームデータが届かなくなる（Ｓ６０５）ので、多重化部８０へはエンコーダ部４０から受信したストリームデータのみを送信し、エンコーダ部４０からのストリームデータのバッファリングを停止する（Ｓ６０６）。
【００５９】
次に、多重化部８０は、バッファー管理部７０が受信するストリームデータが２つから１つになるので、多重化を停止し、記録部９０にストリームデータをそのまま送る。
【００６０】
記録部９０は、多重化部８０より受け取ったストリームデータを、記録媒体に記録する。
【００６１】
（バッファリング停止要求受信時のバッファー管理部）
図７は、外部制御信号通信部６０から、バッファリング停止要求を受け、バッファリングを停止するまでの、バッファー管理部７０のシーケンスを表している。
【００６２】
まず、外部制御信号通信部６０から、バッファリング停止要求と記録停止時刻Ｔ１１を受け取ると、バッファー管理部７０は、バッファリング数を１減算する（Ｓ７０１）。
【００６３】
次に、バッファリング数を調べる（Ｓ７０２）。バッファリング数が０であれば、どこからのストリームデータの入力がなくなったことを意味するので、エンコーダ部４０からのストリームデータの受信を停止する（Ｓ７０３）。
【００６４】
ここで、もし、バッファリング数が１以上であれば、続いて現在探したストリームデータの時刻が記録停止時刻Ｔ１１であるかを調べる（Ｓ７０４）。調べた結果、異なる場合は、バッファー内から同じ時刻のストリームデータを取り出し（Ｓ７０５）、取り出したストリームデータを多重化部８０に送り出し（Ｓ７０６）、その送信したストリームデータをバッファー内から削除する（Ｓ７０７）。同じ場合は、ストリームデータの数が１つ減ることになる。
【００６５】
次に、もう一度、バッファリング数を調べる（Ｓ７０８）。バッファリング数が１の場合は、エンコード部４０からのストリームデータだけと判断できるので、エンコード部４０からのストリームデータのバッファリングを停止し（Ｓ７０９）、エンコード部４０からの入力をそのまま多重化部８０にそのまま送る（Ｓ７１０）。バッファリング数が２以上の場合は、引き続き、今回停止したもの以外のストリームデータに関して、多重化を進める。
【００６６】
以上により、動画が撮影できる機器が複数台あり、機器間の動画転送に遅延が発生する環境下にあり、さらに他機器の記録開始、停止を自機器から制御できない場合において、他機器で撮影した動画と自機器で撮影している動画をリアルタイムに多重化して記録することができる。
【００６７】
（実施の形態２）
図８は、本発明の実施の形態２の複数ストリーム多重化記録装置の構成を示す図である。図８において、図１と図２の同じ構成要素については同じ符号を用い、説明を省略する。なお、以降は、実施の形態１での装置１００は、装置１０１と置き換えて説明する。
【００６８】
図８において、ネゴシエーション部８００は、接続６００で接続している外部機器と外部制御信号通信部６０を通して、記録開始タイミングの調整を行うものである。なお、接続６００を用いた通信でも、遅延が発生するものとする。
【００６９】
以上にように構成された複数ストリーム多重化記録装置について、その動作を説明する。装置１０１のストリームデータの記録の処理シーケンス、装置２００の記録停止に伴い、多重化記録の停止の処理シーケンスに関しては、実施の形態１と同等のため、ここでは装置１０１と装置２００のストリームデータの多重化記録に関してのみ説明する。
【００７０】
図９は、本発明の実施の形態２の複数ストリーム多重化記録装置の処理シーケンスをフローチャートで表したものである。図９において、図４と同じ処理については、同じ符号を用い、説明を省略する。
【００７１】
装置１０１において、入力部１０からストリームデータを取得し、エンコーダ部４０でエンコードされ、バッファー管理部７０、多重化部８０を通して、記録部９０で記録されている状態から、装置２００の記録が始まり、装置２００の入力部で取得されエンコード部でエンコードされたストリームデータが、外部出力部２５０を通して、装置１００の外部入力部５１に入力され、多重記録する場合について説明する。
【００７２】
まず、装置２００で記録開始ボタンが押されると、外部制御信号通信部２６０より、記録開始準備信号が装置１０１の外部制御信号通信部６０に届く。外部制御信号通信部６０は、それをネゴシエーション部８００に送る。ただし、この時点で装置２００の記録は開始していない。
【００７３】
ネゴシエーション部８００は、装置２００に外部制御信号通信部６０を通して、記録開始受付信号を送り（Ｓ９０１）、外部制御信号通信部６０に対して記録開始信号を送る（Ｓ９０３）。
【００７４】
次に、外部制御信号通信部６０は、記録開始信号を受け取る（Ｓ９０４）と、バッファー管理部７０にバッファリング開始要求を出す（Ｓ９０５）。
【００７５】
以降については、図４のＳ４０３以降と同じである。
【００７６】
以上により、動画が撮影できる機器が複数台あり、機器間の動画転送に遅延が発生する環境下にあり、さらに他機器の記録開始、停止を自機器から制御できない場合において、他機器で撮影した動画と自機器で撮影している動画をリアルタイムに多重化して記録することができる。
【００７７】
（実施の形態３）
図１０は、本発明の実施の形態３の複数ストリーム多重化記録装置の構成を示す図である。図９において、図１と図２の同じ構成要素については同じ符号を用い、説明を省略する。なお、以降は、実施の形態１での装置１００は、装置１０２と置き換えて説明する。
【００７８】
図１０において、遅延量測定部１０００は、接続６００で接続している外部機器と外部制御信号通信部６０を通して、外部機器との制御信号の通信にかかる遅延量を測定するものである。なお、接続６００を用いた通信でも、遅延が発生するものとする。
【００７９】
遅延バッファー部１０１０は、エンコード部４０から送信されたストリームデータを受け取り、遅延時間測定部１０００より受け取った遅延時間だけバッファー内に保存し、そして遅延時間を過ぎたストリームデータをバッファー管理部７０に送信するものである。
【００８０】
以上にように構成された複数ストリーム多重化記録装置について、その動作を説明する。装置１０２と装置２００のストリームデータの多重化記録の処理シーケンス、装置２００の記録停止に伴う多重化記録の停止の処理シーケンスに関しては、実施の形態１と同等のため、ここでは装置１０２のストリームデータの記録の処理シーケンスに関してのみ説明する。
【００８１】
図１１は、本発明の実施の形態３の複数ストリーム多重化記録装置のうち、装置１０２のストリームデータの記録の処理シーケンスをフローチャートで表したものである。
【００８２】
装置１０２を起動すると、入力部１０において動画や音声などのストリームデータを作成し、クロック部２０で取得した時刻を作成したストリームデータに付加し、エンコード部４０に送信する。
【００８３】
この状態で装置１０２の使用者が、記録開始ボタンを押すと、制御部３０は記録開始ボタンが押されたことを感知するとともに、クロック部２０からその時点の記録開始時刻Ｔ３１を取得する（Ｓ１１０１）。次に、制御部３０はエンコード部４０に記録開始通知を行う（Ｓ１１０２）。次に、制御部３０は遅延時間測定部１０００に対し、記録開始通知と記録開始時刻Ｔ３１の通知を行う（Ｓ１１０３）。
【００８４】
遅延時間測定部１０００は、外部制御信号通信部６０を通して、外部機器との通信にかかる時間を調べる（Ｓ１１０４）。具体的には、Ｐｉｎｇコマンドなどを用いて測定を行う。遅延時間が測定できたら、その遅延時間を遅延バッファー部１０１０に通知する（Ｓ１１０５）。なお、遅延時間測定部１０００は、一定時間毎に遅延時間を測定し、その結果を逐一、遅延バッファー部１０１０に通知している。そして、記録開始通知と記録開始時間Ｔ３１を、外部制御信号通信部６０に対して通知する（Ｓ１１０６）。
【００８５】
外部制御信号通信部６０は、制御部３０から記録開始信号と記録開始時刻Ｔ３１を受け取ると、接続６００に接続されている他の機器に対して、記録開始信号と記録開始時刻Ｔ３１を送信する（Ｓ１１０７）。次に、外部制御信号通信部６０はバッファー管理部７０に対し、バッファリング開始指示と記録開始時刻Ｔ３１を通知する（Ｓ１１０８）。
【００８６】
エンコード部４０は、制御部３０から記録開始信号を受け取ると、入力部２０からストリームデータを受け取り、エンコードを開始する（Ｓ１１０９）。エンコードが完了したストリームデータは、バッファー管理部７０と外部出力制御部５０に送られる（Ｓ１１１０）。なお、外部出力部５０に送られたストリームデータは、接続５００を通して装置２００や装置３００に送信される（Ｓ１１１１）。
【００８７】
遅延バッファー部１０１０は、エンコード部４０より受信したストリームデータを、遅延時間測定部１０００より通知された遅延時間＋マージン分だけ、内部にもつ遅延バッファー内に蓄積する（Ｓ１１１２）。遅延時間が過ぎて遅延バッファー内に蓄積されたストリームデータは、順次バッファー管理部７０に送信される（Ｓ１１１３）。なお、遅延バッファー部１０１０は、遅延時間測定部１０００より、逐一遅延時間の報告を受け、その都度、遅延バッファー内に保存するストリームデータの量を変化させる。
【００８８】
バッファー管理部７０は、外部制御信号通信部６０から、バッファリング開始要求を受け付けると、バッファリング数を１加算する。この場合には、バッファリング数は０から１に変化する。バッファリング数が１の場合には、バッファー管理部はバッファリングすべきストリームデータはないと判断し、エンコード部４０から得たストリームデータをそのまま多重化部８０に送信する（Ｓ１１１４）。なお、バッファー管理部７０の詳しいシーケンスは後述する。
【００８９】
多重化部８０は、バッファー管理部７０より受け取ったストリームデータが単一のストリームデータであるため、多重化せずそのまま記録部に送信する（Ｓ１１１５）。
【００９０】
記録部９０は、多重化部８０より受け取ったストリームデータを、記録媒体に記録する（Ｓ１１１６）。
【００９１】
以降の処理シーケンスに関しては、実施の携帯１の装置１０２と装置２００のストリームデータの多重化記録の処理シーケンス、装置２００の記録停止に伴う多重化記録の停止の処理シーケンスと同じである。
【００９２】
以上により、動画が撮影できる機器が複数台あり、機器間の動画転送に遅延が発生する環境下にあり、さらに他機器の記録開始、停止を自機器から制御できない場合において、他機器で撮影した動画と自機器で撮影している動画をリアルタイムに多重化して記録することができる。
【産業上の利用可能性】
【００９３】
本発明にかかる複数ストリーム多重化記録装置は、カメラやマイクを有し自機器に記録デバイスを持つビデオカメラなどに有用である。また、動画を撮影可能なカメラ機能を持つ、携帯電話やデジタルスチルカメラ、ＰＣ、情報処理端末などの用途にも応用できる。
【図面の簡単な説明】
【００９４】
【図１】本発明の実施の形態１における複数ストリーム多重化記録装置の構成を示す図
【図２】本発明の実施の形態１における複数ストリーム多重化記録装置間の接続を示す図
【図３】本発明の実施の形態１における装置１００のストリームデータの記録の処理シーケンスを示すフローチャート
【図４】本発明の実施の形態１における装置１００と装置２００のストリームデータの多重化記録の処理シーケンスを示すフローチャート
【図５】本発明の実施の形態１におけるバッファリング開始要求受信時のバッファー管理部の処理シーケンスを示すフローチャート
【図６】本発明の実施の形態１における装置２００の記録停止に伴い、多重化記録停止の処理シーケンスを示すフローチャート
【図７】本発明の実施の形態１におけるバッファリング停止要求受信時のバッファー管理部の処理シーケンスを示すフローチャート
【図８】本発明の実施の形態２における複数ストリーム多重化記録装置の構成を示す図
【図９】本発明の実施の形態２における装置１０１と装置２００のストリームデータの多重化記録の処理シーケンスを示すフローチャート
【図１０】本発明の実施の形３における複数ストリーム多重化記録装置の構成を示す図
【図１１】本発明の実施の形態３における装置１０２のストリームデータの記録の処理シーケンスを示すフローチャート
【符号の説明】
【００９５】
１００，１０１，１０２，２００，３００    複数ストリーム多重化記録装置
１０    入力部
２０    クロック部
３０    制御部
４０    エンコード部
５０，２５０，３５０    外部出力部
５１，２５１，３５１    外部入力部
６０，３６０，３６０    外部制御信号通信部
７０    バッファー管理部
８０    多重化部
９０    記録部
８００    ネゴシエーション部
１０００    遅延時間測定部
１０１０    遅延バッファー部
【図１】
2006157492.tif 000003
【図２】
2006157492.tif 000004
【図３】
2006157492.tif 000005
【図４】
2006157492.tif 000006
【図５】
2006157492.tif 000007
【図６】
2006157492.tif 000008
【図７】
2006157492.tif 000009
【図８】
2006157492.tif 000010
【図９】
2006157492.tif 000011
【図１０】
2006157492.tif 000012
【図１１】
2006157492.tif 000013