(57)【要約】【課題】異なる記録状況の複数の映像データを、各映像の撮影時刻に同期して再生する装置を得る。【解決手段】再生開始時刻ｔｓ３０３から複数の映像データの同期再生を開始する際、１ストリーム映像再生手段１０３ａ〜ｎは再生開始時刻ｔｓ３０３の直前の単独復号可能なフレームから再生を開始し、再生開始時刻ｔｓ３０３までの時区間に存在するフレームを再生し終えた時点で一時停止する。同期制御手段１０５は、全ての受信データを監視し、全１ストリーム映像再生手段１０３ａ〜ｎが再生開始時刻ｔｓ３０３以前の映像を再生し終えたことを検知して、再生制御手段１０４を通して一斉に再生開始時刻ｔｓ３０３以降の同期再生を開始するよう指示する。【選択図】図１
2005328128.tif 000002
【特許請求の範囲】
【請求項１】
映像データの再生開始時刻を入力する入力手段と、撮影条件の異なる複数の映像データを、前記撮影条件とともに記録する記録媒体と、前記複数の映像データを前記撮影条件に基づいて前記記録媒体から再生するフレームを検索し、前記再生開始時刻以前に撮影された映像データのフレームは、前記撮影条件に依存することなく再生し、前記再生開始時刻以後に撮影された映像データのフレームは、前記撮影条件に依存して再生する１ストリーム映像再生手段と、前記再生開始時刻以後の前記撮影条件に依存して再生される映像データを表示手段に出力する同期制御手段とを含む同期再生装置。
【請求項２】
１ストリーム映像再生手段は、映像データの撮影条件及び再生開始時刻を用いて算出される再生開始調整時間の経過後に映像データを再生する請求項１に記載の同期再生装置。
【請求項３】
１ストリーム映像再生手段は、符号化映像の復号手段を更に含み、映像データが単独復号可能なフレームと単独復号不可なフレームから構成されている場合は、前記復号手段が、再生開始時刻以前であり、前記再生開始時間に最も近い単独復号可能なフレームから復号化する請求項１又は２記載の同期再生装置。
【請求項４】
１ストリーム映像再生手段は、符号化映像の再符号手段を更に含み、前記１ストリーム映像再生手段が、再生開始時刻以前であり、前記再生開始時間に最も近いフレームが単独復号不可なフレームである場合は、復号手段が、前記単独復号可能なフレームから順次フレームを復号し、前記再生開始時刻に最も近い単独復号不可なフレームのみを再符号化後、出力する請求項３記載の同期再生装置。
【請求項５】
１ストリーム映像再生手段は、前記複数の映像データを前記撮影条件に基づいて前記記録媒体から再生するフレームを検索し、前記再生開始時刻以前に撮影された映像データのフレームは、前記撮影条件に依存することなく前記映像データのフレームを同時刻に再生し、前記再生開始時刻以後に撮影された映像データのフレームは、前記撮影条件に依存して再生し、同期制御手段は、更に、前記同時刻に再生された前記再生開始時刻以前の映像データを表示手段に出力する請求項１ないし４のいずれか記載の同期再生装置。
【請求項６】
１ストリーム映像再生手段は、再生開始時刻以前に撮影された映像データのフレームが記録媒体に記録されていない場合は、記録映像がないことを示すフレームを再生する請求項１ないし５のいずれか記載の同期再生装置。
【請求項７】
映像データの再生開始時刻を入力する第１のステップと、前記複数の映像データを前記撮影条件に基づいて撮影条件の異なる複数の映像データが前記撮影条件とともに記録されている記録媒体から再生するフレームを検索する第２のステップと、前記再生開始時刻以前に撮影された映像データのフレームは、前記撮影条件に依存することなく再生し、前記再生開始時刻以後に撮影された映像データのフレームは、前記撮影条件に依存して再生する第３のステップと、前記再生開始時刻以後の前記撮影条件に依存して再生される映像データを表示手段に出力する第４のステップとを含む同期再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は記録媒体に記録された複数の映像データを同期再生する場合の同期再生装置に関するものであり、例えば、店舗や道路で撮影され記録されたフレーム間隔又は撮影タイミングの異なる複数のカメラの映像を、撮影された時刻に同期して多画面で同時再生する際に用いられるものである。
【背景技術】
【０００２】
近年、特に監視では、犯罪の凶悪化を要因に、店舗の入り口や事件の多発箇所などの重要監視箇所を複数のカメラで撮影し、死角なく人物や事件を捉えるよう多数のカメラで監視する形態が広がり始めている。また、パーラー等の広い店内や駅構内などでグループ犯などにより同時刻に一斉に事件が起こることもあり、事件発生時刻に複数のカメラが捉えた映像を比較し、確認する映像の閲覧方法が求められている。
【０００３】
複数の映像データを同期再生する従来の装置は、ある時刻を基準時刻として設定し、各映像データの再生開始位置および再生開始のタイミングは、基準時刻と再生対象データの記録開始時刻とのオフセット時間を基に決定するものであった（例えば、特許文献１参照）。図８は、前記特許文献１に記載された従来の同期再生装置を示すものである。
【０００４】
図８において、メディアデータ入力手段２０１は、入力された２つの映像データ（映像データ１、映像データ２）に、記録開始時刻を関連付けて記録する。次に、ユーザが基準時刻を設定すると、データ統合手段２０２は、各映像データに、基準時刻と各映像データの記録開始時刻のオフセット情報を付与し記録する。
【０００５】
次に、データ再生手段２０３は、映像データ１および映像データ２を基準時刻から同期再生させる場合に、時刻変換手段２０４に再生開始位置を問い合わせる。ここで、時刻変換手段２０４は、各映像データに記録されているオフセット時間を参照し、各映像データの再生開始時刻を計算し、データ再生手段２０３に再生開始位置および再生開始タイミングの情報を出力する。次に、データ再生手段２０３は、オフセット時間をマスタータイマー２０６に出力し、時刻変換手段２０４から受け取った再生開始タイミング及び再生開始位置から再生を開始する。
【０００６】
例えば、映像データ１が時刻「８：５８：００」から記録された映像データであり、映像データ２が時刻「９：０５：００」から記録された映像データである場合、ユーザが基準時刻として「９：００：００」を設定すると、各映像データには基準時刻とのオフセット時間情報として、其々、「−０：０２：００」と「＋０：０５：００」が記録される。この映像データを基準時刻である「９：００：００」から再生を開始した場合、映像データ１は映像データ１の記録開始時刻から２分後の映像から再生を開始し、一方、映像データ２は最初の５分間映像を再生せず、マスタータイマー２０６が管理する再生経過時間が５分となった時点で、映像データ２の再生を開始する。
【特許文献１】特開２００２−２６２２３３号公報（第５、６ページ、第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の同期再生装置を、１秒に３０フレームで記録された３０ｆｐｓ等の高フレームレートで記録された映像データではなく、間引き記録された映像データや２秒に１フレームで記録された０．５ｆｐｓ等の低フレームレートで記録された映像データに対して適用した場合、次のような課題がある。
【０００８】
従来の同期再生装置の構成では、基準時刻から再生を開始する際、再生対象の映像データの記録開始時刻が基準時刻以前の場合、映像データの先頭からオフセット時間分経過した位置からの再生を開始する。しかしながら、間引き記録された映像データにおいては、再生開始位置として計算された時刻に相当するフレームが存在しない場合があり、その場合の動作方法については明記されていない。
【０００９】
仮に、再生開始位置として計算された時刻に最も近いフレームから再生を開始した場合、再生開始位置として時刻変換手段２０４が指定した時刻と、実際に再生開始フレームとしたフレームの時刻情報の差分時間分だけ、他の映像データとの時間同期がずれてしまう。
【００１０】
例えば、図９（ａ）に、カメラＡを３０ｆｐｓで、カメラＢに１０ｆｐｓで、時刻ｔ０から同時に記録を開始した映像データを示し、図９（ｂ）に、図９（ａ）の時刻ｔ４からカメラＡ、カメラＢの記録映像を再生する場合の映像データを示す。
【００１１】
図９（ａ）において、カメラＡは、１／３０秒間隔で、時刻ｔ０にはフレームＦＡ０、時刻ｔ１にはフレームＦＡ１が記録され、カメラＢは、１／１０秒間隔で時刻ｔ０にはフレームＦＢ０、時刻ｔ３にはフレームＦＢ１が記録される。
【００１２】
次に、記録された映像データの時刻ｔ４を指定して再生する場合に、従来の同期再生装置では、再生開始位置として計算された時刻に最も近いフレームから再生を開始するため、カメラＡについては時刻ｔ４に該当するフレームＦＡ４から１／３０秒間隔で再生を開始し、カメラＢについては時刻ｔ４に該当するフレームが存在しないので、時刻ｔ３のフレームＦＢ１から１／１０秒間隔で再生を開始することになる。このため、カメラＢはカメラＡに対して１／３０秒先行して再生を行うことになり、同期再生が出来ない。
【００１３】
このように、従来の同期再生装置では、記録開始時刻の異なる複数の映像データの同期再生を実現する方法は提案しているが、監視用途等では特にフレームを間引きながら記録するため、他のフレーム間隔の異なる映像データと同期を保ちつつ再生を開始することはできないという課題を有していた。
【００１４】
また、前記従来の構成では、映像データがＭＰＥＧ等の単独復号ができないフレーム（Ｉフレーム）を含む符号化形式で記録されていた場合、基準時刻とのオフセット時間情報のみで再生開始位置を決定すると、再生開始フレームがＩフレームとなる場合があり、次の単独復号可能なフレーム（Ｐフレーム）まで再生映像が得られないという課題を有していた。
【００１５】
また、従来の同期再生装置では、基準時刻から再生を開始する際、再生対象の映像データの記録開始時刻が基準時刻より以後である場合、基準時刻から同期を開始した後、その映像データの再生すべき時刻になった時点で映像の表示を開始する。そのため、ユーザにとっては、何らかの故障によって映像が表示されないのか、映像データが存在しないのか、それとも、時間が経過すれば表示されるのかという状況がわからないため、特にネットワークを介した映像配信の場合はユーザに不安を与えるという課題を有していた。
【００１６】
また、監視目的で撮影され蓄積された映像データを閲覧する場合には、直前の映像フレームから閲覧したいという要望があるが、従来の同期再生装置では、開始位置とする時刻以後の映像を再生する仕組みであるため、監視用途としては不十分であるという課題を有していた。
【００１７】
本発明は、従来の同期再生装置の課題を解決するもので、映像のフレーム間隔及び撮影タイミングの異なる複数の蓄積映像の同期再生を実現する同期再生装置を提供することを目的とする。
【課題を解決するための手段】
【００１８】
従来の課題を解決するために、複数映像データの同期再生の開始要求に対して、映像データごとに再生開始時刻の直前の単独復号可能なフレームから再生を開始する機能と、再生開始時刻までに存在するフレームを再生し終えた際に一時停止する機能を備えた１ストリーム映像再生手段と、同期再生をしている全映像データで再生開始時刻以前の映像を再生し終えたことを検知して、全１ストリーム映像再生手段に同期再生の再開を指示する同期制御手段から構成され、同期制御手段からの再生再開の指示を受けて、前記各１ストリーム映像再生手段が、次に再生すべきフレームの送出時刻を再生開始時刻との差分時間分待ってから映像を送出する。
【００１９】
本構成によって、映像データの記録状況に合わせて其々開始時刻の直前の映像を再生後、複数映像データ間で同期を取ったのち再生を再開することができる。
【発明の効果】
【００２０】
本発明の同期再生装置によれば、指定時刻以後に存在する映像は、映像フォーマットや記録状況によらず同期再生を実現することができ、更に、指定時刻以前の映像を一斉に表示することができる。
【発明を実施するための最良の形態】
【００２１】
本発明の第１の発明は、映像データの再生開始時刻を入力する入力手段と、撮影条件の異なる複数の映像データを、前記撮影条件とともに記録する記録媒体と、前記複数の映像データを前記撮影条件に基づいて前記記録媒体から再生するフレームを検索し、前記再生開始時刻以前に撮影された映像データのフレームは、前記撮影条件に依存することなく再生し、前記再生開始時刻以後に撮影された映像データのフレームは、前記撮影条件に依存して再生する１ストリーム映像再生手段と、前記再生開始時刻以後の前記撮影条件に依存して再生される映像データを表示手段に出力する同期制御手段とを含む構成であり、再生開始時刻以前の映像データを撮影条件に依存することなく再生することで、撮影条件の異なる複数の映像データを同時に再生する場合に、全ての映像データが表示可能な状態までの時間を短縮することが出来るという作用を有する。
【００２２】
本発明の第２の発明は、１ストリーム映像再生手段は、映像データの撮影条件及び再生開始時刻を用いて算出される再生開始調整時間の経過後に映像データを再生する構成を含むものであり、撮影条件の異なる複数の映像データを、それぞれの撮影条件に合わせて再生することが出来るという作用を有する。
【００２３】
本発明の第３の発明は、１ストリーム映像再生手段は、符号化映像の復号手段を更に含み、映像データが単独復号可能なフレームと単独復号不可なフレームから構成されている場合は、前記復号手段が、再生開始時刻以前であり、前記再生開始時間に最も近い単独復号可能なフレームから復号化する構成を含むものであり、再生開始時刻以前の映像データの処理量を減少することができるという作用を有する。
【００２４】
本発明の第４の発明は、１ストリーム映像再生手段は、符号化映像の再符号手段を更に含み前記１ストリーム映像再生手段が、再生開始時刻以前であり、前記再生開始時間に最も近いフレームが単独復号不可なフレームである場合は、復号手段が、前記単独復号可能なフレームから順次フレームを復号し、前記再生開始時刻に最も近い単独復号不可なフレームのみを再符号化後、出力する構成を含むものであり、表示端末に送出する映像データ
が複数フレームから１フレームに減少させることで、映像データの伝送量が減少することができるという作用を有する。
【００２５】
本発明の第５の発明は、１ストリーム映像再生手段は、前記複数の映像データを前記撮影条件に基づいて前記記録媒体から再生するフレームを検索し、前記再生開始時刻以前に撮影された映像データのフレームは、前記撮影条件に依存することなく前記映像データのフレームを同時刻に再生し、前記再生開始時刻以後に撮影された映像データのフレームは、前記撮影条件に依存して再生し、同期制御手段は、更に、前記同時刻に再生された前記再生開始時刻以前の映像データを表示手段に出力する構成を含むものであり、再生開始時刻以前の映像を短時間で表示することができるという作用を有する。
【００２６】
本発明の第６の発明は、１ストリーム映像再生手段は、再生開始時刻以前に撮影された映像データのフレームが記録媒体に記録されていない場合は、記録映像がないことを示すフレームを再生する構成を含むものであり、映像データが表示されない場合に、記録映像がないのではなく、ネットワーク故障やサーバの異常などの何らかの異常が発生していると推測しやすくなり、ユーザにとってカメラの記録状況を把握しやすくなるという作用を有する。
【００２７】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００２８】
（実施の形態１）
図１は、本発明の実施の形態１における複数の異なる撮影条件による映像を同期再生する場合の同期再生装置の構成図である。図中の点線で矢印は制御メッセージの流れを、実線矢印は映像データの流れを示している。
【００２９】
図１において、同期再生装置は、複数の映像データを受信して表示する表示手段１０１−１と、再生の操作コマンドを入力するための入力手段１０１−２とを備えた表示端末１０１と、複数の映像データの撮影時刻又は記録時刻とともに記録している記録媒体１０２と、映像データの撮影時刻又は記録時刻を基に記録媒体１０２から再生する映像データのフレームを検索し、再生する１ストリーム映像再生手段１０３ａ〜ｎと、表示端末１０１から再生の操作コマンドを受信し、再生の操作コマンドの内容に応じて、コマンドの内容を１ストリーム映像再生手段１０３ａ〜ｎに通知する機能を備えた再生制御手段１０４と、１ストリーム映像再生手段１０３ａ〜ｎからの再生フレームを受信し、各映像データの再生状況から再生制御手段１０４に同期制御信号を出力する同期制御手段１０５とから構成される。
【００３０】
なお、複数の映像データの撮影時刻はカメラが撮影した時刻であり、記録時刻はカメラにより撮影された映像データが記録媒体に入力され、記録媒体が映像データを記録する時刻である。カメラが撮影する映像データに撮影時刻の情報を付与して映像データを送出できない場合、記録媒体で時刻をつけるため、記録時刻が記録映像に付与することができる。
【００３１】
記録媒体１０２は、例えば複数のカメラの映像が記録されており、各映像データは、撮影カメラのＩＤ、撮影時刻又は記録時刻とともに記録されている。なお、映像データの符号化形式は、各カメラで異なってもよく、映像フォーマット情報も記録されている。
【００３２】
再生制御手段１０４は、表示端末１０１から再生の操作コマンドを受けて、１ストリーム映像再生手段１０３ａ〜ｎを制御する機能を備える。再生の操作コマンドには、同期再生の開始、停止、一時停止のほか、早送りやスロー、逆再生などがある。同期再生の開始コマンドには、同期再生する撮影カメラＩＤおよび再生開始時刻、再生方向や速度等の再
生パラメータの情報が含まれ、開始時には、再生制御手段１０４は、映像データ毎に、１ストリーム映像再生手段１０３ａ〜ｎが構成される。また、一時停止や早送りなどの操作コマンドを表示端末１０１から受理した場合には、１ストリーム映像再生手段１０３ａ〜ｎに通知する機能を持つ。
【００３３】
１ストリーム映像再生手段１０３ａ〜ｎは、１つの映像に対して１つの１ストリーム映像再生手段１０３が再生処理を担当し、記録媒体１０２から再生対象のフレームを検索し、フレーム単位で同期制御手段１０５に送出する。
【００３４】
ここで、フレームの送出タイミングとしては主に２方法をサポートし、第１に、記録されているフレームのフレームインターバルに比例する間隔で送出する方法と、第２に、記録されているフレームのフレームインターバルに依存しない間隔で再生する方法がある。
【００３５】
同期再生の開始時は、指定の再生開始時刻に対し、再生開始時刻以前の映像から開始時刻までの時区間に存在するフレームを再生する区間（以下、「プレ再生区間」と称す）と、同期制御手段１０５からの指示に応じて、開始時刻以降の映像を再生する区間の２段階での再生を行なう。
【００３６】
本実施の形態では、例として、プレ再生区間の映像の再生は記録されているフレームのフレームインターバルに依存しない間隔で再生し、再生開始時刻以降の映像は記録されているフレームのフレームインターバルの間隔で再生するようにする。なお、映像データを早送り、巻戻しする場合には、フレームインターバルに比例する間隔で再生する。
【００３７】
図２に１ストリーム映像再生手段１０３ａ〜ｎのプレ再生時の動作フローを示す。
【００３８】
まず、Ｓ５０１にて、開始命令を受けて、プレ再生区間の再生開始フレーム（プレ再生開始フレーム）を検索する。なお、プレ再生開始フレームは、開始時刻以前の一定時間の範囲内で、開始時刻に最も近い単独復号可能なフレームとする。次に、Ｓ５０２にて、検索結果フレームが見つかったかどうかを判定する。次に、Ｓ５０３にて、Ｓ５０１にて検索したフレームを記録媒体１０２から取得し、送出決定フレームとする。
【００３９】
次に、Ｓ５０４にて、プレ再生開始フレームが見つからなかった場合、再生しようとする区間に映像が存在しないことを示す「ＮＲ（Ｎｏｔ  Ｒｅｃｏｒｄｅｄ）画像」を、送出決定フレームとして設定する。このとき「ＮＲ画像」は再生開始時刻の映像の代わりとして設定し、タイムコードは再生開始時刻の値を設定する。
【００４０】
次に、Ｓ５０５にて、次に再生するフレームを検索する。以下、次に送出するフレームを、「先読みフレーム」と称する。次に、Ｓ５０６にて、先読みフレームが見つかったかどうかを判定する。次に、Ｓ５０７にて、先読みフレームが存在すればそのフレームを取得する。
【００４１】
次に、Ｓ５０８にて、再生対象のフレームが存在しない場合、「ＮＲ画像」を先読みフレームとして設定する。このとき、１ストリーム映像再生手段１０３ｄの動作基準であり、「ＮＲ画像」に付与されるタイムコードは再生開始時刻＋α時間とする。ただし、αは正の値である。
【００４２】
次に、Ｓ５０９にて、設定した先読みフレームに対して、フレームのタイムコードが再生開始時刻を越える時刻かどうかを判定する。
【００４３】
次に、Ｓ５１０にて、Ｓ５０９で先読みフレームのタイムコードが再生開始時刻を越え
ると判断した場合、前記送出決定フレームがプレ再生の最後のフレームとなるので、送出決定フレームに付与情報としてプレ再生区間の再生が終了したことを示すフラグ（以下、プレ再生完了フラグ）を付与する。
【００４４】
次に、Ｓ５１１にて、送出決定フレームを同期制御手段１０５に送出する。
【００４５】
次に、Ｓ５１２にて、先読みフレームのタイムコードが再生開始時刻を越えない場合、送出決定フレームを同期制御手段１０５に送出しする。
【００４６】
次に、Ｓ５１３にて、前記先読みフレームを送出決定フレームとして置き換え、Ｓ５０５に移行し、次の先読みフレームを検索する。Ｓ５１１後、１ストリーム映像再生手段１０３ａ〜ｎは、プレ再生区間内のフレームを順次再生後、一時停止状態に入る一時停止状態とは、１ストリーム映像再生手段１０３ａ〜ｎが再生動作を一時停止した状態とする。
【００４７】
プレ再生区間の再生終了後、一時停止状態にある状態で、同期制御手段１０５から同期再生の開始指示を受けた際の１ストリーム映像再生手段１０３ａ〜ｎの動作フローを図３に示す。
【００４８】
ここで、同期再生の開始時は、プレ再生区間では常に１フレーム先読みするため、１ストリーム映像再生手段１０３ａ〜ｎ内に次に送出すべきフレームを取得している状況にある。
【００４９】
まず、Ｓ６０１にて、同期再生の開始指示を受けて、取得済みの先読みフレームを送出すべき時刻（理想送出時刻）を計算する。理想送出時刻は、現在時刻から先読みフレームのタイムコードと再生開始時刻の差分時間分先の時刻とする。
【００５０】
次に、Ｓ６０２にて、現在時刻を取得する。次に、Ｓ６０３にて、理想送出時刻と現在時刻の差分時間分待機する。次に、Ｓ６０４にて、先読みフレームを送出する。次に、Ｓ６０５にて、以降の再生フレームは順次、再生すべきフレームを検索する。
【００５１】
次に、Ｓ６０６にて、見つかったフレームを取得する。次に、Ｓ６０７にて、記録されているフレームのフレームインターバルに比例する時間間隔で理想送出時刻を設定し、Ｓ６０２に移行して、同期制御手段１０５に送出する。
【００５２】
同期制御手段１０５は、１ストリーム映像再生手段１０３ａ〜ｎの出力データを受け取り、表示端末１０１に送出する。この際、各映像データを監視し、全ての映像データからプレ再生終了フラグが付与された状態になったかをチェックする。全ての映像データでプレ再生終了の状態になったことを検知した場合、同期制御手段１０５は、再生制御手段１０４に対して、一斉に再生開始時刻以降の映像の同期再生を開始するよう指示を送る。
【００５３】
具体的な動作フローを図４に示す。
【００５４】
まず、Ｓ７０１にて、同期制御手段１０５は、１ストリーム映像再生手段１０３ａ〜ｎが送出した映像データの入力を監視し、映像データが入力された場合は、Ｓ７０２に移行し、映像データが入力されない場合はＳ７０１に移行する。次に、Ｓ７０２にて、同期制御手段１０５は、映像が入力された場合に、映像データに付属の情報を確認し、プレ再生完了フラグのＯＮ／ＯＦＦを確認する。
【００５５】
次に、Ｓ７０３にて、同期制御手段１０５は、プレ再生完了フラグがＯＦＦの場合、入力された映像データを表示端末１０１に送出し、Ｓ７０１に移行する。次に、Ｓ７０４に
て、同期制御手段１０５は、プレ再生完了フラグがＯＮの場合、同期制御手段１０５が所持する各映像データのプレ再生完了状況の管理データを更新する。
【００５６】
次に、Ｓ７０５にて、同期制御手段１０５は、管理データをもとに、全ての映像データでプレ再生区間の再生が終了したかどうかをチェックし、未完の場合は、Ｓ７０３に移行し、入力された映像データを表示端末１０１に送出する。次に、Ｓ７０６にて、同期制御手段１０５は、すべての映像データでプレ再生区間の再生が終了した時点で、再生制御手段１０４に対して、同期再生開始の指示を送信する。
【００５７】
次に、Ｓ７０７にて、入力された映像データを表示端末１０１に送出する。次に、Ｓ７０８にて、入力データを受信したかどうかをチェックする。受信データがない場合は、Ｓ７０８を繰り返す。次に、Ｓ７０９にて、同期制御手段１０５は、データが入力された場合は、全て表示端末１０１に送出する。
【００５８】
次に、具体的に、複数の映像を時刻ｔｓから同期再生する場合の動作について説明する。図５は、映像フォーマット、フレーム間隔及び撮影タイミングの異なる４種類の映像データを用いて説明する。横軸は、各映像が撮影又は記録された時間が属する蓄積時間軸であり、再生開始時刻ｔｓ３０３の前後に記録されているフレームを記録間隔に比例する配置で描いている。１ストリーム映像再生手段１０３ａ、ｂ、ｄが再生する映像データはＪＰＥＧ画像であり、１ストリーム映像再生手段１０３ｃが再生する映像データはＭＰＥＧ映像である。
【００５９】
ユーザが同期再生の開始を要求した場合、再生開始要求がユーザの表示端末１０１から再生制御手段１０４に通知される。再生制御手段１０４は、４種類の映像データを再生する４つの１ストリーム映像再生手段１０３ａ〜ｄを起動させ、再生開始時刻ｔｓ３０３から再生するよう通知する。
【００６０】
１ストリーム映像再生手段１０３ａ〜ｄは、それぞれ再生開始時刻ｔｓ３０３以前で一定時間内に存在するフレームであり、更に、再生開始時刻ｔｓ３０３に最も近い単独復号可能なフレーム（イントラフレーム：Ｉフレーム）を検索する。１ストリーム映像再生手段１０３ａは図５中のフレームＩａ２、１ストリーム映像再生手段１０３ｂはフレームＩｂ１、１ストリーム映像再生手段１０３ｃはフレームＩｃ１を検出する。１ストリーム映像再生手段１０３ｄは、検索対象とする再生開始時刻ｔｓ３０３以前にフレームが存在しないため、「該当フレームなし」となる。
【００６１】
次に、１ストリーム映像再生手段１０３ａは、フレームＩａ２を検出後、次に再生すべきフレームを検索する。次に再生すべきフレームは、フレームＩａ３であり、このフレームＩａ３は再生開始時刻ｔｓ３０３以後のフレームであるため、フレームＩａ２に、プレ再生終了フラグを付与して同期制御手段１０５に送出し、再生処理を一時停止する。
【００６２】
同様にして、１ストリーム映像再生手段１０３ｂも、フレームＩｂ２に、プレ再生終了フラグを付与して、同期制御手段１０５に送出し、一時停止する。
【００６３】
次に、１ストリーム映像再生手段１０３ｃは、フレームＩｃ１を検出後、次に再生すべきフレームを検索すると、フレームＰｃ２が見つかるが、フレームＰｃ２は再生開始時刻ｔｓ３０３より前の映像であるので、プレ再生終了フラグを付与せずに、フレームＩｃ１を同期制御手段１０５に送出する。送出後、つづいて、フレームＰｃ２のデータを記録媒体１０２から取得し、さらに次の再生すべきフレームを検索し、これを繰り返す。フレームＰｃ３を１ストリーム映像再生手段１０３ｃに取り込んだ時点で、次のフレームＰｃ４が再生開始時刻ｔｓ３０３以降のフレームであることが検知されるので、フレームＰｃ３
にプレ完了フラグを付与して同期制御手段１０５に送出後、一時停止する。
【００６４】
次に、１ストリーム映像再生手段１０３ｄは、送出すべきフレームがないため、再生対象とする位置に映像が存在しないことを示す、「ＮＲ画像」を送出する。このＮＲ画像に、プレ再生完了フラグを付与して送出し、一時停止する。
【００６５】
同期制御手段１０５は、１ストリーム映像再生手段１０３ａ〜ｄの４カメラの再生映像を受け取り、受信した映像データを表示端末１０１に送出するとともに、プレ再生完了フラグの付与状況を監視する。全ての１ストリーム映像再生手段１０３ａ〜ｄで、プレ再生完了フラグが付与されたデータが送られてくると、同期制御手段１０５は、再生制御手段１０４に対して、再生開始時刻ｔｓ３０３以降の映像データを同期再生する指示を出力する。
【００６６】
再生制御手段１０４は、同期制御手段１０５からの同期再生の開始の指示が入力されると、１ストリーム映像再生手段１０３ａ〜ｄに通知する。
【００６７】
１ストリーム映像再生手段１０３ａは、同期制御手段１０５から発せられた同期再生の開始の指示を受けると、次に送出すべきフレームＩａ３を記録媒体１０２から取得し、フレームＩａ３のタイムコードと再生開始時刻ｔｓ３０３の差分時間である図２に示した待機時間ｔ１分経過の後にフレームＩａ３を送出する。以降のフレームは、記録時のフレーム間隔と同等の間隔でフレームＩａ４、フレームＩａ５・・・と、順次映像を送出する。
【００６８】
１ストリーム映像再生手段１０３ｂ〜ｄについても１ストリーム映像再生手段１０３ａと同様に、送出すべきフレームであるフレームＩｂ２、フレームＰｃ４、フレームＩｄ１を、待機時間ｔ２、ｔ３、ｔ４経過後に送出し、再生を継続する。
【００６９】
次に、本発明の同期再生装置により図５の蓄積映像を再生した場合の実際の再生送出状況を図６に示す。
【００７０】
図６は、カメラＡ〜Ｄの再生映像４０１ａ〜ｄを示し、各フレームを再生する時間に沿った時系列で表示している。再生開始の指示を受けた場合に、カメラＡ〜Ｄに対応する１ストリーム映像再生手段１０３ａ〜ｄは、再生開始時刻ｔｓ３０３の直前の単独復号可能なフレームをプレ再生開始フレームとして一斉に表示する。カメラＣに対応する１ストリーム映像再生手段１０３ｃについては、再生開始時刻ｔｓ３０３までの時区間にフレームＰｃ１、Ｐｃ２、Ｐｃ３の３フレーム存在するが、これらを記録時刻に関係なく送出する。１ストリーム映像再生手段１０３ｃのフレームＰｃ３まで再生後、表示端末１０１が一斉に、再生開始時刻ｔｓ３０３以降の映像の表示を開始する。その際、１ストリーム映像再生手段１０３ａ〜ｄの次に送出すべきフレームＩａ３、Ｉｂ２、Ｐｃ４、Ｉｄ１は各フレームのタイムコードと再生開始時刻ｔｓ３０３の差分時間分経過後に、同期制御手段１０５に送出され、表示端末１０１に表示される。
【００７１】
かかる構成によれば、再生開始時刻ｔｓ３０３以前のプレ再生区間では、全ての映像データからイントラフレームをフレームインターバル及び撮影タイミングを考慮しないで再生し、その後、再生開始時刻ｔｓ３０３以降の同期再生区間を開始することにより、蓄積データの状況によらず、全ての再生映像で再生開始フレームが即座に表示され、再生されるまでに映像を待たなければならないという問題を解決する。また、映像フォーマットや記録状況によらず、再生開始時刻ｔｓ３０３以降の同期再生を実現できる。
【００７２】
なお、本実施の形態において、１ストリーム映像再生手段１０３ａ〜ｎは、再生開始時刻ｔｓ３０３以前の一定時間内に存在するフレームで、再生開始時刻ｔｓ３０３に最も近
いイントラフレームを検索するようにしているが、検索対象とする前記「一定時間」を０秒とし、プレ再生区間の映像送出をすべて「ＮＲ画像」とし、再生開始時刻ｔｓ３０３以降から再生することが可能である。
【００７３】
なお、本実施の形態においては、再生方向として時間軸方向（順方向）での再生を例に記述しているが、逆方向の場合も適用可能であり、上記で述べている、「再生開始時刻ｔｓ３０３以前」とは、再生方向によって「再生開始時刻ｔｓ３０３以後」に変わり、「再生開始時刻ｔｓ３０３以前」とは、順方向再生の場合は、再生開始時刻ｔｓ３０３より過去の時区間を指し、逆方向再生の場合は、再生開始時刻ｔｓ３０３より未来の時区間を指す。
【００７４】
なお、本実施の形態において、複数の映像データの再生を、映像データごとに再生処理を行なう１ストリーム映像再生手段１０３ａ〜ｎとして実現しているが、複数の映像データを同時に検索・再生処理する再生手段であっても良い。
【００７５】
（実施の形態２）
次に、映像の符号化フォーマットがＭＰＥＧ等の単独復号できないフレーム（以下、Ｐフレームまたはインターフレームと示す）を含み、プレ再生区間に複数の再生フレームが存在する場合に、１ストリーム映像再生手段１０３ａ〜ｎがＩフレームから順次フレームを復号し、表示端末１０１には、プレ再生区間のフレームのうち再生開始時刻ｔｓ３０３に最も近い１フレームのみを送出するようにした同期再生装置について記述する。
【００７６】
ここで、Ｐフレームを再生するために、図示していないが、１ストリーム映像再生手段１０３ａ〜ｎが内部に復号手段および再符号化手段を備えた。
【００７７】
また、図７に１ストリーム映像再生手段１０３ａ〜ｎのプレ再生時の動作フローを示す。なお、図４と同じ処理については同じ符号を用いる。
【００７８】
まず、Ｓ５０１からＳ５０９にて、実施の形態１と同様にして、１ストリーム映像再生手段１０３ａ〜ｎは、再生開始時刻ｔｓ３０３の直前の単独復号可能なフレームを検索し、送出決定フレーム、および先読みフレームを検索および取得する。
【００７９】
次に、Ｓ５０９にて、先読みフレームのタイムコードが再生開始時刻ｔｓ３０３以降であるかどうかを判定する。
【００８０】
次に、Ｓ５０９にて先読みフレームのタイムコードが再生開始時刻ｔｓ３０３以前である場合は、Ｓ８０１に移行し、先読みフレームのタイムコードが再生開始時刻ｔｓ３０３以後である場合は、Ｓ８０３に移行する。
【００８１】
次に、Ｓ８０１にて、先読みフレームがプレ再生区間に属する場合は、Ｉフレームである送出決定フレームのデータから先読みフレームを復号する。
【００８２】
次に、Ｓ８０２にて、復号した先読みフレームを、送出決定フレームとして置き換え、Ｓ５０４に移行し、先読みフレームのタイムコードが再生開始時刻ｔｓ３０３を越えるまでの間、上記の処理を繰り返す。
【００８３】
次に、Ｓ８０３にて、送出決定フレームが符号化データであるかどうかを判定する。ここで、次に、Ｓ８０３にて送出決定フレームが符号化データである場合はＳ５１０に移行し、符号化データでない場合はＳ８０４に移行する。次に、Ｓ８０４にて、送出決定フレームの再符号化を行い、単独復号可能なフレームを生成する。
【００８４】
次に、Ｓ５１０にて、送出決定フレームにプレ完了フラグを付与する。次に、Ｓ５１１にて、送出決定フレームを同期制御手段１０５に送出する。
【００８５】
ＭＰＥＧ−４映像の多画面再生では、実施の形態１で記述した図５のカメラＣの映像のようにプレ再生区間に複数のフレームが存在し、ユーザ指定の再生開始時刻ｔｓ３０３の直前の映像を複数フレーム送出する場合があるが、本実施の形態２においては、Ｓ８０１〜Ｓ８０４を組み込むことにより、カメラＣの１ストリーム映像再生手段１０３ｃが同期制御手段１０５に送出するフレームは、再生開始時刻ｔｓ３０３に最も近いフレームＰｃ３を、単独復号可能な符号化形式に変更したフレームを１フレーム送出する。フレームＰｃ３を単独復号可能なフレームに変更することで、続いて再生する単独復号不可能なフレームＰｃ４については、表示端末１０１においてフレームＰｃ３を基に復号することが可能となる。
【００８６】
これにより、同期制御手段１０５および表示端末１０１に送出する映像データが複数フレームから１フレームに減少させることができ、例えば同期制御手段１０５と表示端末１０１の間がネットワークを介して接続されている場合などに、映像データの伝送量が減少するというメリットがある。また、ユーザにとっても、ユーザが指定した再生開始時刻ｔｓ３０３に対して、各カメラの映像で必ず１フレームのみが表示されることになり、わかりやすい。
【００８７】
次に、映像の符号化フォーマットがＭＰＥＧ等の単独復号できないＰフレームを含み、プレ再生区間に複数の再生フレームが存在する場合に、表示端末１０１が、同期制御手段１０５から受信したフレームを全て表示するのではなく、受信したフレームを順次復号し、そのうち、プレ再生区間の再生開始時刻ｔｓ３０３に最も近いフレームからを表示するようにした同期再生装置について記述する。
【００８８】
同期再生装置の構成は、図１と同じである。また、同期制御手段１０５および表示端末１０１以外の各手段の動作についても同じであるので、図は省略する。
【００８９】
同期制御手段１０５は、プレ再生完了フラグが付与されている映像データが入力されると、そのフラグ情報とともに表示端末１０１へ送出するようにする。
【００９０】
表示端末１０１は、同期再生開始以降に受信した映像フレームについて全て復号処理をおこなっていくが、プレ再生完了フラグが付与されているフレーム以降のみを表示手段１０１−１に表示するようにする。
【００９１】
これにより、プレ再生区間にＩフレーム、Ｐフレーム、Ｐフレーム、などの複数のフレームがある場合に、直前のＰフレームから閲覧することができる。また、再生開始時刻以降に存在するＰフレームについても続いて再生することが可能となる。
【産業上の利用可能性】
【００９２】
本発明にかかる同期再生装置は、記録のあり／なし、記録時のフレームレートが異なる複数の映像データを時間同期して表示することが可能な装置である。特に、監視では、入り口など人が出入りする重要な箇所はＪＰＥＧ映像で高フレームレートに記録し、人があまり通らない箇所や監視の重要性が低い場所は、３秒に１フレーム記録する/センサが反応したときだけ記録するなど、撮影カメラによって、記録状況がばらばらである。また、１つの撮影カメラでも、監視者のいる／いない、店の開店／閉店時間等に合わせて時間帯によって記録状況を替えることも多い。このように記録形態の異なる複数の映像データの同期再生には有用な装置である。
【００９３】
また、近年、携帯電話に付属の静止画／動画カメラや、デジタルカメラ、デジタルビデオなど、持ち運べるカメラが普及したことにより、事件を目撃した一般市民が事件を撮影するということが増えつつある。そのような場合にも、事件発生の店舗等に備え付けの監視カメラの映像と、上記のような一般市民の撮影カメラの映像を、時間に同期して再生するなども、本発明の装置により実現可能となる。
【００９４】
また、上記実施の形態では、撮影時刻または記録時刻の時刻情報をもとに、同じ時刻の映像を同期再生する際の再生開始方法について述べたが、本発明の方式は、１つの映像データに対して、ｔ１時刻からと、ｔ２時刻からの映像を同期して表示することにも応用可能である。
【図面の簡単な説明】
【００９５】
【図１】本発明の実施の形態１による同期再生装置の構成を示す図
【図２】本発明の実施の形態１による１ストリーム映像再生手段のプレ再生の動作を示すフローチャート
【図３】本発明の実施の形態１による１ストリーム映像再生手段の同期再生開始を示すフローチャート
【図４】本発明の実施の形態１による同期制御手段の動作を示すフローチャート
【図５】本発明の実施の形態１による再生対象とするカメラの記録状況を示す図
【図６】本発明の実施の形態１による同期再生装置の再生フレームの送出を示す図
【図７】本発明の実施の形態２による１ストリーム映像再生手段のプレ再生の動作を示すフローチャート
【図８】従来の同期再生装置の構成図
【図９】（ａ）従来の同期再生装置による映像データの蓄積を示す図（ｂ）従来の同期再生装置によるストリーム映像の再生を示す図
【符号の説明】
【００９６】
１０１  表示端末
１０１−１  表示手段
１０１−２  入力手段
１０２  記録媒体
１０３ａ〜ｎ  １ストリーム映像再生手段
１０４  再生制御手段
１０５  同期制御手段
３０３  再生開始時刻
４０１ａ〜ｄ  再生映像
【図１】
2005328128.tif 000003
【図２】
2005328128.tif 000004
【図３】
2005328128.tif 000005
【図４】
2005328128.tif 000006
【図５】
2005328128.tif 000007
【図６】
2005328128.tif 000008
【図７】
2005328128.tif 000009
【図８】
2005328128.tif 000010
【図９】
2005328128.tif 000011