(57)【要約】従来の一般的な映像配信システムのサーバ２００と端末４００の間に映像中継装置１００を挿入することにより、映像中継装置に事前に映像を蓄えておくことができない場合でも、限られた伝送容量の通信ユニットを用いた映像配信システムにおいて、映像を高品質で表示する。映像中継装置１００に、映像を受信する受信ユニット１０と、受信した映像を一時的に蓄える蓄積ユニット２０と、映像を分割して領域を定義する領域定義ユニット６０と、この領域定義ユニット６０によって定義された領域を分類する領域分類ユニット７０と、領域定義ユニット６０によって定義された領域の映像を、領域分類ユニット７０による分類結果に応じて取捨選択または品質の調整を行い再構成する映像再構成ユニット３０と、映像再構成ユニット３０によって再構成した映像を送信する送信ユニット４０とを備えた。
2003084225.tif 000002
【特許請求の範囲】
【請求項１】
映像を受信する受信ユニットと、
前記受信ユニットが受信した映像を一時的に蓄える蓄積ユニットと、
前記蓄積ユニットが蓄積した映像を解析して映像を領域に分類する解析分類ユニットと、
前記解析分類ユニットによる分類結果に応じて、前記蓄積ユニットが蓄積した映像の品質を変更して映像を再構成する映像再構成ユニットと、
前記映像再構成ユニットによって再構成した映像を送信する送信ユニットと
を備えたことを特徴とする映像中継装置。
【請求項２】
前記映像再構成ユニットは、
映像の取捨選択と、映像の画質の変更と、映像の再生速度との少なくともいずれかを調整して映像の品質を変更することを特徴とする請求項１記載の映像中継装置。
【請求項３】
前記解析分類ユニットは、
映像を注目する区間で分割して注目領域を定義する領域定義ユニットと、
前記領域定義ユニットによって定義された領域を分類する領域分類ユニットとを備えたことを特徴とする請求項１記載の映像中継装置。
【請求項４】
前記解析分類ユニットは、さらに、映像を解析する映像解析ユニットを備え、
前記領域定義ユニットは、前記映像解析ユニットによる解析結果に基づき領域を定義するとともに、
前記領域分類ユニットは、前記映像解析ユニットによる解析結果に基づき領域を分類することを特徴とする請求項３記載の映像中継装置。
【請求項５】
前記映像解析ユニットは、被写体と撮像装置との少なくともいずれかの変化の大小を解析し、
前記領域分類ユニットは、被写体と撮像装置との少なくともいずれかの変化の大小に基づき領域を動的区間と静的区間に分類し、
前記映像再構成ユニットは、動的区間において、品質を上げて映像を再構成することを特徴とする請求項４記載の映像中継装置。
【請求項６】
前記映像解析ユニットは、被写体と撮像装置との少なくともいずれかの変化の大小を解析し、
前記領域分類ユニットは、被写体と撮像装置との少なくともいずれかの変化の大小に基づき領域を動的区間と静的区間に分類し、
前記映像再構成ユニットは、静的区間において、品質を下げて映像を再構成することを特徴とする請求項４記載の映像中継装置。
【請求項７】
前記映像解析ユニットは、被写体の移動を検出し、
前記領域分類ユニットは、領域を被写体が存在する領域と被写体が存在しない領域に分類し、
前記映像再構成ユニットは、被写体が存在する領域を選択して映像を再構成することを特徴とする請求項４記載の映像中継装置。
【請求項８】
前記領域定義ユニットは、端末からユーザの操作情報を受信し、この情報に基づいて映像を領域に分割することを特徴とする請求項３記載の映像中継装置。
【請求項９】
前記領域分類ユニットは、端末からユーザの操作情報を受信し、この情報に基づいて領域を分類することを特徴とする請求項３記載の映像中継装置。
【請求項１０】
サーバから端末に映像を配信する映像配信システムにおいて、
サーバと端末の間に、映像を受信する受信ユニットと、
前記受信ユニットが受信した映像を一時的に蓄える蓄積ユニットと、
前記蓄積ユニットが蓄積した映像を解析して映像を領域に分類する解析分類ユニットと、
前記解析分類ユニットによる分類結果に応じて、前記蓄積ユニットが蓄積した映像の品質を変更して映像を再構成する映像再構成ユニットと、
前記映像再構成ユニットによって再構成した映像を送信する送信ユニットと
を備えた映像中継装置を配置し、
前記映像中継装置の映像再構成ユニットは、分類された領域のうち所定の領域の映像の再生速度を落として映像を再構成することを特徴とする映像配信システム。
【請求項１１】
サーバから端末に映像を配信する映像配信システムにおいて、
映像を受信する受信ユニットと、
前記受信ユニットが受信した映像を一時的に蓄える蓄積ユニットと、
前記蓄積ユニットが蓄積した映像を解析して映像を領域に分類する解析分類ユニットと、
前記解析分類ユニットによる分類結果に応じて、前記蓄積ユニットが蓄積した映像の品質を変更して映像を再構成する映像再構成ユニットと、
前記映像再構成ユニットによって再構成した映像を送信する送信ユニットと
を備えた映像中継装置を第一の映像中継装置及び第二の映像中継装置としてサーバと端末の間に２つ配置し、
前記第一の映像中継装置は、分類された領域のうち所定の領域の映像の再生速度を落として映像を再構成して前記第二の映像中継装置に送信し、
前記第二の映像中継装置は、前記第一の映像中継装置から受信した映像をもとの再生速度に戻して再構成することを特徴とする映像配信システム。
【請求項１２】
前記映像中継装置は、端末からの要求を受信し、この要求に基づいて前記蓄積ユニットに蓄積されている任意の時刻の映像を端末へ送信することを特徴とする請求項１記載の映像中継装置。
【請求項１３】
サーバから端末に映像を配信する映像配信システムにおいて、
映像を受信する受信ユニットと、
前記受信ユニットが受信した映像を一時的に蓄える蓄積ユニットと、
前記蓄積ユニットが蓄積した映像を解析して映像を領域に分類する解析分類ユニットと、
前記解析分類ユニットによる分類結果に応じて、前記蓄積ユニットが蓄積した映像の品質を変更して映像を再構成する映像再構成ユニットと、
前記映像再構成ユニットによって再構成した映像を送信する送信ユニットと
を備えた映像中継装置を第一の映像中継装置及び第二の映像中継装置としてサーバと端末の間に２つ配置し、
前記第二の映像中継装置は、端末からの要求を受信し、端末からの要求を前記第一の映像中継装置に送信し、
前記第一の映像中継装置は、前記第二の中継装置からの要求を受信し、この要求に基づいて第一の映像中継装置の蓄積ユニットに蓄積されている任意の時刻の映像を第二の映像中継装置へ送信し、
前記第二の映像中継装置は、第一の映像中継装置から送られた映像を第二の映像中継装置の蓄積ユニットに蓄積して端末へ配信することを特徴とする映像配信システム。
【請求項１４】
サーバから端末に映像を配信する映像配信システムにおいて、サーバと端末の間に第一の映像中継装置と第二の映像中継装置とを備え、
前記第一の映像中継装置は、所定の領域の映像の再生速度を落として映像を再構成して前記第二の映像中継装置に送信し、
前記第二の映像中継装置は、前記第一の映像中継装置から受信した映像をもとの再生速度に戻して再構成することを特徴とする映像配信システム。
【請求項１５】
サーバから端末に映像を配信する映像配信システムにおいて、
サーバと端末の間に映像を蓄積する第一の蓄積ユニットを有する第一の映像中継装置と、
映像を蓄積する第二の蓄積ユニットを有する第二の映像中継装置とを備え、
前記第二の映像中継装置は、端末からの要求を受信し、端末からの要求を前記第一の映像中継装置に送信し、
前記第一の映像中継装置は、前記第二の中継装置からの要求を受信し、この要求に基づいて第一の映像中継装置の第一の蓄積ユニットに蓄積されている任意の時刻の映像を第二の映像中継装置へ送信し、
前記第二の映像中継装置は、第一の映像中継装置から送られた映像を第二の映像中継装置の第二の蓄積ユニットに蓄積して端末へ配信することを特徴とする映像配信システム。
【請求項１６】
通信回線を介して映像を受信し、
受信した映像をメモリに一時的に蓄え、
メモリに蓄積した映像を解析して映像を領域に分類し、
分類結果に応じて、メモリに蓄積した映像の品質を変更して映像を再構成し、
再構成した映像を送信する
ことを特徴とする映像中継方法。
【発明の詳細な説明】
技術分野
この発明は、インターネットを用いて監視カメラの映像などをサーバから端末に配信する映像配信システムにおいて、サーバと端末の間に設置されて映像を中継する映像中継装置及び映像中継方法に関する。
背景技術
従来、インターネットを用いて映像を配信するシステムの例としては、たとえば、ＲｅａｌＮｅｔｗｏｒｋｓ社のＲｅａｌＳｙｓｔｅｍ等が知られている。このようなシステムでは、サーバから端末へ連続的にディジタル化した映像データを送信し、端末がデータを受信しながら同時に再生を行うストリーミング配信の技術が用いられている。
図１１は、一般の映像配信システムについて説明する図である。
サーバと端末の間では、通常、制御情報と映像情報の２種類の情報がやりとりされる。制御情報をやりとりするためのプロトコルとしては、例えば、ＲＴＳＰ（リアルタイムストリーミングプロトコル）、映像情報をやりとりするためのプロトコルとしては、例えば、ＲＴＰ（リアルタイムトランスファプロトコル）が知られている。端末からサーバに対して映像を要求する制御情報を送信すると、サーバはそれに応じて映像情報の配信を開始する。端末は、サーバから送信されてきた映像情報を受信し、これを画面上に表示するように構成されている。
ここで、サーバから端末へ映像を配信する形態には、大きく分けてライブ配信と蓄積配信の２種類がある。ライブ配信はテレビの生放送に近い形態であり、カメラで撮影したリアルタイムの映像をそのまま端末に向けて配信する。この形態では、当然ながらユーザが好きな時に見たい映像を視聴することはできない。一方、蓄積配信は、予めサーバに蓄積した映像を配信する形態であり、これはさらに放送型とオンデマンド型にわけられる。放送型の蓄積配信はテレビの録画中継と同様の形態であり、予め決められたスケジュールに従って番組が配信されるため、この形態でもやはりユーザが好きな時に見たい映像を視聴することはできない。一方、オンデマンド型の蓄積配信は、ユーザは好きな時に見たい映像を選択して視聴することができ、また、ビデオテープレコーダーと同様に、再生、停止、シークなどの制御を行うことも可能である。
さて、一般にディジタル映像は、映像の品質を向上させるためにはデータ量を増やす必要があり、逆にデータ量を減らすと映像の品質が劣化する傾向がある。ここで、映像の品質を決定する要因としては、フレームレートと画質がある。フレームレートは１秒間のフレーム数（ｆｐｓ）、画質は解像度や階調数によって決まる各フレームの画像の質である。
そこで、例えば、インターネットへのアクセス回線として一般的に用いられているＩＳＤＮ（インテグレーテッドサービスィズディジタルネットワーク）回線を用いた場合、限られたフレームレートや画質でしか映像を伝送できないので、通常のテレビ映像と比べて動きがぎこちなく、また、鮮明さに欠けた映像しか配信できない。一方、テレビ映像並みの品質で映像を配信するためには、ＩＳＤＮ回線の数倍以上の伝送容量を確保する必要があるが、この場合通信料金が高価になるという問題がある。
この問題を解決する方法としては、映像データの一部または全部を事前に中継装置に蓄積し、蓄積した映像データを読み出して再生する方法が考えられる。例えば、特開２００１−２５０２３に示された映像ストリーム配信方法では、事前に映像の一部を中継装置に蓄積しておくことにより、伝送路の容量以上の映像ストリームを再生することが可能となる。また、特開２０００−２０９２５８に示された時系列データ蓄積配信システムでは、さらに、事前に中継装置に蓄積されていない映像が要求されたときは、要求された映像の再生開始を遅らせるか、あるいは、しばらくの間低品質での配信を行い、この間にサーバと端末の間の中継装置に映像を蓄積し、十分な量の映像が蓄積された時点で蓄積された映像データを利用して中継装置から端末に高品質での配信を開始するようになっている。
図１０は、上記２つの中継装置を用いた映像配信システムに共通する構成を示す図である。
ここで、中継装置と端末の間の回線は、高品質の映像を配信するのに十分な通信速度が確保されているものと仮定している。このシステムで中継装置は、端末に対してはサーバのように振る舞い、サーバに対しては端末のように振舞う。すなわち、まず、端末は中継装置に対して映像配信を要求する制御情報を送信する。中継装置は、要求された映像が既に蓄積されているかどうかを判定し、蓄積されていれば、その映像情報を端末に向けて配信する。要求された映像が蓄積されていないときは、サーバに対して映像の配信を要求する制御情報を送信する。サーバは、この要求に対応して映像の配信を開始する。中継装置は、これを受信して蓄積すると同時に、端末に向けて配信を行う。
従来の映像中継装置は以上のように構成されており、蓄積配信の形態では、伝送路の容量を超える映像データを事前に中継装置に転送して蓄積することにより、高品質な映像再生を可能にするという効果を奏する。また、中継装置はサーバに対して端末のように振舞うので、サーバと端末から構成される映像配信システムに中継装置を挿入することにより、サーバの構成を変更することなく高品質な映像再生を可能にするという効果を奏する。
ところで、監視カメラの映像を遠隔で確認する場合、撮影した映像を即座に端末側で再生して確認したいという要求があるため、ライブ配信の形態をとる必要がある。この場合、上記の従来の映像中継装置を用いた映像配信システムのように、事前に映像を中継装置に蓄積しておくことはできない。このため、従来の映像中継装置では、遠隔監視などにおいて、撮影した映像を即座に端末側で再生して確認したい場合に、伝送路の容量を超える高品質な映像の再生ができないという問題があった。
また、蓄積配信の形態であっても、オンデマンド型の映像配信では、多種類の映像の中からユーザが選択した映像を配信する必要があり、ユーザが選択する可能性のあるすべての映像について事前に映像中継装置に配信しておくことは困難である、という問題があった。
特に、特開２０００−２０９２５８に示された時系列データ蓄積配信システムでは、事前に中継装置に蓄積されていない映像が要求されたときは、要求された映像の再生開始を遅らせるか、あるいはしばらくの間低品質での配信を行い、この間にサーバと端末の間の中継装置に映像を蓄積し、十分な量の映像が蓄積された時点で蓄積された映像データを利用して中継装置から端末に高品質での配信を開始するようになっているが、サーバから中継装置へ配信する映像を高品質にすると、十分な量の映像を蓄積するまでに長時間待つ必要が生じ、逆にサーバから中継装置に配信する映像を低品質にすると、高品質で表示したい箇所を高品質で表示することができない、という問題があった。
この発明は、上記のような問題点を解決するためになされたもので、従来の一般的な映像配信システムのサーバと端末の間に映像中継装置を挿入することにより、映像中継装置に事前に映像を蓄えておくことができない場合でも、限られた伝送容量の通信ユニットを用いた映像配信システムにおいて、映像を高品質で表示して確認することができる映像中継装置及び映像配信システムを得ることを目的とする。
発明の開示
この発明に係る映像中継装置は、映像を受信する受信ユニットと、
前記受信ユニットが受信した映像を一時的に蓄える蓄積ユニットと、
前記蓄積ユニットが蓄積した映像を解析して映像を領域に分類する解析分類ユニットと、
前記解析分類ユニットによる分類結果に応じて、前記蓄積ユニットが蓄積した映像の品質を変更して映像を再構成する映像再構成ユニットと、
前記映像再構成ユニットによって再構成した映像を送信する送信ユニットと
を備えたことを特徴とする。
前記映像再構成ユニットは、
映像の取捨選択と、映像の画質の変更と、映像の再生速度との少なくともいずれかを調整して映像の品質を変更することを特徴とする。
前記解析分類ユニットは、
映像を注目する区間で分割して注目領域を定義する領域定義ユニットと、
前記領域定義ユニットによって定義された領域を分類する領域分類ユニットとを備えたことを特徴とする。
前記解析分類ユニットは、さらに、映像を解析する映像解析ユニットを備え、
前記領域定義ユニットは、前記映像解析ユニットによる解析結果に基づき領域を定義するとともに、
前記領域分類ユニットは、前記映像解析ユニットによる解析結果に基づき領域を分類することを特徴とする。
前記映像解析ユニットは、被写体と撮像装置との少なくともいずれかの変化の大小を解析し、
前記領域分類ユニットは、被写体と撮像装置との少なくともいずれかの変化の大小に基づき領域を動的区間と静的区間に分類し、
前記映像再構成ユニットは、動的区間において、品質を上げて映像を再構成することを特徴とする。
前記映像解析ユニットは、被写体と撮像装置との少なくともいずれかの変化の大小を解析し、
前記領域分類ユニットは、被写体と撮像装置との少なくともいずれかの変化の大小に基づき領域を動的区間と静的区間に分類し、
前記映像再構成ユニットは、静的区間において、品質を下げて映像を再構成することを特徴とする。
前記映像解析ユニットは、被写体の移動を検出し、
前記領域分類ユニットは、領域を被写体が存在する領域と被写体が存在しない領域に分類し、
前記映像再構成ユニットは、被写体が存在する領域を選択して映像を再構成することを特徴とする。
前記領域定義ユニットは、端末からユーザの操作情報を受信し、この情報に基づいて映像を領域に分割することを特徴とする。
前記領域分類ユニットは、端末からユーザの操作情報を受信し、この情報に基づいて領域を分類することを特徴とする。
この発明に係る映像配信システムは、サーバから端末に映像を配信する映像配信システムにおいて、
サーバと端末の間に、
映像を受信する受信ユニットと、
前記受信ユニットが受信した映像を一時的に蓄える蓄積ユニットと、
前記蓄積ユニットが蓄積した映像を解析して映像を領域に分類する解析分類ユニットと、
前記解析分類ユニットによる分類結果に応じて、前記蓄積ユニットが蓄積した映像の品質を変更して映像を再構成する映像再構成ユニットと、
前記映像再構成ユニットによって再構成した映像を送信する送信ユニットと
を備えた映像中継装置を配置し、
前記映像中継装置の映像再構成ユニットは、分類された領域のうち所定の領域の映像の再生速度を落として映像を再構成することを特徴とする。
この発明に係る映像配信システムは、サーバから端末に映像を配信する映像配信システムにおいて、
映像を受信する受信ユニットと、
前記受信ユニットが受信した映像を一時的に蓄える蓄積ユニットと、
前記蓄積ユニットが蓄積した映像を解析して映像を領域に分類する解析分類ユニットと、
前記解析分類ユニットによる分類結果に応じて、前記蓄積ユニットが蓄積した映像の品質を変更して映像を再構成する映像再構成ユニットと、
前記映像再構成ユニットによって再構成した映像を送信する送信ユニットと
を備えた映像中継装置を第一の映像中継装置及び第二の映像中継装置としてサーバと端末の間に２つ配置し、
前記第一の映像中継装置は、分類された領域のうち所定の領域の映像の再生速度を落として映像を再構成して前記第二の映像中継装置に送信し、
前記第二の映像中継装置は、前記第一の映像中継装置から受信した映像をもとの再生速度に戻して再構成することを特徴とする。
前記映像中継装置は、端末からの要求を受信し、この要求に基づいて前記蓄積ユニットに蓄積されている任意の時刻の映像を端末へ送信することを特徴とする。
この発明に係る映像配信システムは、サーバから端末に映像を配信する映像配信システムにおいて、
映像を受信する受信ユニットと、
前記受信ユニットが受信した映像を一時的に蓄える蓄積ユニットと、
前記蓄積ユニットが蓄積した映像を解析して映像を領域に分類する解析分類ユニットと、
前記解析分類ユニットによる分類結果に応じて、前記蓄積ユニットが蓄積した映像の品質を変更して映像を再構成する映像再構成ユニットと、
前記映像再構成ユニットによって再構成した映像を送信する送信ユニットと
を備えた映像中継装置を第一の映像中継装置及び第二の映像中継装置としてサーバと端末の間に２つ配置し、
前記第二の映像中継装置は、端末からの要求を受信し、端末からの要求を前記第一の映像中継装置に送信し、
前記第一の映像中継装置は、前記第二の中継装置からの要求を受信し、この要求に基づいて第一の映像中継装置の蓄積ユニットに蓄積されている任意の時刻の映像を第二の映像中継装置へ送信し、
前記第二の映像中継装置は、第一の映像中継装置から送られた映像を第二の映像中継装置の蓄積ユニットに蓄積して端末へ配信することを特徴とする。
この発明に係る映像配信システムは、サーバから端末に映像を配信する映像配信システムにおいて、サーバと端末の間に第一の映像中継装置と第二の映像中継装置とを備え、
前記第一の映像中継装置は、所定の領域の映像の再生速度を落として映像を再構成して前記第二の映像中継装置に送信し、
前記第二の映像中継装置は、前記第一の映像中継装置から受信した映像をもとの再生速度に戻して再構成することを特徴とする。
この発明に係る映像配信システムは、サーバから端末に映像を配信する映像配信システムにおいて、
サーバと端末の間に映像を蓄積する第一の蓄積ユニットを有する第一の映像中継装置と、
映像を蓄積する第二の蓄積ユニットを有する第二の映像中継装置とを備え、
前記第二の映像中継装置は、端末からの要求を受信し、端末からの要求を前記第一の映像中継装置に送信し、
前記第一の映像中継装置は、前記第二の中継装置からの要求を受信し、この要求に基づいて第一の映像中継装置の第一の蓄積ユニットに蓄積されている任意の時刻の映像を第二の映像中継装置へ送信し、
前記第二の映像中継装置は、第一の映像中継装置から送られた映像を第二の映像中継装置の第二の蓄積ユニットに蓄積して端末へ配信することを特徴とする。
この発明に係る映像中継方法は、
通信回線を介して映像を受信し、
受信した映像をメモリに一時的に蓄え、
メモリに蓄積した映像を解析して映像を領域に分類し、
分類結果に応じて、メモリに蓄積した映像の品質を変更して映像を再構成し、
再構成した映像を送信することを特徴とする。
発明を実施するための最良の形態
実施の形態１．
図１は、この発明の映像中継装置１００の構成例を示す構成図である。
図に示された各構成要素は、機能を概念的に示したものであり、物理的な構成とは必ずしも対応しない。各構成要素は、実際には、コンピュータのハードウエア、メモリ、バッファ、記憶装置、電子回路、半導体チップ、ファームウエアおよびコンピュータ上で動作するソフトウエアプログラムにより実現することができる。したがって、以下に述べる「ユニット」とは、コンピュータのハードウエア、電子回路、半導体チップ、ファームウエア、および、または、コンピュータ上で動作するソフトウエア、および、または、これらの組合わせにより実現することができるののであればどのようなものでもよく、物理的には、システムユニット、装置、部品、基板、プログラムという形で実現できる。
また、「ユニット」は、ハードウエアのみで実現してもよく、ソフトウエアのみで実現してもよく、これらの組み合わせで実現してもよい。また、「ユニット」という用語は、以下に述べる機能を実現するものと考えれば、「手段」と置き換えることもできるし、また、以下に述べる機構を実現するものと考えれば、「機構」と置き換えることもできる。同様に、「ユニット」という用語は、「回路」、「ソフトウエア」、「プログラム」、「装置」という用語と置き換えてもよい。また、以下に述べる「ユニット」をさらに分割して「サブユニット」にしてもよいし、２つのユニットを統合して１つのユニットとして実現してもよい。
図１は、従来の一般的な映像配信システムのサーバ２００と端末４００の間に映像中継装置１００を挿入する場合を示している。
映像中継装置１００は、受信バッファに映像を受信する受信ユニット１０と、
前記受信ユニットが受信した映像をメモリに一時的に蓄える蓄積ユニット２０と、
前記蓄積ユニット２０が蓄積した映像を解析して映像を時間区間の領域に分類する解析分類ユニット８０と、
前記解析分類ユニット８０による分類結果に応じて、前記蓄積ユニット２０が蓄積した映像の品質を変更して映像を再構成する映像再構成ユニット３０と、
前記映像再構成ユニット３０によって再構成した映像を送信バッファから送信する送信ユニット４０と
を備えている。
前記解析分類ユニット８０は、被写体と撮像装置との少なくともいずれかの変化の大小を解析して映像を解析して解析結果をメモリに記憶する映像解析ユニット５０と、
映像を時間区間で分割して時間区間の領域を定義する領域定義ユニット６０と、
前記領域定義ユニットによって定義された領域を動的区間と静的区間に分類する領域分類ユニット７０とを備えている。
前記領域定義ユニット６０は、前記映像解析ユニット５０による解析結果に基づき領域を定義してメモリに記憶するとともに、前記領域分類ユニット７０は、前記映像解析ユニット５０による解析結果に基づき領域を分類してメモリに記憶する。
前記映像再構成ユニット３０は、映像の取捨選択と、映像の画質の変更と、映像の再生速度との少なくともいずれかを調整して映像の品質を変更する。
前記映像再構成ユニット３０は、動的区間において、品質を上げて映像を再構成する。また、前記映像再構成ユニット３０は、静的区間において、品質を下げて映像を再構成する。
図２は、この発明の映像中継装置１００を用いた映像配信システムの構成例を示した図である。
ここでは、例として、固定カメラ３００で特定の駐車スペースを撮影し、遠隔の端末４００でこれを監視する場合を考える。サーバ２００は、カメラ３００の近くに設置しても良いし、別の場所に設置して通信回線を経由して接続しても良い。カメラ３００で撮影した映像は、毎秒３０フレームの間隔でディジタルデータとしてサーバ２００に取り込まれる。サーバ２００は、カメラ３００から取り込んだ映像を順次送信してゆく。ここでは、ＲＴＳＰ（リアルタイムストリーミングプロトコル）により端末４００からの送信要求を受け付け、要求元の端末４００に向けてＲＴＰ（リアルタイムトランスファプロトコル）で映像を送信する。
一方、端末４００は、監視者のいる場所に設置されたデスクトップ型のパソコンにおいて映像受信、再生用のプログラムを動作させることにより実現する。この端末４００を通信回線を経由して直接サーバ２００に接続すると、カメラ３００で撮影した現在の映像を端末４００で確認することができるが、その場合、映像の品質は通信回線の伝送容量に制限される。ここでは、端末４００がモデム接続などによりインターネットサービスプロバイダ５００を経由してインターネットに接続されていると仮定する。
この実施の形態では、インターネットサービスプロバイダ５００に映像中継装置１００を設置し、映像中継装置１００と端末４００、映像中継装置１００とサーバ２００をそれぞれ通信回線で接続する。ここでは、サーバ２００と映像中継装置１００の間は十分な伝送容量があり、１秒間に３０フレームの映像を配信することができるものとする。一方、映像中継装置１００と端末４００の間は伝送容量が制限され、１秒間に３フレーム程度しか配信することができないものとする。
次に、動作について説明する。
まず、端末４００は、映像中継装置１００に対して映像の配信を要求する制御情報を発行する。映像中継装置１００は、この制御情報をさらにサーバ２００に対して発行する。サーバ２００は、この配信要求に対応して映像中継装置１００に向けて映像の配信を開始する。
映像中継装置１００の受信ユニット１０は、サーバ２００から配信された映像データを受信し、受信したデータを順次蓄積ユニット２０に蓄えてゆく。
領域定義ユニット６０は、映像を分割して領域を定義する。
ここで領域の概念について説明する。
ここでは映像を、Ｘ軸とＹ軸とを有する２次元の画像データをＺ軸となる時間軸に沿って並べたＸＹＺ座標の３次元の映像データとみなし、この３次元データ配列の一部分を構成する要素の集まりを領域と呼ぶものとする。すなわち、領域は、Ｚ軸上の開始時刻、Ｚ軸上の終了時刻、および開始時刻と終了時刻との間に各時刻（Ｚ座標）における画像上の位置（ＸＹ座標）によって定義することができる。
この実施の形態では、領域定義ユニット６０は、ＸＹ座標からなる１枚のフレームを構成する画像をＸＹ座標上で複数の領域に分けることはせず、映像を時間軸（Ｚ軸）にそって分割してできる時間区間を領域として定義するものとする。
映像の分割方法としては、単純に所定の秒数毎に映像を分割しても良いが、以下に示すのは映像解析ユニット５０によって検出した被写体または撮像装置の変化の大小に基づき分割する方法である。
まず、映像解析ユニット５０による被写体の変化または撮像装置（カメラ３００）の変化の解析について述べる。
ここで、被写体の変化とは、例えば、被写体の動作、移動、変形等をいう。また、撮像装置の変化とは、例えば、カメラの設置位置の移動、カメラの回転等による撮影方向の変更、ズームイン／アウトによるカメラの視野角度の拡大縮小等をいう。
図１２は、解析分類ユニット８０の動作フローチャートである。
映像解析ユニット５０は、被写体または撮像装置の変化の大小を判定するために、蓄積ユニット２０から映像を読み出して（Ｓ１０）解析を行う（Ｓ１１）。変化の大小は、例えば、隣接する２枚のフレームを比較し、輝度が一定量以上変化した画素の数を数えることによって判定する。あるいは、各フレームの画素の色、階調等を統計的に解析して、各フレームに対してヒストグラムを求め、ヒストグラムの差を評価することによって変化の大小を判定する方法もある。あるいは、あるフレームを構成するいくつかの画素について、パターンマッチングなどにより、別のフレームで対応する点を求め、各画素の移動量を評価することによって変化の大小を判定する方法もある。
領域定義ユニット６０は、このようにして求めた変化量に基づき領域を定義する（Ｓ１２）。すなわち、図３に示すように、変化量が所定量以下の区間が所定時間以上連続した場合、この区間を静的区間とし（Ｓ１３）、それ以外の区間を動的区間とする（Ｓ１４）。領域定義ユニット６０は、静的区間と動的区間の切り替わり点で映像を分割することにより区間を定義してゆく。
領域分類ユニット７０は、上記の静的区間または動的区間の定義に基づき各領域を静的区間と動的区間に分類し、分類結果を保持する（Ｓ１５）。
映像再構成ユニット３０は、領域の取捨選択または画質の変更等により映像の品質の調整を行い映像を再構成する。映像を静的区間と動的区間に分けると、重要な意味があるのは動的区間である。そこで、動的区間においては、サーバ２００から受信した映像を高品質で伝送し、静的区間においては映像の品質を下げて伝送すれば良い。あるいは、静的区間は伝送せずに、動的区間のみを伝送するようにしても良い。
ここで、映像中継装置１００と端末４００の間の通信回線は、１秒間に３フレーム（３ｆｐｓ）程度しか伝送できない。動的区間について映像の品質を上げるために、１秒間に１５フレーム（１５ｆｐｓ）程度のフレームレートに設定したものとすると、この通信回線で伝送するためには、再生速度を５分の１にする必要がある。一方、静的区間については、映像を全く伝送しないか、または１ｆｐｓから３ｆｐｓ程度のフレームレートに設定し品質を落として伝送することとする。
このようにすると、動的区間の映像の伝送は実際の時間より長くかかり、静的区間の映像の伝送は実際の時間と同じかまたはより短くなる。
動的区間においては、映像中継装置１００における遅延時間が生じ、この遅延時間の間、蓄積ユニット２０が映像を蓄積してゆく。すなわち、遅延時間の増加は、蓄積ユニット２０に未配信のまま残っている映像の量の増加を意味する。しかし、駐車スペースの入出庫を監視するような場合は動的区間は全体の中のごくわずかな区間と想定されるので、遅延時間により映像が蓄積ユニット２０に無制限に累積されてゆく心配はない。
逆に、静的区間において、フレームレートを１ｆｐｓ程度に設定すると、再生速度を３倍程度にすることができ、遅延時間を短縮することができる。そこで、静的区間においては、遅延時間すなわち蓄積ユニット２０に未配信のまま残っている映像の量を監視しておき、遅延時間が所定以上のときは１ｆｐｓ程度の映像品質に設定し再生速度を３倍にし、遅延時間が所定以下のときは３ｆｐｓ程度の映像品質に設定し、再生速度は通常の速度にすれば良い。
図１３は、映像再構成ユニット３０の動作フローチャートである。
図１４は、動的区間と静的区間における映像再構成ユニット３０の画像フレームの取捨選択動作の一例を示す図である。
映像再構成ユニット３０は、蓄積ユニット２０に蓄積された映像データ（画像フレーム）を時間軸順（時系列順）に読み込む（Ｓ２０）。映像再構成ユニット３０は、領域分類ユニット７０が保持している分類結果を参照し、読み込んだ画像フレームが静的区間または動的区間のいずれかを判定する。（Ｓ２１）。
動的区間について、映像の品質を上げるために１秒間に１５フレーム（１５ｆｐｓ）程度のフレームレートに設定したものとすると、映像再構成ユニット３０は、図１４のフレーム１から９の動的区間において２フレーム目毎にフレームを選択する（Ｓ２２）。
逆に、静的区間において、フレームレートを１ｆｐｓ程度に設定したものとすると、静的区間においては、映像再構成ユニット３０は遅延時間、すなわち蓄積ユニット２０に未配信のまま残っている映像の量（残量）を監視しておき（Ｓ２３）、例えば、図１４のフレーム１０から７９の各フレームに対して遅延時間が所定（Ｍ秒）以上であるとすると、フレーム１０から７９に対して３０フレーム目毎にフレーム１０，４０，７０を選択し（Ｓ２４）、１ｆｐｓ程度の映像品質に設定し再生速度を３倍にする。また、例えば、図１４のフレーム８０以降の各フレームに対して遅延時間が所定（Ｍ秒）以下であるとすると、フレーム８０以降に対して１０フレーム目毎にフレーム８０，９０，１００，１１０，・・・を選択し（Ｓ２５）、３ｆｐｓ程度の映像品質に設定して再生速度を通常の速度にする。
送信ユニット４０は、映像再構成ユニット３０が再構成した映像を端末４００へ送信する。
端末４００は、このようにして再構成された映像を受信して画面に表示する。静的区間は、通常の再生速度または３倍速での再生となり、動的区間は５分１程度のスローモーションの映像となる。ユーザが注目するのは主に動的区間の映像であるから、動的区間の映像がスローモーションで再生されるのは好都合と言える。
また、この実施の形態では、従来のサーバ２００と端末４００だけで構成された映像配信システムに対し映像中継装置１００を挿入するだけで、サーバ２００や端末４００は、ほとんど変更することなく、上記の効果が得られるという利点がある。
監視カメラの映像を遠隔で表示して確認する場合を考えると、すべての映像を高品質で表示する必要はなく、特別な事象が発生した区間や特定の被写体が映っている位置を選択的に高品質で表示することができれば良い。
以上のように、この実施の形態に係る映像中継装置は、
映像を受信する受信ユニット１０と、
受信した映像を一時的に蓄える蓄積ユニット２０と、
映像を分割して領域を定義する領域定義ユニット６０と、
この領域定義ユニット６０によって定義された領域を分類する領域分類ユニット７０と、
領域定義ユニット６０によって定義された領域の映像を、領域分類ユニット７０による分類結果に応じて取捨選択または品質の調整を行い再構成する映像再構成ユニット３０と、
映像再構成ユニット３０によって再構成した映像を送信する送信ユニット４０と
を備えたことを特徴とする。
この映像中継装置によれば、映像再構成ユニット３０は、領域分類ユニット７０による領域の情報に基づき、領域ごとに取捨選択または品質の調整を行い再構成し、再構成した映像を端末４００に送信するので、端末４００では特定の領域を選択的に高品質で表示することができる。
本実施の形態の第一の特徴は、サーバ２００から送られてくる映像データを取捨選択して蓄積ユニット２０に蓄積しているのではなく、サーバ２００から送られてくる通常の映像データをそのまま蓄積ユニット２０に蓄積する点に有る。このため、サーバ２００には何ら変更がない。また、第二の特徴は、蓄積ユニット２０に蓄積した映像を取捨選択或いは品質の調整をして伝送路の負荷を低減させる点に有る。このため、送出側回線の伝送容量が小さくても、データ量をその送出側の伝送容量にあわせることができる。また、第三の特徴は、動的区間のような注目領域の映像品質は高くし、静的区間のような非注目領域の映像品質は低くするという映像の再構成をしている点である。このため、変化の大きな映像部分は高品質で映像を再生できる。
実施の形態２．
次に、サーバ２００と端末４００の間に２つの映像中継装置を挿入する形態について説明する。
２つの映像中継装置装置の構成はそれぞれ実施の形態１とほぼ同様である。
図４は、この実施の形態の映像配信システムの構成を示した図である。
この例では、第一の映像中継装置１０１は、実施の形態１と同様に、インターネットサービスプロバイダなどに設置する。第二の映像中継装置１０２は、例えば、端末４００と同一の構内に設置し、端末４００とは構内ＬＡＮ（ローカルエリアネットワーク）により接続する。第一の映像中継装置１０１とサーバ２００の間、および第二の映像中継装置１０２と端末４００の間はそれぞれ十分な伝送容量を持ち、１秒間に３０フレーム程度の映像を伝送することができるものとする。一方、第一の映像中継装置１０１と第二の映像中継装置１０２の間は、１秒間に３フレーム程度しか伝送することができないものとする。
次に、動作について説明する。
まず、端末４００は、第二の映像中継装置１０２に対して映像の配信を要求する制御情報を発行する。第二の映像中継装置１０２は、この制御情報をさらに第一の映像中継装置１０１に伝える。第一の映像中継装置１０１は、この制御情報をさらにサーバ２００に対して発行する。サーバ２００は、この配信要求に対応して第一の映像中継装置１０１に向けて映像の配信を開始する。
第一の映像中継装置１０１の動作は、実施の形態１と基本的に同一である。ただし、送信ユニット４０は端末４００ではなく、第二の映像中継装置１０２に対して映像を送信する。
次に、第二の映像中継装置１０２の動作について説明する。
受信ユニット１０は、第一の映像中継装置１０１から配信された映像データを受信し、受信したデータを順次蓄積ユニット２０に蓄えてゆく。領域定義ユニット６０は、映像を分割して領域を定義する。映像の分割は、第一の映像中継装置１０１と同様に、映像解析ユニット５０による映像解析結果を利用しても良いし、第一の映像中継ユニットにおける領域定義結果を通信回線を経由して伝達しても良い。
さらに、領域分類ユニット７０は、各領域を静的区間と動的区間に分類し、分類結果を保持する。この分類も、第一の映像中継装置１０１と同様に映像解析ユニット５０による映像解析結果を利用しても良いし、第一の映像中継装置１０１における領域定義結果を通信回線を経由して伝達しても良い。
第二の映像中継装置１０２の映像再構成ユニット３０は、映像を再構成する。受信時には動的区間の映像は５分の１の再生速度となっているので、ここで再生速度をもとの再生速度に戻す。
図５は、上記の考え方に基づいた映像配信について説明する図である。
横軸は時間を示す。縦左軸は映像データの転送と再構成の順序を示す。映像データの高さ（図面の上下幅）は映像データの品質を示す。
まず、サーバ２００側の第一の映像中継装置１０１では、静的区間と判定された領域に対し画質またはフレームレートを下げることにより品質を下げた映像を生成し、これを端末４００側の第二の映像中継装置１０２に伝送する。第一の映像中継装置１０１の映像再構成ユニット３０において、各フレームの画質を下げるためには、サーバ２００により圧縮されて受信したデータを一旦伸張し、再び品質を落として圧縮しなおしても良いし、ＪＰＥＧ（ジョイントフォトグラフィックエキスパーツグループ）におけるプログレシブ形式のように、段階的な伸張が可能な圧縮形式の場合は、データの中から必要な部分だけを取り出して伝送すればよい。また、第一の映像中継装置１０１の映像再構成ユニット３０において、フレームレートを下げるためには、例えば、１枚おきにフレームを取り出して伝送するようにすれば、半分のフレームレートにすることができる。ここでは、第一の映像中継装置１０１の映像再構成ユニット３０において、３０ｆｐｓの映像のフレームレートを１ｆｐｓから３ｆｐｓ程度まで下げるものとする。そうすると、１秒間に３フレーム程度伝送できる通信回線により伝送することができる。また、第一の映像中継装置１０１の映像再構成ユニット３０は、動的区間と判定された領域に対しては、品質の下げ方を少なくする。ここでは、１５ｆｐｓ程度に設定する。上記の通信回線で伝送するためには、再生速度を５分の１程度に落とす必要がある。
このようにすると、第一の映像中継装置１０１から第二の映像中継装置１０２への伝送では、静的区間では１秒間に３フレーム程度伝送できる通信回線に１ｆｐｓから３ｆｐｓ程度の伝送速度で映像を送るので、通常の再生速度またはやや早送りの映像となり、動的区間では１秒間に３フレーム程度伝送できる通信回線に１５ｆｐｓ程度の伝送速度で映像を送るので、スローモーションの映像となる。そこで、第二の映像中継装置１０２の映像再構成ユニット３０においては、映像を元の速度に合うように再構成する。すなわち、動的区間では、フレーム間の間隔を約１／５につめて３０ｆｐｓの画像の再生速度と同等になるように映像を再構成し、静的区間では、フレームの間隔を１０〜３０倍に広げて３０ｆｐｓの画像の再生速度と同等になるように映像を再構成する。
送信ユニット４０は、再構成された映像を端末４００に送信する。端末４００では、静的区間では低品質の映像となるが、動的区間では高品質の映像を見ることができる。
実施の形態３．
この実施の形態は、固定カメラ３００により海上を航行する船舶を監視する場合を例にとり説明する。
映像中継装置の構成と映像配信システムの構成は実施の形態１の図１，図２とほぼ同様である。
この実施の形態では、時間軸（Ｚ軸）方向に領域を区分するのではなく、フレーム内（ＸＹ軸）で領域を区分する場合について説明する。
次に、動作について説明する。
受信ユニット１０は、サーバ２００から配信された映像データを受信し、蓄積ユニット２０に記憶する。図６に、受信した映像の例を示す。ここで、各フレームの画素数は、例えば、Ｘ軸に１０２４画素、Ｙ軸に７６８画素（１０２４＊７６８画素）あるものとする。映像を構成する各フレームには、時間の経過に従って、船舶が右から左へ近づきながら移動してゆく様子がとらえられている。
領域定義ユニット６０は、映像解析ユニット５０による被写体の移動の検出結果に基づき領域を定義してゆく。
映像解析ユニット５０は、被写体の移動を、例えば、次のようにして求める。まず、２枚の映像フレームの差分画像を生成すると、動きのある船舶の領域だけが抽出される。抽出された船舶領域について２枚の映像フレーム間でパターンマッチングを行うと、この領域がどのように動いたかが判定できる。
このようなフレーム間の照合は、映像フレームを受信する毎に、直前の映像フレームとの間で行っても良いし、例えば、１秒毎に映像フレームを選択的に取り出して、選択したフレームのみを対象に行っても良い。このようにして得られた動き情報を総合すると、一連のフレーム列の中で被写体がどのように動いたかを知ることができる。
領域定義ユニット６０は、映像解析ユニット５０により検出した被写体の移動情報に基づき、被写体が存在する領域とそれ以外の領域に分割する。
さらに、領域分類ユニット７０は、分割した各領域を分類する。ここでは、領域を被写体が存在する注目領域と被写体が存在しない非注目領域に分類し、分類結果を保持する。
映像再構成ユニット３０は、領域分類ユニット７０によって分類された領域の情報に基づき映像を再構成する。サーバ２００から受信した映像をそのまま高画質で伝送しようとすると、実際の時間より多くの時間を要するので、各分類毎に定義された被写体の領域以外の領域は品質を落として、あるいは、省略して伝送するようにする。映像再構成ユニット３０は、図７の例では、被写体が存在する破線で示した注目領域だけを取り出して伝送して、非注目領域は伝送を省略している。すなわち、１０２４＊７６８画素の各フレームにおいて領域が存在する範囲をクリッピング範囲として画像を取り出して再構成している。ここでの再構成とは、例えば、端末４００の表示画面の表示モードを切り替える指示とともに、取り出したデータ量を増加させずに、そのまま端末４００に切り出した映像データを送ることをいう。例えば、映像再構成ユニット３０は、フレームａでは、１２８＊９６画素を切り出して、１２８＊９６画素の画像データを１０２４＊７６８画素の端末４００の画面に拡大表示する命令とともに送る。あるいは、取り出したデータ量を増加させずに、取り出したデータを拡大して伝送する。
これは被写体が映っている領域以外の映像を省くことにより、被写体が映っている領域の品質を落とさずにすませようとするものである。
各フレームａ，ｂ，ｃ，ｄの伝送量は、以下のように減少する。
フレームａ：（１２８＊９６）／（１０２４＊７６８）＝０．０１５
フレームｂ：（２５６＊１９２）／（１０２４＊７６８）＝０．０６２
フレームｃ：（５１２＊３８４）／（１０２４＊７６８）＝０．２５４
フレームｄ：（７６８＊５７６）／（１０２４＊７６８）＝０．５６２
図の例では、選択された領域以外を完全に省いて選択された領域を端末４００の画面一杯に拡大しているが、別の方法としては、選択された領域だけを高品質になるようにし、その他の領域を品質を落として再構成するようにすることも考えられる。
このようにして再構成した映像は、送信ユニット４０により端末４００にむけて伝送される。
以上の方法によれば、被写体が存在する領域以外の領域について品質をおとすかまたは省略して伝送するので、限られた伝送容量でも被写体が存在する領域については、高画質または高フレームレートでの配信が可能となる。
実施の形態４．
上記実施の形態１，２，３では、領域定義ユニット６０または領域分類ユニット７０が映像解析ユニット５０による映像解析の結果に基づき、領域の定義または分類を行う形態を示したが、ここでは、端末４００におけるユーザの操作に基づき時間軸（Ｚ軸）上の領域即ち時間区間の領域の定義または分類を行う形態を示す。
この実施の形態の映像配信システムの構成は実施の形態２と同様であり、図４に示したように、サーバ２００側と端末４００側にそれぞれ映像中継装置１０１，１０２を配し、それらを通信回線で接続した形態となる。ここでも、２つの映像中継装置１０１，１０２を通信回線で接続したものをまとめて１つの映像中継装置１００と考えるものとする。
また、映像中継装置１０１には、端末４００からユーザの操作情報を受信する操作情報受信ユニットがあり、映像中継装置１０１と端末４００とは双方向通信ができるものとする。さらには、映像中継装置１０２には、映像中継装置１０１からの要求を受信する要求受信ユニットがあり、映像中継装置１０２と映像中継装置１０１とは双方向通信ができるものとする。
このとき、サーバ２００と映像中継装置１００の間、および映像中継装置１００と端末４００の間は１秒間に３０枚のフレームを伝送する容量があり、一方、映像中継装置１００内でサーバ２００側の第一の映像中継装置１０１から端末４００側の第二の映像中継装置１０２には１秒間に３枚程度のフレームを伝送することができるものとする。
サーバ２００側の第一の映像中継装置１０１は、サーバ２００から１秒間に３０枚の映像を受信し、蓄積ユニット２０に蓄積する。サーバ２００側の第一の映像中継装置１０１から端末４００側の第二の映像中継装置１０２には１秒間に３枚の映像しか伝送できないので、端末４００側の第二の映像中継装置１０２の映像再構成ユニット３０は、フレームレートを１０分の１に落とした映像を再構成して１秒間に３枚の映像を端末４００側の第一の映像中継装置１０１に伝送する。端末４００側の第二の映像中継装置１０２は、１秒間に３枚の映像を受信して端末４００に送信する。端末４００の画面上には、映像中継装置１００から伝送された映像が１秒間に３枚の間隔で順次表示される。
次に、ユーザは端末４００に表示された映像中に何らかの注目すべき事象を見つけたものとする。ユーザは、端末４００における操作により、注目すべき事象が映っている映像中の領域を指定する。ここで、領域は、前述のように開始時刻、終了時刻、および各時刻における画像中の位置によって規定する。ユーザが端末４００における操作で映像中の領域を指定する方法としては、例えば、以下のような方法がある。
すなわち、図８に示すように、画面上にボタンを表示しておき、ユーザが注目すべき事象を見つけた時に、このボタンを押す。ボタンを押した時に表示していた映像の時刻の数秒前と数秒後をそれぞれ領域の開始、終了時刻とみなし、その情報を映像中継装置１００（第二の映像中継装置１０２）に伝える。映像中継装置１００の第二の映像中継装置１０２の領域定義ユニット６０は、この情報に基づき該当する区間を領域として定義する。
あるいは、ユーザが端末４００の画面上で注目する被写体を直接クリックする方法も考えられる。クリックされた時に表示していた映像の時刻の数秒前と数秒後をそれぞれ領域の開始、終了時刻、クリックされた位置のまわりの所定範囲を領域の位置とみなし、この情報を映像中継装置１００（第二の映像中継装置１０２）に伝えると、映像中継装置１００の第二の映像中継装置１０２の領域定義ユニット６０は、この位置と時間の情報に基づき領域を定義する。
これらの方法で定義された領域は、さらに、第二の映像中継装置１０２の領域分類ユニット７０により注目領域に分類される。
第二の映像中継装置１０２は、第一の映像中継装置１０１に対して注目領域を連絡する。第一の映像中継装置１０１の領域分類ユニット７０は、この注目領域を保持する。
この時点で、注目領域の再生は途中まで進んでいることになるが、第一の映像中継装置１０１と第二の映像中継装置１０２との映像再構成ユニット３０は、再び注目領域の最初に戻り、通常とは異なる方法で映像を再構成する。通常は、通信回線の伝送容量を考慮してフレームレートを１０分の１に落として再構成するが、注目領域については、フレームレートを１秒間に１５フレーム程度、すなわち２分の１程度にする。この映像をそのまま伝送すると、伝送容量を上回ってしまうので、第一の映像中継装置１０１では再生速度を５分の１にして伝送し、第二の映像中継装置１０２で再生速度をもとに戻す処理を行う。ユーザによる注目領域の指定は、該当領域の配信を終了した後で行われたものとすると、第二の映像中継装置１０２は、既に低品質の映像を受信済みで、低品質の映像が蓄積ユニット２０に蓄えられているはずである。また、第一の映像中継装置１０１には、サーバ２００から受信した高品質の映像がそのまま蓄えられているはずであるから、第二の映像中継装置１０２の映像再構成ユニット３０は、第一の映像中継装置１０１の映像再構成ユニット３０に対して不足分だけの映像データを要求すれば良い。第二の映像中継装置１０２の映像再構成ユニット３０は、第一の映像中継装置１０１の映像再構成ユニット３０から不足分を受け取り、既に蓄積されている低品質の映像と合わせて高品質の映像を再構成して配信すれば良い。
注目領域の開始時刻から終了時刻までを５秒間とすると、第一の映像中継装置１０１から第二の映像中継装置１０２に再構成した映像を伝送するのに２５秒間かかる計算になる。第一の映像中継装置１０１の映像再構成ユニット３０から第二の映像中継装置１０２の蓄積ユニット２０への再構成した映像の伝送の完了までを第二の映像中継装置１０２が待ち、第二の映像中継装置１０２の映像再構成ユニット３０が、第二の映像中継装置１０２の蓄積ユニット２０に蓄積された映像を読み出して再生を行うようにすると、端末４００では、注目領域について１５ｆｐｓで映像を再生することが可能になる。
また、この注目領域の映像を配信している間に、サーバからは次の非注目領域の映像が配信されてくることになるが、この映像は第一の映像中継装置１０１の蓄積ユニット２０に蓄えておき、第一の映像中継装置１０１から第二の映像中継装置１０２への注目領域の配信が終了した後、この非注目領域の映像の配信に移行するようにすれば良い。
実施の形態５．
次に、領域定義ユニット６０が映像解析ユニット５０による映像解析の結果に基づき領域の定義を行い、次に端末４００におけるユーザの操作により領域を分類する形態を示す。
この実施の形態の映像配信システムの構成は、実施の形態４と同様であり、図４に示したように、サーバ２００側と端末４００側にそれぞれ映像中継装置１０１，１０２を配し、それらを通信回線で接続した形態となる。ここでも、２つの映像中継装置１０１，１０２を通信回線で接続したものをまとめて１つの映像中継装置１００と考えるものとする。
また、この実施の形態の映像配信システムの動作は、実施の形態３と同様であり、以下、異なる点を説明する。
第一の映像中継装置１０１の領域定義ユニット６０は、実施の形態１と同様に領域の情報を定義する。第一の映像中継装置１０１は、第二の映像中継装置１０２を経由して領域の情報を端末４００に送る。
図９は、この実施の形態による映像配信システムの端末４００の画面の例である。
画面上の映像表示部は、実施の形態４と同様の映像を表示する部分、領域情報表示部は、第一の映像中継装置１０１の領域定義ユニット６０により定義され第二の映像中継装置１０２を経由して端末４００に送られた領域の情報を表示する部分である。図の例では、実施の形態１と同様に、第一の映像中継装置１０１の領域定義ユニット６０が映像の変化量に基づき映像を分割して定義した各領域ごとに、映像の変化量をグラフ表示している。ここで、領域情報表示部の下部の数字は現在時刻を基準にして何秒前かを示す数字である。この例では、領域情報表示部に、変化量をグラフ表示したが、各領域の代表画像を縮小して表示するようにしても良い。
ユーザは、この領域情報表示部の表示を参考に、注目すべき領域を選択する。選択した領域を領域表示部の該当部分をクリックするなどによって指示すると、選択された領域の情報は、映像中継装置１００に伝えられる。映像中継装置１００の領域分類ユニット７０は、この領域を注目領域に分類する。
映像中継装置１００内の動作は、実施の形態４と同様であり、映像中継装置１００は、注目領域に分類された領域を読み出して再構成する。
以上の動作により、ユーザは、映像中継装置１００において映像解析ユニット５０により定義された領域の中から注目すべき領域を選択し、これを画面上で指示することにより、選択した領域を高品質な映像で確認することができる。この実施の形態では、領域定義ユニット６０により自動的に定義した領域の情報をユーザに提示してユーザが高品質で確認したい領域を選択するようにしたので、実施の形態４と比べるとユーザが領域を指定する手間が簡略化される。
実施の形態６．
実施の形態１（及び実施の形態３）で述べた映像中継装置に対して、端末４００からユーザの操作情報を受信する操作情報受信ユニットを設け、映像中継装置における蓄積ユニット２０を、端末からのユーザの操作情報を受信し、この情報に基づいて蓄積ユニット２０内に蓄積されている任意の時刻の映像を送信対象とするように拡張する。この実施の形態における映像配信システムの構成は実施の形態１と同様である。
図２における端末４００において、たとえば、現在配信されてきた映像の撮影時刻より３秒前の映像を見たいと映像中継装置１００に対して要求を行った場合、映像中継装置１００の蓄積ユニット２０は該当する時刻の映像が蓄積されているかを調べ、蓄積されていればこれを端末４００に対して配信する。ここで、端末４００から要求された指定時刻の映像を、以後「過去映像」と呼ぶものとする。さらに、「過去映像」は、ここでは指定時刻の１フレーム分の映像を示すものとする。このとき、映像中継装置１００と端末４００の間は実施の形態１で説明したような機構によって配信映像が制御されているとする。このような場合は、たとえば図１５に示すように、「過去映像」を割り込ませて配信するようにすることで、他の配信にさほど影響をおよぼすことなく「過去映像」を配信することができる。図１５において、上段は、通常配信の状態を示している。下段は、１フレーム文の「過去映像」を通常配信の８フレームと９フレームとの間に割り込ませた状態を示している。さらに、たとえば「過去映像」の場合、端末４００から要求された時刻のものであることを意味する識別データ（ＩＤ）を映像に付与して送信することにより、端末４００では通常の映像配信と区別してデータを受け取ることができる。このようにすることによって、「過去映像」は端末４００の表示画面上で別ウィンドウで静止画として常時表示しておくことができ、監視の際に気になった点を再度じっくり見ることが可能となる。なお、本図１５では、「過去映像」とは蓄積ユニット２０中に存在する１フレームを示しているが、実施の形態１で記述しているように、指定した時刻から前後数秒間を領域として指定することも可能である。この場合は、たとえば端末４００において、その部分を繰り返し要求することによるビデオデッキなどにおける繰り返し再生のようなことも可能となる。すなわち、動画リプレイが可能となる。本実施の形態では「過去映像」は通常映像配信に割り込ませて配信する方法を示したが、「過去映像」を領域として規定した場合、通常の映像配信を「過去映像」の配信が完了するまで停止させる又はキャンセルする方法もとることもできる。
以上のように構成することにより、本実施の形態における映像中継装置を利用することで、過去にさかのぼって映像を再確認することが可能になる。
実施の形態７．
この実施の形態における映像配信システムの構成は実施の形態２（及び実施の形態４と５）と同様であり、図４に示したようなものとする。実施の形態４で述べた第一の映像中継装置１０１における蓄積ユニット２０を、第二の映像中継装置１０２からの要求を受信し、この要求に基づいて蓄積ユニット２０内に蓄積されている任意の時刻の映像を送信対象とするように拡張する。さらに、第二の映像中継装置１０２における蓄積ユニット２０を、端末４００からの要求を受信して、蓄積ユニット２０内に蓄積されている映像を一覧表示するように拡張する。
ユーザが端末４００に表示された映像中に何らかの注目すべき事象を見つけたものとする。ユーザは、端末４００における操作により、第二の映像中継装置１０２内の蓄積ユニット２０に蓄積されている映像フレームの一覧を要求する。端末４００ではこの結果を表示画面に、たとえば図１６のように一覧表示する。図１６において、右スクロールボタンを押すと時間的に新しい映像が表示され（ｔ＋ｘにおけるｘの値が増加）、逆に左スクロールボタンを押すと時間的に古い映像が表示されるようになっている（ｔ−ｘにおけるｘの値が増加）。これによって見たい時刻の映像を指定することを可能にする。ユーザ操作により端末４００で見たい時刻が指定されると、その要求は第二の映像中継装置１０２を経由して第一の映像中継装置１０１に送信される。第一の映像中継装置１０１は、要求を受け取って蓄積ユニット２０の中に要求された時刻の映像が存在するかを確認し、存在した場合これを第二の映像中継装置１０２に対して配信する。なお、ここでの配信機構は実施の形態６で説明したような方法を取ることができる。すなわち、要求された映像は通常配信に割り込ませて配信するものとし、さらに要求された映像に付与された識別データ（ＩＤ）によって、第二の映像中継装置１０２から要求されたものであることがわかるようになっている。これによって、実施の形態６同様に要求した映像は常に端末４００上で表示しておくことが可能となる。
以上のように構成することにより、第二の映像中継装置１０２には配信されてきた品質での映像だけが蓄積されているので、それを利用して一覧を端末４００に対して提供することができ、端末４００ではユーザ操作によって一覧表示された中から任意の時刻の映像を要求して第一の映像中継装置１０１から映像を配信してもらうことができるので、監視を行う際に気づいた異変をより高画質な状態で見たい場合などに効果がある。
産業上の利用可能性
この発明の好適な実施の形態によれば、映像再構成ユニットは、解析分類ユニットによって分類された領域に対し、映像を再構成し、再構成した映像を端末に送信するので、限られた伝送容量の通信ユニットを用いた映像配信システムにおいて、サーバと端末の間に映像中継装置を挿入することにより映像を高品質で表示して確認することができる。
また、この発明の好適な実施の形態によれば、映像の取捨選択と、映像の画質の変更と、映像の再生速度との少なくともいずれかを調整して、映像再構成ユニットが映像の品質を変更することができる。
また、この発明の好適な実施の形態によれば、映像再構成ユニットが、領域定義ユニットによって定義された領域に対し、領域分類ユニットによって分類された結果に応じて映像を再構成することができる。
また、この発明の好適な実施の形態によれば、映像解析ユニットが、映像を解析する映像解析ユニットを備えているので、領域定義ユニットが前記映像解析ユニットによる解析結果に基づき領域を定義できるとともに、領域分類ユニットが映像解析ユニットによる解析結果に基づき領域を分類することができる。
また、この発明の好適な実施の形態によれば、映像解析ユニットが被写体または撮像装置の変化の大小を解析し、映像再構成ユニットが、時間軸に沿って分割された区間ごとに、被写体または撮像装置の変化の大小に基づき、再生速度を変化させて映像を再構成するので、変化の大きなシーンを選択的に高品質で表示して確認することができる。
また、この発明の好適な実施の形態によれば、映像解析ユニットが被写体の移動を検出し、映像再構成ユニットは各時刻において被写体が映っている位置に応じて、映像を再構成するので、特定の被写体が映っている部分を選択的に高品質で表示して確認することができる。
また、この発明の好適な実施の形態によれば、領域定義ユニットまたは領域分類ユニットは、ユーザの要求を受信することによって映像区間の定義または分類を行うので、ユーザが詳しく見たい部分を選択的に高品質で表示して確認することができる。
また、この発明の好適な実施の形態によれば、サーバと端末の間に映像中継装置を配置したので、限られた伝送容量の通信路を利用しても、特定のシーンを高品質で表示して確認することができる映像配信システムを得ることができる。
【図面の簡単な説明】
図１は、実施の形態１の映像中継装置１００の構成例を示す構成図である。
図２は、実施の形態１の映像中継装置１００を用いた映像配信システムの構成例を示した図である。
図３は、実施の形態１の映像解析ユニットの動作を説明する図である。
図４は、実施の形態２の映像配信システムの構成を示した図である。
図５は、実施の形態２の映像配信の考え方を説明する図である。
図６は、実施の形態３の受信した映像の例を示す図である。
図７は、実施の形態３の領域定義ユニットおよび映像再構成ユニットの動作を説明する図である。
図８は、実施の形態４における端末画面の例を示す図である。
図９は、実施の形態５による映像配信システムの端末４００の画面の例を示す図である。
図１０は、従来の映像中継装置を用いた映像配信システムの構成を説明する図である。
図１１は、一般の映像配信システムについて説明する図である。
図１２は、実施の形態１の解析分類ユニット８０の動作フローチャート図である。
図１３は、実施の形態１の映像再構成ユニット３０の動作フローチャート図である。
図１４は、実施の形態１の動的区間と静的区間における映像再構成ユニット３０の画像フレームの取捨選択動作の一例を示す図である。
図１５は、実施の形態６の「過去映像」の割り込み配信の図である。
図１６は、実施の形態７の画像の一覧表示をした端末４００の画面の例を示す図である。
【図１】
2003084225.tif 000003
【図２】
2003084225.tif 000004
【図３】
2003084225.tif 000005
【図４】
2003084225.tif 000006
【図５】
2003084225.tif 000007
【図６】
2003084225.tif 000008
【図７】
2003084225.tif 000009
【図８】
2003084225.tif 000010
【図９】
2003084225.tif 000011
【図１０】
2003084225.tif 000012
【図１１】
2003084225.tif 000013
【図１２】
2003084225.tif 000014
【図１３】
2003084225.tif 000015
【図１４】
2003084225.tif 000016
【図１５】
2003084225.tif 000017
【図１６】
2003084225.tif 000018
【国際調査報告】
2003084225.tif 000019
2003084225.tif 000020
2003084225.tif 000021
2003084225.tif 000022