(57)【要約】【課題】  ネットワークや画像データサイズなどにより、データ取得時間が目標フレームレートに対して長すぎる場合でも、状況に応じた性能で画像の取得が可能で、ユーザに適切な情報を提供できる画像データ受信装置を提供する。【解決手段】  設定されたフレームレートＦに応じたフレーム間隔Ｔfでカメラ６０２に対して画像データの送信を要求するとともに、設定されたタイムアウト時間Ｔｏ内にカメラから画像データを受信しない場合にカメラに対して画像データの再送を要求して、送信要求又は再送要求を送信した後、カメラから画像データを受信するまでの所定フレーム数の画像データ取得時間Ｔの平均値Ｔm、及び設定されたフレームレートＦに応じたフレーム間隔Ｔfに基づいて、設定されたフレームレートＦ及びタイムアウト時間Ｔｏを補正する必要があるか否かを判断し、必要がある場合には補正するとともに、補正した旨をユーザに通知する。【選択図】  図４
2007036902.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークに接続されたカメラにより撮像して得られた画像データを前記ネットワークを介して受信する画像データ受信装置であって、
前記カメラから受信する画像データのフレームレートと再送要求のためのタイムアウト時間とをあらかじめ設定する設定手段と、
前記設定手段により設定されたフレームレートに応じたフレーム間隔で前記カメラに対して画像データの送信を要求するとともに、前記設定手段により設定されたタイムアウト時間内に前記カメラから画像データを受信しない場合に前記カメラに対して画像データの再送を要求する送信要求手段と、
前記送信要求手段により送信要求を送信した後、前記カメラから画像データを受信するまでの画像データ取得時間を所定回数分計測してその平均値を算出し、この平均値と前記設定されたフレームレートに応じたフレーム間隔とに基づいて、前記画像データ取得時間が前記フレーム間隔よりも短くなるように前記フレームレートを変更する必要があるか否かを判断する判定手段と、
前記判定手段により変更の必要があると判定された場合に、前記フレームレートを変更するとともに前記変更の旨を利用者に通知する通知手段とを、
備える構成とした画像データ受信装置。
【請求項２】
ネットワークに接続されたカメラにより撮像して得られた画像データを前記ネットワークを介して受信する画像データ受信方法であって、
前記カメラから受信する画像データのフレームレートと再送要求のためのタイムアウト時間とをあらかじめ設定する設定ステップと、
前記設定ステップにより設定されたフレームレートに応じたフレーム間隔で前記カメラに対して画像データの送信を要求するとともに、前記設定ステップにより設定されたタイムアウト時間内に前記カメラから画像データを受信しない場合に前記カメラに対して画像データの再送を要求する送信要求ステップと、
前記送信要求ステップにより送信要求を送信した後、前記カメラから画像データを受信するまでの画像データ取得時間を所定回数分計測してその平均値を算出し、この平均値と前記設定されたフレームレートに応じたフレーム間隔とに基づいて、前記画像データ取得時間が前記フレーム間隔よりも短くなるように前記フレームレートを変更する必要があるか否かを判定する判定ステップと、
前記判定ステップにより変更の必要があると判定された場合に、前記フレームレートを変更するとともに前記変更の旨を利用者に通知する通知ステップとを、
実行する画像データ受信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワーク上のカメラにより撮像された画像データを受信する画像データ受信装置及び画像データ受信方法に関する。
【背景技術】
【０００２】
映像監視や観光地のガイドなどの目的で、カメラで撮像した画像をネットワークを介して伝送するネットワーク画像伝送システムが広く用いられている（例えば下記の特許文献１参照）。このようなネットワーク画像伝送システムの例を図６に示す。図６において、パーソナルコンピュータ（ＰＣ）６０１と複数のネットワークカメラ６０２（６０２ａ、６０２ｂ、６０２ｃ…）がネットワーク６０３を介して接続され、ネットワークカメラ６０２で撮像した映像をデジタル化、データ圧縮などの工程を経て、ネットワーク６０３を介して画像データ受信装置であるＰＣ６０１に送り、ＰＣ６０１ではそのままハードディスクなどの蓄積装置に保存するか、データ復号化の後にディスプレイ装置などに映像を表示する。
【０００３】
図７は図６における１台のネットワークカメラ６０２と１台のＰＣ６０１との画像データ取得の手順を表している。ＰＣ６０１とネットワークカメラ６０２との間の画像送信の手順について説明する。まずＰＣ６０１からネットワークカメラ６０２に対して画像データの送信要求をネットワーク６０３経由で送信すると、それにネットワークカメラ６０２が応答し、撮像した画像を、例えばＪＰＥＧ（Joint Picture Experts Group）などの方式で圧縮し、圧縮した画像データをＰＣ６０１に返送する。設定フレームレートが１０ｆｐｓの場合はこのやり取りを１秒間に１０回行い、１０ｆｐｓの画像を取得する。
【０００４】
一方、通信経路上でデータが消失する可能性があり、単に要求データ受信まで待つような方式では、永久にデータを待ち続けることになる。そこで一般に、図８の破線のようにタイムアウト時間を設け、タイムアウト時にデータの受信が完了しなければ、画像の全部もしくは一部の再送を要求し、通信を継続する。また、再送要求に対して再度タイムアウトした場合は、その画像の受信を停止し、新たな画像を要求する。ここで、ネットワークカメラ６０２に画像データ送信の要求を出してから到着までの時間をデータ取得時間とすると、データ取得時間は回線の状況やネットワークの構成に影響されて変動する。タイムアウト時間がデータ取得時間よりも短いと、データが送られてくるにもかかわらず常にタイムアウトとなり、画像の受信が正常に行われなくなる。それに対して下記の特許文献２に示す方法により、実際にデータ受信に要する時間を測定し、それを基に最適なタイムアウト時間を設定する方式が提案されている。
【特許文献１】特開平８−３１７３７４号公報（要約書）
【特許文献２】特開平２−１１３６５４号公報（特許請求の範囲）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、監視カメラなどの画像データを送受信する場合、通常、単位時間に取得する画像枚数（フレームレート）が指定される。データ取得時間が指定フレーム間隔よりも長い場合、特許文献２に開示された方式ではデータ取得時間にタイムアウトの補正を行うことにより、指定フレームレートで画像取得できず、ユーザにとって目的と結果の不整合が生じるという課題があった。
【０００６】
また、従来の画像受信装置では、タイムアウトが発生した場合に、ユーザにとっては単に指定した頻度で画像が取得できないことしか分からないので、設定を見直すべきなのか、ネットワークの回線を改善すべきなのか、カメラの故障なのか、受信装置の故障なのかなどの判断材料がなく使い勝手に問題があるという課題があった。
【０００７】
本発明は上記従来技術の問題点に鑑み、ネットワークや画像データサイズなどにより、データ取得時間が目標フレームレートに対して長すぎる場合でも、状況に応じた性能で画像の取得が可能であるだけでなく、さらにユーザに適切な画像取得情報を提供することができる画像データ受信装置及び画像データ受信方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は上記目的を達成するために、ネットワークに接続されたカメラにより撮像して得られた画像データを前記ネットワークを介して受信する画像データ受信装置であって、
前記カメラから受信する画像データのフレームレートと再送要求のためのタイムアウト時間とをあらかじめ設定する設定手段と、
前記設定手段により設定されたフレームレートに応じたフレーム間隔で前記カメラに対して画像データの送信を要求するとともに、前記設定手段により設定されたタイムアウト時間内に前記カメラから画像データを受信しない場合に前記カメラに対して画像データの再送を要求する送信要求手段と、
前記送信要求手段により送信要求を送信した後、前記カメラから画像データを受信するまでの画像データ取得時間を所定回数分計測してその平均値を算出し、この平均値と前記設定されたフレームレートに応じたフレーム間隔とに基づいて、前記画像データ取得時間が前記フレーム間隔よりも短くなるように前記フレームレートを変更する必要があるか否かを判断する判定手段と、
前記判定手段により変更の必要があると判定された場合に、前記フレームレートを変更するとともに前記変更の利用者に通知する通知手段とを備えたことを特徴とする。
【０００９】
また本発明は上記目的を達成するために、ネットワークに接続されたカメラにより撮像して得られた画像データを前記ネットワークを介して受信する画像データ受信方法であって、
前記カメラから受信する画像データのフレームレートと再送要求のためのタイムアウト時間とをあらかじめ設定する設定ステップと、
前記設定ステップにより設定されたフレームレートに応じたフレーム間隔で前記カメラに対して画像データの送信を要求するとともに、前記設定ステップにより設定されたタイムアウト時間内に前記カメラから画像データを受信しない場合に前記カメラに対して画像データの再送を要求する送信要求ステップと、
前記送信要求ステップにより送信要求を送信した後、前記カメラから画像データを受信するまでの画像データ取得時間を所定回数分計測してその平均値を算出し、この平均値と前記設定されたフレームレートに応じたフレーム間隔とに基づいて、前記画像データ取得時間が前記フレーム間隔よりも短くなるように前記フレームレートを変更する必要があるか否かを判定する判定ステップと、
前記判定ステップにより変更の必要があると判定された場合に、前記フレームレートを変更するとともに前期変更の旨を利用者に通知する通知ステップとを実行することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ネットワーク回線の品質や画像データ量などにより、データ取得時間が目標フレームレートに対して長すぎる場合でも、状況に応じた性能で画像の取得が可能であり、かつ、設定のフレームレートでの画像受信ができない場合にユーザにその理由と対応情報を提供することが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明の実施の形態について説明する。図１は本発明に係る画像データ受信装置の一実施の形態を示すブロック図、図２は図１の通信管理部の画像伝送開始時の処理を示すフローチャート、図３は図１の通信部における画像伝送及び画像伝送時間の測定処理を示すフローチャート、図４は図１の通信管理部におけるタイムアウト時間補正値とフレームレート補正値を求める処理を示すフローチャート、図５はフレームレートの補正をユーザに知らせるダイアログの例を示す説明図である。
【００１２】
図１は本実施の形態の画像データ受信装置のソフトウエア及びハードウエアを説明するための機能ブロック図であり、ユーザインタフェース４０１と、設定保持部４０２と、通信管理部４０３と、通信部４０４と、データ処理部４０５と、通信インタフェース４０６と、現在時刻を計時する計時部４０７と、データ蓄積部４０８を備えている。本実施の形態の画像データ受信装置を含むネットワーク画像伝送システムのシステム構成図は従来技術と同様の図６で示され、図１に示す各機能ブロック４０１〜４０８は図６に示すＰＣ６０１のソフトウエア及びハードウエアにより実現される。ネットワークカメラ６０２とＰＣ６０１とがネットワーク６０３で接続されていて、ネットワークカメラ６０２で撮像した映像をデジタル化、データ圧縮などの工程を経て、ネットワーク６０３を介してＰＣ６０１に送り、ＰＣ６０１ではそのままハードディスクなどのデータ蓄積部４０８に保存するか、データ処理部４０５でのデータ復号化の後にユーザインタフェース４０１のディスプレイ装置などに映像を表示する。また、ＰＣ６０１がネットワークカメラ６０２から画像データを取得する手順は従来技術と同じく図７、図８で表される。
【００１３】
以下に示す方法で送受信を行う。ネットワークカメラ６０２のＩＰアドレスや各ネットワークカメラ６０２からの画像取得レートなどは設定保持部４０２にあらかじめ保持されているものとする。ここでは仮に指定フレームレートＦを１０ｆｐｓ（したがって指定フレーム間隔Ｔf は１００msec）、タイムアウト時間Ｔｏは１０msecとする。図２において、通信管理部４０３は設定保持部４０２よりフレームレートＦの設定値（初期値）を読み取り（ステップＳ１０１）、通信部４０４にフレームレートＦを設定する（ステップＳ１０２）。次に設定保持部４０２からタイムアウト時間Ｔｏの初期値を読み取って（ステップＳ１０３）、通信部４０４にタイムアウト値Ｔｏを設定する（ステップＳ１０４）。そして通信部４０４に通信開始コマンドを発行し（ステップＳ１０５）、画像取得を開始する。
【００１４】
通信部４０４の動作を図３を用いて説明する。まず、通信開始時に再送ＦＬＧ（ｆｌａｇ：フラグ）をオフに初期化する（ステップＳ２１８）。次に、画像要求コマンドを送信すると（ステップＳ２０１）、現在時刻を画像要求コマンド送信時刻Ｔsとして不図示のメモリに記録する（ステップＳ２０２）。次に、受信データがあるかどうかを判断し（ステップＳ２０３）、ある場合は応答データを受信する（ステップＳ２０４）。次に、受信が完了したかどうかを判断し（ステップＳ２０５）、完了であれば画像受信完了時に現在時刻と、メモリに記録された画像要求送信時刻Ｔｓとの差を画像データ取得時間Ｔとして求める（ステップＳ２０６）。そして次に、再送ＦＬＧを確認し（ステップＳ２１９）、再送ＦＬＧがオンであれば再送ＦＬＧをオフにして（ステップＳ２２０）、ステップＳ２０６で求めた画像データ取得時間Ｔにタイムアウト時間Ｔｏを加算し（ステップＳ２２１）、後述するステップＳ２１５に移行する。一方、ステップＳ２１９で再送ＦＬＧがオフであった場合もステップＳ２１５に移行する。
【００１５】
ステップＳ２０３で受信データがない場合と、ステップＳ２０５で受信が完了していない場合はタイムアウトかどうかを判断し（ステップＳ２０７）、タイムアウトでない場合は２msecのスリープ時間をおいて（ステップＳ２０８）ステップＳ２０３に戻る。ステップＳ２０７において画像が正常に取得できずにタイムアウトとなった場合は再送ＦＬＧを確認し（ステップＳ２０９）、再送ＦＬＧがオフ（降りる）の場合は再送ＦＬＧをオン（立つ）にしてから（ステップＳ２１０）再送コマンドを送信し（ステップＳ２１１）、画像要求コマンド送信時刻Ｔs を現在時刻に書き換え（ステップＳ２１２）、２msecの間をおいた後に（ステップＳ２０８）ステップＳ２０３に戻る。
【００１６】
一方、ステップＳ２０９で再送ＦＬＧがオンの場合は、再送ＦＬＧをオフにしてから（ステップＳ２１３）、タイムアウト時間Ｔｏ＋定数を画像データ取得時間Ｔとして求める（ステップＳ２１４）。例えば定数を１０msec、Ｔｏ＝３０msecでタイムアウトが発生した場合は、そのときの画像取得時間Ｔは３０＋１０＝４０msecとなる。前述のステップＳ２１９でＮＯのとき、あるいはステップＳ２２１、又はステップＳ２１４の後に、通信部４０４は通信管理部４０３に対して現在の画像データ取得時間Ｔを通知する（ステップＳ２１５）。そして現在時刻がＴs ＋Ｔf より大きいかどうかを判断し（ステップＳ２１６）、大きい場合はステップＳ２０１に戻る。そうでない場合は２msecだけスリープした後（ステップＳ２１７）、ステップＳ２１６に戻る。
【００１７】
通信管理部４０３では、通知された画像データ取得時間Ｔの値を記憶し、その最近所定回数分の画像データ取得時間Ｔの平均値Ｔm を求める。ここでは所定回数を仮に１００回とし、最近１００回のＴの平均値をＴm とする。以下に手順を図４を用いて説明する。まず、タイムアウト値Ｔｏを
Ｔｏ＝Ｔm×α
とし（ステップＳ３０１）、通信部４０４に設定する（ステップＳ３０２）。通信部４０４ は以後設定された補正タイムアウト値Ｔｏの値を基に動作する。例えば、
Ｔm ＝３０msec
α＝２．０
とすると、
Ｔｏ＝３０msec×２．０＝６０msec
となる。
【００１８】
定数αの値は１．０以上の値で、大きいほどタイムアウト値Ｔｏが実際のデータ取得時間Ｔに対して長くなり、データ取得時間Ｔにバラツキがある場合にタイムアウトとなる可能性が低くなる一方で、大きいほどタイムアウトを検知するまでに時間がかかることになる。この値αは、実際の稼動環境におけるネットワーク遅延の揺らぎやデータ欠落の頻度などを基に設定する。具体的には、ネットワーク遅延の揺らぎが大きい場合は、α値も大きく（例えば、３．０）、ネットワーク遅延の揺らぎがなくパケットロスが頻繁に発生する場合は小さく（例えば、１．５）設定する。タイムアウト値Ｔｏ
を設定する別の方法として、所定回数分のＴの値の標準偏差σを求め、
Ｔｏ＝Ｔm ＋６σ
など、タイムアウト値Ｔｏを平均値Ｔm と標準偏差σに基づいて設定することも好適である。
【００１９】
次に画像データ取得時間Ｔの平均値Ｔm をもとに指定フレーム間隔Ｔf の補正が必要か判断する（ステップＳ３０３）。
Ｔm ×β＜Ｔf …（１）
を満たすかどうかをみて（ステップＳ３０３）、満たす場合は補正が不要と判断し処理を終了する（ステップＳ３０７）。満たさない場合は、指定フレーム間隔Ｔf に対して画像データ取得時間Ｔが長すぎると判断して、指定フレーム間隔Ｔf を
Ｔf ＝Ｔm×β
に補正する（ステップＳ３０４）。例えば、
Ｔm ＝３０msec
β＝４．０
とすると、
Ｔm ×β＝３０×４．０＝１２０msec
となる。指定フレーム間隔Ｔf ＝１００msecであることから、式（１）を満たさないので、補正フレーム間隔Ｔf'を１２０msecとする。
【００２０】
次に指定フレーム間隔Ｔf を補正したことに伴い、指定フレームレートＦを
Ｆ＝１／Ｔf
に補正し、通信部４０４に設定する（ステップＳ３０５）。通信部４０４は以後設定された補正フレームレートＦで動作する。補正フレーム間隔Ｔf として１２０msecに補正した場合は、
Ｆ＝１／１２０（msec）＝８．３３３３．．
＝８（ｆｐｓ）（小数点以下切り下げ）
を通信部４０４に設定する。
【００２１】
次に指定フレームレートＦを変更した場合には、その旨をユーザインタフェース４０１を通じてユーザに通知する（ステップＳ３０６）。図５はユーザに通知するメッセージの一例として、指定フレームレートＦ＝１０ｆｐｓを補正フレームレートＦ＝８ｆｐｓに変更した場合にユーザインタフェース４０１のディスプレイ装置に表示するダイアログの例である。
【００２２】
また、ステップＳ３０４における指定フレーム間隔Ｔf の別の設定方法として、以下のような方法も取り得る。まず画像データ取得時間Ｔの平均値Ｔm と標準偏差σを基に指定フレーム間隔Ｔf の補正が必要か判断する。
Ｔm ＋６σ＜Ｔf  …（２）
を満たすかどうかを調べ、満たす場合は補正が不要と判断し処理を終了する。満たさない場合は、指定フレーム間隔Ｔf に対して画像データ取得時間Ｔが長すぎると判断して、指定フレーム間隔Ｔf を
Ｔf ＝Ｔm ＋６σ
と補正する。例えば、
Ｔm ＝６０msec
σ＝１０．０
とすると、
Ｔm ＋６σ＝６０＋１０．０×６＝１２０msec
となる。Ｔf ＝１００ msec であるので式（２）を満たさないので、補正フレーム間隔Ｔfを１２０msecとする。
【００２３】
次にＴf を補正したことに伴い、指定フレームレートＦを
Ｆ＝１／Ｔf
により補正し、補正フレームレートＦを通信部４０４に設定する。通信部４０４は以後設定された補正フレームレートＦで動作する。補正フレーム間隔Ｔf として１２０msecに補正した場合は、
Ｆ＝１／１２０（msec）＝８．３３３３．．
＝８（ｆｐｓ）（小数点以下切り下げ）
を通信部４０４に設定する。
【００２４】
このように本実施の形態の画像受信装置は、画像要求コマンド送信から画像受信完了までの時間を測定し、その値に応じてタイムアウト値とフレームレートを補正してユーザに通知することとしたので、ネットワークや画像データサイズなどにより、データ取得時間が目標フレームレートに対して長すぎる場合でも、状況に応じた性能で画像の取得が可能な画像データ受信装置を提供することができる。
【００２５】
さらに従来の画像データ受信装置では、タイムアウトが発生した場合に、ユーザにとっては単に指定した頻度で画像が取得できないことしか分からないので、設定を見直すべきなのか、ネットワークの回線を改善すべきなのか、カメラの故障なのか、受信装置の故障なのかなどの判断材料がなく、使い勝手に問題があるという課題があったが、画像受信装置は、以上の方法によりネットワークや画像データサイズなどにより、データ取得時間が目標フレームレートに対して長すぎる場合でも、状況に応じた性能で画像の取得が可能であるだけでなく、さらにユーザに適切な情報を提供できるという効果を奏する。
【００２６】
以上のようにフレームレートＦ及びフレーム間隔Ｔｆの補正を行って通信を継続しながら、さらに定期的にフレームレートＦとフレーム間隔Ｔｆとを初期値に戻して運用することも好適である。
【図面の簡単な説明】
【００２７】
【図１】本発明に係る画像データ受信装置の一実施の形態を示すブロック図である。
【図２】図１の通信管理部の画像伝送開始時の処理を示すフローチャートである。
【図３】図１の通信部における画像伝送及び画像伝送時間の測定処理を示すフローチャートである。
【図４】図１の通信管理部におけるタイムアウト時間補正値とフレームレート補正値を求める処理を示すフローチャートである。
【図５】フレームレートの補正をユーザに知らせるダイアログの例を示す説明図である。
【図６】従来の画像伝送システムの例を示すシステム構成図である。
【図７】従来の画像伝送システムの画像送信要求手順を示す説明図である。
【図８】従来の画像伝送システムの画像再送要求手順を示す説明図である。
【符号の説明】
【００２８】
４０１  ユーザインタフェース
４０２  設定保持部
４０３  通信管理部
４０４  通信部
４０５  データ処理部
４０６  通信インタフェース
４０７  計時部
４０８  データ蓄積部
６０１  パーソナルコンピュータ（ＰＣ）
６０２  ネットワークカメラ
６０３  ネットワーク
【図１】
2007036902.tif 000003
【図２】
2007036902.tif 000004
【図３】
2007036902.tif 000005
【図４】
2007036902.tif 000006
【図５】
2007036902.tif 000007
【図６】
2007036902.tif 000008
【図７】
2007036902.tif 000009
【図８】
2007036902.tif 000010