(57)【要約】  【課題】  カメラ操作が無いときには画像データの到着時間に揺らぎがあっても安定した画像を表示でき、カメラ操作があるときにはその操作が表示画像に反映される遅延時間を自動的に低減できるようにする。  【解決手段】  画像伝送システムでは、ネットワーク２を介して画像送信装置３及び画像受信装置１が接続されている。画像受信装置１は、操作部１０２、バッファ制御部１０４、画像伸張部１０５、表示部１０１等を備える。バッファ制御部１０４は、バッファメモリ１０４ａを有し、画像送信装置３に備わるカメラが操作部１０２から操作されると、カメラ操作の有無に基づき、伸張前の画像データを蓄積するバッファメモリ１０４ａの蓄積量を変更する。これにより、カメラ操作の状態に応じた遅延時間で画像表示が行われる。【選択図】  図１
2006074441.tif 000002
【特許請求の範囲】
【請求項１】
カメラで撮影された画像データをネットワークを介して受信する画像受信装置であって、
前記ネットワークを介して前記カメラから送信される画像データを受信する受信手段と、
前記受信した画像データを蓄積する画像データ蓄積手段と、
前記ネットワークを介して前記カメラを操作する操作手段と、
前記操作手段によるカメラ操作に基づき、前記画像データ蓄積手段の蓄積量を制御するバッファ制御手段と
を備える画像受信装置。
【請求項２】
請求項１記載の画像受信装置であって、
前記バッファ制御手段は、前記操作手段によるカメラ操作があった場合、前記画像データ蓄積手段の蓄積量を画像データの所定のコマ数分に相当する第１のしきい値に設定し、前記操作手段によるカメラ操作が無かった場合、前記第１のしきい値より多いコマ数分に相当する第２のしきい値に設定する画像受信装置。
【請求項３】
請求項１記載の画像受信装置であって、
前記バッファ制御手段は、前記操作手段によるカメラ操作の操作内容に対応するしきい値を記憶するしきい値記憶手段を備え、前記操作手段によるカメラ操作があった場合、前記画像データ蓄積手段の蓄積量を、画像データの所定のコマ数分に相当するしきい値として、当該カメラ操作の操作内容に対応する値に設定する画像受信装置。
【請求項４】
請求項１から３のいずれか一項記載の画像受信装置であって、
前記操作手段によるカメラ操作は、パン、チルト、ズームのうちのいずれか一つを含む撮影画像位置変更動作を持つ画像受信装置。
【請求項５】
請求項１から３のいずれか一項記載の画像受信装置であって、
前記画像データ蓄積手段に蓄積された画像データを伸張する画像伸張手段を備え、
前記画像データ蓄積手段は、前記伸張される前の画像データを蓄積する画像受信装置。
【請求項６】
カメラで撮影された画像データをネットワークを介して受信する画像受信方法であって、
前記ネットワークを介して前記カメラから送信される画像データを受信する受信ステップと、
前記受信した画像データを画像データ蓄積手段に蓄積する蓄積ステップと、
前記ネットワークを介して前記カメラを操作する操作ステップと、
前記操作ステップによるカメラ操作に基づき、前記受信した画像データを蓄積する画像データ蓄積手段の蓄積量を制御するバッファ制御ステップと
を有する画像受信方法。
【請求項７】
ネットワークを介してカメラ及び画像受信装置が接続され、前記カメラで撮影された画像データを前記ネットワークを介して前記画像受信装置で受信する画像伝送システムであって、
前記画像受信装置は、前記ネットワークを介して前記カメラから送信される画像データを受信する受信手段と、前記受信した画像データを蓄積する画像データ蓄積手段と、前記ネットワークを介して前記カメラを操作する操作手段と、前記操作手段によるカメラ操作に基づき、前記画像データ蓄積手段の蓄積量を制御するバッファ制御手段とを備え、
前記カメラは、前記画像受信装置からの操作に従って、撮影動作を変更する撮影動作変更手段と、撮影した画像データを送信する送信手段とを備える画像伝送システム。
【請求項８】
コンピュータに、請求項１から５のいずれか一項記載の画像受信装置の各手段の機能を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークを介して画像データを受信する画像受信装置及び画像受信方法、並びに画像伝送システムに関する。
【背景技術】
【０００２】
従来、画像伝送システムでは、映像信号を符号化し、画像データをパケットとしてネットワークに伝送する際、ネットワークにおける画像データの到着時間の揺らぎにより、受信端末で映像信号の遅延が発生することがあった。受信端末から送信端末側のカメラに対し、パン、チルト等の操作を行う場合、この映像伝送の遅延が大きい程、操作結果の受信映像への反映が遅れ、操作性が低下する。
【０００３】
受信端末として用いられる、従来の画像受信装置は、圧縮・符号化された画像データを伸長する画像伸張部、操作に必要な指示枠を発生する指示枠発生部、指示枠に画像を合成する画像合成部、及び操作情報を解析する操作情報解析部等を有して構成されている（例えば特許文献１参照）。この画像受信装置では、操作情報及び画像の表示遅延を解析し、遅延した画面上に移動予想位置を提示することによって操作性の低下を抑制していた。
【０００４】
また、他の従来例として、映像伝送の遅延による操作性の低下を回避するために、画像送信装置に画像圧縮部及び制御変化検出部を設け、符号化モードを低遅延のものに変更することによって、カメラ操作時に符号化時間の遅延を低減する方法が知られている（例えば特許文献２参照）。
【０００５】
【特許文献１】特開２００２−１６５２１２号公報
【特許文献２】特開２０００−２９５６０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来の画像受信装置では、カメラ操作の予測位置を提示することにより操作の確度は向上すると期待されるが、依然として操作結果が反映された画像表示に至るまでの時間を低減できなかった。
【０００７】
また、上記従来の映像伝送の遅延低減方法では、符号化及び復号化にかかる時間だけを短縮するものであり、受信バッファの遅延時間については低減できなかった。
【０００８】
本発明は、上記事情に鑑みてなされたもので、カメラ操作が無いときには、画像データの到着時間に揺らぎがあっても安定した画像を表示でき、カメラ操作があるときには、その操作が表示画像に反映される遅延時間を低減することができる画像受信装置及び画像受信方法、並びに画像伝送システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、カメラで撮影された画像データをネットワークを介して受信する画像受信装置であって、前記ネットワークを介して前記カメラから送信される画像データを受信する受信手段と、前記受信した画像データを蓄積する画像データ蓄積手段と、前記ネットワークを介して前記カメラを操作する操作手段と、前記操作手段によるカメラ操作に基づき、前記画像データ蓄積手段の蓄積量を制御するバッファ制御手段とを備えるものである。
【００１０】
これにより、表示装置等に画像データを出力する際、カメラ操作が無い場合、画像データの到着時間に揺らぎがあっても安定した画像を表示しつつ、カメラ操作がある場合、その操作が表示画像に反映される遅延時間を低減できる。このように、カメラ操作に基づき、画像データ蓄積手段の蓄積量を制御することにより、カメラ操作の状態に応じて画像表示の遅延時間を設定可能である。例えば、カメラ操作が無い場合、画像データ蓄積手段の蓄積量を多く設定し、画像データの到着時間の揺らぎの影響を抑制した画像の安定表示を行うことが可能である。また、カメラ操作がある場合、画像データ蓄積手段の蓄積量を少なく設定し、その操作が画面に反映されるまでの時間を減らして操作誤りを抑制することが可能である。
【００１１】
また、本発明の一態様として、上記の画像受信装置であって、前記バッファ制御手段は、前記操作手段によるカメラ操作があった場合、前記画像データ蓄積手段の蓄積量を画像データの所定のコマ数分に相当する第１のしきい値に設定し、前記操作手段によるカメラ操作が無かった場合、前記第１のしきい値より多いコマ数分に相当する第２のしきい値に設定するものとする。
これにより、画像データのコマ単位に画像データ蓄積手段の蓄積量を設定でき、画像データ蓄積手段を効率良く利用できる。
【００１２】
また、本発明の一態様として、上記の画像受信装置であって、前記バッファ制御手段は、前記操作手段によるカメラ操作の操作内容に対応するしきい値を記憶するしきい値記憶手段を備え、前記操作手段によるカメラ操作があった場合、前記画像データ蓄積手段の蓄積量を、画像データの所定のコマ数分に相当するしきい値として、当該カメラ操作の操作内容に対応する値に設定するものとする。
これにより、例えばカメラの移動等のカメラ操作内容に適した画像データの応答性を確保することができ、操作性を高めることができる。
【００１３】
また、本発明の一態様として、上記の画像受信装置であって、前記操作手段によるカメラ操作は、パン、チルト、ズームのうちのいずれか一つを含む撮影画像位置変更動作を持つものとする。
これにより、パン、チルト、ズーム等のカメラ操作内容に応じて、画像データ蓄積手段の蓄積量を制御し、画像伝送の揺らぎの影響を抑制しつつカメラ操作の操作性を向上させることが可能である。
【００１４】
また、本発明の一態様として、上記の画像受信装置であって、前記画像データ蓄積手段に蓄積された画像データを伸張する画像伸張手段を備え、前記画像データ蓄積手段は、前記伸張される前の画像データを蓄積するものとする。
これにより、伸張前の画像データの蓄積量を制御することができ、時間のかかる無駄な画像伸張処理を省くことができる。
【００１５】
本発明は、カメラで撮影された画像データをネットワークを介して受信する画像受信方法であって、前記ネットワークを介して前記カメラから送信される画像データを受信する受信ステップと、前記受信した画像データを画像データ蓄積手段に蓄積する蓄積ステップと、前記ネットワークを介して前記カメラを操作する操作ステップと、前記操作ステップによるカメラ操作に基づき、前記受信した画像データを蓄積する画像データ蓄積手段の蓄積量を制御するバッファ制御ステップとを有するものである。
これにより、カメラ操作に応じて画像データ蓄積手段の蓄積量を制御し、画像伝送の揺らぎの影響を抑制しつつカメラ操作の操作性を向上させることが可能である。
【００１６】
本発明は、ネットワークを介してカメラ及び画像受信装置が接続され、前記カメラで撮影された画像データを前記ネットワークを介して前記画像受信装置で受信する画像伝送システムであって、前記画像受信装置は、前記ネットワークを介して前記カメラから送信される画像データを受信する受信手段と、前記受信した画像データを蓄積する画像データ蓄積手段と、前記ネットワークを介して前記カメラを操作する操作手段と、前記操作手段によるカメラ操作に基づき、前記画像データ蓄積手段の蓄積量を制御するバッファ制御手段とを備え、前記カメラは、前記画像受信装置からの操作に従って、撮影動作を変更する撮影動作変更手段と、撮影した画像データを送信する送信手段とを備えるものである。
これにより、カメラ操作に応じて画像データ蓄積手段の蓄積量を制御し、画像伝送の揺らぎの影響を抑制しつつカメラ操作の操作性を向上させることが可能である。
【００１７】
また、本発明は、コンピュータに、上記いずれかに記載の画像受信装置の各手段の機能を実現させるためのプログラムを提供する。
【発明の効果】
【００１８】
本発明によれば、カメラ操作が無いときには、画像データの到着時間に揺らぎがあっても安定した画像を表示でき、カメラ操作があるときには、その操作が表示画像に反映される遅延時間を低減することが可能な画像受信装置及び画像受信方法、並びに画像伝送システムを提供できる。
【発明を実施するための最良の形態】
【００１９】
本実施形態では、ネットワークを介して遠隔地のカメラを操作しながら画像を受信して表示等を行う映像監視システム等、遠隔操作されるカメラで撮影された画像データを伝送する画像伝送システムに適用される画像受信装置の構成例を示す。
【００２０】
（第１の実施形態）
図１は第１の実施形態における画像伝送システムの構成を示す図である。この画像伝送システムは、データ伝送を行うネットワーク２に画像受信装置１及び画像送信装置３が接続された構成を有する。
【００２１】
画像送信装置（カメラ）３は、撮像部（カメラ本体）３１の他、カメラ本体３１の撮影位置制御機構（雲台）３２（撮影動作変更手段の一例に相当する）、撮像部で撮影された画像データを送信する送信部３３（送信手段の一例に相当する）などを備える。この画像送信装置３は、ネットワーク２を介して通知される画像受信装置１からの操作にしたがって、パン、チルト、ズーム等のカメラ撮影範囲変更動作（すなわち撮影画像位置変更動作）を含む撮影動作を行い、ネットワーク２を介して画像受信装置１へ撮影画像の画像データを送信する。
【００２２】
画像受信装置１は、画像を表示する表示部１０１、パン、チルト等のカメラの動きを操作する操作部１０２（操作手段の一例に相当する）、ネットワーク２に接続され、雲台の制御メッセージや画像データをパケットとして送受信するネットワークインタフェース（Ｉ／Ｆ）部１０３（受信手段の一例に相当する）、受信した画像データを一時蓄積するバッファメモリ１０４ａ（画像データ蓄積手段の一例に相当する）を有し、このバッファメモリ１０４ａ内の画像データの蓄積量を制御するバッファ制御部１０４（バッファ制御手段の一例に相当する）、及び圧縮・符号化された画像データを伸張する画像伸張部１０５（画像伸張手段の一例に相当する）を備える。なお、本実施形態では、バッファメモリは、バッファ制御部に内蔵される例を示しているが、外部メモリとして独立して設けられていてもよい。
【００２３】
バッファ制御部１０４は、周知のプロセッサ、後述する制御プログラム等が記憶されたＲＯＭ、ＲＡＭ等のメモリを有する。操作部１０２は、ユーザインタフェースとしてジョイスティック、マウス、キーボード等、使用者によって操作される機械的な位置を計測できる手段を備えたものである。この計測手段として、例えばスティックの移動量、ボタンの押下あるいは移動量を検出するものであってもよいし、Ｗｅｂブラウザや制御専用のモニタ上に表示された仮想的な操作ボタン等の押下や移動を解釈して出力するものであってもよい。
【００２４】
上記構成を有する画像伝送システムの動作を説明する。まず、画像送信装置３からネットワーク２に画像が送信される際、画像送信装置３は、撮像した画像を圧縮・符号化し、生成された画像データをパケットとしてネットワーク２に送信する。ネットワークＩＦ部１０３は、画像送信装置３から送信された画像データを含むパケットを受信し、バッファ制御部１０４に転送する。バッファ制御部１０４は、画像データを一旦、内部のバッファメモリ１０４ａに蓄積し、その蓄積量が所定のしきい値（規定量）に達するまで画像データを画像伸張部１０５に出力しない。そして、画像データの蓄積量が規定量に達すると、バッファ制御部１０４は、画像伸張部１０５に画像データを出力する。画像伸張部１０５は、圧縮・符号化された画像データを伸張して表示部１０１に送る。表示部１０１は、画像伸張部１０５から送られた画像データを表示する。
【００２５】
また、操作部１０２は、使用者からの指示によるカメラ操作を検出し、ネットワークＩＦ部１０３を介して画像送信装置３に対し、そのカメラ操作を制御パケットとして送信する。また、操作部１０２は、そのカメラ操作情報をバッファ制御部１０４に通知する。この操作部１０２から通知された操作情報を基に、バッファ制御部１０４は、バッファメモリ１０４ａのしきい値（規定量）を変更する。つまり、画像データの蓄積量を、カメラ操作の状態に適したしきい値に設定する。
【００２６】
図２は第１の実施形態のカメラ操作におけるバッファ制御を説明する図である。通常、画像送信装置３から送信された画像データを含むパケットを、ネットワーク２を介して画像受信装置１で受信する場合、パケットの受信間隔に揺らぎが発生する。画像の表示は一定間隔ごとに行われるので、この受信間隔の揺らぎが大きいと、コマ落ちなど画像表示に乱れが発生する場合がある。このような画像表示の乱れを抑制するため、画像データをバッファメモリ１０４ａに一定量蓄積し、バッファメモリ１０４ａから一定間隔で画像伸張部１０５及び表示部１０１に画像データを供給する。これにより、画像伝送に揺らぎが生じた場合のコマ落ちや画像表示の乱れを抑制する。
【００２７】
一方、画像データの蓄積は、撮像時刻と実際に表示される時刻との間にずれを生じ、蓄積量に比例してその差が増大する。表示画像を参照しながらカメラを遠隔操作する場合、時間差によって所望の位置に移動させる操作に誤りが生じるおそれがある。このため、本実施形態では、バッファ制御部１０４は、カメラ操作の状態に応じて画像データの蓄積量を変更する。具体的に、バッファ制御部１０４は、カメラの操作の「移動」を検出すると、画像データの一時蓄積量を削減し、予め定められたカメラ移動時の蓄積量（しきい値）となるように、古いデータから削除し、削除された次のデータから画像伸張部１０５に転送する。
【００２８】
図２には、バッファメモリ１０４ａから画像伸張部１０５に画像データが供給される場合が示されている。ここで、１つの四角のマスは画像の符号化単位（１コマ）を表しており、番号順に画像受信装置１に入力されているものとする。カメラ操作無しの状態の場合、バッファメモリ１０４ａの蓄積量をしきい値Ａ（第２のしきい値）とし、しきい値Ａに達した後、先入れ先出し法で画像データを画像伸張部１０５に供給する。一方、カメラ操作有りの状態に移行した場合、バッファメモリ１０４ａの蓄積量をしきい値Ｂ（第１のしきい値）に変更する。このしきい値Ｂへの変更に際し、既に蓄積された画像データの余剰分を、古いものから全て破棄するか、あるいはコマ落しで画像伸張部１０５に供給する。なお、本実施形態では、しきい値Ａは、８コマ分に相当する蓄積量であり、しきい値Ｂは２コマ分に相当する蓄積量としているが、それぞれの蓄積量は特に限定されるものではなく、任意に設定してもよいことは勿論である。
【００２９】
このように、カメラ操作の状態には、例えばカメラのパン、チルト、ズーム等の画面の移動を伴う操作が発生した状態（カメラ操作有りの状態）、及び画面の移動を伴う操作が発生していない状態（カメラ操作無しの状態）の２つの状態が存在する。カメラ操作無しの状態の場合、ネットワークの揺らぎに起因する画面表示の乱れを抑制できる十分な蓄積量（しきい値）、例えばパケット到着間隔の揺らぎの平均値以上等、統計的基準量によって蓄積量を確保する。一方、カメラ操作有りの状態の場合、操作開始から画面表示に反映される遅延時間を抑制するため、カメラ操作無しの状態に比べて蓄積量を減少させる。
【００３０】
例えば、しきい値（蓄積量）を値０に設定し、受信した画像データを即座に画像伸張部１０５に送るようにしてもよい。この場合、撮像時刻と表示時刻の差を自動的に削減し、操作に対する画像表示の応答を縮めることができ、操作停止時の位置ずれ、行き過ぎ等の操作ミスを抑制する。一方、操作が停止し、カメラ操作無しの状態に移行すると、バッファ制御部１０４はバッファメモリ１０４ａの蓄積量を元に戻す。なお、このカメラ操作無しの状態には、使用者によって操作されずにカメラが固定された状態の他、予め定められたカメラ操作を実行するプリセット動作状態等も含まれる。
【００３１】
図３は第１の実施形態におけるバッファ制御処理手順を示すフローチャートである。この処理プログラムは、バッファ制御部１０４内のＲＯＭに格納されており、同じくバッファ制御部１０４内のＣＰＵによって所定時間毎に実行される。まず、操作部１０２から通知されるカメラ操作の状態がカメラ操作有りの状態であるか否かを判別する（ステップＳ１）。カメラ操作無しの状態の場合、バッファメモリ１０４ａの蓄積量をしきい値Ａに設定し（ステップＳ２）、本処理を終了する。一方、ステップＳ１でカメラ操作有りの状態の場合、バッファメモリ１０４ａの蓄積量をしきい値Ｂに設定し（ステップＳ３）、本処理を終了する。
【００３２】
このように、第１の実施形態の画像受信装置によれば、バッファ制御部により、カメラの操作状態に応じて、受信する画像データの蓄積量を変化させ、カメラ操作が無いときには、画像データの到達時間の揺らぎの影響を抑制した画像の安定表示を行うことができ、一方、カメラ操作があるときには、画面に操作が反映されるまでの時間を自動的に削減し、操作誤りを抑制することができる。
【００３３】
（第２の実施形態）
前述した第１の実施形態では、カメラ操作の有無によって、しきい値を２段階に設定していたが、第２の実施形態では、カメラ操作の有無の他、カメラ操作の操作内容によっても、バッファメモリのしきい値を変更する場合を示す。なお、画像伝送システムの構成は図１に示した第１の実施形態と同じである。第２の実施形態では、バッファ制御部１０４内のＲＯＭには、しきい値テーブルが格納されている。
【００３４】
図４は第２の実施形態におけるバッファ制御部１０４内のＲＯＭに格納されたしきい値テーブルを示す図である。このしきい値テーブルには、カメラ操作内容がパンの場合、しきい値Ｃに設定し、チルトの場合、しきい値Ｄに設定し、ズームの場合、しきい値Ｅにそれぞれ設定することが示されている。しきい値Ｃ、Ｄ、Ｅの一例として、例えばそれぞれ１、２、３コマ分に相当する蓄積量に設定することが挙げられる。
【００３５】
図５は第２の実施形態におけるバッファ制御処理手順を示すフローチャートである。図３に示した第１の実施形態と同一のステップ処理については同一の符号を付している。この処理プログラムは、バッファ制御部１０４内のＲＯＭに格納されており、同じくバッファ制御部１０４内のＣＰＵによって所定時間毎に実行される。まず、操作部１０２から通知されるカメラ操作の状態がカメラ操作有りの状態であるか否かを判別する（ステップＳ１）。カメラ操作無しの状態の場合、バッファメモリ１０４ａの蓄積量をしきい値Ａに設定し（ステップＳ２）、本処理を終了する。一方、ステップＳ１でカメラ操作有りの状態の場合、カメラの操作内容に応じてしきい値を変更するために、操作部１０２から通知される操作内容を判別する（ステップＳ３Ａ）。そして、しきい値変更テーブルを参照し、通知された操作内容に応じたバッファメモリ１０４ａのしきい値を選択して設定する（ステップＳ３Ｂ）。この後、本処理を終了する。
【００３６】
このように、第２の実施形態の画像受信装置によれば、パン、チルト、ズーム等のカメラ操作内容に適したしきい値に最適なバッファメモリの蓄積量を設定することができる。これにより、カメラ操作内容に応じて適切に画像伝送の揺らぎの影響を抑制することができる。
【００３７】
上述したように本実施形態では、カメラの操作状態によって受信する画像データの蓄積量を変化させるバッファ制御部を設けることにより、カメラ操作がない時には画像データの到達時間の揺らぎの影響を抑制した画像の安定表示を行う一方、カメラ操作時には操作の画面への反映までの時間を自動的に削減して操作誤りを抑制することができる。
【００３８】
なお、以上が本実施形態の説明であるが、本発明は、これら実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または実施形態の構成が持つ機能を達成できる構成であれば、他の代替手段など、どのようなものであっても適用可能である。
【産業上の利用可能性】
【００３９】
本発明は、カメラ操作が無いときには、画像データの到着時間に揺らぎがあっても安定した画像を表示でき、カメラ操作があるときには、その操作が表示画像に反映される遅延時間を低減することが可能となる効果を有し、ネットワークを介して画像データを受信する画像受信装置及び画像受信方法、並びに画像伝送システム等に有用である。
【図面の簡単な説明】
【００４０】
【図１】本発明の第１の実施形態における画像伝送システムの構成を示す図
【図２】第１の実施形態のカメラ操作におけるバッファ制御を説明する図
【図３】第１の実施形態におけるバッファ制御処理手順を示すフローチャート
【図４】第２の実施形態におけるバッファ制御部内に格納されたしきい値テーブルを示す図
【図５】第２の実施形態におけるバッファ制御処理手順を示すフローチャート
【符号の説明】
【００４１】
１  画像受信装置
２  ネットワーク
３  画像送信装置（カメラ）
３１  撮像部（カメラ本体）
３２  撮影位置制御機構（雲台）
３３  送信部
１０１  表示部
１０２  操作部
１０３  ネットワークインタフェース（Ｉ／Ｆ）部
１０４  バッファ制御部
１０４ａ  バッファメモリ
１０５  画像伸張部
【図１】
2006074441.tif 000003
【図２】
2006074441.tif 000004
【図３】
2006074441.tif 000005
【図４】
2006074441.tif 000006
【図５】
2006074441.tif 000007