(57)【要約】【課題】撮像装置とその撮像装置を操作する操作装置とがネットワークを介して接続されてなる撮像システムにおいて、操作装置から撮像装置を操作する際の操作性を向上させる。【解決手段】操作装置では、撮像装置にて得られた撮像画像が表示されている。ユーザが操作装置にパン・チルト操作を入力すると、操作装置は、その時点で表示されている現画像を操作量に応じた画素数だけ平行移動させた操作反映画像を表示する。操作反映画像は、操作量が増加するに従って操作が終了するまで平行移動を続ける。操作装置に対して入力した操作が、その操作装置内にて操作反映画像として表示されるので、ユーザの操作と操作反映画像の表示とのタイムラグはほとんど生じない。【選択図】  図１
2004289658.tif 000002
【特許請求の範囲】
【請求項１】
撮像条件を変更可能な撮像装置と、
前記撮像装置との通信により前記撮像装置の撮像条件を変更する操作装置とを有し、
前記操作装置は、
前記撮像装置にて撮像されて送信されてくる画像を表示する表示手段と、
前記撮像条件を変更するための操作を受け付ける操作受付手段と、
前記操作受付手段による操作の受付時に前記表示手段に表示されている画像を用いて、前記操作受付手段にて受け付けた操作量が反映された操作反映画像を提示する提示手段と、
を備えたことを特徴とする撮像システム。
【請求項２】
前記操作の受付後に前記撮像装置から送信されてくる画像を用いて、前記操作反映画像を、前記操作に応じて前記撮像装置の撮像条件が変化したときの前記撮像装置の撮像画像に近づくように更新する更新手段を備えたことを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記撮像装置は、前記操作装置から送信された操作信号を受信すると、撮像条件の変更に伴って新たに撮像される被写体部分を表す部分画像を前記操作装置に送信し、
前記更新手段は、前記部分画像を用いて前記操作反映画像を更新することを特徴とする請求項２に記載の撮像システム。
【請求項４】
前記操作は、撮像装置のパン操作またはチルト操作であって、
前記操作反映画像は、前記操作受付手段にて操作を受け付けたときに前記表示手段にて表示されている画像を、前記操作量に応じた移動量だけ移動させた画像であることを特徴とする請求項１乃至３のいずれかに記載の撮像システム。
【請求項５】
前記操作は、撮像装置のズーム操作であって、
前記操作反映画像は、前記操作受付手段にて操作を受け付けたときに前記表示手段にて表示されている画像を、前記操作量に応じた倍率に拡大または縮小させた画像であることを特徴とする請求項１乃至３のいずれかに記載の撮像システム。
【請求項６】
前記撮像装置は、前記操作装置に動画データを送信し、
前記更新手段は、前記操作受付手段にて操作を受け付けたときに前記表示手段に表示されている画像と動きベクトルとを用いて、前記操作反映画像を更新することを特徴とする請求項２に記載の撮像システム。
【請求項７】
撮像条件を変更可能な撮像装置にて撮像されて前記撮像装置より送信されてくる画像を表示する表示手段と、
前記撮像条件を変更するための操作を受け付ける操作受付手段と、
前記操作受付手段による操作の受付時に前記表示手段にて表示されている画像を用いて、前記操作受付手段にて受け付けた操作量が反映された操作反映画像を提示する提示手段と、
を備えたことを特徴とする操作装置。
【請求項８】
操作装置と通信する通信手段と、
前記通信手段にて撮像条件を変更するための操作信号を受信すると、前記操作信号に応じて撮像条件を変更する変更手段と、
前記操作信号の受信から前記変更手段による撮像条件の変更の完了までの間に、前記変更手段による撮像条件の変更に伴って新たに撮像される被写体部分を含む部分画像を前記通信手段に送信させる送信制御手段と、
を備えたことを特徴とする撮像装置。
【請求項９】
撮像条件を変更可能な撮像装置にて撮像されて前記撮像装置より送信されてきた画像を表示手段に表示する表示ステップと、
前記撮像条件を変更するための操作を受け付ける操作受付ステップと、
前記操作受付ステップにて操作を受け付けたときに前記表示手段上に表示されている画像を用いて、前記操作受付ステップにて受け付けた操作量が反映された操作反映画像を提示する提示ステップと、
を有することを特徴とする撮像装置の操作方法。
【請求項１０】
請求項９に記載の操作方法をコンピュータに実行させるプログラム。
【請求項１１】
請求項１０に記載のプログラムを格納した、コンピュータにて読取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像条件を変更可能な撮像装置を操作する技術に関し、特に、ユーザの操作が撮像画像の表示に反映されるまでのタイムラグに起因する誤操作を防止する技術に関する。
【０００２】
【従来の技術】
デジタルカメラなどの撮像装置を遠隔的に操作する遠隔撮像システムが知られている。遠隔撮像システムでは、撮像装置とその撮像装置で得られた画像を表示する表示装置とがネットワークを介して通信可能に接続されている。この遠隔撮像システムによって、ある場所の様子をその場所から離れた他の場所で見ることができる。このような遠隔撮像システムは、例えば、複数のカメラを各個所に設置してそれらのカメラで撮像された映像を一つの場所（例えば監視室など）で表示させる監視システムに応用されたり、画像情報と共に音声情報を送受信する機能を備えることによりテレビ会議システムに応用されたりしている。
【０００３】
遠隔撮像システムにおいて、表示装置側に撮像装置を操作するための操作装置が備えられていることがある。撮像装置側には、固定台に対して撮像装置をパン・チルト駆動する機構が備わっている。そして、表示装置側では、表示画面上の画像を見ているユーザが操作装置にて撮像装置を操作する。ユーザは、遠隔地に設置された撮像装置の撮像画像を見ながら、例えば、撮像装置のパン操作およびチルト操作を行なうことができる。
【０００４】
上記のような従来の遠隔撮像システムは、例えば、特許文献１および特許文献２に記載されている。
【０００５】
【特許文献１】
特開平６−１３３３１０号公報（第４−５頁、第５図）
【特許文献２】
特開平１０−４２２７２号公報（第４頁、第２図）
【０００６】
【発明が解決しようとする課題】
遠隔撮像システムでは、ユーザが表示装置側にて表示画像を確認しながら他の場所に設置された撮像装置を操作する場合に、操作を指示してから撮像条件が変更された画像が表示装置側で表示されるまでの間にタイムラグが生じる。このタイムラグは、表示装置側から撮像装置側への操作信号の伝送時間、操作に応じて撮像装置が撮像条件を変更するのに要する動作時間および撮像装置側から表示装置側への画像データの伝送時間などによって生じる。そして、例えば、撮像装置のパン操作またはチルト操作によって表示画面内で被写体を上下または左右に移動させたい場合に、このタイムラグによって、ユーザが意図していたよりも大きな操作量が撮像装置に与えられて、被写体が表示画面内で移動しすぎてしまうという問題がある。この問題を図１２および図１３を用いて説明する。
【０００７】
図１２は、ユーザの操作と画面表示との関係を示す図である。いま、図１２（ａ）に示すように、被写体Ａ、ＢおよびＣを含む画像が表示画面に表示されているとする。ユーザは、被写体Ｃを画面の中心にして表示させたいときに、操作装置の操作ボタンを押すことによって、画面を左方向に移動させる。ユーザが時刻ｔ０にて右方向の操作ボタンを押し始めると、しばらくして画面が左に移動し始める。そして、ユーザが操作ボタンを押し続けている間、画面は左に移動する。時刻ｔ３にて、図１２（ｂ）に示すように、被写体Ｃが画面の中心に来たときに、ユーザは操作を止める。しかしながら、ユーザが操作を止めた後にも画面が移動し続けてしまう。そして、時刻ｔ５にて画面の移動が止まり、図１２（ｃ）に示すように、被写体Ｃはユーザが意図する位置よりも左に行き過ぎてしまう。
【０００８】
図１３は、時間の経過に応じたユーザの操作量および画面表示の変化を示すグラフである。図１３を用いて、ユーザの操作に対して画面が移動しすぎてしまう現象を説明する。図１３のグラフは、横軸が時間であり、縦軸はユーザの操作量、撮像装置の動作量（動作角度）および画面表示の移動量である。
【０００９】
上述のように、ユーザが操作装置から撮像装置を操作するときには、表示装置側から撮像装置側への操作信号の伝送時間、操作に応じた撮像装置の駆動時間および撮像装置側から表示装置側への画像データの伝送時間によるタイムラグが生じる。図１３の例では、ユーザが時刻ｔ０に操作を開始すると、時間ａが経過した後の時刻ｔ１に撮像装置が応答して動作を開始する。この時間ａが表示装置側から撮像装置側への操作信号の伝送時間に相当する。そして、撮像装置が動作し始めてから、さらに時間ｂが経過した後の時刻ｔ２に表示画面が移動し始める。この時間ｂは、撮像装置側から表示装置側への画像データの伝送時間を含む。
【００１０】
ユーザは、時刻ｔ０にて操作を開始する。このとき、操作量および画面表示の被写体移動量はともにＰ０である。ユーザは、被写体をＰ１まで移動させたい、すなわち、ユーザの意図する被写体移動量がＰ１であったとする。この場合、ユーザは、画面表示上で被写体移動量がＰ１に達した時点ｔ３に、操作を停止する。しかしながら、図１３から明らかなように、画面表示と操作にタイムラグがあるために、時刻ｔ１では操作量がＰ２に達している。そのため、画面表示上の被写体は、時刻ｔ２を過ぎても移動し続けて、時刻ｔ５にて移動量がＰ２に達すると停止する。このようにして、従来技術では、被写体が画面表示内で移動しすぎるという問題がある。
【００１１】
このような問題に対して、上記の特許文献１のテレビ会議システムでは、撮像装置側で操作信号の受信を終了したときに、過剰に回転してしまっている撮像装置をその過剰角度分だけ逆方向に回転させて、パン・チルト操作が終了した時点で表示装置に表示されている画像を撮像するように制御することで上記の問題を解決している。
【００１２】
また、上記の特許文献２の監視システムでは、監視カメラにて撮像可能な範囲全体の画像（バーチャル画像）を事前に用意しておき、パン・チルト操作時には、その時点で監視カメラで捉えているリアルタイムの画像の代りに、バーチャル画像のうちのパン・チルト操作の操作量に応じた部分の画像を表示することにより、パン・チルト操作の行き過ぎを防止している。
【００１３】
しかしながら、特許文献１の方法では、過剰に回転した角度を正確に求めることができないときには、ユーザが意図する角度に撮像装置を戻すことができない。すなわち、特許文献１の方法では、回転角度の過剰分をデータ伝送の遅延時間に基づいて算出しているため、データ伝送速度が不安定なシステムでは、遅延時間も不安定となり、撮像装置の回転を正確に制御することが困難になる。
【００１４】
また、特許文献２の方法では、通常の撮像時よりも画角を広くした撮像によって得られた、通常の画像範囲よりも広い範囲の画像（バーチャル画像）を事前に用意しておく必要がある。そして、撮像装置の操作時には、このバーチャル画像を表示するので、この間はリアルタイムの情報を表示できない。
【００１５】
また、図１２（ａ）に示したように、被写体Ａ、ＢおよびＣが撮像されている状態で、この被写体Ｃが画面の中心に位置するように撮像装置を操作するとする。さらに、被写体Ａ、ＢおよびＣが人物で、あらかじめ撮影されたバーチャル画像には映っていないとする。この場合、操作時に表示されるバーチャル画像には被写体Ｃが現れないので、ユーザは操作量をまったく調整できない。
【００１６】
本発明は、このような問題を解決するためになされたもので、撮像システムにおいて操作装置側から撮像装置を操作する際の操作性を向上させるための技術を提供するものである。
【００１７】
【課題を解決するための手段】
本発明の撮像システムは、撮像条件を変更可能な撮像装置と、前記撮像装置との通信により前記撮像装置の撮像条件を変更する操作装置とを有する。そして、前記操作装置は、前記撮像装置にて撮像されて送信されてくる画像を表示する表示手段と、前記撮像条件を変更するための操作を受け付ける操作受付手段と、前記操作受付手段による操作の受付時に前記表示手段に表示されている画像を用いて、前記操作受付手段にて受け付けた操作量が反映された操作反映画像を提示する提示手段とを備えている。
【００１８】
この構成により、表示手段に表示されている画像に操作量を反映した画像を表示するので、操作と画面表示との間のタイムラグが低減し、これにより、操作性が向上する。
【００１９】
また、本発明の撮像システムは、さらに、前記操作の受付後に前記撮像装置から送信されてくる画像を用いて、前記操作反映画像を、前記操作に応じて前記撮像装置の撮像条件が変化したときの前記撮像装置の撮像画像に近づくように更新する更新手段を備えている。
【００２０】
この構成により、ユーザが操作を入力してからユーザが意図する撮像条件の撮像画像が送信されてくるまでの間に、操作反映画像が更新されるので、操作反映画像がより自然に通常の画像へ変わっていく。これによって、操作反映画像を提示した際にユーザに与える違和感を軽減できる。
【００２１】
また、本発明の撮像システムでは、前記撮像装置は、前記操作装置から送信された操作信号を受信すると、撮像条件の変更に伴って新たに撮像される被写体部分を表す部分画像を前記操作装置に送信し、前記更新手段は、前記部分画像を用いて前記操作反映画像を更新する。
【００２２】
この構成により、撮像装置の動作が終了するまでは、全体画像に比べてデータ量が少ない部分画像が撮像装置から操作装置に送信される。部分画像はデータ量が少ないので、短い伝送時間で送信できる。したがって、更新手段は、操作反映画像の更新過程での遅延時間を小さくできる。
【００２３】
また、本発明の撮像システムでは、前記操作は、撮像装置のパン操作またはチルト操作であって、前記操作反映画像は、前記操作受付手段にて操作を受け付けたときに前記表示手段にて表示されている画像を、前記操作量に応じた移動量だけ移動させた画像である。
【００２４】
この構成により、パン・チルト操作において撮像装置が回転しすぎることを防止して、パン・チルト操作の操作性を向上できる。
【００２５】
また、本発明の撮像システムでは、前記操作は、撮像装置のズーム操作であって、前記操作反映画像は、前記操作受付手段にて操作を受け付けたときに前記表示手段にて表示されている画像を、前記操作量に応じた倍率に拡大または縮小させた画像である。
【００２６】
この構成により、ズーム操作において撮像装置が動作しすぎることを防止して、ズーム操作の操作性を向上できる。
【００２７】
また、本発明の撮像システムでは、前記撮像装置は、前記操作装置に動画データを送信し、前記更新手段は、前記操作受付手段にて操作を受け付けたときに前記表示手段に表示されている画像と動きベクトルとを用いて、前記操作反映画像を更新する。
【００２８】
この構成により、撮像装置にて動画を撮像する場合に、操作受付時の表示画像と動きベクトルとを用いて操作反映画像が更新されるので、操作反映画像がより自然に通常の画像へ変わっていく。これによって、操作反映画像を提示した際にユーザに与える違和感を軽減できる。
【００２９】
また、本発明の操作装置は、撮像条件を変更可能な撮像装置にて撮像されて前記撮像装置より送信されてくる画像を表示する表示手段と、前記撮像条件を変更するための操作を受け付ける操作受付手段と、前記操作受付手段による操作の受付時に前記表示手段にて表示されている画像を用いて、前記操作受付手段にて受け付けた操作量が反映された操作反映画像を提示する提示手段とを備えている。
【００３０】
この構成により、表示手段に表示されている画像に操作量を反映した画像を表示するので、操作と画面表示との間のタイムラグが低減し、これにより、操作性が向上する。
【００３１】
また、本発明の撮像装置は、操作装置と通信する通信手段と、前記通信手段にて撮像条件を変更するための操作信号を受信すると、前記操作信号に応じて撮像条件を変更する変更手段と、前記操作信号の受信から前記変更手段による撮像条件の変更の完了までの間に、前記変更手段による撮像条件の変更に伴って新たに撮像される被写体部分を含む部分画像を前記通信手段に送信させる送信制御手段とを備えている。
【００３２】
この構成により、操作信号を受信してから撮像条件の変更が終了するまでは、部分画像が操作装置に送信される。部分画像はデータ量が少ないので、短い伝送時間で送信できる。したがって、操作装置側では、操作反映画像の更新過程での遅延時間を小さくできる。
【００３３】
また、本発明の撮像装置の操作方法は、撮像条件を変更可能な撮像装置にて撮像されて前記撮像装置より送信されてきた画像を表示手段上に表示する表示ステップと、前記撮像条件を変更するための操作を受け付ける操作受付ステップと、前記操作受付ステップにて操作を受け付けたときに前記表示手段上に表示されている画像を用いて、前記操作受付ステップにて受け付けた操作量が反映された操作反映画像を提示する提示ステップとを有する。
【００３４】
この方法により、撮像装置を操作する際に、操作量が反映された操作反映画像が提示されるので、ユーザはこの操作反映画像を確認することによって適切な操作量を入力できる。また、操作反映画像は、操作時に表示されている画像を用いて提示されるので、操作時に、撮像装置により得られた新しい情報を提示することができる。これにより、撮像装置の操作性が向上する。
【００３５】
本発明は、上述したような装置および方法の態様に限定されない。本発明の別の態様は、撮像装置の操作方法をコンピュータに実行させるプログラム、およびそのプログラムを格納した記録媒体である。
【００３６】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００３７】
図１〜図６は、本実施の形態の撮像システムの構成を説明するための図である。以下では、まず図３を参照して撮像システムの全体の構成を説明し、その後に図４および図５を参照して撮像装置および操作装置の構成を説明する。撮像装置および操作装置の説明の際に適宜、図１、図２および図６を参照する。
【００３８】
図３は、本実施の形態の撮像システムの全体の構成図である。撮像システム１は、撮像装置１０と操作装置３０を有する。撮像装置１０と操作装置３０は、ネットワークＮを介して通信可能に接続されている。撮像装置１０は、所定の時間間隔で被写体を撮像して、撮像画像をネットワークＮを介して操作装置３０に送信する。操作装置３０は、撮像画像を受信して表示画面３１上に表示する。図３の例では、横方向に並んだ被写体Ａ〜Ｃが撮像装置１０にて撮像されて表示画面３１に表示されている。
【００３９】
撮像装置１０は、固定台に対して後述する撮像部を垂直方向および水平方向に回転可能なパン・チルト機構を備えている。また、撮像装置１０は、ズーム倍率を変更するズーム調整機構を備えている。
【００４０】
操作装置３０は、表示画面３１、パン・チルト操作ボタン３２およびズーム操作ボタン３３を備えている。パン・チルト操作ボタン３２は、上下左右方向の十字ボタンからなる。上下左右の方向は撮像装置１０のパン・チルト方向に対応している。例えば、右方向のボタンを押すと撮像装置１０は右方向に回転し、表示画面３１上の被写体は左方向に移動する。ズーム操作ボタン３３は、プラスおよびマイナスの２方向のボタンからなる。プラスのボタンを押すと、撮像装置１０の画角が狭くなり、表示画面３１上では被写体が拡大されて表示される。マイナスのボタンを押すと、撮像装置１０の画角が広くなり、表示画面３１上では被写体が縮小されて表示される。
【００４１】
なお、各種の操作を入力する手段は、上記のパン・チルト操作ボタン３２およびズーム操作ボタン３３のように、ボタンでなくてもよい。例えば、ジョイスティックによって操作を入力するようにしてもよい。また、操作装置３０がマウスやキーボードを備えたパーソナルコンピュータ等のコンピュータシステムで構成されるときには、表示画面３１に表示された画像をマウスでドラッグすることによってパン・チルト操作やズーム操作などを行なうようにしてもよい。
【００４２】
パン・チルト操作ボタン３２およびズーム操作ボタン３３に対する操作は、操作信号としてネットワークＮを介して操作装置３０から撮像装置１０に送信される。撮像装置１０は、操作信号を受信して、その操作信号に従ってパン・チルト角度などの撮像条件を変更する。
【００４３】
このような撮像システム１は、例えば、監視システムとして応用される。この場合には、操作装置３０は、監視室に備えられ、撮像装置１０は、監視対象個所に設置される。さらに、監視システムの場合には、撮像装置１０が複数の個所に設置されるとともに、複数の操作装置３０が一つの監視室に集められ、複数の個所を監視室にて集中的に監視することがある。
【００４４】
また、撮像システム１を利用して、一方から他方にネットワークＮを介して撮像画像を送信するとともに、他方から一方にも撮像画像を送信することによって、テレビ会議システムを実現することもできる。この場合には、一方側と他方側の両側にそれぞれ撮像装置１０および操作装置３０を用意する。そして、画像の送受信とともに音声の送受信も行なう。このようなテレビ会議システムは、カメラおよびモニタを備えた電話機にて実現されてもよい。
【００４５】
ネットワークＮは、比較的狭い範囲内で閉じたイントラネットのような通信網であってもよいし、インターネットのような広域の通信網であってもよい。さらに、ネットワークＮを介した通信に電話回線を用いた通信や無線通信が含まれてもよい。
【００４６】
図４は、撮像装置１０の構成を示すブロック図である。撮像装置１０は、撮像部１１、画像処理部１２および送受信部１３を備えている。撮像部１１は、レンズ群１１０、開口部１１１および撮像素子１１２を備えている。被写体からの光は、レンズ群１１０を通過することにより偏向され、開口部１１１の開口の大きさに応じた光量だけ撮像素子１１２に入射する。撮像素子１１２は、ＲＧＢの各色のフィルタを備え、入射光を光量に応じた電気信号に変換する。画像処理部１２は、撮像素子１１２にて得られた電気信号を処理して、画像データを生成する。送受信部１３は、画像データをネットワークＮを介して操作装置３０に送信する。この送受信部１３は、本発明の通信手段に相当する。
【００４７】
撮像装置１０は、信号処理部１４、チルト駆動部１５、パン駆動部１６、開口駆動部１７およびレンズ駆動部１８を備えている。撮像装置１０は、さらに、チルト回転機構１９およびパン回転機構２０を備えている。送受信部１３は、後述する操作信号を操作装置３０から受信する。この操作信号には、操作の種類と操作量の情報が含まれている。
【００４８】
信号処理部１４は、操作信号を処理することにより、操作の種類および操作量に応じて各駆動部１５〜１８に駆動パルスを発して、各駆動部を動作させる。操作信号に含まれる操作の種類がチルト操作およびパン操作であるときは、信号処理部１４は、それぞれチルト駆動部１５およびパン駆動部１６に駆動パルスを発する。駆動部１５、１６は、この駆動パルスに従って、それぞれチルト回転機構１９およびパン回転機構２０を回転駆動する。操作信号に含まれる操作の種類がズーム操作であるときは、信号処理部１４は、レンズ駆動部１８に駆動パルスを発する。レンズ駆動部１８は、信号処理部１４からの駆動パルスに従って、レンズ群１１０に含まれる各レンズの間隔が変化するように、光軸方向にレンズを平行移動させる。
【００４９】
このように、本実施の形態の撮像システム１では、撮像方向および撮像画角などの撮像条件を変更することができる。撮像条件のうち、撮像方向は、パン回転機構２０とパン駆動部１６およびチルト回転機構１９とチルト駆動部１５により変更され、撮像画角はレンズ群１１０およびレンズ駆動部１８によって変更される。なお、これらの各駆動部は、本発明の撮像条件を変更する変更手段に相当する。
【００５０】
撮像装置１０は、さらに、部分画像生成部２１を備えている。部分画像生成部２１は、チルト駆動部１５、パン駆動部１６およびレンズ駆動部１８からそれぞれの駆動量を示す駆動量信号を受けて、その駆動量信号に基づいて撮像画像から部分画像を生成する。部分画像は、送受信部１３を介して操作装置３０に送信される。このように、撮像装置１０にて部分画像を生成し、送信するのは、後述する操作反映画像の更新処理のためである。部分画像の生成については、更新処理の説明とともに、後に詳しく説明する。
【００５１】
図５は、操作装置３０の構成を示すブロック図である。操作装置３０は、操作部３５、操作量検出部３６、操作信号生成部３７、送受信部３８、表示制御部３９および表示部４０を備えている。操作部３５は、図３のパン・チルト操作ボタン３２およびズーム操作ボタン３３に対応している。表示部４０は、図３の表示画面３１に対応している。また、操作部３５は、本発明の操作受付手段に相当し、表示部４０は、本発明の表示手段に相当する。
【００５２】
操作装置３０では、操作部３５にてパン・チルト操作またはズーム操作を受け付ける。操作量検出部３６は、操作部３５にて受け付けた操作の種類（パン、チルトまたはズーム）とその操作量を検出する。操作量検出部３６は、操作ボタンが連続して押された時間を計時して、この時間を操作量として検出する。操作量検出部３６は、所定の時間間隔以下で連続してボタンが押された回数がカウントして、このカウント値を操作量として検出してもよい。
【００５３】
操作信号生成部３７は、操作量検出部３６にて検出された操作の種類と操作量を示す操作信号を生成する。送受信部３８は、ネットワークＮを介して撮像装置１０に操作信号を送信する。また、送受信部３８は、ネットワークＮを介して撮像装置１０から画像を受信する。表示制御部３９は、送受信部３８にて受信した画像、後述する操作反映画像生成部４１にて生成された操作反映画像または、更新部４２にて生成された更新画像のいずれかを選択的に表示部４０に表示させる。この表示画像の選択制御については、後に詳しく説明する。
【００５４】
操作装置３０は、さらに、操作反映画像生成部４１を備えている。操作反映画像生成部４１は、操作部３５に与えられた単位操作に対する表示画面の変化量を記憶している。ここで、単位操作とは、単位時間の間継続する操作である。例えば、単位時間が０．５秒であるときは、０．５秒間継続する操作が単位操作である。また、１回のボタン押下が単位操作として扱われてもよい。
【００５５】
操作反映画像生成部４１は、パン・チルト操作については、パン・チルトの単位操作に対して、表示画面が何画素分移動するかを記憶している。また、ズーム操作については、ズームの単位操作に対して、表示画面が何倍に拡大または縮小されるかの倍率を記憶している。なお、パン・チルト操作の単位操作に対する表示画面の変化量は、ズームの倍率ごとに記憶されている。これは、ズーム倍率ごとに、撮像装置の変更角度に対する表示画面の移動距離が異なるからである。
【００５６】
操作反映画像生成部４１は、操作部３５にて操作を受け付けると、そのときに表示部４０に表示されている画像（以下、現画像という）を表示制御部３９から取り込んで、操作部３５にて受け付けた操作が反映された操作反映画像を生成する。操作反映画像生成部４１は、操作部３５から単位操作の操作が伝えられるごとに、単位操作に対応する変化量だけ操作反映画像を変化させる。操作反映画像生成部４１は、例えば、操作がパン・チルト操作であるときは、パン・チルト操作の継続に伴って現画像を縦方向または横方向に移動させて操作反映画像を変化させる。また、操作がズーム操作であるときは、操作反映画像生成部４１は、ズーム操作の継続に伴って現画像を拡大または縮小させて操作反映画像を変化させる。したがって、操作部３５に対する操作が継続して、ある操作量の操作が入力されると、その操作量に応じた変化量だけ現画像を変化させてできた操作反映画像が表示される。表示制御部３９は、操作部３５にて操作を受け付けたときに、表示部４０における通常の表示を操作反映画像の表示に切り替える。このように、操作時に操作反映画像を生成する操作反映画像生成部４１および操作時に表示部４０における表示を操作反映画像の表示に切り替える表示制御部３９によって、本発明の提示手段が構成される。
【００５７】
図１は、操作がパン・チルト操作であるときの操作反映画像生成部４１の処理を説明する図である。操作反映画像生成部４１は、操作がパン・チルト操作であるときは、パン・チルトの単位操作が与えられるごとに、現画像を表示画面内で平行移動させる。表示画面中で、現画像の移動によって画像がなくなった部分は、未描画領域として、例えば黒ベタ面などとされる。
【００５８】
図１（ａ）は、通常の画面表示において現画像が表示画面の中央に位置している状態を示している。例えば、操作部３５が右方向へのパン操作を受け付けると、操作反映画像生成部４１は、図１（ｂ）に示すように、現画像を左方向に移動させる。そして、そのような現画像の移動によって画像がなくなった部分（図中にて斜線を付した部分）を黒ベタ面とする。このように、現画像を表示画面内で移動させることにより画面の一部の画像が失われることになるが、操作量にたいする画面の移動量が正確に分かるので、操作用の表示としては十分である。
【００５９】
図２は、操作がズーム操作であるときの操作反映画像生成部４１の処理を説明する図である。操作反映画像生成部４１は、操作がズーム操作であるときは、ズームの単位操作が与えられるごとに、現画像を表示画面内で拡大または縮小する。画角を広げるズーム操作が行なわれて、表示画面中で、現画像が表示画面内で縮小されることによって画像がなくなった部分は、未描画領域として、例えば黒ベタ面とされる。
【００６０】
図２（ａ）は、通常の画面表示において現画像が表示画面の大きさと同じ大きさで表示されている状態を示している。例えば、操作部３５が画角を広げるズーム操作を受け付けると、操作反映画像生成部４１は、図２（ｂ）に示すように、現画像を縮小する。そして、そのような現画像の縮小によって画像がなくなった部分（図中の斜線部分）を黒ベタ面とする。この場合にも、画面の一部において画像が失われることになるが、操作用の表示としては十分である。なお、ズームアップ操作をした場合には、現画像の一部が拡大されて表示画面に表示される。この場合には、画像の解像度が落ちるが、この操作反映画像も操作用の表示としては十分である。
【００６１】
なお、撮像装置１０が撮像条件を変更できる範囲には限りがある。例えば、本実施の形態の撮像装置１０では、撮像方向については、左右方向に１２０度の範囲内で角度を変更することが可能であり、ズーム倍率については、１〜３倍の範囲で変更することが可能である。上述の操作反映画像は、この撮像条件の変更可能範囲内で生成される。そして、操作の継続によって操作量がこの変更可能範囲を超える場合には、操作装置３０は、撮像条件の変更の限界をユーザに報知する。報知手段は、警告音の発生や表示画面上への警告メッセージの表示などのほか、単に操作反映画像の変更を中止する手段でもよい。
【００６２】
このように、操作部３５に操作が入力されたときに、その操作の継続に伴って操作反映画像が変化しながら表示されるので、ユーザは、操作部３５に与えた操作量によって表示画面がどの程度変化するのかを確認しながら操作を行なうことができる。ユーザが入力した操作は、操作装置３０内で処理されて操作反映画像に反映されるので、ユーザの操作と操作反映画像との間にはタイムラグがほとんど生じない。したがって、操作の行き過ぎや不足を防止され、撮像システムの操作性が向上する。
【００６３】
以上のように、本実施の形態の撮像システム１は、操作反映画像生成部４１を備えることにより、操作性を向上できる。本実施の形態の撮像システム１は、さらに、操作反映画像が表示されてからユーザが意図する撮像条件にて得られた撮像画像が表示されるまでの違和感を軽減するために、以下に説明する更新処理を行なう。
【００６４】
ユーザは、操作部３５に対して行なった操作が撮像装置１０の撮像条件に反映されて、変更された撮像条件で得られた撮像画像が操作装置３０に送信されてくるまで待つと、自分の意図した撮像条件で撮像された画像を表示画面にて見ることができる。しかしながら、撮像装置１０は、操作信号を受信して撮像条件の変更を開始してからその変更が完了するまでの間にも、所定の時間間隔で画像を撮像している。そして、この間に撮像される画像は、現画像とユーザが意図する画像とのギャップ、すなわち操作反映画像の不完全さを補うための情報を含んでいる。そこで、本実施の形態の操作装置３０は、ユーザが意図する画像が表示画面に完全に表示されるまでの間に、撮像装置１０が撮像条件を変更しつつ撮像した画像を用いて、操作反映画像をユーザが意図する撮像条件で撮像された画像に近づくように更新する。
【００６５】
このために、図５に示すように、操作装置３０には、更新部４２が設けられている。更新部４２は、操作反映画像生成部４１にて生成された操作反映画像と送受信部３８にて受信した部分画像を用いて更新画像を生成する。
【００６６】
図６は、操作反映画像の更新処理を説明する図である。図６を参照して、撮像装置１０の部分画像生成部２１による部分画像の生成処理、操作装置３０の更新部４２における更新処理および表示制御部３９における表示制御処理を説明する。以下では、操作の種類がパン操作である例を説明する。
【００６７】
操作装置３０の表示制御部３９は、上述したように、操作反映画像生成部４１が操作反映画像ｅｖを生成すると、通常の処理を操作反映画像を表示する処理に切り替える。撮像装置１０の部分画像生成部２１は、パン駆動部１６から駆動量信号を取得すると、その駆動量信号が示す操作の種類がパン操作であることを検知して、撮像画像ｃｉ１のうちのパン動作によって新たに撮像された部分のみを切出した部分画像ｐｉ１を生成する。すなわち、撮像画像から、右縁の短冊状の部分を部分画像として切出す。その際、この部分画像の幅は、撮像装置１０が実際に回転した角度に基づいて算出される。送受信部１３は、この部分画像ｐｉ１を操作装置３０に送信する。
【００６８】
操作装置３０の送受信部３８は、部分画像ｐｉ１を受信して、表示制御部３９に出力する。表示制御部３９は、部分画像を受け取ると、操作反映画像表示処理を更新処理に切り替えて、部分画像ｐｉ１を更新部４２に出力する。更新部４２は、操作反映画像生成部４１にて生成された操作反映画像ｅｖの未描画領域に部分画像ｐｉ１を重ねることにより、操作反映画像のうちの既に被写体が表れている部分に部分画像ｐｉ１を結合させて、更新画像ｒｖ１を生成する。更新画像ｒｖ１は、表示制御部３９に出力される。表示制御部３９は、操作反映画像ｅｖに代えて、更新画像ｒｖ１を表示部４０に表示させる。
【００６９】
部分画像生成部２１は、次に上記と同様にして、撮像画像ｃｉ２から部分画像ｐｉ２を生成する。そして、部分画像ｐｉ２は、操作装置３０に送信される。更新部４２は、更新画像ｒｖ１に対して更に部分画像ｐｉ２を結合させて、更新画像ｒｖ２を生成する。そして、撮像装置１０にて撮像画像ｃｉ３が得られ、部分画像ｃｉ３を用いて更新画像ｒｖ３が生成されて、更新画像ｒｖ３が生成される。その後、撮像装置１０のパン動作が完了し、すなわち撮像条件の変更が完了し、部分画像生成部２１は部分画像の生成処理を終了して、表示制御部３９は通常の表示処理に切り替える。通常の表示処理に切り替わった後は、撮像装置１０にて得られた撮像画像ｃｉ４はそのまま操作装置３０に送信されて、表示部４０にて表示される。
【００７０】
上記の過程で、部分画像生成部２１は、各駆動部１５〜１８から入力された駆動信号が示す駆動量を基にして部分画像生成処理の終了タイミングを計算する。例えば、操作信号の示す操作量が２秒であるとすると、部分画像生成部２１にはこれに対応する駆動量信号が入力される。そして、この駆動量に対応する撮像装置１０の動作所要時間が５秒であって、かつ、撮像装置１０が１秒ごとに撮像を行なうとすると、撮像装置１０が撮像条件変更のための動作を開始してから完全に動作が完了するまでの間に、５枚の撮像画像が得られる。５枚目の撮像画像がユーザの意図する撮像条件で撮像された画像であるので、１〜４枚目の画像を用いて更新画像を生成することができる。したがって、部分画像生成部２１では、４回部分の部分画像生成処理を行なって処理を終了する。
【００７１】
このように、撮像装置１０における撮像条件の変更が完了するまでの間に、撮像条件の変更に伴って新たに撮像される被写体部分を表す部分画像を用いて表示画面を徐々に更新していくことで、不完全な操作反映画像が自然に通常の画像に変わっていく。したがって、撮像装置１０により得られた最新の情報を常に表示画面に反映させることで、新たに得られた情報をいち早くユーザに伝えることができる。また、部分画像は、通常の画像に比べてサイズが小さいので、伝送時間も短くて済む。これにより、撮像条件の変更中に撮像装置１０にて新たに撮像された被写体部分の画像が、短時間時で更新画像に反映される。この効果は、撮像装置１０と操作装置３０との間の通信の伝送容量が小さい場合、例えば、携帯電話での通信の場合などに、特に顕著である。なお、更新画像を生成する更新部４２および更新画像の表示に切り替える表示制御部３９によって、本発明の更新手段が構成される。また、撮像装置１０側にて、部分画像を生成して送受信部１３に送信させる部分画像生成部２１は、本発明の送信制御手段に相当する。
【００７２】
図７は、本実施の形態の撮像システム１にて操作装置３０から撮像装置１０を操作する際のフローチャートである。操作装置３０の操作部３５にて操作を受け付けると（ステップ６０１）、操作装置３０は上述した動作によって操作反映画像を操作に伴って変化させながら、その操作反映画像を表示画面に表示する（ステップ６０２）。そして、操作装置３０は、ネットワークＮを介して撮像装置１０に操作信号を送信する（ステップ６０３）。撮像装置１０は、操作信号に基づいて撮像条件を変更する（ステップ６０４）。次に、撮像装置１０は、実際に動作した駆動量を基に新たに撮像した領域を計算し、その領域の部分画像を送信する（ステップ６０５）。操作装置３０は、ネットワークＮを介して部分画像を受信する（ステップ６０６）。そして、更新部４２にて操作反映画像と部分画像との結合処理を行ない、更新画像を生成する（ステップ６０７）。操作装置３０は、更新画像を表示画面に表示する（ステップ６０８）。
【００７３】
図８は、本実施の形態の撮像システム１における、時間の経過に対するユーザの操作および画面表示の関係を示すグラフである。時刻ｔ０にてユーザが操作を開始すると、ほぼ同時にその操作が反映された操作反映画像が表示画面に表示され、ユーザの操作に伴って、操作反映画像が変化していく。
【００７４】
ユーザは、変化量Ｐ１１だけ被写体を画像上で移動させようとしているとする。ユーザは、操作反映画像の変化を確認しながら、操作反映画像の移動量がＰ１１に達する時刻ｔ１にて操作を終了する。ユーザの操作が反映された撮像画像が操作装置３０に送信されてくるのは、ユーザが操作を終了した後の時刻ｔ２になるが、この撮像画像は、ユーザが操作反映画像にて確認した画像とほぼ同じ状態の画像である。したがって、ユーザは、自らが意図した撮像条件で得られた撮像画像を確実に得ることができる。
【００７５】
次に、操作装置３０による撮像装置１０の操作の具体的な例を図９を用いて説明する。以下の説明では、操作装置３０がパーソナルコンピュータにより構成される例を説明する。この場合、パーソナルコンピュータはキーボード、マウスなどの入力手段とモニタなどの表示手段を備えており、コンピュータが所定のプログラムを実行することによって上述の操作装置３０の機能が実現される。
【００７６】
図９は、操作装置３０による撮像装置１０の操作時の画面表示を説明する図である。この具体例においては、表示画面のサイズは、図９（ａ）に示すように、３２０×２４０ピクセルである。撮像装置１０の横方向の視野角は６０度である。また、撮像装置１０は、秒間１０度の速度でパン動作する。さらに、撮像装置１０は、１秒ごとに１枚の画像を送信する。また、この具体例の操作装置３０では、マウスを利用して表示された画像をドラッグすることによりパン・チルト操作を行なうことができる。
【００７７】
図９（ａ）に示すように、未だ操作がされていない０秒時点では、表示画面には３２０×２４０サイズの現画像が表示されている。そして、操作装置３０は、内部メモリに、図９（ｂ）に示すような、大きさが３２０×２４０を上下左右方向に３倍された６９０×７２０ピクセルで、かつ背景が黒ベタ面である仮想領域を用意して、その中央に現画像を埋め込んでおく。これが上述した広域画像に相当する。以下の説明では、広域画像の最左上の画素の座標を（１，１）とする。
【００７８】
ユーザが０秒から１秒にかけて、表示画面上でマウスをドラッグしている間、操作装置３０は、図９（ｃ）に示すように、表示領域をドラッグ方向に従って移動させながら操作反映画像を表示する。そして、１秒の時点では、広域画像の（６４０，３６０）の点を中心として、３２０×２４０の領域が画面に表示される。この時点では、表示画面の右半分が黒ベタ面で埋まっている。また、１秒の時点で操作装置３０から撮像装置１０に対して３０度のパン制御を伝え、撮像装置１０は３０度のパン動作を開始する。
【００７９】
２秒の時点では、撮像装置１０は、１０度だけ右に回転している。そして、撮像装置１０は、幅が回転角１０度分に相当し、高さがフルサイズである細長い短冊状の部分画像を生成して送信する。この部分画像は、パン方向のフルサイズ（視野角６０度）のうちの右端部１０度の部分に相当する。操作装置３０は、図９（ｅ）に示すように、この部分画像の左上が広域画像の（６４０，２４０）の点に来るようにして、部分画像を広域画像に埋め込んで、広域画像を更新する。そして、操作装置３０は、図９（ｆ）に示すように、更新された広域画像を上記と同じ点（６４０，３６０）を中心として３２０×２４０のサイズで画面に表示する。
【００８０】
３秒の時点では、さらに１０度分の撮像装置１０の回転に伴って広域画像が更新される。そして、４秒の時点で、撮像装置１０にて３０度の回転動作が完了すると、撮像装置１０は、縦横フルサイズの画像を操作装置３０に送信する。そして、操作装置３０は、図９（ｆ）に示すように、フルサイズの画像によって画面全体を更新して、広域画像を内部メモリから破棄する。
【００８１】
（更新処理の変形例）
上記の例では、更新処理にて撮像装置１０は撮像条件の変更に伴って新たに撮像される被写体部分のみを表す部分画像を生成し、更新部４２はこの部分画像を用いて画像を更新したが、更新処理はこれに限られない。
【００８２】
図１０は、操作反映画像の更新処理の変形例を説明する図である。部分画像生成部２１は、図１０に示すように、撮像画像のうちの、表示画面にて表示される画像全体を表す部分画像を生成してもよい。この場合には、部分画像生成部２１は、撮像条件の変更中に得られる撮像画像から部分画像として切出す範囲を徐々に拡大していく。図１０に示すように、撮像画像ｃｉ１１〜ｃｉ１３のそれぞれから部分画像ｃｉ１１〜ｃｉ１３が生成される。そして、部分画像ｐｉ１１〜ｐｉ１３は、そのまま更新画像ｒｖ１１〜ｒｖ１３に使われる。すなわち、部分画像ｐｉ１１〜ｐｉ１３では足りない領域を未描画領域として更新画像ｒｖ１１〜ｒｖ１３が生成される。部分画像生成部２１が部分画像として採用する領域を拡大していって、その領域が画像全体にまで拡大されると更新処理が終了する。撮像装置１０が撮像画像ｃｉ１４を得るときには、更新処理が終了して通常の処理に切り替わる。そして、撮像画像ｃｉ１４は、そのまま表示画面に表示される。
【００８３】
なお、更新処理自体を行なわないようにしてもよい。この場合には、操作反映画像ｅｖが表示された後に、操作に応じた撮像条件で撮像された画像が操作装置３０に送信されてくるまでは、操作反映画像ｅｖがそのまま表示され続ける。
【００８４】
（操作反映画像の提示の変形例）
上記の例では、操作反映画像を生成する際に、操作に応じて表示領域を変更し、その表示領域を操作反映画像としたが、操作反映画像の提示方法は、これに限られない。
【００８５】
図１１は、操作反映画像の提示の変形例を説明する図である。図１１（ａ）は、右下方向にパン・チルト操作したときの表示画面を示しており、図１１（ｂ）は、拡大（ズームアップ）方向にズーム操作したときの表示画面を示している。図１１に示すように、この変形例では、操作に伴って画面内で表示枠ｆを変更することにより、操作が反映された画像を提示している。
【００８６】
操作がされないときには、表示枠ｆは表示画面の枠と一致している。そして、パン・チルト操作の場合は、図１１（ａ）に示すように、操作に伴って表示画面内で表示枠ｆが平行移動する。ズームアップ操作の場合は、図１１（ｂ）に示すように、操作に伴って表示枠ｆを縮小させている。すなわち、この変形例では、表示画面上の現画像は変えないで、操作に対応させて表示枠ｆを変更する。表示画面上にこのように表示される画像も本発明の操作反映画像に含まれる。そして、このような操作反映画像の提示方法であっても、ユーザは表示画面を確認しながら自分の意図する画像を得るために操作量を調整できる。
【００８７】
（操作信号伝送の変形例）
上記の例では、操作量検出部３６が操作時間を計時し、または所定の時間間隔以下で連続するボタン押下の回数をカウントするなどして、継続する操作の操作量を検出して、その操作量を示す操作信号を生成したが、本発明はこれに限られない。操作装置３０は、操作部３５に単位操作が与えられるごとにその単位操作を伝える信号を撮像装置１０に送信するようにしてもよい。
【００８８】
（撮像条件の変形例）
上記の例では、撮像装置１０の撮像条件が、撮像装置１０の固定台に対する回転角および画角であったが、操作装置３０にて操作可能な撮像条件はこれに限られない。撮像条件は、例えば露光量であってもよい。露光量は、上述した開口駆動部１７による開口１１１の調整や撮像素子１１２による露光時間の調整によって制御される。
【００８９】
（撮像システムの変形例）
上記の撮像システム１では、撮像装置１０が１秒間に１枚の画像（静止画）を生成し、操作装置３０では、表示画面３１にてこの静止画を表示したが、本発明の撮像システムは、これに限られない。撮像装置は、動画を撮像してもよい。この場合には、撮像装置から動画データが操作装置に送信され、操作装置では、表示画面にて動画を表示する。そして、操作時には、その時点で表示画面に表示されている画像（エンコードされている）を用いて操作反映画像を生成する。また、更新処理においては、撮像条件の変更に伴って新たに撮像された被写体部分を示す部分画像の他に、既に操作反映画像に含まれている部分についても、撮像装置から送信されてきた動きベクトルを用いて変化させることができる。
【００９０】
また、撮像装置１０と操作装置３０とがネットワークを介して接続されていなくてもよい。例えば、撮像装置１０と操作装置３０とが一体となって構成されており、操作信号や画像の伝送時間がほとんど無視できるほど短くてもよい。
【００９１】
以上説明したように、本実施の形態の撮像システムによれば、操作装置３０にて操作を受け付けたときに、その操作が反映された操作反映画像を小さいタイムラグで持って操作装置３０内にて生成して提示するので、ユーザは、操作によってどの程度画像が変化するかを確認しながら意図する操作量を入力することができる。
【００９２】
また、操作時点で表示画面に表示されている画像を用いて操作反映画像が生成されるので、操作時に情報のリアルタイム性が失われることがない。さらに、操作装置３０は、変更された撮像条件にて得られた撮像画像が届くまでは、それまでに送信されてきた部分画像を用いて操作反映画像を更新するので、操作反映画像を提示することによってユーザに与える違和感が軽減される。
【００９３】
【発明の効果】
以上説明したように、本発明の撮像システムは、操作装置にて操作反映画像を提示するので、操作装置側から撮像装置を操作する際の操作性を向上させるというすぐれた効果を有する撮像システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の操作反映画像生成部における処理を説明する図
【図２】本発明の実施の形態の操作反映画像生成部における処理を説明する図
【図３】本発明の実施の形態の撮像システムの全体の構成図
【図４】本発明の実施の形態の撮像装置の構成を示すブロック図
【図５】本発明の実施の形態の操作装置の構成を示すブロック図
【図６】本発明の実施の形態の操作反映画像の更新処理を説明する図
【図７】本発明の実施の形態の撮像システムにおいて操作装置から撮像装置を操作する際のフローチャート
【図８】本発明の実施の形態の撮像システムにおけるユーザの操作と画面表示との関係を示すグラフ
【図９】本発明の実施の形態の操作装置による撮像装置の操作時の画面表示を説明する図
【図１０】本発明の実施の形態の操作反映画像の更新処理の変形例を説明する図
【図１１】本発明の実施の形態の操作反映画像の提示の変形例を説明する図
【図１２】従来の撮像システムにおけるユーザの操作と画面表示との関係を示す図
【図１３】従来の撮像システムにおけるユーザの操作と画面表示との関係を示すグラフ
【符号の説明】
１  撮像システム
１０  撮像装置
２１  部分画像生成部
３０  操作装置
３５  操作部
３６  操作量検出部
３７  操作信号生成部
３９  表示制御部
４０  表示部
４１  操作反映画像生成部
４２  更新部
【図１】
2004289658.tif 000003
【図２】
2004289658.tif 000004
【図３】
2004289658.tif 000005
【図４】
2004289658.tif 000006
【図５】
2004289658.tif 000007
【図６】
2004289658.tif 000008
【図７】
2004289658.tif 000009
【図８】
2004289658.tif 000010
【図９】
2004289658.tif 000011
【図１０】
2004289658.tif 000012
【図１１】
2004289658.tif 000013
【図１２】
2004289658.tif 000014
【図１３】
2004289658.tif 000015