(57)【要約】【課題】カメラ操作しながら撮影範囲を確認できるのでユーザの利便性が向上し、カメラ動作のユーザ操作に対する遅延によるユーザの精神的負担を減少させる。【解決手段】操作可能な撮影装置が撮影した画像を表示装置に表示させる表示制御手段と、前記撮影装置が撮影した複数枚の画像を蓄積する記憶手段とを有し、前記表示制御手段は、前記撮影装置に対して操作が指示された際、撮影装置が操作指示を受けて撮影方向の移動動作を開始してから指定位置までの移動動作を終了して指定された撮影方向の画像を撮影して前記表示装置に表示できるようになるまでの間、操作によって遷移する画面領域分に対して、前記記憶手段に記憶された画像のうち前記画面領域分に該当する画像を、前記表示装置に表示中の画像につなぎ合成して生成した画像を表示する画像生成手段を有することを特徴とする画像処理装置。【選択図】        図１
2006237980.tif 000002
【特許請求の範囲】
【請求項１】
操作可能な撮影装置が撮影した画像を表示装置に表示させる表示制御手段と、
前記撮影装置が撮影した複数枚の画像を蓄積する記憶手段とを有し、
前記表示制御手段は、前記撮影装置に対して操作が指示された際、撮影装置が操作指示を受けて撮影方向の移動動作を開始してから指定位置までの移動動作を終了して指定された撮影方向の画像を撮影して前記表示装置に表示できるようになるまでの間、操作によって遷移する画面領域分に対して、前記記憶手段に記憶された画像のうち前記画面領域分に該当する画像を、前記表示装置に表示中の画像につなぎ合成して生成した画像を表示する画像生成手段を有することを特徴とする画像処理装置。
【請求項２】
前記撮影装置はネットワーク上に配置されていることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮影装置は初期設定がなされる際に撮影可能な全範囲を撮影することを特徴とし、
前記画像生成手段は、前記撮影装置によって撮影された画像を複数枚つないだパノラマ画像を生成して前記記憶手段に蓄積することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像処理装置は、周囲の明るさを検知する明度測定手段を有し、
前記明度測定手段によって測定される明度の変化に応じて、前記画像生成手段が自動的に生成するパノラマ画像を前記記憶手段に蓄積することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記撮影装置は、撮影した複数枚の画像を蓄積する記憶手段を有し、
該記憶手段に記憶された画像をつなぎあわせてパノラマ画像を生成する画像生成手段を有し、
前記撮影装置への操作指示や前記表示装置への表示指示などといったやり取りが行われない際、
あるいは前記表示装置に対する表示更新が不要なときに
前記撮影装置が自動的に撮影する画像を用いて前記画像生成手段によって自動的に生成されるパノラマ画像を前記記憶手段に蓄積することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記画像生成手段は、前記表示装置に表示中の画像と、合成に用いるために前記記憶手段に蓄積された前記画像生成手段によって作成されるパノラマ画像の明度を比較し、顕著な差がある際には前記パノラマ画像の明度を前記表示画像に合わせて合成することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記画像生成手段の単位は、あらかじめ決められたブロック単位で行われることを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に係り、特に撮影装置を遠隔操作することが可能な画像処理装置に関するものである。
【背景技術】
【０００２】
従来、離れた位置にあるカメラが撮影する映像を利用する方法として、ネットワークに接続したカメラの映像を受信して表示装置に表示させ、カメラの撮影範囲を受信側で操作するという方法がある。しかしながら、受信画像を見るユーザがカメラを操作する際に、操作に対するカメラの動きが遅いことが多い。そのため操作指示が終了した後、しばらく経って画面が指定範囲の表示に更新されるので思ったよりも行き過ぎてしまったり、手前だったりすることも多く、どこまで動かすとどの辺りまで表示されるのかということが分かりづらかった。
【０００３】
この問題を解決するための第一の例として、特許文献１では画像伝送の伝送レートに応じた速度に、撮像装置の遠隔操作の応答速度を規制することで、画像伝送に比してカメラ操作が速過ぎることを回避している。
【０００４】
従来技術の第二の例として、特許文献２では一度全画面を表示してから表示範囲を全画面の中から選択することで撮影範囲を決定する方法が提案されている。
【特許文献１】特開平９−２３３６８号公報
【特許文献２】特開平１０−１７３９７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来第一の例では、ユーザはカメラを動かした後の表示画面を確認しながら操作することができなかった。また、カメラの動く速度が一定でないので統一された操作感がないうえ、カメラが早く動くときに比べて遅く動く場合にはユーザに不快感を与えてしまうという問題があった。
【０００６】
また、第二の例では、表示範囲を確認しながらカメラ操作したい場合には、現在の表示を活かしたい場合などでも一度全画面を表示する必要があるので、ユーザが見たい部分を少し横にずらしたい場合などには冗長な映像を見せることになってしまうという問題があった。
【０００７】
本発明は、以上の点に着目して成されたもので、カメラ操作しながら撮影範囲を確認できるのでユーザの利便性が向上し、カメラ動作のユーザ操作に対する遅延によるユーザの精神的負担を減少させる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は係る問題点を鑑みてなされたものであり、本発明の一態様によるデータ表示装置はたとえば以下の構成を備える。
【０００９】
すなわち操作可能な撮影装置が撮影した画像を表示装置に表示させる表示制御手段と、前記撮影装置が撮影した複数枚の画像を蓄積する記憶手段とを有する。前記表示制御手段は、前記撮影装置に対して操作が指示された際、撮影装置が操作指示を受けて撮影方向の移動動作を開始してから指定位置までの移動動作を終了して指定された撮影方向の画像を撮影して前記表示装置に表示できるようになるまでの間、操作によって遷移する画面領域分に対して、前記記憶手段に記憶された画像のうち前記画面領域分に該当する画像を前記表示装置に表示中の画像につなぎ合成して生成した画像を表示する画像生成手段を有する。
【００１０】
また、前記撮影装置はネットワーク上に配置されていてもよい。
【００１１】
さらに、前記撮影装置は初期設定がなされる際に撮影可能な全範囲を撮影し、前記画像生成手段は前記撮影装置によって撮影された画像を複数枚つないだパノラマ画像を生成して前記記憶手段に蓄積する。
【００１２】
また、前記画像処理装置は、周囲の明るさを検知する明度測定手段を有し、前記明度測定手段によって測定される明度の変化に応じて、前記画像生成手段が自動的に生成するパノラマ画像を前記記憶手段に蓄積する。
【００１３】
また、前記撮影装置は、撮影した複数枚の画像を蓄積する記憶手段を有し、該記憶手段に記憶された画像をつなぎあわせてパノラマ画像を生成する画像生成手段を有する。前記撮影装置への操作指示や前記表示装置への表示指示などといったやり取りが行われない際、あるいは前記表示装置に対する表示更新が不要なときに前記撮影装置が自動的に撮影する画像を用いて前記画像生成手段によって自動的に生成されるパノラマ画像を前記記憶手段に蓄積する。
【００１４】
また、前記画像生成手段は、前記表示装置に表示中の画像と、合成に用いるために前記記憶手段に蓄積された前記画像生成手段によって作成されるパノラマ画像の明度を比較し、顕著な差がある際には前記パノラマ画像の明度を前記表示画像に合わせて合成する。
【００１５】
さらに、前記画像生成手段の単位は、あらかじめ決められたブロック単位で行うことにより上記課題を解決した。
【発明の効果】
【００１６】
本発明によれば、カメラ操作しながら撮影範囲を確認できるのでユーザの利便性が向上し、カメラ動作のユーザ操作に対する遅延によるユーザの精神的負担を減少させるという効果がある。
【発明を実施するための最良の形態】
【００１７】
以下、図面を用いて本発明の１実施形態を詳細に説明する。
【００１８】
図１は、本発明の実施形態におけるデータ表示装置の構成を示すブロック図である。図１において、１０１はユーザからの指示やデータ入力を行う操作部で、キーボードやポインティングデバイスを含む。１０２は画像などが表示される表示部で、ＣＲＴや液晶ディスプレイなどである。１０３のカメラＩ／Ｆ部は、カメラ１０８に対して操作部から指示される撮影範囲の指定できる、また撮影画像の取り込み開始および終了なども要求できる。ＣＰＵ１０４は画像の表示、さらにはユーザ操作などの制御を行う。ＲＯＭ１０５、ＲＡＭ１０６は処理プログラム、データ、などを記憶する。また、外部記憶装置１０７によって、撮影画像データを蓄積する。カメラ１０８は、カメラＩ／Ｆ部１０３からの指示によって制御される。
【００１９】
図２は、本実施形態による画像処理装置の外観図の一例である。表示画面２０１を備えており、画像を表示することができる。２０２はカメラ２０６のチルト制御のためのスクロールバーであり、上部に矢印で示すマーカーを押下するとあらかじめ決められた範囲だけ上方向にカメラが動く。下方向も同様である。さらにスクロールバーの全長は撮影可能範囲を示し、内側に示す長方形が現在の表示領域を示す。内側の長方形をポインティングデバイスなどで指定して動かすことで任意の方向へカメラを向けることができる。２０３は２０６のパン制御のためのスクロールバーであり、左部に矢印で示すマーカーを押下するとあらかじめ決められた範囲だけ左方向にカメラが動く。右方向も同様である。２０４はカメラ２０７のズーム制御のためのボタンであり、プラスボタン押下でズームアップ、マイナスボタン押下でズームダウンすることができる。２０５は表示画面２０１とカメラ２０６の通信回線を示す。２０７は電動雲台で、パン制御およびチルト制御によって指定された方向を実現する。
【００２０】
また、図３は本実施例によって実現される表示画面の遷移を概略で示す図の一例である。矢印方向にパン操作を行うとして、破線で示すのがパン操作前の撮影位置で、最も太い線の枠がパン操作後の撮影位置である。このとき、右側の斜線部分はパン操作前のみ表示される領域であり、左側の斜線部分がパン操作後のみ表示される領域である。中央の塗りつぶし部分は操作前後両方で表示される領域である。本発明は左側の斜線で示した領域に関して蓄積画像を用いて合成するものである。
【００２１】
以下に、本実施例について具体的な動作を上記フローを用いながら流れを追って説明する。
【実施例１】
【００２２】
図１のようなシステム構成を持ち、図２のようなハードウェア構成を持つ画像処理装置においての遠隔操作の動作をフローチャートにして図４に示す。カメラ１０８で撮影される映像が表示部１０２に表示されている際中、操作部１０１からユーザがパン動作を指示すると（ステップ４０１）、１０３のカメラＩ／Ｆ部からカメラ１０８に動作指示が送られ、ステップ４０２においてカメラ１０８はパン動作を開始する。同時にステップ４０３において新たにユーザの表示指定範囲となる部分を外部記憶装置１０７に記憶された蓄積画像から読み出して合成画像を作成する。ステップ４０４においてカメラ１０８のパン動作が終了し、撮影された画像がカメラＩ／Ｆ部１０３によって受信完了していると判定されるとステップ４０６で表示部１０２の表示を現在の画像に更新する。受信が完了していなければ、ステップ４０３で作成した合成画像で表示部１０２の表示を更新する。
【００２３】
ここで外部記憶装置１０７にユーザの表示指定範囲に相当する画像が複数あった場合には、最も新しい画像を用いる。さらに予め設定される任意時間内で過去に撮られた画像の中から最も明度の近い画像を用いるようにしてもよい。また、合成に用いることのできる画像が複数ある場合の選択基準をユーザが選べるようにしてもよい。
【００２４】
以上説明したように、本実施例を施すことによって、カメラ操作後の画像を逐次確認しながら撮影範囲を変更できるのでユーザの利便性が向上すると同時に、カメラ動作のユーザ操作に対する遅延によるユーザの精神的負担を減少させることができる。
【実施例２】
【００２５】
次に第２の実施例を説明する。
【００２６】
実施例１において、カメラがネットワーク上に配置されている場合について説明する。図５はネットワーク上のカメラを遠隔操作する際のシステム構成例である。図５において、５０３は表示側システム５００の通信部、５０９はカメラ側システム５１０の通信部である。
【００２７】
以上の図に示したように、表示側とカメラ側のシステムに通信部を設けることによって、カメラを離れた場所に設置することが可能になる。また、１つのカメラの映像を複数の表示装置から見ることも可能になる。逆に、１つの表示装置から複数のカメラの映像を見ることも可能になり、もちろん、複数のカメラ操作も可能となる。
【実施例３】
【００２８】
次に第３の実施例を説明する。上述の各実施例において、カメラ１０８を据え付ける際などの初期設定時に、撮影可能範囲の全方向を撮影して作成されるパノラマ画像を外部記憶装置１０７に蓄積しておくことも可能である。初期設定時に全方向の画像が蓄積されていれば、表示部１０２への表示開始と同時に操作部１０１によってカメラ１０８をパン操作した際に遅延が生じても、蓄積されているパノラマ画像から合成画像を作成して表示することで、遅延を感じさせないようにすることができる。初期設定時の動きをフローチャートにして図６に示す。ステップ６０１で初期設定が完了したあとステップ６０２において、カメラ１０８は撮影可能な範囲の周囲画像の撮影を開始する。パノラマ画像作成が開始された時点のステップ６０３で初期設定が終了と認識されるようにしておく。フローチャートにはステップ６０４として示したが、カメラ１０８は撮影可能な全方向を撮影するので、ステップ６０２で画像が撮影されるのと並列して、撮影されるごとに順次外部記憶装置１０７に蓄積していく。
【００２９】
また、初期設定時のみだけでなく、表示装置に複数台のカメラの映像を切り替えて表示している際などは、表示すべき表示装置なくなったときなどに自動的にパノラマ画像を作成蓄積するようにしてもよい。前述の例同様に、再び表示を開始した時点で既に表示範囲より外側の範囲の画像が記憶装置に蓄積されていることが確実となる。
【００３０】
以上説明したように、本実施例を施すことによって、カメラ操作しながら撮影範囲を確認できるのでユーザの利便性が向上させ、カメラ動作のユーザ操作に対する遅延によるユーザの精神的負担を減少させるためのパノラマ画像を効率よく蓄積することが可能となる。
【実施例４】
【００３１】
次に第４の実施例を説明する。上述の各実施例において、周囲の明るさを測定することで検知される明度の変化に応じて、自動的にパノラマ画像を作成して外部記憶装置１０７に蓄積するようにしてもよい。明度による合成画像作成の動きをフローチャートにして図７に示す。まずステップ７０１において、現在蓄積する画像明度を０に設定すると同時に閾値となる任意の明度を設定する。次にステップ７０２でカメラ１０８が撮影する明度を測定する。ステップ７０３で、現在蓄積している画像の明度とステップ７０２で測定された明度の差と、ステップ７０１で設定された閾値を比較する。比較した結果が閾値を超えなければ明度の測定（ステップ７０２）に戻り、閾値を超えればステップ７０４でパノラマ画像の作成と蓄積の準備をする。ステップ７０４ではパノラマ画像作成が必要なことを示すフラグを立てるなどしておく。表示部１０２への表示が切り替えられて撮影画像の表示が不要になったことなどを検出した際に、該フラグが立っていればパノラマ画像作成のための周囲撮影を開始する。ステップ７０５ではパノラマ画像として外部記憶装置１０７に蓄積される画像が撮影された際の明度を保存しておく。ステップ７０６において明度差による自動撮影の終了が指示された際には処理を終了し、そうでなければ再び明度の測定に戻る。
【００３２】
また、タイマーなどを内蔵させることにより、一定の時間ごとにパノラマ画像の作成準備がされるようにしてもよい。
【００３３】
時間で画像蓄積を指定できるので、遠隔操作する時間が決まっている場合などを避けて設定すれば確実にパノラマ画像を蓄積しておくことができる。そのため、遠隔操作の際には一定時間以内の画像による補完が可能となる。日の出や日の入りの予測時間による設定で、明るさの変化はもちろん、設定時間間隔を狭くしておけば、天気などの明るさ変化によって蓄積画像が現在の画像と極端に異なってしまうことを防ぐことが可能となる。
【００３４】
以上説明したように、本実施例を施すことによって、蓄積されたパノラマ画像と現在表示中の画像の明るさが異なることによる合成の不自然さを軽減することができる。
【実施例５】
【００３５】
次に第５の実施例を説明する。上述の各実施例において、撮影装置側に記憶装置を持たせ、画像が保存できるようにすることも可能である。図８は撮影装置側に記憶装置を持たせた場合のシステム構成の一例である。図８において、８０３は表示側システム８００の通信部、８０９はカメラ側システム８１０の通信部である。また、８１２は撮影装置の記憶装置である。
【００３６】
以上の図に示したように、表示装置に大容量の記憶装置がなくても、撮影装置に保存された蓄積画像から作成される合成画像でパン動作の遅延による不快感を減少させることができる。また、表示装置側でユーザの操作が行われ必要となったときだけ渡すようにすれば、表示装置が複数あったときに共用することも可能である。
【実施例６】
【００３７】
次に第６の実施例を説明する。上述の各実施例において、記憶装置に記憶されたパノラマ画像を用いて合成画像を作成する際に、現在表示中の画像と明度を合わせることで、より自然な合成画像を表示させることも可能である。図９に本実施例の概要を示す。合成画像を作成する際に、現在表示中の画像と蓄積されたパノラマ画像との明度を合わせて、より自然な合成画像を表示させることもできる。９００は現在表示部１０２に表示中の画像、９０２が外部記憶装置１０７に蓄積されたパノラマ画像を示す。９０１はユーザが注視しているオブジェクトであり、カメラ１０８の撮影可能範囲の中ではパノラマ画像９０２に示したように９０３の位置に存在する。よってユーザがオブジェクト９０１の全体を把握しようとした場合９０４に示した部分だけ操作部１０１によってパン操作を行うことになる。よってパン操作の遅延が生じる際にはパノラマ画像９０２から９０４部分を切り出して表示部１０２に表示する。９０５はそのまま合成した場合の模式図の一例である。９０６はパノラマ画像の明度を上げて、表示中の画像に合うように合成した場合の模式図の一例である。
【００３８】
以上説明したように、本実施例を施すことによって、埋め合わせに用いるパノラマ画像と現在の画像の明度に差がある場合でも、自然な合成画像を作成することができる。
【実施例７】
【００３９】
最後に第７の実施例を説明する。上述の各実施例において、あらかじめ決められたブロック単位で合成画像を作成するようにしてもよい。図１０はブロック単位の使用例である。破線で囲った１００１が現在表示部１０２に表示している範囲を示す。斜線で塗りつぶした１００２は新たに表示されるために外部記憶装置１０７に蓄積されているパノラマ画像を用いて埋め合わせたい部分を示す。ここで、図示したように、撮影画像はあらかじめブロック単位で切り分けられている。よって、１００３で示したような方向と範囲で操作部１０１からパン操作が指示された場合に操作遅延が生じれば、１００４のように外部記憶装置に蓄積される画像をブロック単位で合成して表示部１０２に表示する。つまり１００３に対して１００５に示したように大まかな単位で合成が行われる。
【００４０】
以上説明したように、本実施例を施すことによって合成のための計算が簡略化できるので、より高速な処理が可能となる。また、合成のための負荷を減少させることができるので、他の処理への影響が少なくなる。
【図面の簡単な説明】
【００４１】
【図１】本実施形態に係る画像処理装置のシステム構成を示すブロック図である。
【図２】本実施形態に係る画像処理装置のハードウェア構成を示すブロック図の一例である。
【図３】本実施形態に係る表示画面の遷移を概略で示した図の一例である。
【図４】本実施形態に係る画像処理装置における処理の一例を示すフローチャートである。
【図５】本実施形態に係る第二の実施例における画像処理装置のシステム構成の一例を示すブロック図である。
【図６】本実施形態に係る第三の実施例における画像処理装置における処理の一例を示すフローチャートである。
【図７】本実施形態に係る第四の実施例における画像処理装置における処理の一例を示すフローチャートである。
【図８】本実施形態に係る第五の実施例における画像処理装置のシステム構成の一例を示すブロック図である。
【図９】本実施形態に係る第六の実施例における合成処理を概略で示した一例を示す図である。
【図１０】本実施形態に係る第七の実施例における合成処理を概略で示した一例を示す図である。
【符号の説明】
【００４２】
１０１  操作部
１０２  表示部
１０３  カメラＩ／Ｆ部
１０４  ＣＰＵ
１０５  ＲＯＭ
１０６  ＲＡＭ
１０７  外部記憶装置
１０８  撮像装置
【図１】
2006237980.tif 000003
【図３】
2006237980.tif 000004
【図４】
2006237980.tif 000005
【図５】
2006237980.tif 000006
【図６】
2006237980.tif 000007
【図７】
2006237980.tif 000008
【図８】
2006237980.tif 000009
【図１０】
2006237980.tif 000010
【図２】
2006237980.tif 000011
【図９】
2006237980.tif 000012