(57)【要約】【課題】  撮影画像の記憶状態に応じた効率的かつ負荷の少ない画像取得及び表示処理を可能とする。【解決手段】  端末装置での表示領域３０３を指定し、指定された表示領域３０３に対応する撮影画像の記憶状態に応じて、表示領域よりも大きいカメラによる３０２撮影領域を決定し、撮影領域の撮影画像を取得する。【選択図】  図３
2005191648.tif 000002
【特許請求の範囲】
【請求項１】
通信媒体を介して接続されるカメラを操作して前記カメラの撮影画像を取得する端末装置であって、
取得した前記撮影画像を記憶する記憶手段と、
前記記憶手段に記憶された前記撮影画像を表示する表示手段と、
前記表示手段への表示領域を指定する操作入力手段と、
前記操作入力手段により指定された表示領域と前記記憶手段の撮影画像の状態とに応じて、前記表示領域よりも大きい前記カメラによる撮影領域を決定し、前記撮影領域の撮影画像を取得する取得手段と、
を有することを特徴とする端末装置。
【請求項２】
前記取得手段は、前記表示領域が中心となる領域を前記撮影領域として決定することを特徴とする請求項１に記載の端末装置。
【請求項３】
前記取得手段は、前記操作入力手段による指定領域と前記指定領域の指定時における表示手段での表示領域との位置関係に基づき、前記撮影領域を決定することを特徴とする請求項１に記載の端末装置。
【請求項４】
前記取得手段は、前記指定時に前記記憶手段に記憶される撮影画像の画素単位での取得経過時間に基づき、前記撮影領域を決定することを特徴とする請求項１に記載の端末装置。
【請求項５】
前記取得手段は、前記指定した表示領域を含み、前記取得経過時間が最大となる領域を前記撮影領域として決定することを特徴とする請求項４に記載の端末装置。
【請求項６】
前記取得手段は、前記操作入力手段により指定された表示領域に対応する前記記憶手段の撮影画像が取得後一定時間経過している場合に、前記撮影画像を新たに取得することを特徴とする請求項１〜５のいずれかに記載の端末装置。
【請求項７】
前記取得手段は、前記撮影画像の時間経過の判断を画素単位で行うことを特徴とする請求項６に記載を端末装置。
【請求項８】
前記取得手段は、前記操作入力手段により指定された表示領域に対応する撮影画像が一定量未取得であり前記記憶手段に記憶されていない場合に、前記撮影画像を取得することを特徴とする請求項１〜７のいずれかに記載の端末装置。
【請求項９】
通信媒体を介して接続されるカメラを操作して前記カメラの撮影画像を取得し、取得した前記撮影画像を記憶し、記憶された前記撮影画像を表示する端末装置の画像取得表示方法であって、
前記端末装置での表示領域を指定する操作入力工程と、
前記操作入力工程において指定された表示領域と撮影画像の記憶状態とに応じて、前記表示領域よりも大きい前記カメラによる撮影領域を決定し、前記撮影領域の撮影画像を取得する取得工程と、
を有することを特徴とする端末装置の画像取得表示方法。
【請求項１０】
通信媒体を介して接続されるカメラを操作して前記カメラの撮影画像を取得し、取得した前記撮影画像を記憶し、記憶された前記撮影画像を表示する端末装置の画像取得表示方法を実行するためのプログラムであって、
前記端末装置での表示領域を指定する操作入力ステップと、
前記操作入力ステップにおいて指定された表示領域と撮影画像の記憶状態とに応じて、前記表示領域よりも大きい前記カメラによる撮影領域を決定し、前記撮影領域の撮影画像を取得する取得ステップと、
を有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信媒体を介して接続されるカメラを操作して前記カメラの撮影画像を取得する端末装置、端末装置の画像取得表示方法、及びプログラムに関するものである。
【背景技術】
【０００２】
従来、デジタルカメラ等のカメラ装置の画像をＰＣや携帯端末などの端末装置に表示し、ユーザが表示された画像を見ながら遠隔のカメラ装置を操作するカメラシステムが知られている。従来技術では、ユーザが端末装置で行った操作入力に応じて、カメラ装置のパンやチルトやズームの位置が移動し、移動後の画像が端末に表示される、といった流れの処理が行われていた。また、カメラ装置が撮影する画像サイズよりも端末装置の表示サイズが小さい場合には、端末装置にカメラ装置の操作入力とは別の操作入力を備えることで、表示画像の表示位置を移動可能にしていた。
【０００３】
しかし、上記従来の技術例では、ユーザが端末装置にてカメラ装置の操作をしてから端末装置に操作後の画像が表示されるまでの、レスポンスが悪い。この問題点に鑑み特許文献１では、表示領域よりも広い領域の撮影画像を端末装置に記憶させておき、表示領域の指定があった場合は、記憶した画像を表示させるようにしている。これにより、所望とする表示領域の画像をより迅速に取得表示することができる。
【特許文献１】特開２００２−３５４３３０号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献の技術では、表示領域の指定後、記憶画像を表示させる一方で、対応する領域の撮影画像を操作装置側で随時取得し更新する構成であり、被写体に変化が少ない場合や表示領域に大きな変化が無い場合等においては、無駄なデータ更新処理やデータ転送処理までも行ってしまうおそれがある。特に携帯端末で画像取得及び表示を行う場合は、このような無駄な処理を回避して、できるだけ端末での負荷を削減できることが好ましい。
【０００５】
本発明は上述した問題点を解決するためのものであり、撮影画像の記憶状態に応じた効率的かつ負荷の少ない画像取得及び表示処理が可能となる端末装置、端末装置の画像取得表示方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の端末装置は、通信媒体を介して接続されるカメラを操作して前記カメラの撮影画像を取得する端末装置であって、取得した前記撮影画像を記憶する記憶手段と、前記記憶手段に記憶された前記撮影画像を表示する表示手段と、前記表示手段への表示領域を指定する操作入力手段と、前記操作入力手段により指定された表示領域と前記記憶手段の撮影画像の状態とに応じて、前記表示領域よりも大きい前記カメラによる撮影領域を決定し、前記撮影領域の撮影画像を取得する取得手段と、を有することを特徴とする。
【０００７】
また、本発明の端末装置の画像取得表示方法は、通信媒体を介して接続されるカメラを操作して前記カメラの撮影画像を取得し、取得した前記撮影画像を記憶し、記憶された前記撮影画像を表示する端末装置の画像取得表示方法であって、前記端末装置での表示領域を指定する操作入力工程と、前記操作入力工程において指定された表示領域と前記撮影画像の記憶状態とに応じて、前記表示領域よりも大きい前記カメラによる撮影領域を決定し、前記撮影領域の撮影画像を取得する取得工程と、を有することを特徴とする。
【０００８】
また、本発明のプログラムは、通信媒体を介して接続されるカメラを操作して前記カメラの撮影画像を取得し、取得した前記撮影画像を記憶し、記憶された前記撮影画像を表示する端末装置の画像取得表示方法を実行するためのプログラムであって、前記端末装置での表示領域を指定する操作入力ステップと、前記操作入力ステップにおいて指定された表示領域と前記撮影画像の記憶状態とに応じて、前記表示領域よりも大きい前記カメラによる撮影領域を決定し、前記撮影領域の撮影画像を取得する取得ステップと、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮影画像の記憶状態に応じた効率的かつ負荷の少ない画像取得及び表示処理が可能となる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明の実施の形態を説明する。
【００１１】
図１は本発明の実施形態におけるシステム構成例を示した図である。同図において、１０は携帯電話やパソコンなどの端末装置、１１は液晶ディスプレイなどの画像を表示する画像表示部、１２はボタンや上下左右のコントロールキーなどの組み合わせで構成される操作入力部、１３はカメラ装置の撮影位置を算出しカメラ装置の制御命令を作成する制御命令処理部、１４は操作入力部１２からの操作に応じて端末表示部１１に表示する画像を作成する画像処理部、１５はカメラ装置から取得した画像データを撮影位置と取得時間を関連づけて管理する画像記憶部、１６はカメラ装置との通信を行う通信インターフェース、２０はインターネットやＬＡＮなどのネットワークである。
【００１２】
３０はパン動作やチルト動作やズーム動作を行うことができるカメラ装置、３１は被写体を撮影し画像データを作成するカメラ部、３２はカメラ部３１のパン動作やチルト動作やズーム動作と撮影を制御するカメラ制御部、３３は端末装置との通信を行う通信インターフェースである。
【００１３】
上記構成において制御命令処理部１３で撮影位置などを指定したカメラ制御命令が作成され、通信インターフェース１６とネットワーク２０と通信インターフェース３３を通りカメラ制御部３２に送信すると、カメラ制御部３２ではカメラ制御命令の撮影位置にカメラ部３１をパン動作やチルト動作などをしたのち撮影をさせて画像データを得て、画像データを通信インターフェース３３とネットワーク２０と通信インターフェース１６を通り画像記憶部１５に送信すると、画像記憶部１５は画像データを撮影位置と取得時間に対応づけて保存する。
【００１４】
画像処理部１４は、画像記憶部１５に保存されている画像データから端末表示部１１の表示サイズにあわせた表示画像を作成して、端末表示部１１に表示される。ユーザの操作が操作入力部１２に行われると、操作に合わせた表示画像が画像処理部１４にて画像記憶部１５に保存されている画像データから作成されて、端末表示部１１に表示されるとともに、作成された表示画像が後述する条件を満たしている場合は、端末表示部１１の表示領域と操作入力部１２への操作の情報が制御命令処理部１３に送られて、後述の撮影位置算出方法にてカメラ制御命令が作成されカメラ装置３０から画像データを取得される。また画像処理部１４は画像記憶部１５が保存した最新画像データの取得時間を得て、取得してからの経過時間が一定以上の場合は、端末表示部１１の表示領域と操作入力部１２への操作情報を制御命令処理部１３に送信して、カメラ装置３０から画像データを取得させる。
【００１５】
図２は画像記憶部１５での画像データの保存方法の概念を示す図である。２０１はすでに画像記憶部１５に保存されている画像データ、２０２はカメラ装置から新規に取得した画像データ、２０３は画像データ２０１の撮影位置、２０４は画像データ２０２の撮影位置、２０５は画像データ２０１のみの領域、２０６は画像データ２０２のみの領域、２０７は画像データ２０１と画像データ２０２とで撮影位置に重なりがある領域、を示している。画像記憶部１５は、新しい画像データを取得した場合、撮影位置に重なりのない領域２０５は画像データ２０１が、撮影位置に重なりのある領域２０７には画像データ２０２が、重なりのない領域２０６には画像データ２０２が、それぞれ保存される。
【００１６】
図３は制御命令処理部１３で決定される撮影位置の算出方法の１つを示す図である。３０１はカメラ部３１がカメラ制御部３２によってパン動作とチルト動作をすることで撮影可能なエリア、３０２はカメラ部３１が一度の撮影で撮影可能なエリア、３０３は端末表示部１１への表示サイズである。端末表示部１１にエリア３０３が表示されているときに、制御命令処理部１３が撮影位置を算出する場合は、３０３を領域の中心とするエリア３０２の領域を撮影位置とする。
【００１７】
図４は、図３とは別の制御命令処理部１３で決定される撮影位置の算出方法の１つを示す図である。３０１、３０２、３０３は図３と同様であり、４０１はエリア３０３に移動する直前の端末表示部１１への表示エリアの位置である。エリア４０１からエリア３０３に端末表示部１１の表示エリアが移動したときに、制御命令処理部１３が撮影位置を算出する場合は、エリア４０１とエリア３０３の位置と時間から移動方向と移動速度を計算し、エリア３０３を領域の中心とする撮影位置から移動方向と移動速度で重み付けをした位置を撮影位置とする。図４においては右方向に移動しているため、中心よりも右に撮影位置が重み付けされている。
【００１８】
図５は、図３と図４とは別の制御命令処理部１３で決定される撮影位置の算出方法の１つを示す図である。３０１、３０２、３０３は図３と同様であり、５０１と５０２と５０３と５０４は画像記憶部１５にすでに保存されている画像データのエリアであり、５０１、５０２、５０３、５０４の順で取得してからの経過時間が長い（５０１が最も経過時間が長い）。撮影位置での取得済み画像の経過時間を、画像記憶部１５の画像データを画素単位で走査し、撮影エリア内の画素の取得経過時間を総和した値とする。端末表示部１１がエリア３０３を表示しているときに、制御命令処理部１３が算出する撮影位置は、エリア３０３を含み経過時間が最大となる撮影位置となる。
【００１９】
図６は、画像処理部１４で求める表示画像中の未取得領域について示す図である。３０３は端末表示部１１の表示エリア、６０１は画像記憶部１５に画像データがあるエリア、６０２は画像記憶部１５に画像データがないエリアであり、６０２の面積が未取得領域の値である。
【００２０】
図７は、画像処理部１４で求める表示画像の取得経過時間について示す図である。３０３は端末表示部１１の表示エリア、７０１と７０２はそれぞれ異なる時刻に取得した画像記憶部１５の画像データのエリアを示している。表示画像の取得経過時間は、３０３エリア内のそれぞれの画素について、画像記憶部１５に保存されてからの経過時間を求め、全てを足し合わせた値とする。
【００２１】
次に、端末装置１０で実行される本発明に関る制御フローについて、図８のフローチャートを用いて説明する。図８の処理は端末装置１０内の各ブロックを制御及び管理するＣＰＵ（図示せず）により実行されるものとする。
【００２２】
まず、操作入力部１２より端末表示部１１に表示させる表示領域を指示入力する（Ｓ１０１）。次に、図６に示したように、指定領域に対する未取得領域の量を判断する（Ｓ１０２）。ここで、未取得領域が一定量以下であると判断した場合は、対応する領域に関して画像記憶部１５の撮影画像の取得経過時間が一定以上経過しているか判断する（Ｓ１０３）。ここで、一定時間内であると判断した場合は、画像記憶部１５に記憶された撮影画像から表示画像を生成し（Ｓ１０４）、生成した画像を端末表示部１１に表示する（Ｓ１０６）。
【００２３】
一方、ステップ１０２で未取得領域が一定以上含まれる、または、ステップＳ１０３で経過時間が一定以上経過していると判断された場合は、図３〜図５のいずれかの方法で、撮影領域の決定を行い、決定した領域を撮影するためのコマンドをカメラ装置３０に対して送信する。そして、コマンドに応じた撮影を行わせた後、撮影画像を取得し表示画像を生成する（Ｓ１０５）。そして、生成された画像を端末表示部１１に表示する（Ｓ１０６）。
【００２４】
以上、説明したように、本実施形態によれば、端末装置内の画像記憶部に画像データを撮影位置ごとの関連付けて保存し、端末装置での表示位置移動の操作においては画像記憶部に保存済みの画像データを処理して端末表示部に表示するため、ユーザによる端末装置での操作に応じた画像を速やかに表示することが可能になる。さらに、この処理を画像データの取得を合わせて行うことで，ネットワークトラフィックを少なくすることが可能になる。また、システムが必要とする、ユーザからの操作を受け付ける端末装置のボタンなど入力装置が少なくなる。
【００２５】
また、定期的な間隔もしくは画像データが未取得の撮影位置を表示した際に、端末表示部への表示位置に応じてカメラ装置を制御して画像データを取得して更新するため、表示位置周辺の画像データを最新に保つことが可能になる。
【００２６】
また、定期的な間隔もしくは画像データが未取得の撮影位置を表示した際に、端末表示部への表示位置とそれまでの操作の方向と速度に応じてカメラ装置を制御して画像データを取得して更新するため、これから移動していくと思われる方向の画像データを最新に保つことが可能になる。
【００２７】
また、随時取得更新を行うのでなく、画像データが未取得の撮影位置を表示した際もしくは表示した画像の取得経過時間が一定以上になった際に、端末表示部への表示位置に応じてカメラを制御して画像データを取得して更新するため、端末装置での処理の効率化と負荷の削減が達成される。
【００２８】
（他の実施形態）
なお、本発明の目的は、前述した各実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。
【００２９】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【００３０】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００３１】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【００３２】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施の形態におけるカメラ制御システムの構成例を示す図である。
【図２】画像記憶部への画像データ保存の概念を示す図である。
【図３】表示位置からの撮影位置の算出方法の概念を示す図である。
【図４】表示位置と操作方向と操作速度からの撮影位置の算出方法の概念を示す図である。
【図５】表示位置と画像データの取得経過時間からの撮影位置の算出方法の概念を示す図である。
【図６】未取得領域の算出方法の概念を示す図である。
【図７】表示画像の取得経過時間の算出方法の概念を示す図である。
【図８】本発明の実施の形態において、端末装置１０において実行される制御のフローチャートである。
【符号の説明】
【００３４】
１０  端末装置
１１  端末表示部
１２  操作入力部
１３  制御命令処理部
１４  画像処理部
１５  画像記憶部
１６  通信インターフェース
２０  ネットワーク
３０  カメラ装置
３１  カメラ部
３２  カメラ制御部
３３  通信インターフェース
【図１】
2005191648.tif 000003
【図２】
2005191648.tif 000004
【図３】
2005191648.tif 000005
【図４】
2005191648.tif 000006
【図５】
2005191648.tif 000007
【図６】
2005191648.tif 000008
【図７】
2005191648.tif 000009
【図８】
2005191648.tif 000010