(57)【特許請求の範囲】
【請求項１】
撮像装置から送られる画像を表示する表示工程と、
前記表示工程で表示された画像に対して入力されたジェスチャに基づいて、前記撮像装置の動作を指示するコマンドを解釈するコマンド解釈工程と、
前記画像に対して入力されたジェスチャに基づいて指定された画像部分の所定の特徴の特徴量を抽出する特徴量抽出工程と、
前記特徴量抽出工程で抽出された特徴量と前記コマンド解釈工程で解釈されたコマンドとに基づいて、表示されている画像を変更するように前記撮像装置を制御する制御工程とを有し、
前記ジェスチャとして入力可能なジェスチャは、
該ジェスチャに基づいて指定された部分を新たな画像中心として前記表示されている画像を変更するように前記撮像装置を制御するためのジェスチャであり、
前記制御工程は、前記指定部分の特徴量と現在の画像中心の特徴量とに基づいて前記指定部分と前記現在の画像中心との間の距離及び画角を算出し、前記算出した距離及び画角に基づき基本単位の移動量で移動させる仮移動コマンドを算出し、前記算出した仮移動コマンドを前記撮像装置に対して発行し、前記仮移動コマンドにより前記撮像装置が移動した後の画像中心の特徴量と前記指定部分の特徴量とが一致しているか否かを判定し、前記画像中心の特徴量と前記指定部分の特徴量とが一致していなければ一致すると判定されるまで、移動後の画像中心の特徴量と前記指定部分の特徴量とに基づき前記仮移動コマンドを補正した補正コマンドを前記撮像装置に対して発行することを繰り返し、移動後の画像中心の特徴量と前記指定部分の特徴量とが一致すると判定されたら、前記撮像装置に対して移動の停止コマンドを発行することを特徴とする撮像方法。
【請求項２】
撮像装置から送られる画像を表示する表示工程と、
前記表示工程で表示された画像に対して入力されたジェスチャに基づいて、前記撮像装置の動作を指示するコマンドを解釈するコマンド解釈工程と、
前記画像に対して入力されたジェスチャに基づいて指定された画像部分の所定の特徴の特徴量を抽出する特徴量抽出工程と、
前記特徴量抽出工程で抽出された特徴量と前記コマンド解釈工程で解釈されたコマンドとに基づいて、表示されている画像を変更するように前記撮像装置を制御する制御工程とを有し、
前記所定の特徴は、前記ジェスチャに基づいて指定された画像部分を代表する色相と、前記画像部分内でその色相で代表される領域の位置情報とを含むことを特徴とする撮像方法。
【請求項３】
前記所定の特徴は、前記ジェスチャに基づいて指定された画像部分を代表する色の種類と、前記画像部分内でその色の種類で代表される領域の位置情報とを含むことを特徴とする請求項１に記載の撮像方法。
【請求項４】
前記色の種類は、色相であることを特徴とする請求項３に記載の撮像方法。
【請求項５】
前記ジェスチャとして入力可能なジェスチャは、
該ジェスチャに基づいて指定された部分を新たな画像中心として前記表示されている画像を変更するように前記撮像装置を制御するためのジェスチャを含むことを特徴とする請求項２に記載の撮像方法。
【請求項６】
撮像装置から送られる画像を表示する表示手段と、
前記表示手段で表された画像に対して入力されたジェスチャに基づいて、前記撮像装置の動作を指示するコマンドを解釈するコマンド解釈手段と、
前記画像に対して入力されたジェスチャに基づいて指定された画像部分の所定の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出された特徴量と前記コマンド解釈手段で解釈されたコマンドとに基づいて、表示されている画像を変更するように前記撮像装置を制御する制御手段とを有し、
前記ジェスチャとして入力可能なジェスチャは、
該ジェスチャに基づいて指定された部分を新たな画像中心として前記表示されている画像を変更するように前記撮像装置を制御するためのジェスチャであり、
前記制御手段は、前記指定部分の特徴量と現在の画像中心の特徴量とに基づいて前記指定部分と前記現在の画像中心との間の距離及び画角を算出し、前記算出した距離及び画角に基づき基本単位の移動量で移動させる仮移動コマンドを算出し、前記算出した仮移動コマンドを前記撮像装置に対して発行し、前記仮移動コマンドにより前記撮像装置が移動した後の画像中心の特徴量と前記指定部分の特徴量とが一致しているか否かを判定し、前記画像中心の特徴量と前記指定部分の特徴量とが一致していなければ一致すると判定されるまで、移動後の画像中心の特徴量と前記指定部分の特徴量とに基づき前記仮移動コマンドを補正した補正コマンドを前記撮像装置に対して発行することを繰り返し、移動後の画像中心の特徴量と前記指定部分の特徴量とが一致すると判定されたら、前記撮像装置に対して移動の停止コマンドを発行することを特徴とする撮像制御装置。
【請求項７】
撮像装置から送られる画像を表示する表示手段と、
前記表示手段で表示された画像に対して入力されたジェスチャに基づいて、前記撮像装置の動作を指示するコマンドを解釈するコマンド解釈手段と、
前記画像に対して入力されたジェスチャに基づいて指定された画像部分の所定の特徴の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出された特徴量と前記コマンド解釈手段で解釈されたコマンドとに基づいて、表示されている画像を変更するように前記撮像装置を制御する制御手段とを有し、
前記所定の特徴は、前記ジェスチャに基づいて指定された画像部分を代表する色相と、前記画像部分内でその色相で代表される領域の位置情報とを含むことを特徴とする撮像制御装置。
【請求項８】
前記撮像装置と前記撮像制御装置は、別装置であることを特徴とする請求項６または７に記載の撮像制御装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像方法とその装置に関する。
【０００２】
【従来の技術】
最近、公衆回線や専用線を介して、遠隔地でのテレビ会議やデスクトップコンファレンスが行なわれるようになってきた。この時のビデオカメラは、定点固定のものから、遠隔地からズームやパンなどの操作を行なうものもある。
遠隔地からカメラを操作するときは、映し出される映像を見ながら上下左右、ズーム、フォーカスのコマンドを送るか、または、コマンドに対応するアイコンをタッチして選択することにより対応するデータを送っていた。
【０００３】
さらには、特開平６−２０５４０９に開示されているように、表示画面の下や右に設けたグラフィックバーなどをポインティングすることで、それに相当する角度をコマンドとして与えるようなこともできる。この時の計算は、カメラから受け取る焦点距離と画角から求められる。
また、文書に対して、マウスによる中心画像の指定や領域の指定でパンやズームを行なうことも提案されている。
【０００４】
【発明が解決しようとする課題】
しかし、マウスなどで指定するには、画面上のポインティングや領域指定は容易ではあるが、さらにコマンドを伴うようなものや未知な映像のための画面外への指定や動きを伴うものなどには、他のコマンドやキー操作を併用しなくてはならなかった。
【０００５】
また、従来、相手側から焦点距離などの情報を受け取って画角を計算していたが、遠隔地カメラからの具体的な情報がない簡易なシステムでは、自動的に画角を合せるのは困難であった。
本発明は、上記従来例に鑑みてなされたもので、撮像装置の制御を撮像装置側の物理的パラメータを知ることなしに、容易かつ適正に行うことができる撮像方法とその装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明の撮像は以下の構成を備える。即ち、撮像装置から送られる画像を表示する表示工程と、前記表示工程で表示された画像に対して入力されたジェスチャに基づいて、前記撮像装置の動作を指示するコマンドを解釈するコマンド解釈工程と、前記画像に対して入力されたジェスチャに基づいて指定された画像部分の所定の特徴の特徴量を抽出する特徴量抽出工程と、前記特徴量抽出工程で抽出された特徴量と前記コマンド解釈工程で解釈されたコマンドとに基づいて、表示されている画像を変更するように前記撮像装置を制御する制御工程とを有し、
前記ジェスチャとして入力可能なジェスチャは、
該ジェスチャに基づいて指定された部分を新たな画像中心として前記表示されている画像を変更するように前記撮像装置を制御するためのジェスチャであり、
前記制御工程は、前記指定部分の特徴量と現在の画像中心の特徴量とに基づいて前記指定部分と前記現在の画像中心との間の距離及び画角を算出し、前記算出した距離及び画角に基づき基本単位の移動量で移動させる仮移動コマンドを算出し、前記算出した仮移動コマンドを前記撮像装置に対して発行し、前記仮移動コマンドにより前記撮像装置が移動した後の画像中心の特徴量と前記指定部分の特徴量とが一致しているか否かを判定し、前記画像中心の特徴量と前記指定部分の特徴量とが一致していなければ一致すると判定されるまで、移動後の画像中心の特徴量と前記指定部分の特徴量とに基づき前記仮移動コマンドを補正した補正コマンドを前記撮像装置に対して発行することを繰り返し、移動後の画像中心の特徴量と前記指定部分の特徴量とが一致すると判定されたら、前記撮像装置に対して移動の停止コマンドを発行する。
【０００７】
また、別の発明は、撮像装置から送られる画像を表示する表示工程と、前記表示工程で表示された画像に対して入力されたジェスチャに基づいて、前記撮像装置の動作を指示するコマンドを解釈するコマンド解釈工程と、前記画像に対して入力されたジェスチャに基づいて指定された画像部分の所定の特徴の特徴量を抽出する特徴量抽出工程と、前記特徴量抽出工程で抽出された特徴量と前記コマンド解釈工程で解釈されたコマンドとに基づいて、表示されている画像を変更するように前記撮像装置を制御する制御工程とを有し、前記所定の特徴は、前記ジェスチャに基づいて指定された画像部分を代表する色相と、前記画像部分内でその色相で代表される領域の位置情報とを含む。
【０００８】
【発明の実施の形態】
ペンから入力されるジェスチャに従って、指示された方向や大きさまでカメラが動くように元画像と現画像を比較しながらカメラ操作コマンドを発行する。
（第１の実施の形態）
図１に、本発明に係る一実施の形態のカメラ制御装置の構成図を示す。
【０００９】
表示制御部１は、アプリケーションの内容や内蔵されているカメラの映像や、各種通信手段を介して送られてくる遠隔地の映像を表示させるための表示制御を行なう。
表示装置２は、ＣＲＴや液晶などで構成され、３は表示装置と一体の構造になっているデジタイザなどのペン入力手段である。
【００１０】
４は、ペン入力手段によって入力された線軌跡の形、位置、大きさ、方向などから入力されたコマンドを解釈するジェスチャコマンド解析手段である。
５は、通信によって受け取った映像から特徴を抜き出す特徴抽出手段、６は、ペン入力手段からジェスチャコマンドが指定されたときに対象となる画像の特徴を記憶しておくリファレンスバッファである。
【００１１】
７は、現映像の画像特徴を記憶しておく現画像バッファである。
８は、ジェスチャコマンドに応じてリファレンスと現画像の比較を行ない、コマンドの達成度を求める比較手段、また、９は、その比較結果に応じて、表示されている画面に応じた制御をカメラにフィードバックするようにコマンドを与えるカメラ操作コマンド制御手段である。カメラへのコマンドは、内蔵のカメラ、または、遠隔地のカメラに送られる。
【００１２】
図２には、カメラ装置の構成を示す。
１０、はカメラ部であり、レンズを通した映像をＣＣＤのような受光素子で受け、さらに、ＮＴＳＣのような標準の信号形式やデジタル信号にして本体に送る。
１１は、本体、または、遠隔地から送られてくる制御コマンドを受ける外部Ｉ／Ｏである。
【００１３】
１２は、コマンドを解釈して各デバイスを制御するカメラ制御部である。
１３は、カメラをパンするための水平移動モータ、１４は、縦方向の動きを行なうための傾斜移動モータである。
次に、図３Ａに、カメラ部とカメラ制御本体が一体となった情報処理システムの内部ブロックの例を示す。
【００１４】
１５は、機器全体の制御及びアプリケーションの実行を行なう、３２または１６ビットのＣＰＵである。
１６は、ＣＰＵと周辺のＩ／Ｏ、即ち、割り込み制御、シリアル・パラレル通信、ＲＴＣなどの制御のための周辺Ｉ／Ｏコントローラである。
１７は、コントロール実行プログラムやワーク領域に用いるＲＡＭ／ＲＯＭである。
【００１５】
１８は、アプリやユーザデータを蓄えるためのＨＤＤ（ハードディスク）である。
１９は、表示上に示された画像に領域を指示したり、メニューの選択や文字入力に用いるペン軌跡を座標値に変換するデジタイザである。
１は、表示装置（液晶）２に画面を表示させるための表示制御コントローラである。
【００１６】
２０は、マイク・スピーカ２１を介して音声の再生を制御する音声制御コントローラである。
１２は、前述のように外部や本体によって指示されるカメラコマンドを解釈してカメラを制御するカメラ制御部である。
２２は、モデム２３を介して電話回線からコンピュータやＦＡＸなどの機器とのデータのやり取りを制御する通信制御部である。これは、ＬＡＮなどを介した通信でも良い。さらに、その時の通信媒体は、有線でも無線でもよく、また、データはアナログ形式でもデジタル形式でも良い。
【００１７】
次に、図３Ａの装置全体の外観を図３Ｂに示す。
図４は、実際に用いられるジェスチャコマンドの一覧表である。
（１）は、その点が画像の中心になるようにカメラを移動させるコマンドで、ジェスチャはその点を一度タップすることである。
尚、動作の欄の丸点がタップ位置を示し、活字矢印は、この丸点位置に注目してほしいことを意味する。活字矢印は、実際に入力するものではない。
【００１８】
（２）は、最初のペンダウンの点をペンアップの点まで移動させるコマンドで、ジェスチャはタップとドラッグ（引きずる）である。
尚、活字矢印は、タップ点を示すためのもので、実際に入力するものではない。  （３）は、その点に焦点が合うようにするコマンドで、ジェスチャはダブルタップである。
【００１９】
尚、丸点は、２つ少し離れて置かれているが、これは、図示の便宜上、２つあつことを明示するためであり、実際は、同じ位置で２回タップされることを意味する。また、活字矢印は、その点位置に注目してほしいことを意味し、実際に入力するものではない。
（４）は、ペンで書いた矢印の方向にカメラを移動し、タップの入力で動きの停止を行なうコマンドで、ジェスチャは矢印とタップである。
【００２０】
（５）は、両矢印で囲まれた領域までズームインするコマンドで、ジェスチャは両矢印である。
（６）は、同じくズームインで、最初に書かれた小さい丸を中心に次に書く大きな丸の大きさまでズームインするコマンドで、ジェスチャは、小さい丸と矢印と大きな丸である。
【００２１】
（７）は、最初のポインティング点を中心にズームアウトしていき、タップで止まるコマンドで、ジェスチャはピッグテイルとタップである。
（８）は、最初に書いた大きな丸を中心に、次に書く小さい丸の大きさになるまでズームアウトするコマンドで、ジェスチャは大きな丸と矢印と小さな丸である。
【００２２】
これらのコマンド解釈方法は、既存のペンコンピュータで用いられているジェスチャコマンドの拡張になるので、特にここでは説明しない。
次に、図５のカメラ制御のフローチャートを参照して説明する。
まず、ステップＳ１では、デジタイザからのペン入力座標を読込む。
ステップＳ２では、どのコマンドをどの様に指示しているかを解釈する。
【００２３】
ステップＳ３では、現在、タップで中断するようなコマンド（図４の４，７）の実行中であるかどうかを判定して、そうならば、ステップＳ４で停止コマンドを発行して終了する。
逆に、そうでないときは、ステップＳ５へ進む。
ステップＳ５では、後述するリファレンスを求める初期設定演算を行なう。
【００２４】
ここでは、指定された対象点での画像の特徴の抽出を行なう。
ここでは、特徴として、例えば、指定された対象点の近傍の３×３のブロックに注目して、そのブロックに含まれる複数の画素から代表的な色相を例えば２つ抽出する。そして、各色相と各色相が位置するそのブロックでの相対位置情報が前述のリファレンスとなる。
【００２５】
尚、ここでは、ブロックの特徴として色相を上げたが、これに限定されるものではなく、さらに、明度彩度等の色を特色づける特徴の組み合わせてもよいことは言うまでもない。
そして、次に、ジェスチャコマンドを実際に達成するために、カメラに最初に与える制御コマンドを計算する。例えば、（１）でのタップ点を画像の中心に持っていくためには、タップ点と画像中心の関係を求めて、仮の移動コマンドを発行する。
【００２６】
ここで、仮の移動コマンドとは、カメラ部での画角やタップ点までの実際の移動距離に関する情報がないため、基本単位の移動量で移動させるコマンドを意味する。基本的に、この基本単位での移動量で移動させるコマンドを複数回発行することで、最終的に目的の点に移動できる。
即ち、正確なカメラの移動量は、現在のカメラの状況（対象までの距離、レンズの画角）がわからなければ計算できないので、本実施の形態では、画像の対象点を見ながらフィードバックをかける。
【００２７】
仮の移動コマンドは、例えば、タップ点と画像中心までのＸ，Ｙの距離と仮画角、仮対象距離にもとづいて算出される。
さらにコマンド（４）では、矢印の方向、また、コマンド（６，８）では、大小の円の比なども計算する。
ステップＳ６では、この計算されたコマンドを実際に遠隔地のカメラに発行する。
【００２８】
ステップＳ７では、現在の画像の対象点を評価する。そして、ステップＳ８で、ジェスチャコマンドで要求された画像になっているかを判定する。画像がコマンドに対応したものになっていれば、ステップＳ９で停止コマンドを発行して終了する。そうでなければ、ステップＳ１０で、補正のコマンドを発行する。前述の仮定数では、移動中に誤差が起こるために、常にフィードバックが必要となる。方向が合っているが、まだ到達していないときなどは、補正のコマンドは何も発行されない。
【００２９】
以上のように、ペン入力で表示を見ながら表示上に直接コマンドを与えられるので、操作方法が非常にわかりやすい。
さらには、遠隔地操作の場合は、相手から送られて来る画像をもとに制御を行なうため、従来の遠隔地操作ができるカメラがあれば何も付加しなくても制御が可能になる。
（第２の実施の形態）
上述の実施の形態では、カメラの動作は一致点を見つけ出すか、ペンのタップで動作は終了していた。
【００３０】
一方、近年、遠隔地間での共同作業を行なうときに、お互いの状況を把握するためのアウエアネス(Awareness)システムの研究が行なわれるようになった。例えば、実際に相手を訪ねたら、不在だったときに居室のまわりを見渡すように、相手がディスプレイの前にいない時にカメラで見渡してみるようなもので、普段のふれ合いを遠隔地でも実現しようとするものである。
【００３１】
このときには、上述の実施の形態のように一方方向では、見つけることが出来ないし、監視などの目的にも使用することは出来ない。
本実施の形態では、ジェスチャをさらに拡張して、往復運動や円運動など、タップによるストップが入るまで、動き続けることができる。
ジェスチャの例は、図４のコマンド（９）（１０）に示す。
【００３２】
まず、（９）は、軌跡で示された範囲を一定速度で往復運動させるコマンドで、ジェスチャは横八の字である。また、（１０）は同じところに２重丸を書くもので、カメラを一定速度で円運動させるコマンドである。
本実施の形態でのフローチャートを図６に示す。
図６で、図５とステップ番号の同じものは同じ制御である。図５とは、ステップＳ１１が異なる。今回は、タップが入るまでは動き続けるので、（９）の往復運動の場合は、片方の端点に到達すると、リファレンスの対象点をもう片方の端点に切り替えて、そちらに動くように、動作方向を切り替える。円運動の場合は、方向を常に動いていなければならず、短区間ごとに移動目標をおき、こまめに方向を切り替えながら、円運動を実現させる。
【００３３】
以上のように、目標のポイントを随時切り替えることで、往復運動や円運動など、ユーザがペン軌跡で示した意図する方向に連続して動作できるようになった。  尚、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用しても良い。また、本発明はシステム或は装置にプログラムを供給することによって実施される場合にも適用できることは言うまでもない。この場合、本発明に係るプログラムを格納した記憶媒体が本発明を構成することになる。そして、該記憶媒体からそのプログラムをシステム或は装置に読み出すことによって、そのシステム或は装置が、予め定められた仕方で動作する。
【００３４】
以上説明したように、本発明に係る実施の形態によれば、
１）  ペン入力で表示を見ながら、その表示上に直接コマンドを与えられるので、操作方法が非常にわかりやすく、カメラを容易に操作できる。
２）  さらには、遠隔地操作の場合は、相手から送られて来る画像を基に制御を行なうため、従来の遠隔地操作ができるカメラがあれば何も付加しなくても制御が可能になる。
３）  さらには、円運動や往復運動など連続して、カメラを動かし続ける制御も可能になり、ユーザの意図を容易にカメラの動作に変換できるようになった。
【００３５】
尚、撮像対象が動いた場合、上述の画像特徴に基づく調整方法では、移動対象点を探索できない場合がある。この場合は、予め、移動の最大値を設定しておき、探索に関する移動が、その最大値を越えた場合は、探索不能のメッセージを表示画面に表示し、ユーザからの次のコマンドを入力すればよい。
【００３６】
【発明の効果】
以上説明したように本発明によれば、撮像装置の制御を撮像装置側の物理的パラメータを知ることなしに、容易かつ適正に行うことができる。
【図面の簡単な説明】
【図１】本発明に係る一実施の形態のカメラ制御部の機能ブロックを示す図である。
【図２】図１のカメラ制御部から制御されるカメラ部分のブロック図である。
【図３Ａ】カメラ部とカメラ制御部が一体化した情報処理システムのブロック図である。
【図３Ｂ】カメラ部とカメラ制御部が一体化した情報処理システムの外形図である。
【図４】ジェスチャコマンドの一覧を示す図である。
【図５】第１の実施の形態のカメラ制御部の処理フローチャートである。
【図６】第２の実施の形態のカメラ制御部の処理フローチャートである。
【符号の説明】
１  表示制御
２  表示装置
３  ポインティングデバイス
４  ジェスチャコマンド解析手段
５  特徴抽出
６  リファレンスバッファ
７  現画像バッファ
８  比較手段
９  カメラ操作コマンド制御手段
１０  カメラ部
１１  外部Ｉ／Ｏ
１２  カメラ制御
１３，１４  カメラ姿勢制御モータ
１５  ＣＰＵ
１６  周辺Ｉ／Ｏ
１７  メモリ
１８  ２次記憶装置
１９  デジタイザ
２０  音声制御
２１  音声入出力
２２  通信制御
２３  モデム
【図１】
0003744995.tif 000002
【図２】
0003744995.tif 000003
【図３Ａ】
0003744995.tif 000004
【図３Ｂ】
0003744995.tif 000005
【図４】
0003744995.tif 000006
【図５】
0003744995.tif 000007
【図６】
0003744995.tif 000008