(57)【要約】【解決課題】カメラを自動制御するためのユーザインタフェースの提供。【解決手段】シーンの表現を表示するステップと、少なくとも１台のカメラと関連付けられた少なくとも１つのドラッグ・アンド・ドロップ・アイコンを表示するステップと、少なくとも１台のカメラの少なくとも１つのビューを、アイコンによって表示上で識別された位置と対応するシーン内のロケーションに向けるステップとを有する、少なくとも１台のカメラの制御用のユーザインタフェース提供方法である。【選択図】図７
2006087139.tif 000002
【特許請求の範囲】
【請求項１】
ペン・ベースの装置上にシーンの広角ビューを表示するステップと、
前記ペン・ベースの装置上に描かれた入力を認識するステップと、
前記入力が描かれた前記広角ビュー上の位置に対応する前記シーンの中のロケーションにカメラを向けるステップと、
前記描かれた入力と関連するビューを表示するステップと、
を有する、少なくとも１台のカメラを制御するユーザインタフェース提供方法。
【請求項２】
前記カメラはカメラアレイからなり、
前記認識するステップは前記ペン・ベースの装置上に描かれた入力を認識するステップを有し、
前記向けるステップは、前記広角ビュー上の前記入力の各々に対するバーチャルビューを画像から選択するステップを有し、
前記関連するビューを表示するステップは、少なくとも１つの前記バーチャルビューを表示するステップを有する、
請求項１に記載の方法。
【請求項３】
前記認識するステップは、前記描かれた入力のおよそのサイズを認識するステップを有し、
前記方法は、
前記描かれた入力のおよそのサイズによってカバーされるおよそのビューに対して前記カメラをズームするステップをさらに有する、
請求項１に記載の方法。
【請求項４】
前記認識するステップは、前記描かれた入力のおよそのサイズ及び形状を認識するステップを有し、
前記方法は、
前記描かれた入力のおよそのサイズによってカバーされるビューを選択するステップをさらに有する、
請求項３に記載の方法。
【請求項５】
カメラを向けるためのデバイスであって、
制御表示パネルを有し、該制御表示パネルは、
制御表示パネル上に配置されたオブジェクトを検出するように構成された検出機構と、
少なくとも１台のカメラを前記オブジェクトが前記制御表示パネル上に配置されたロケーションに対応する角度でシーンに向けるように構成されたカメラ制御デバイスと、
を有する、前記制御表示パネルである、
カメラを向けるためのデバイス。
【請求項６】
前記制御表示パネル上に配置するためのオブジェクトをさらに有する、請求項５に記載のデバイス。
【請求項７】
前記オブジェクトは少なくとも１つのペン及びトークンである、請求項６に記載のデバイス。
【請求項８】
前記制御表示パネルは、前記シーンの広角ビューを表示するように更に構成される、請求項５に記載のデバイス。
【請求項９】
前記検出機構は、前記制御表示パネル上に配置されたオブジェクトのサイズ及び形状を検出するように更に構成され、
前記カメラ制御デバイスは、前記オブジェクトのサイズ及び形状のうちの少なくとも１つに基づいて前記少なくとも１台のカメラのパラメータを調整するように更に構成される、
請求項５に記載のデバイス。
【請求項１０】
物理的トークンのサイズ及び形状に基づいて前記カメラ制御デバイスの機能を制御するように構成された少なくとも１つの物理的な前記トークンのセットをさらに有する、
請求項９に記載のデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画カメラを含む、１台以上のカメラを制御するための方法及び装置に関する。本発明は、ビデオカメラアレイの制御にも関する。本発明は、詳細には、スチール（静止）又はビデオカメラのショット（撮影）のパラメータ、特に、制御されるカメラのパン・アングル及びズームの制御に関する。本発明は、上記及び他のカメラパラメータの制御を実施するための、ペン・ベース、照明、及びジェスチャ・ベースの制御インタフェースを含む、インタフェースにも関する。
【背景技術】
【０００２】
制御可能なパン/ズーム機能を有するビデオカメラは商品として入手できる。例えば、ソニー(SONY)社のEVI-D30は、制御可能なズーム、チルト、及びパンのレンジを有する。ディープ・シー・パワー・アンド・ライト(Deep Sea Power & Light)社も、（水中作業用に特別設計された）制御可能なパン、チルト、及びズームを有するカメラ(Pan/Tilt/Zoom 2001)を製造している。しかし、そのようなシステムは、用途向(orient)機械的システムの限界により制約を受ける。
【０００３】
可動カメラのための現在のインタフェースは特に直観的ではなく、一般的に、カメラを上下左右に動かしズームの度合いを制御するコンタクト・スイッチで構成されている。ユーザが“様々な機能を予めプログラム”しなければならない場合も多い。例えば、ソニー社のEVI-D30では、ユーザが追跡対象を“予め定義する”か、又はRS-232インタフェースを介してカメラを制御する必要がある。
【０００４】
一般的に、たとえ制御モータは速度変更可能でも、オーバーシュートを避けるために、可動カメラは１つの遅い速度で動く。プロ仕様のシステムでさえジョイスティックを有するだけであり、そのことはインタフェースを制限し、たとえカメラの制御ハードウェアが、新たな方向への瞬時のパンをサポートしていても、インタフェースはそれに対応できない。例えば、ディープ・シー・パワー・アンド・ライト社のPan/Tilt/Zoom 2001は、カメラ制御のために12VDC又は12Vretのいずれかへの制御ラインの切替えを必要とし、ジョイスティック制御オプションを有する。
【０００５】
バーチャル・カメラの特別な長所は、物理的なカメラ及び/又はレンズを動かすことに起因する速度制限が全く無く、バーチャルに瞬時にパン/ズーム可能なことである。例えば、本明細書にその全体を参照して援用するフートら(Foote et al.)の1999年8月9日出願の米国特許出願第09/370,406号は、固定及び可動の両方のカメラ及びカメラアレイで構成されたバーチャル・カメラの幾つかの実施の形態を開示している。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明者は、カメラアレイを含むカメラの自動制御は多大なる利点を有し得ることに気づいた。例えば、目標物の目的地が事前にわかっている場合は、カメラ速度を滑らかに加速及び減速でき、それにより、従来のカメラと比べて、より滑らかでより迅速なカメラのパン又はズームが可能になる。更に重要なのは、適切なインタフェースによってカメラを制御する際の認知のための負荷を低減することができ、経験を積んでいないユーザにも高品質なビデオの作成が容易になることである。
【課題を解決するための手段】
【０００７】
本発明は、直接操作グラフィカル・ユーザ・インタフェースを含む。ペン又は他のポインティング・デバイス（例えばマウス、トラックボール等）は、カメラ制御又はビデオ製作用のインタフェースを与える。シーンの表現は、ビデオ上の取得される領域のアナログ（オーバー・ビュー）として用いられる。アイコンはカメラのロケーション又は他のパラメータをグラフィカルに示す。ペンのジェスチャは、どのビデオカメラの視界にシーンのどの領域が入るかを示し、カメラを制御するコマンドに変換される。
【０００８】
シーンの表現は、リアルイメージ、ビデオ・パノラマのような動画、又はシーンの、ピクチャ、グラフィック、アイコン表示とすることができる。ジェスチャ認識装置を用いてジェスチャを取得し、そのジェスチャを解釈してカメラのパン、チルト、ズーム、及びカメラの他の属性（例えば焦点やカラーバランス）を制御してもよい。
【０００９】
本発明は、タンジブル（触知できる）制御オブジェクトを用いた物理的な直接操作を含む。物理的“ウィンドウフレーム”オブジェクトは、使用されるオブジェクトのロケーション及び種類を感知する面の上に配置されてもよい。フレームは、所望のビュー（視界）及びズームを示すための正しいサイズ及びアスペクト比の長方形のオブジェクトである。
【００１０】
本発明は、カメラの目標物の照明又はバーチャル照明のための装置及び方法を含む。携帯型の装置を用いて、装置で所望の領域を指し示すことによってカメラのビューが見るべき場所を示す。目標設定装置は、検出可能信号（例えばＩＲ）を所望の領域に投影するか、又は、目標設定装置が対象領域を“実際に照らし”、装置が指し示している位置及び向きからそのロケーションを識別する。
【００１１】
本発明の１つの目的は、ビデオ会議、会議取得、動画作成のようなアプリケーション、又は他の一般的なビデオ又は写真作成シナリオにおける“定常の”カメラの使用に必要なカメラ制御を簡単にすることである。本発明のカメラ制御は、会議空間内の任意のユーザからの、“設定したら、あとは忘れていい(set-it, forget-it)” アクション（例えば、ジェスチャ、フレームトークンを手でつつくこと、又は照明器で指し示すこと）を含む。このようにして、会議の出席者は、カメラの制御に続けて没頭することがなくなり、従って、討論に参加可能なより良い機会を持つ。
【００１２】
本発明は、少なくとも１台のカメラを制御するためのユーザインタフェースを提供する方法として実施され、シーンの広角ビューを表示するステップと、カメラと関連付けられたドラッグ・アンド・ドロップ・アイコンを表示するステップと、前記アイコンがドラッグ・アンド・ドロップされた前記広角ビュー上の位置に対応する前記シーン中のロケーションに前記カメラを向けるステップと、を有する。
【００１３】
本発明は、ペン・ベースの装置上にシーンの広角ビューを表示するステップと、前記ペン・ベースの装置上に描かれた入力を認識するステップと、前記入力が描かれた前記広角ビュー上の位置に対応する前記シーンの中のロケーションにカメラを向ける方向指示ステップと、前記描かれた入力と関連するビューを表示するステップと、を有する、少なくとも１台のカメラを制御するためのユーザインタフェースを提供する方法も含む。ペン・ベースの装置は、タブレット型（ペン入力機構を有する、手で持つスタイル、又はノートブックスタイルのディスプレイ）、フル・デスクトップ型、又は他のペン入力機構を有する演算及び表示機構であってよい。
【００１４】
本発明は、制御パネル上に配置されたオブジェクトを検出するように構成された検出機構と、前記オブジェクトが前記制御表示パネル上に配置されたロケーションに対応する角度で少なくとも１台のカメラをシーンに向けるように構成されたカメラ制御デバイスと、を有する、前記制御表示パネルを有する、カメラの方向を指示するためのデバイスとして実施されてもよい。
【００１５】
本発明の第１の態様は、シーンの表現を表示するステップと、少なくとも１台のカメラと関連付けられた少なくとも１つのドラッグ・アンド・ドロップ・アイコンを表示するステップと、前記少なくとも１台のカメラの少なくとも１つのビューを、前記アイコンによって前記シーンの表現上で識別された位置と対応する前記シーン内のロケーションに向けるステップと、を有する、少なくとも１台のカメラを制御するユーザインタフェース提供方法である。
【００１６】
本発明の第２の態様は、第１の態様において、前記向けるステップは、少なくとも１つの前記カメラから、前記識別された位置に対応する少なくとも１つのバーチャルビューを取り出すステップを有する。
【００１７】
本発明の第３の態様は、第１の態様において、前記表示するステップは、複数のカメラ画像を取り出すステップと、前記複数のカメラ画像から前記シーンの表現を合成するステップと、を有する。
【００１８】
本発明の第４の態様は、第１の態様において、前記少なくとも１台のカメラはカメラアレイであり、少なくとも１つの前記ドラッグ・アンド・ドロップ・アイコンのそれぞれは前記カメラアレイのバーチャルビューに対応する。
【００１９】
本発明の第５の態様は、第１の態様において、少なくとも１つの前記ドラッグ・アンド・ドロップ・アイコンは拡張可能ドラッグ・アンド・ドロップ・アイコンであり、関連付けられたカメラのズーム量は前記ドラッグ・アンド・ドロップ・アイコンのサイズによって制御される。
【００２０】
本発明の第６の態様は、第５の態様において、ユーザが前記ドラッグ・アンド・ドロップ・アイコンのサイズ変更をする間、適切なアスペクト比を維持するステップをさらに有する。
【００２１】
本発明の第７の態様は、第１の態様において、前記ドラッグ・アンド・ドロップ・アイコンは前記カメラのビューを指示するフレーム状のオブジェクトである。
【００２２】
本発明の第８の態様は、第１の態様において、少なくとも１つの前記ドラッグ・アンド・ドロップ・アイコンは中心位置及び前記中心位置に関して移動可能なハンドルを有し、前記方法は、調整中の前記カメラと関連付けられたアイコン内の前記ハンドルの位置に基づいて少なくとも１つの前記カメラのパラメータを調整するステップをさらに有する。
【００２３】
本発明の第９の態様は、第８の態様において、前記パラメータは、関連付けられた前記カメラのズーム量、明るさ、コントラスト、及び他の効果のうちの少なくとも１つである。
【００２４】
本発明の第１０の態様は、第１の態様において、選択されたアイコンに対するドラッグ操作中に前記選択されたアイコンと関連付けられたカメラのビューをパンするステップをさらに有する。
【００２５】
本発明の第１１の態様は、ペン・ベースの装置上にシーンの広角ビューを表示するステップと、前記ペン・ベースの装置上に描かれた入力を認識するステップと、前記入力が描かれた前記広角ビュー上の位置に対応する前記シーンの中のロケーションにカメラを向けるステップと、前記描かれた入力と関連するビューを表示するステップと、を有する、少なくとも１台のカメラを制御するユーザインタフェース提供方法である。
【００２６】
本発明の第１２の態様は、第１１の態様において、前記カメラはカメラアレイからなり、前記認識するステップは前記ペン・ベースの装置上に描かれた入力を認識するステップを有し、前記向けるステップは、前記広角ビュー上の前記入力の各々に対するバーチャルビューを画像から選択するステップを有し、前記関連するビューを表示するステップは、少なくとも１つの前記バーチャルビューを表示するステップを有する。
【００２７】
本発明の第１３の態様は、第１１の態様において、前記認識するステップは、前記描かれた入力のおよそのサイズを認識するステップを有し、前記方法は、前記描かれた入力のおよそのサイズによってカバーされるおよそのビューに対して前記カメラをズームするステップをさらに有する。
【００２８】
本発明の第１４の態様は、第１３の態様において、前記認識するステップは、前記描かれた入力のおよそのサイズ及び形状を認識するステップを有し、前記方法は、前記描かれた入力のおよそのサイズによってカバーされるビューを表示するステップ又はビューを選択するステップをさらに有する。
【００２９】
本発明の第１５の態様は、カメラを向けるためのデバイスであって、制御表示パネルを有し、該制御表示パネルは、制御表示パネル上に配置されたオブジェクトを検出するように構成された検出機構と、少なくとも１台のカメラを前記オブジェクトが前記制御表示パネル上に配置されたロケーションに対応する角度でシーンに向けるように構成されたカメラ制御デバイスと、を有する、前記制御表示パネルである、カメラを向けるためのデバイスである。
【００３０】
本発明の第１６の態様は、第１５の態様において、前記制御表示パネル上に配置するためのオブジェクトをさらに有する。
【００３１】
本発明の第１７の態様は、第１６の態様において、前記オブジェクトは少なくとも１つのペン及びトークンである。
【００３２】
本発明の第１８の態様は、第１５の態様において、前記制御表示パネルは、前記シーンの広角ビューを表示するように更に構成される。
【００３３】
本発明の第１９の態様は、第１５の態様において、前記検出機構は、前記制御表示パネル上に配置されたオブジェクトのサイズ及び形状を検出するように更に構成され、前記カメラ制御デバイスは、前記オブジェクトのサイズ及び形状のうちの少なくとも１つに基づいて前記少なくとも１台のカメラのパラメータを調整するように更に構成される。
【００３４】
本発明の第２０の態様は、第１９の態様において、物理的トークンのサイズ及び形状に基づいて前記カメラ制御デバイスの機能を制御するように構成された少なくとも１つの物理的な前記トークンのセットをさらに有する。
【００３５】
本発明の方法及び実施の形態の各々は、ビデオ及び/又はスチール写真と関連するカメラを制御するための新たな方法を提供する。
【発明を実施するための最良の形態】
【００３６】
添付の図面とともに以下の詳細な説明を参照して、本発明及び付随する多くの長所がより良く理解されることにより、それらの真価のより完全な認識が容易に得られるであろう。
【００３７】
次に、図面を参照する。図面中、同様の参照番号は同一又は対応する部分を示す。図１を詳細に見ると、本発明の複数の実施の形態で共有されるシステムを通る画像及び制御データのフローを示している。このシステムはカメラ１００を含む。カメラ１００はカメラアレイとして図示されており、例えば、シンプルなデジタル又はアナログカメラ、カメラアレイ、広角カメラ、及び操縦可能カメラのような、任意のカメラ又は画像取得装置として実施されてもよい。
【００３８】
カメラ１００は、電子的クリップ処理をサポートするために、シーンの広角カメラビューを供給する。カメラデータストリーム１１０は分岐され、クリップ制御コンポーネント１２０（カメラ・ビュー制御１２０とも呼ぶ）及び表示ビュー１３０（例えばビデオ会議画像、会議取得記録、表示装置等）へと同時に送られる。
【００３９】
１つの実施の形態では、カメラ・ビュー制御１２０でユーザの簡単な動作を取得して、ユーザが関心を持っている対象領域のロケーションを決定するために用いることができる。カメラ・ビュー制御１２０が行う処理は、図２のフロー図に示されている。カメラ１００からの広角ビューは、ステップ２００で取り込まれる。
【００４０】
ステップ２１０では、広角ビューが走査され、広角ビュー内に取得された個体（個人）のジェスチャが識別される。或いは、カメラ・ビュー制御１２０は、（以下に述べる照明装置からの）照明に向けて、広角ビューを走査するか、又は入力機構や他の装置からのコマンドを受け取る。若しくは、カメラ・ビュー制御１２０と関連付けられたユーザの動作が識別される（例えばビューのオン・オフを示す、トークンのタッピング（軽打）又は横方向の動き。図６参照。）。
【００４１】
ジェスチャの場合には、対象領域や他の特定のカメラコマンドを示すジェスチャ（例えば、広角ビュー内にとらえられた参加者によるポインティング（例えばレーザ装置）や他のフレーム指示動作）に向けて、広角画像が走査される。照明の場合には、広角ビューに対して行われるライン追跡、ライン認識、又は他の画像処理手順の任意のものを介して照明が認識される。ユーザの動作の場合には、動作と関連付けられた符号又はプログラムフローが動作を識別する。
【００４２】
ステップ２２０では、ジェスチャ、照明、及び/又はユーザの動作が解釈され、動作又は実行すべきコマンドが識別される。例えば、カメラ制御ビューは、広角ビュー内の個体（個人）からの、カメラをオフにすることを示す“交差した腕”コマンドを識別することができる。ステップ２３０では、識別された動作又はコマンドが実行されるか、又は実行される装置に送られる（上記の例では、カメラがオフにされるか、又はカメラをオフにするコマンドがカメラに送られる）。
【００４３】
対象領域を設定するためのユーザの動作は、対象領域の位置を特定するための、ジェスチャ（例えば、指し示す）又は他の機構（例えば、照明機構、又はドラッグ・アンド・ドロップ・アイコン）とすることができよう。表示ビュー内の対象領域を含むフレームを残すために、カメラ・ビュー制御１２０は対象領域の位置を用いて、表示ビュー内のクリップされる領域（無視される領域）を決定する。
【００４４】
分離又は表示ビュー１３０を生成するのに必要な、広角ビューのクリップ操作を行うために、表示プロセッサにクリップコマンド１４０が送られる。表示プロセッサは、表示ビュー１３０を表示する表示装置に必要なアスペクト比に画像のサイズを合わせる（必要に応じてクリップ領域をズームし、固定したアスペクト比を維持する）。
【００４５】
任意に、少なくとも幾つかのクリップコマンド１４０をカメラ制御コマンド１５０としてフォーマットし、カメラ１００にフィードバックしてもよい。カメラ制御コマンド１５０は、操縦コマンド（例えばパンやズームコマンド）、クリップコマンド、及び高等処理コマンド（例えば対象領域の画像処理）の任意のものを含む。或いは、広角ビューをクリップする代わりに、操縦可能カメラを適切なパン/ズーム座標に向けることもできる。
【００４６】
図３は、２台のカメラ用の制御インタフェース、及びアイコンを用いたペン又はポインタベースのグラフィカル・ユーザ・インタフェースの１つの実施の形態の例を示しており、これは、１台のカメラ、任意の台数のカメラ、又は１台のカメラ、複数のカメラ、若しくはカメラアレイのうちのいずれかからの任意の数のバーチャル・ビューの、任意のビューに合わせて拡張可能である。会議室のシーンの背景画像３００上に、カメラＡ及びカメラＢの各視野が、制御アイコン３１０及び３２０のそれぞれを介して、アイコン的に示されている。
【００４７】
これらのカメラは、各々の制御アイコンを対話的に操作することによって制御される。各制御アイコンはハンドルを含む（例えば、カメラＡの制御アイコン３１０は外側ハンドル３１２及び中央ハンドル３１４を含み、カメラＢの制御アイコン３２０は外側ハンドル３２２及び中央ハンドル３２４を含む）。アイコンの中央ハンドルを動かすと、対応するカメラのビューが移動する。外側アイコンハンドルを動かすとカメラのズーム比率が変わり、外側ハンドルを中心に近づくように動かすとズームインし、ハンドルが輪郭を描く領域を拡げるとカメラの視野を拡げることができる。他のハンドル又はアイコン（例えばスライド制御バー）を、異なる効果に適用しても又は異なる効果のキューとしてもよい（例えば、スライド制御バーを明るさ又はコントラストの調整用にする）。実際のカメラビューを示すサムネイル画像を制御アイコンに組み込んでもよい。
【００４８】
背景画像３００（広角又はパノラマビュー）は、撮影中の実際のシーンや、フロア・プランやアーチスト・レンダリング(artist's rendering)といったアイコン表現や略図表現を含む、任意のグラフィック表現を反映できる。複数の場所、シーン、又はビューを用いることができる。例えば、実際の部屋のロケーションに関わりなく、２つの室内シーンを隣合わせに配置することができる。１つの実施の形態では、シーンの“背景”パノラマは、固定広角カメラを用いて（視界を）遮るオブジェクトを除くことによって構成される。オブジェクトは、非背景（遮断）オブジェクトが無視されるように、各画素値を所定時間にわたってメディアン・フィルタ処理することを含む、任意の方法で除くことができる。オブジェクトが所定の時間の範囲より長く同じ位置に存在する場合は、そのオブジェクトは背景の一部になる。或いは、シーンの中に前景オブジェクトや人物が存在しないことをオペレータが確認しながら、特殊モードで広角カメラを用いて背景を取得する。
【００４９】
更に他の実施の形態では、移動カメラの画像を用いてパノラマシーン（背景画像３００）を“再ペイント”する。カメラ画像がシーンをわたって移動すると、そのシーン領域の最新のビューを後に残す。
【００５０】
図４は、ペン・ベースの装置に適した代替のインタフェースを示している。ここでは、ユーザは、スクリブル（なぐり描き）動作（例えばスクリブル動作４００、４１０、及び４２０）で、背景画像３００上の所望のカメラ位置を円で囲む。このシステム（例えばカメラ・ビュー制御１２０）は、スクリブルの幅及び高さを決定し、適切なカメラのアスペクト比を有する長方形（例えば長方形４０５、４１５、及び４２５）を当てはめる（代替の構成では、アスペクト比を変えて表示したり、部分スクリーン表示であってもよい）。
【００５１】
図５は、パノラマビュー４３０からのカメラビューのグラフィカルな選択、及び選択されたビューへのカメラの割当ての例を示している。カメラ制御アプリケーション４３５によって、パノラマビュー（パノラマ）４３０が表示される。ユーザは、パノラマビュー４３０の所望のビューのロケーション上の拡張可能フレームをポイント及びドラッグすることにより、パノラマからビューを選択する。バーチャルカメラの場合には、ビューは、広角ショット又はカメラアレイの合成画像から構成され、表示装置（例えば５５０。図６参照）上に表示される。ユーザの参照用の参照ビュー４４０として、カメラ制御アプリケーション４３５上にも表示されてもよい。各参照ビューは、標準ダイアログアイコン、拡張、及びフルサイズ制御ボタン（例えば制御ボタン４５０）を含むことになろう。
【００５２】
固定カメラの場合には、選択されたビューを取得するための適切なカメラをカメラ制御アプリケーションが選択してもよく、又はユーザがカメラを割当ててもよい。１つの実施の形態では、カメラ制御アプリケーションは、ビデオストリームにビデオを供給するカメラを自動的に認識し、それぞれにアイコンを与えるように構成されよう。次に、ユーザは、カメラアイコンと選択されたビューとの間に線（例えば線４４５）を引くことでカメラとビューとをマッチングする。或いは、必要な任意の追加セットアップ情報を供給又は照会する別の制御機能（例えば、追加ビューボタン）又はプルダウン・メニューを介して、カメラの認識又は追加をしてもよい。
【００５３】
図５はポインティング・デバイス（例えば手４５５）を示しているが、図示されている処理は、上述のペン・ベースのシステムを含む任意のユーザインタフェースによって行われてよい。実行される処理（例えば、カメラビューの移動（パン/チルト/ズーム）及びカメラ属性の変更）を示すための可能なユーザ/装置インタフェースは、多くの異なる方法で行われてよい。以下に例を挙げる。
１.カメラビューの移動
a.  所望の領域をクリック又は指示する。
b.  カメラアイコンから所望の領域まで“ゴムバンド”線を引く。
c.  指示する領域を円で囲む。
d.  相対位置制御をクリックする。
e.  絶対位置制御をクリックする。
f.  シーンをつかみ、カメラの“下” に移動する。
g.  カメラアイコンをつかみ、所望の位置に移動する。
２.ズーム属性の変更
a.  より大きな円、円の方向（時計回り/半時計回り）、又は外側への螺旋を描く。
b.  より小さな円、円の方向、又は内側への螺旋を描く。
c.  ズーム制御/スクロールバーをつかむ。
d.  カメラ標識ボックスのエッジ又はブラケットのハンドルをつかんで動かす。
３.焦点の変更
a.  変更を指示する“スクリブル”又は自動焦点。
b.  焦点制御/スクロールバーをつかむ。
４.カメラの変更又は切替
a.  カメラをオフにするために“Ｘ”のジェスチャをする。
b.  カメラ位置標識を別のカメラと置き換える：新たなカメラに切替。
c.  カメラアイコンをクリック。
【００５４】
パノラマビュー又はシーンのプリント画像を用いて、ペン・ベース・カメラ制御の紙ベースのバージョンを実現することもできる。紙上の対象ポイントの選択は、ゼロックス(Xerox)社のデータグリフ(DataGlyphs)（例えばhttp://www.seyboldseminars.com/seybold_report/reports/D0905001.HTMを参照）で符号化された紙（即ちデータカーペット）を用いて決定できる。或いは、ペン入力のためにスタイラス・タブレット(stylus tablet)（例えばワコム(Wacom)社 http://www.wacom.com）を用いてもよい。更に別の代替例では、パノラマビューの普通紙プリントアウトに書き込みをして、カメラ・ビュー制御１２０に読み込んでもよい。
【００５５】
図６には、タンジブル・カメラ制御インタフェースを含む本発明の別の実施の形態が示されている。ビュー制御機構５００は、タンジブル制御面５１０を含み、タンジブル制御面５１０は、本発明に従った、少なくとも１台のカメラ５４０（カメラアレイとして示されている）の視界に入るシーンのパノラマ又は他の表現を表示する。
【００５６】
カメラビューを表すために、物理的“ウィンドウフレーム”オブジェクト５２０及び５３０（フレームオブジェクト。トークンとも呼ぶ）が用いられる。フレームオブジェクト５２０及び５３０は、タンジブル制御面５１０上のシーンの対象フィールドに配置される。タンジブル制御面５１０は、フレームオブジェクトの存在を検出するための検出機構を含む（例えば、接触感知ディスプレイ）。１つの実施の形態では、接触感知スクリーンが、スクリーン上の触れられた領域を介して、トークンのサイズ及び形状を決定する。別の実施の形態では、バーコード又は他の識別マーク（例えば電子タグ）が入力機構（例えば、接触感知、走査、電界検出）を介して読取られる。
【００５７】
１つの実施の形態では、フレームオブジェクトは長方形で、予め正しいサイズにカットされており、カメラ・ビュー制御１２０が、ビデオストリームをクリップしてクリップしたビューを全スクリーン表示上に適切なアスペクト比で示すための検出を含む対応するカメラ制御を供給するのを可能にするために、フレームオブジェクトの物理的属性の検出を可能にする。別の実施の形態では、トークンはバーチャルであり、正しいアスペクト比を維持するためにサイズ変更できる。
【００５８】
制御をアクティブにするために、ユーザは、タンジブル制御面５１０のパノラマビュー上にフレームを置く。パノラマビューはクリップされてユーザ出力５５０に表示されるか、又は記録装置（図示せず）若しくは投影装置（図示せず）に供給される。代替の実施の形態では、ビュー制御機構５００でクリップ処理が行われ、クリップされた画像がユーザ出力５５０に送られる。或いは、ユーザ出力５５０にパノラマビュー及びクリップコマンドが送られ、クリップ画像を表示装置に送る前に、ユーザ出力でクリップ処理を行ってもよい。
【００５９】
フレームオブジェクトを持ち上げると、そのフレームオブジェクトと関連づけられたクリップビューが除去される。フレームオブジェクトをドラッグすると、ビューがパンされる。対象フレームに触れることによる複数のビュー間の選択を素早く行うために、複数のフレームを用いてもよい。最後に、フレームのタンジビリティ（触知性）は、独特の機能を提供する。即ち、ユーザは、電子的制御機能を呼び出さずに、ビューを“キューに入れる(cue up)”ために、フレームを下ろさずに、ディスプレイの上方で保持していてもよい。
【００６０】
図７は、１つの実施の形態における、タンジブルインタフェースを通るビデオデータのフローを示している。プリセットサイズのフレームオブジェクト（例えば５６０）がクリップ領域を指示する。カメラデータストリーム５４５は分岐されて、タンジブル制御面５１０及び表示アプリケーション５５５（例えば、ビデオ会議画像、会議取得記録等）に同時に送られる。各トークンのロケーションを用いて、表示ビューに必要なクリップ領域が決定される。クリップ又は分離ビュー５６５の生成に必要な広角ビューのクリップ操作を行うために、クリップコマンドが表示プロセッサ５７０（例えば、表示アプリケーション５５５の一部。図８参照）に送られる。
【００６１】
表示プロセッサ５７０は、表示アプリケーション５５５で要求されるアスペクト比に画像のサイズを合わせる。任意に、クリップコマンドは、高等処理（例えば対象領域の画像処理）のために、カメラにフィードバックされてもよい。
【００６２】
タンジブル制御面５１０の例示的な拡大図が図９に示されている。タンジブル制御面５１０は、広角ビュークリッピングをサポートするための、以下の特徴を有する。
【００６３】
[物理的シースルー・トークン]
物理的シースルー・フレーム・トークン６１０及び６２０は、広角ビュー６００のクリップ領域を選択する。フレームトークンの物理的制約は、ユーザとタンジブル制御面との間での制御のインタラクションを簡単にする一助となる。ここでも、ユーザはトークンを通して視認し、トークンをドロップすることによりクリップアクションを呼び出す前に、どれが表示されるかを確認することができる。トークンが構成される材料は、トークンマテリアルによって覆われるシーンの部分がトークンを持ち上げなくても見えるような、透明又は光を伝える材料であってもよい。
【００６４】
[プリセット・トークンのサイジング]
ユーザが調整せずに済むように、フレームのサイズは必要な正しいアスペクト比にプリセットされてもよい。１つのプリセットサイズが特定のビューに対して完全に合ってはいない場合は、複数のもっと大きな又はもっと小さなトークンの集合（例えば、図１０の６３０）を、手元に保持しておくこともできよう。しかし、正しいアスペクト比を保存しながらサイズ変更可能な拡張/収縮可能フレーム（例えば図１１の６４０）を用いてもよい。このシステムは、フレームトークンをカバーする適切なクリップ領域を選択することもできよう（タンジブル制御面上に置がれた任意のオブジェクトの正しいアスペクト比を自動的に保存しながら、クリップするサイズに近似する）。
【００６５】
別の実施の形態では、例えば取得するフレームの左上の角及び右下の角をマークする２つのトークンによって、調整可能フレームのサイズが識別される。更に別の実施の形態では、（例えば、エッチ−ア−スケッチ(Etch-a-Sketch)タイプ制御を介して）制御面上にバーチャルトークンを描き、ソフトウェア制御を介して（自動的に、又はボタン、選択ボックス、プルダウンメニュー等を介して）アクティブ化してもよい。
【００６６】
トークンを予め定義して、制御面上の特定のロケーションにプリセットしてもよい。講堂や会議室などの場合は、トークン、又は演台、ホワイトボード、他の視覚的補助を含む広角ビューのフレームをプリセットすることで、プリセットされたビュー間の迅速な切替を行うことができよう。ビューは、制御面（例えば５１０）の領域に触ることにより、又はソフトウェア制御を介して（例えば、動きに基づいて自動的にアクティブ化されるか、又はボタンやプルダウンメニュー等のオペレータの制御を介して）アクティブ化されてもよい。トークン自体が制御面上にプリセットされてもよく、又は制御面上にバーチャルに描かれてもよく、プリセットの必要すらないかもしれない（恐らく、制御面のスタートアップ表示上に示されるか、又はオペレータが要求したときに一時的に表示される）。
【００６７】
[トークンのアクティブ化]
トークンはアクティブであっても非アクティブ（例えば、次の表示のためのキューに入れている）であってもよい。例えば、ボタンインジケータ(indicator)（例えば６５０）はトークンに固定されてもよく、又はそのフレームに関するジェスチャシーケンス（例えば、小さな横方向の動き）がそのトークンの下にあたるロケーションによって認識されてもよい。
【００６８】
[トークンの配置]
アクティブ及び非アクティブビュー領域は、必要に応じて移動できる。トークンをドラッグするとビューがパンされる。トークンをピックアップしてドロップすると、ビューがスワップされる。アクティブ/非アクティブ表示を用いて、この種のカメラ切替中に、広角カメラのショットの仮のビューが介入しないようにしてもよい。
【００６９】
例えば、ユーザは、ビューを“変える”ために、トークンをピックアップ、ドロップ、及びアクティブ化できる。更に、ユーザは、２つのトークンを用いて、それぞれを交互にアクティブ化することにより、ビューをスワップすることもできよう。
【００７０】
分離ビュー表示６６０は、広角ビュー６００にクリップ操作を行うことによってトークンによって選択されたアクティブ領域を示している。クリップデータの通信は、ネットワーク通信（例えば、遠隔手順呼出し、ソケット通信、遠隔メソッド呼出し）によって、又は同一コンピュータ上で実行されるプログラムのための任意の処理間通信機構（例えば、共有データ、コードセグメント等）によって行うことができる。
【００７１】
タンジブル制御トークンの感知は、トークンのＩＤの検出、タンジブル制御面参照フレーム内におけるトークンのロケーションの検出、及びアクティブ/非アクティブのフレーム状態の検出を含む。ＩＤ、ロケーション、及びイベントの検出は、本明細書にその全体を参照として援用する１９９８年９月１４日に出願されたネルソンら(Nelson et al.)の“物理的オブジェクトを用いたプレゼンテーション制御のためのシステム及び方法(Systems and Method for Controlling a Presentation Using Physical Objects)”という名称の米国特許出願番号第09/152,677号によって提供されているように行われてもよい。
【００７２】
図１２を参照して説明すると、タンジブル制御トークン７００は、広角ビュー６００を表示しているタンジブル制御面７１０上のロケーション７１５に配置される。接触感知スクリーンはトークン７００の存在を検出し（７２０）、そのトークンがアクティブであるか否かを決定する（例えば、付加的圧力、又はイベントのシーケンス、タップ（軽打）を検出）。トークンは、パターン又はトークンと接触感知スクリーンとの間の他の通信機構に基づいて識別される（７３０）。最後に、中心位置(x,y)、位置及び半径又は他の幾何学的特性（例えば長さ及び幅）のいずれか１つを含むトークンのロケーションが決定される（７４０）。決定された各位置、トークンのＩＤ、及びトークンがアクティブであるか非アクティブであるかが、コマンド装置（例えば７３０）に供給され、コマンド装置は表示７５０を生成するためのクリップコマンドを決定する。
【００７３】
[目標物の照明又はバーチャル照明によるカメラ制御]
上記に簡潔に述べたように、本発明は、本発明に従って構成されたカメラを制御するための、物理的なジェスチャの取得及び解釈を含む。物理的なジェスチャは、フィルム撮影されるべき実際の領域（対象領域）を指示する。
【００７４】
１つの実施の形態では、図１３に示されるように、ユーザは赤外線半導体レーザ８００のような携帯型照明源を用いる。ユーザは、所望の領域８１０を指し示し照明源８００で投射することで、所望の領域８１０を指示する。（ＣＣＤカメラのような）ＩＲ感知センサ８２０は、被照明領域の位置を決定し、被照明領域が広角ビューからクリップされるように、コマンド制御装置８３０は、そのロケーションをクリップ制御パラメータ（クリップコマンド）に変換する。ユーザは、被照明領域をレーザ光線でスクリブルしてもよく、又は、レーザで所定の幾何形状を投影して、サイズ調整機構（例えば、上下ボタン８０２又はローラーノブ８０４）によってサイズ調整してもよい。
【００７５】
別の実施の形態（図１４参照）では、カメラ５４０はレーザ８００によって投射されるレーザ画像を検出し、その検出はビデオストリーム５４５に含まれ、ビュー制御機構５００に送られる。ＩＲ検出器８４０はビデオストリーム内のレーザ画像を検出し、それはコマンド装置８３０、及び適用可能な場合は他のカメラ制御に、クリップ制御パラメータ（クリップコマンド）を設定するための信号を送る（例えば、上述のように、カメラ制御がカメラ１００にフィードバックされる場合、例えばパン及びズーム）（図１参照）。
【００７６】
更に別の実施の形態では、所望の領域を指示するために携帯型方向指示装置を用いる。空間的な位置及び方向を決定できる装置上のセンサ（例えば、ポルヘムス(Polhemus)社のファストトラック(FastTrak) [http://www.polhemus.com]）を用いて、所望のロケーション又は領域を指し示すことにより、それを特定することができる。絶対位置及び方向ベクトルが与えられると、このシステムは、方向ベクトルと既知の距離曲線（例えば、部屋の壁や会議机のエッジ）との交点を見つけることにより、指し示されている領域を決定できる。例えば超音波レンジファインダ（例えば、ポラロイド(Polaroid)・ソナー・レンジファインダ[www.polaroid.com]）を用いて、レンジを決定できれば、３次元座標を正確に決定して、クリップ制御パラメータへと変換することができる。
【００７７】
図１５は、本発明のインターネットベースの実施の形態を示している。カメラアレイ９０２は、サーバ９２０へと供給されるビデオストリーム９１０を生成する。サーバ９２０は、ビデオストリーム９１０から取り出したシーン９００のパノラマ、及びパノラマからビューを表示及び選択するためのアプレット又は他のプログラムを、要求しているコンピュータ（例えば９４０Ａ）に（照会に応答して）放送する（或いは、アプレット又は他のプログラムは、要求しているコンピュータ上に既に存在していてもよい）。
【００７８】
次に、要求しているコンピュータ９４０Ａは、パノラマを表示し、シーンを選択するための少なくとも１つのドラック・アンド・ドロップ・アイコン９４２を供給する。アプレットはドラック・アンド・ドロップ・アイコン９４２のロケーション及びサイズを認識し、要求されたビューを識別するクリップコマンドを、インターネットを介してサーバ９２０に送る。サーバ９２０はクリップコマンドを用いて画像（例えば、高解像度、超解像度、又は立体画像）を生成し、次に、その画像は元の要求しているコンピュータ９４０Ａに送り返され、要求されたビューの画像を有する９４０Ｂとして示される。
【００７９】
１つの実施の形態では、サーバ９２０は、カメラアレイ９０２の複数のカメラビューからパノラマを合成するために合成機構９２２を用い、クリップ機構９２４は、ビデオストリーム又はビデオストリーム中に存在する画像の超解像度合成から、選択されたビューをクリップする。本発明は、インターネット・サービスプロバイダを介した通常のモデム接続、ケーブルモデム、ＤＳＬ、ＩＳＤＮ、Ｔ１、Ｔ３、又はスタンドアロン・モードの、若しくは他のネットワーク（例えば衛星ネットワークやイーサネット（登録商標）９３０）と共に、任意の他のタイプのインターネット接続をわたって実行されてよい。
【００８０】
本発明の遠隔ベースのアプリケーションのための構成の詳細は、放送帯域の使用可能度、及びサーバ９２０、接続されているネットワーク（上記の例ではインターネットであるが、任意のローカルエリア、ワイドエリア、衛星、又は他のネットワークのタイプでも実施可能）のそれぞれで使用可能な処理力に基づいて、選択されよう。当業者は認識するように、本明細書に述べた本発明と矛盾することなく、インターネット・ベースの実施の形態及びそれを実装するための機構の任意の数の組合せ又は修正を実現できるであろう。
【００８１】
本明細書に述べた本発明の実施の形態の多くは、ビデオ又はフィルム撮影操作を引き合いにしながら説明されたが、当業者は認識するように、同じ処理及び手順をビデオ及びスチール画像取得の両方に適用できる。
【００８２】
コンピュータ技術の当業者には明らかなように、本発明は、従来の汎用又は専用デジタルコンピュータ、又は本開示の教示に従ってプログラムされたマイクロプロセッサを用いて実装するのが便利である。
【００８３】
ソフトウェア技術の当業者には明らかなように、熟練したプログラマーは、本開示の教示に基づき、適切なソフトウェア・コーディングを容易に準備できる。当業者には容易に分かるように、本発明は、アプリケーションを特定した集積回路（ＡＳＩＣ）を準備することによって、又は従来のコンポーネント回路の適切なネットワークを相互接続することによって、実装されてもよい。
【００８４】
本発明は、コンピュータの制御に、又は本発明の任意の処理をコンピュータに実行させるために用いることができる命令を記憶した、単数又は複数の記憶媒体である、コンピュータプログラム製品を含む。記憶媒体としては、フロッピー（登録商標）ディスク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、及び磁気光ディスクを含む任意のタイプのディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリデバイス、磁気又は光学カード、ナノシステム（分子記憶ＩＣを含む）、又は命令及び/又はデータの記憶に適した任意のタイプの媒体若しくは装置を含むが、これらに限定されない。
【００８５】
本発明は、コンピュータが読み取り可能な媒体の任意の１つに格納され、汎用/専用コンピュータのハードウェア又はマイクロプロセッサの両方を制御するとともにコンピュータ又はマイクロプロセッサが人間のユーザ又は本発明の結果を用いる他の機構と対話するのを可能にするための、ソフトウェアを含む。そのようなソフトウェアは、デバイス・ドライバ、オペレーティング・システム、及びユーザアプリケーションを含み得るが、それに限定されない。究極的には、そのようなコンピュータが読み取り可能な媒体は、更に、上述した本発明を行うためのソフトウェアを含む。
【００８６】
汎用/専用コンピュータ又はマイクロプロセッサのプログラミング（ソフトウェア）に含まれるのは、ジェスチャ、レーザ発光、ペンで引いた線の識別、接触又は圧力感知信号の識別、クリップ操作又はカメラ若しくはカメラアレイの制御機能を制御するためのコマンドの構築及び/又はフォーマット、本発明の処理に従った結果の表示、記憶、又は通信を含むが、それに限定されない、本発明の教示を実施するためのソフトウェアモジュールである。
【００８７】
上述の教示に照らして、本発明の多くの修正及び変更が可能なことは明らかである。従って、添付の特許請求の範囲の範囲内において、本発明は本明細書に詳細に述べた以外の方法で実施され得ることが理解されるべきである。
【図面の簡単な説明】
【００８８】
【図１】本発明の１つの実施の形態に従った、画像及び制御データのフロー図である。
【図２】カメラコマンド及び操作を識別及び実行するステップを示すフロー図である。
【図３】カメラビューの方向指示のためのアイコン・ベースのユーザインタフェースの例を示す図である。
【図４】カメラビューの方向指示のためのアイコン・ベースのユーザインタフェースの例を示す図である。
【図５】パノラマビューからのカメラビューのグラフィカル選択、及び選択されたビューへのカメラの割当ての例を示す図である。
【図６】物理的トークン及び接触感知（タンジブル）制御面を用いるビュー制御機構の１つの実施の形態をグラフィカルに示す図である。
【図７】タンジブル制御面及び制御トークンの実施の形態を示す図である。
【図８】本発明の１つの実施の形態に従ったビュー表示装置のブロック図である。
【図９】ビュー制御機構を実装するための空間的ユーザインタフェースを示す図である。
【図１０】１組の物理的トークンを示す図である。
【図１１】本発明に従ったサイズ変更可能な物理的トークンを示す図である。
【図１２】ビュー制御機構及びタンジブル・トークンに基づきビューを識別及び生成するステップを示す図である。
【図１３】カメラの操作を指示するために照明領域を認識するための感知装置を有するビュー制御機構の１つの実施の形態のブロック図である。
【図１４】照明によって制御されるカメラによって取得されたフレーム内の照明を検出するための検出器を有するビュー制御機構の１つの実施の形態のブロック図である。
【図１５】本発明のインターネット・ベースの実施の形態の例を示す図である。
【符号の説明】
【００８９】
１００    カメラ
１１０    カメラデータストリーム
１２０    カメラ・ビュー制御（クリップ制御コンポーネント）
１３０    ビュー表示
１４０    クリップコマンド
１５０    カメラ制御コマンド
３１０    制御アイコン
３２０    制御アイコン
４００    スクリブル動作
４１０    スクリブル動作
４２０    スクリブル動作
４３５    カメラ制御アプリケーション
５００    ビュー制御機構
５１０    タンジブル制御面
５２０    フレームオブジェクト（トークン）
５３０    フレームオブジェクト（トークン）
５４０    カメラ
８００    照明源（レーザ）
８２０    ＩＲ感知センサ
８４０    ＩＲ検出器
９００    シーン
９０２    カメラアレイ
９１０    ビデオストリーム
９２２    合成機構
９２４    クリップ機構
９４２    ドラック・アンド・ドロップ・アイコン
【図１】
2006087139.tif 000003
【図２】
2006087139.tif 000004
【図３】
2006087139.tif 000005
【図４】
2006087139.tif 000006
【図５】
2006087139.tif 000007
【図６】
2006087139.tif 000008
【図７】
2006087139.tif 000009
【図８】
2006087139.tif 000010
【図９】
2006087139.tif 000011
【図１０】
2006087139.tif 000012
【図１１】
2006087139.tif 000013
【図１２】
2006087139.tif 000014
【図１３】
2006087139.tif 000015
【図１４】
2006087139.tif 000016
【図１５】
2006087139.tif 000017