(57)【特許請求の範囲】
【請求項１】
イメージキャプチャーシステムを用いて原稿ドキュメントの関連部分を走査する方法であって、
前記イメージキャプチャーシステムの視野の中で第１イメージをキャプチャーし、そのキャプチャーの間、フィードバックイメージが前記原稿ドキュメント上に表示されるようにし、
前記イメージキャプチャーシステムの視野の中で第２イメージをキャプチャーし、そのキャプチャーの間、前記フィードバックイメージが前記原稿ドキュメント上に表示されないようにし、
前記第１イメージと前記第２イメージから差分イメージを生成し、
前記差分イメージの中で前記フィードバックイメージを探索し、
前記差分イメージ内で前記フィードバックイメージが見つけられたとき、前記イメージキャプチャーシステムのズーム制御を、前記フィードバックイメージの全体が前記差分イメージ内に位置するように調整する、
ことを特徴とする方法。
【請求項２】
請求項１に記載の方法において、更に、前記差分イメージ内の前記フィードバックイメージが前記イメージキャプチャーシステムの視野の中央に位置するように前記イメージキャプチャーシステムのパン制御を調整する、
ことを特徴とする方法。
【請求項３】
請求項２に記載の方法において、更に、
前記フィードバックイメージが前記イメージキャプチャーシステムの視野の中央に見えるとき、該フィードバックイメージが該イメージキャプチャーシステムの視野内において完全には見えなくなるときまで前記イメージキャプチャーシステムのズームイン制御を行い、
次に、前記フィードバックイメージが前記イメージキャプチャーシステムの視野内に完全に見えるように前記イメージキャプチャーシステムのズームアウト制御を行う、
ことを特徴とする方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、デスクより上に設置されたカメラを使用して、ユーザーが対話によりドキュメントを手際よく処理するドキュメント処理システム、より詳細には、多重イメージキャプチャーモードと表示モードをもつドキュメント処理システムに関するものである。
【０００２】
【従来の技術】
カメラの視野内に置かれた項目を選択することによって実行すべき機能をユーザーが選択することができるように、デスクより上に設置されたカメラ・プロジェクタ装置を使用することは、ヨーロッパ特許出願公開(EP-A)第４９５，６２２号から知られている。デスク上のドキュメントのイメージがビデオカメラまたはスキャナによってキャプチャーされ、フィードバック情報が投影ディスプレイによって表示される。上記の機能には、ディスクの上に置かれたデータ（たとえば、紙原稿内のデータ）に対し実行される計算操作と翻訳操作が含まれる。
【０００３】
ヨーロッパ特許出願公開第６２２，７２２号は、たとえば作業テーブルに焦点が合わされたカメラ・プロジェクタシステムを使用し、複写機またはプリンタと協同して、テキストと（または）イメージを含む原始ドキュメントから新しいドキュメントを生成する装置を開示している。使用中、カメラは、ユーザーによって（たとえば、指でさし示し、原始ペーパードキュメント内のテキストまたはイメージを軽くたたいて、テキストまたはイメージの処理を表すことによって）行われた種々の手動操作をキャプチャーする。ユーザーへのフィードバックは、作業テーブルまたは原始ドキュメントの上にイメージを投影するか、または別の視覚的表示を用いて与えられる。
【０００４】
上記ヨーロッパ特許出願公開第６２２，７２２号のシステムに関する問題は、オフィスの備品、本棚、あるいは天井に固定して設置されたカメラとプロジェクタの使用が非常に場所をとること、それらを据え付けることが難しいこと、およびそれらの移動が難しいことである。実際上、既存のデスクの真上に据え付けることは不可能であることは、多くの潜在的なユーザーには判るであろう。もう１つの問題は、カメラの視野が限られており、カメラをブームしたり、デスク上の異なる場所に向けるのが不便なことである。
【０００５】
上記ヨーロッパ特許出願公開第６２２，７２２号のシステムに関するさらに別の問題は、プロジェクタが限られた解像度と限られたレンジを有することと、両者の間にトレードオフが存在することである。或るアプリケーション（たとえば、細かいスケッチすなわち手書き）には１平方インチあたり高い解像度が必要であるのに対し、別のアプリケーション（たとえば、建築上の視覚化）には大きな表面積が必要である。どんな与えられたプロジェクションもどちらか一方を犠牲にしなければならない。本発明の１つの特徴は、対話手法と、面積／解像度のトレードオフを扱う入力装置に関係している。
【０００６】
【発明が解決しようとする課題】
上記ヨーロッパ特許出願公開第６２２，７２２号のシステム（現在の標準的ビデオ技術に基づいている）のビデオカメラによって生成されたイメージの解像度がプリンタやスキャナの解像度に比べて低いことが、さらに別の問題を引き起こす。これは、選択物のテキストを認識する時に低精度をもたらし、選択物を印刷する時に劣悪な画質をもたらす。ユーザーが一度に比較的小さい選択物（幅が数インチ以下のワードまたは図面）について仕事をしている場合は、この問題を解決する１つの方法は、カメラをズームして問題の領域のみに焦点を合わせることである。そのときの問題点はカメラをどのように調節するかである。１つの方法は、選択を行う前にユーザーがカメラのズームを手動で調節することであるが、これは、余分のステップ、余分の制御装置、およびユーザーがカメラを通して見ることができるようにある種のモニターを必要とする。また、カメラを自動的に調節して、ユーザーが選択した領域に可能な限りぴったりズームインすることができるシステムを提供することが望ましいであろう。
【０００７】
【課題を解決するための手段】
本発明は、作業テーブルと、イメージを表示するディスプレイ装置と、作業テーブル上にあるイメージをキャプチャーするイメージキャプチャー装置と、前記ディスプレイ装置と前記イメージキャプチャー装置とに接続されたプロセッサ手段と、内部に前記イメージキャプチャー装置が配置されたハウジングを有し、前記イメージキャプチャー装置の視野を変えるため動かすことのできるフレームとから成る対話式デスクトップシステムを提供する。
【０００８】
このシステムの利点は、既存のオフィス機器と適合性があり、そしてカメラとプロジェクタが向いている場所とズーム倍率とを調節する、非常に自然な対話式手法（Ｂ節において詳しく検討する）が得られることである。
【０００９】
本発明は、さらに、作業テーブルと、イメージを表示領域に表示するディスプレイ装置と、作業テーブル上にあるイメージをキャプチャーするイメージキャプチャー装置と、前記ディスプレイ装置と前記イメージキャプチャー装置とに接続されたプロセッサ手段とから成る対話式デスクトップシステムを提供する。前記プロセッサ手段は、ユーザー入力に応じて、表示領域の寸法とそこに表示されたイメージの解像度を修正する手段を含んでいる。
【００１０】
既存の技術では、とにかくプロジェクタのズーミングと位置をユーザーが調節することができれば、調節装置は投影されたイメージのサイズとビューとは無関係である。このため、ユーザーは、いったん行われると変更することが難しいサイズと解像度とのトレードオフを選択しなければならない。本発明に係る手法は、このトレードオフのすべての考えられる値の間でスムースに動くことができるので、個々の位置の制限もそれほど問題でない。本手法は、仮想世界において航行する技法（たとえばフライト・シミュレーション）にたとえることができるが、ある点では正反対である。コンピュータの仮想世界におけるユーザーの位置に従って異なるビューを示す代わりに、ユーザーの現実世界におけるコンピュータの位置に従って異なるビューが示される。
【００１１】
本発明は、さらに、作業テーブル、イメージを表示するディスプレイ装置、作業テーブル上にあるイメージをキャプチャーするイメージキャプチャー装置、前記ディスプレイ装置と前記イメージキャプチャー装置に接続されたプロセッサ手段、および内部に前記イメージキャプチャー装置が配置されたハウジングを有するフレームから成る対話式デスクトップシステムを提供する。前記フレームは移動可能であり、前記プロセッサ手段は、作業テーブル上の位置を指示するユーザー入力に応答して、前記ハウジングを移動させ、それによって前記指示された位置を前記イメージキャプチャー装置の視野内へ動かす手段を含んでいる。
【００１２】
本手法は、ユーザーが作業テーブル上の領域を簡単に選択でき、選択した領域がちょうど視野内にあるように（選択した領域内のキャプチャーされたイメージの解像度を高める）、イメージキャプチャー装置（カメラ）が自動的にパンされ、ズームされ、そして（または）傾斜されるという利点を有する。
【００１３】
好ましい実施例の場合、調節手段は、内部にイメージキャプチャー装置が設置されたハウジングを有するフレームから成っていてもよい。フレームは移動可能であり、それよってイメージキャプチャー装置の視野が変えられる。
【００１４】
調節手段は位置を表す信号を出力する複数のセンサを含むことができ、プロセッサ手段は、前記センサが出力した信号に従って、前記作業テーブルに平行な少なくとも２つの次元で、ユーザーによるハウジングの移動後のハウジングの新しい位置を決定する手段を含んでいる。
【００１５】
フレームは前記作業テーブルに直角な方向に移動可能であってもよい。調節手段は垂直位置を表す信号を出力するセンサを含んでおり、プロセッサ手段は前記センサが出力した信号に従って、３つの次元で、ユーザーによるハウジングの移動後のハウジングの新しい位置を決定する手段を含んでいる。
【００１６】
フレームは作業テーブルに直角な軸線のまわりに回転可能であってもよい。調整手段は角位置を表す信号を出力するセンサを含んでおり、プロセッサ手段は前記センサが出力した信号に従って、３つの次元で、ユーザーによるハウジングの移動後のハウジングの新しい位置を決定する手段を含んでいる。
【００１７】
プロセッサ手段は決定された新しい位置に従って、変更されたイメージを表示する手段を含んでいることが好ましい。
【００１８】
プロセッサ手段は、ユーザー入力に応答して、表示領域の寸法と（又は）そこに表示されたイメージの解像度を修正する手段を含んでいることが好ましい。
【００１９】
プロセッサ手段は、作業テーブル上の位置を指示するユーザー入力に応答して、前記ハウジングを移動させ、それによって前記指示された位置をイメージキャプチャー装置の視野内へ動かす手段を含んでいる。
【００２０】
プロセッサ手段は、キャプチャーされたイメージから、所定の書式のどれかの要素がイメージキャプチャー装置の視野内にあるかどうか判断し、もしその要素が存在しなければ、イメージキャプチャー装置を電子的にズームアウトする手段を含んでいることが好ましい。
【００２１】
プロセッサ手段は、キャプチャーされたイメージから、所定の書式がイメージキャプチャー装置の視野内に水平方向中央に位置しているかどうか判断し、もし中心に位置していなければ、所定の書式が水平方向中央に位置するまでイメージキャプチャー装置をパンする手段と、（または）キャプチャーされたイメージから、所定の書式が前記イメージキャプチャー装置の視野内に垂直方向中央に位置しているかどうか判断し、もし中央に位置していなければ、所定の書式が垂直方向中央に位置するまでイメージキャプチャー装置を傾斜させる手段を含んでいることが好ましい。
【００２２】
プロセッサ手段は、キャプチャーされたイメージから、所定の書式がイメージキャプチャー装置の視野内に完全に見えるかどうか判断し、もし完全に見えれば、所定の書式が完全に見えなくなるまでイメージキャプチャー装置を電子的にズームインさせる手段と、所定の書式が完全に見えなくなった後、キャプチャーされたイメージから、所定の書式がイメージキャプチャー装置の視野内に完全に見えるかどうか判断し、もし完全に見えなければ、所定の書式が完全に見えるまでイメージキャプチャー装置をズームアウトさせる手段を含んでいることが好ましい。
【００２３】
前記所定の書式はユーザーによって形作られた選択長方形から成っており、前記要素は前記選択長方形の辺から成っていてもよい。
【００２４】
ディスプレイ装置はビデオプロジェクタから成ることが好ましい。代案として、ディスプレイ装置は卓上式ＶＤＵ（たとえばＣＲＴモニター）あるいは平面パネルディスプレイ（たとえばＬＣＤディスプレイ）から成っていてもよい。イメージキャプチャー装置はビデオカメラから成ることが好ましい。
【００２５】
【発明の実施の形態】
次に添付図面を参照して、例として本発明の実施例を説明する。
Ａ．基本的なシステム構成
図１に、本発明に従って、作業テーブルより上に配置され、作業テーブルに焦点が合わされたビデオカメラとプロジェクタを使用している全体的なシステム構成を示す。システム１は通常のデスクランプの一般的な形をしており、ランプハウジング３の中にカメラ２２とプロジェクタ９（電球５とＬＣＤマトリックス７から成る）が配置されている。通常のランプのベースハウジングよりかなり大きくベースハウジング２は、たとえば標準のマイクロコンピュータ（ＰＣ）アーキテクチャーを有するコンピュータハードウェア用のハウジングを提供する。（代案として、コンピュータハードウェアを標準のデスクトップＰＣハウジング内にパッケージすることができる。この場合、ベースハウジング２は標準のデスクランプに似ており、カメラ２２とプロジェクタ９は適当なケーブル（図示せず）によって前記デスクトップＰＣの適当なポートに接続することができる。本発明がコンピュータランニング WindowsTMを使用して具体化でき、そしてフレームグラバーボードと適当なインタフェース回路を装備できることは、この分野の専門家には理解されるであろう（たとえば、Jahne B,. Digital Image Processing, Appendix B, Sprihger-Verlag, Heidelberg, 1991 参照) 。
【００２６】
代案として、遠隔処理装置に接続されたハウジング２の中にインタフェース回路のみが設置されていることを除いて、公表されたヨーロッパ特許出願ヨーロッパ特許出願公開第６２２，７２２号に詳しく記載されているハードウェア構成を使用することができる。その場合、カメラ２２とビデオプロジェクタ９は上記ヨーロッパ特許出願ヨーロッパ特許出願公開第６２２，７２２号に詳しく記載されている画像処理ハードウェアに接続される。
【００２７】
別の代案として、ハウジングの中にカメラ２２のみを配置して、英国特許出願９６  １４６  ９４．９号（１９９６年７月１２日出願）（Agent's ref: R/96007) に記載されているように、システムを具体化することができる。
【００２８】
本発明を具体化する場合、上記ヨーロッパ特許出願公開第６２２，７２２号に記載されている画像処理方法を適切に（または）以下に述べるように修正して、使用することができる。
【００２９】
コンピュータはネットワークケーブル１６に接続されている。このネットワークケーブル１６と、通常の内部ドライバーカード（図示せず）と適当なソフトウェア（たとえば  Novell Corp.から入手可能な Netware  ）とによって、コンピュータはローカルエリア・ネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）の一部を構成することができる。
【００３０】
ランプハウジング３は、３次元に、正確には通常の卓上ランプのように、動かせるように構成されており、特定の操作のため望んでいる通りにカメラ２２とプロジェクタ９をデスク表面１８に接近および後退させることができる（図１では、説明のため、カメラ／プロジェクタの視線と垂直線のなす角度は誇張してある）。図示のように、実際のペーパードキュメント２４はカメラの視野内にあり、ビデオプロジェクタ９によってデスク表面１８に電子ドキュメント２５が投影されている。ランプハウジング３の上部にロータリズーム調節装置１１が設置されている。ロータリズーム調節装置１１は通常のＳＬＲやビデオカメラに装備されているものに似ているが、ユーザーがカメラ２２のズーム設定の調節を行えるようにコンピュータプロセッサに電子的にリンクされている。
【００３１】
図２に、コンピュータシステム１のハードウェアを略図で示す。この構成は、この分野の専門家に周知であり、たとえば The Art of Electronics, 2nd Edn, Ch, 10, P. Horowitz and W. Hill, Cambridge University Press, 1989 に詳しく記載されている。簡単に述べると、コンピュータシステム１は、それぞれが共通バス３０に接続された、中央処理装置３２、ランダムアクセス・メモリ（ＲＡＭ）３４、読出し専用メモリ（ＲＯＭ）３６、およびディスク、テープ、またはＣＤ−ＲＯＭドライブを含む記憶装置３８、キーボード１２、マウス１４、プリンタ、プロッタまたは読み取り装置４０、および外部装置４６（カメラ２２、ビデオプロジェクタ９、およびＬＡＮの他の部分（図示せず））とインタフェースするＡ／Ｄ変換器およびＤ／Ａ変換器４２とデータ入出力装置４４から成っている。
【００３２】
使用中、ビデオカメラ２２がデスク表面１８上のイメージをキャプチャーし、それらのイメージがビデオプロジェクタ９によってデスク表面１８に実時間で表示される。
【００３３】
システム１は、カメラの視野内の画素とディスプレイの画素とのマッピングを維持しなければならない。デスクに対するランプハウジング３の角度が変化すると、このマッピングは変化するので、この角度を一定に維持するか、または迅速自己校正手順（たとえば、ヨーロッパ特許出願公開第６２２，７２２号または英国特許出願９５  ２１０  ７２．０号参照）を用いるかのどちらかをしなければならない。
【００３４】
図３（ａ）に、本発明の別の実施例を示す。この実施例は、以下に述べることを除いて、最初に説明した実施例と同じである。システムは、デスク５２上に置かれたドキュメントを走査するカメラ２２と、デスク表面１８にフィードバック情報を表示するビデオプロジェクタ９とを使用するシステムが遭遇する問題、すなわちＬＣＤアレイ、プロジェクション光源、および冷却ファンのため必ずかさばっているビデオプロジェクタ９と、デスクを走査するカメラ２２とを統合する問題を扱う。
【００３５】
解決策は、カメラハウジングの下側にミラー５０を取り付けて、このミラー５０に向いたプロジェク９を別個に設置することである。プロジェクタ９は、焦点調節に使用するレンズ５４を備えた標準のオーバーヘッドプロジェクタの形をとることができる。プロジェクタ９の上面にＬＣＤパネル７は置かれている。プロジェクタの傾斜角は誇張してある。この結果として、イメージ（幅Ｐ）はカメラで走査された通りに下方に投影されてデスクの同じ領域（幅Ｆ）に戻される。プロジェクタは、図３（ａ）に示すように、デスクの後方またはデスクの下に配置され、孔を通して上方に投影することができる。ミラー５０はＡ点にヒンジで取り付けられており、イメージがデスク表面１８の適当な部分に投影されるようにＢ点にあるネジを調整してミラー５０の角度を調整することができる。
【００３６】
単一ミラー５０による反射の影響を打ち消すために、イメージを反転しなければならない。ほとんどのプロジェクタおよびＬＣＤパネルには、この反転能力が組み入れられている。さらに、キーストン（foreshortening) 歪みと、垂直線に対しある角度でイメージが投影されることによって生じる焦点合わせの問題を最小にするために、手段を講じる必要があるかも知れない。同様に、自己充足型プロジェクタの中には、イメージを生成するＬＣＤパネル７に対してレンズを変位させる手段を備えているものがある。図３（ｂ）に示すように、これだけで十分キーストーン歪みを完全に無くし、同時にイメージ全体を焦点に置くことができる。わずかなキーストーン歪みはユーザーによって大目に見られることがあるので問題はない。
【００３７】
Ｂ．随意のサイズ、位置、および解像度の表示を投影する方法
図４に、本発明のさらに別の実施例を示す。この実施例は、以下に述べることを除いて、最初に述べた実施例と厳密に同じである。
【００３８】
この実施例の場合、ランプハウジング３は真下に向くように制限することが好ましい（すなわち、垂直線に対するカメラ２２およびプロジェクタ９の光学軸の角度が０である。すなわち光学軸はデスク表面１８に直角である。この角度が可変である実施例の場合（たとえば、図１参照）、歪みのないイメージを生成するには、逆投影変換が必要である。）
【００３９】
この実施例の場合、ランプベース２はランプハウジング３が軸線６０のまわりに回転できるようになっている。
【００４０】
ランプハウジング３からデスク表面１８までの垂直距離ｚのほかに、ランプハウジング３の水平位置を２つの次元で検出する準備がなされている。このために、軸エンコーダ（角位置の変化を表す電気信号を出力する）が点Ｄ，Ｃ，Ｅに設置されている。別の手段を使用して距離ｚを測定してもよいことは理解されるであろう。すなわち、自動焦点カメラに使用されているような超音波トランスジューサをランプハウジング３内に設置して、使用することができる。
【００４１】
平面図である図４（ｂ）から判るように、旋回ベース２の使用は、システムが旋回すると、表示領域６２が旋回することを意味する。これは、イメージを表示する前にイメージに逆回転（−θ）を与えることによって打ち消される。
【００４２】
図５に、さらに別の代替実施例を示す。これは、表示領域６２をデスクに対し直角に保つより複雑な二重リンケージを使用していることを除いて、図４と同じである。
【００４３】
図４及び図５の実施例の場合、デスク表面１８からの距離ｚが変化するので、プロジェクタ９の焦点を維持しなければならない。発明のこの特徴に従って、測定した距離ｚの変化に基づいて調節が自動的に行われる。
【００４４】
図６は、ユーザーによるランプハウジング３の位置の変更（図４および図５の座標系においてｘ，ｙ，またはｚの変化）の後に、表示された（投影された）イメージを調整する場合に必要な処理ステップのフローチャートである。図６においては、θ＝０である図５の実施例を除いて、変化するθ（図４）が考慮されている。
【００４５】
図６から判るように、最初に（ステップＳ２）、軸エンコーダにおける角度を検出する。もし角度の変化が検出されれば（ステップＳ４）、計算を行って、軸エンコーダの角度から３次元空間内のプロジェクタの位置（ｘ，ｙ，ｚ（およびθ））を決定する。垂直位置（ｚ）の変化が生じたと判断されれば（ステップＳ８）、新しいｚの値と関連する幾何学的関係に基づいて、別の計算を実行し、新しい表示領域のサイズを計算する（ステップＳ１０）。そのあと、鮮明なイメージを確保するためプロジェクタの焦点を相当量だけ調節する（ステップＳ１２）。次にステップＳ１４において、仮想ディスプレイにおける表示領域の位置を計算し、そのあとステップＳ１６において、任意の検出された回転θを相殺するために−θの回転を行う。そのあと（ステップＳ１８）、表示領域をディスプレイの全領域の上に描く操作を実行し、描かれたイメージを表示する（ステップＳ２０）。
【００４６】
システムは随意の大きなサイズおよび随意の高い解像度の仮想投影表面を維持する。任意の決められた瞬間に、プロジェクタはこの表面の一部を特定の解像度で表示している。ユーザーはプロジェクタをデスクにより接近させる（すなわちズームさせる）ことができ、仮想オブジェクトは同じサイズのままであるが、１インチ当たりより多くの画素で表示されるので、ユーザーは随意のサイズおよび解像度の印象を受ける。領域のサイズは、ズーミング（引き離すこと）によって、より拡大することができる、すなわち見る必要がある領域へプロジェクタを動かすことができる。このシステムは、理論上、図１、図４、および図５のシステムに適しており、ユーザーがランプをあちこち動かすことによって仮想表面領域の任意の所望の部分を「ライトアップ」することができる。そのあと、ランプを接近させることによって、任意の領域を任意の高い解像度で調べることができる。この対話式手法は親しみ易く、また習得が非常に容易であると信じられる。追加する必要のある唯一のハードウェアはセンサであるので、システムは、システムとその角度が投影している表面からどれだけ離れているかがわかる。
【００４７】
Ｃ．デスク表面上の選択物に対する自動パン／ズーム
次に図７を参照して、本発明のさらに別の実施例について検討する。この実施例は、以下に述べることを除いて、前に述べた実施例と厳密に同じである。この実施例に従って、カメラ２２は電子的に制御可能なズームを備えている。システムはシステム自身が使用できる（検出できる）フィードバック長方形６６を投影することによってカメラのズームを自動制御する。投影された選択長方形６６はその位置を決定することができる所定のグレーレベルであることが都合がよい。代案として、選択長方形の個々の辺の中に、コード化情報（例えば、絵文字（グリフ:glyph）コード：米国特許第５，１６８，１４７号、同第５，０９１，０６６号、同第５，１２８，５２５号参照）を含めることができる。
【００４８】
この手法に従って、システムが選択長方形６６（の全部）を見ることができるときは、すなわちユーザーがカメラの視野７０内のペーパードキュメント２４の上に位置しているときは、もはや選択長方形６６を見ることができなくなるまで、システムはカメラをダイナミックにズームインする。もし選択長方形６６を見ることができなけれは、システムは選択長方形６６が見えるまでカメラをズームアウトする。
【００４９】
パンも同様なやり方で行われる。すなわち、長方形６６の辺の１つを視野７０内に見ることができないときは、その辺を見ることができるまで、（カメラの角方位を電子的に制御することによって）カメラがパンされる。代わりに、視野７０の幾つかの縁領域だけを処理して長方形６６の存在を決定し、それによって処理速度を向上させることが好ましい。
【００５０】
図８は、本発明のこの特徴に従って上に述べたパンおよびズーム操作を実行する場合の処理ステップを示すフローチャートである。
【００５１】
最初に（ステップＳ３２）、選択長方形（のサイズ／場所）の調節を定義しているユーザー入力を受け取り、それに応じて修正した選択長方形をフィードバックとして、連続的に表示する（ステップＳ３４）。もしユーザーが選択（調整）を終了したと判断すれば（ステップＳ３６）、ユーザーは選択長方形内のものを「コピー」することを選択し（ステップＳ３８）、現にカメラの視野内のイメージ（ＩＭＡＧＥ１）を収集する（ステップＳ４０）。次に表示された（フィードバックされた）長方形を表示されたイメージから除去し（ステップＳ４２）、その時点のカメラ視野内のイメージ（ＩＭＡＧＥ２）を収集する（ステップＳ４４）。そのあとＩＭＡＧＥ１とＩＭＡＧＥ２から差分イメージを生成する操作を実行する（ステップＳ４６）。
【００５２】
その差分イメージを用いて、周知のパターン認識手法で、そのイメージ内の選択長方形の位置を探索する（ステップＳ４８）。もし長方形が検出されなければ（ステップＳ５０）、カメラを所定の量だけズームアウトし、ステップＳ４８を繰り返す。ステップＳ５０において長方形が検出されるまで、これを１ステップづつ続ける。
【００５３】
次に長方形がカメラの視野内の中央（左端と右端の間）に位置しているかどうか分析する（ステップＳ５４）。もしそうでなければ、長方形が中央に位置していることが検出されるまで（ステップＳ５４）、適当な方向に１ステップつづパンを実行する（ステップＳ５６）。
【００５４】
次に長方形がカメラの視野内の中央（上端と下端の間）に位置しているかどうか分析する（ステップＳ５８）。もしそうでなければ、長方形が中央に位置していることが検出されるまで（ステップＳ５８）、パンを適当な方向に１ステップつづ実行する（ステップＳ６０）。
【００５５】
次に、長方形がカメラの視野内に完全に見えるかどうか分析する（ステップＳ６２）。もし完全に見えれば、長方形が最早完全に見えなくなることが検出されるまで（ステップＳ６２）、ズームイン操作を１ステップづつ実行する（ステップＳ６４）。
【００５６】
そのあと長方形がカメラの視野内に完全に見えるかどうか分析する（ステップＳ６６）。もしそうでなければ、長方形が完全に見えることが検出されるまで（ステップＳ６６）、ズームアウトを１ステップづつ実行する（ステップＳ６８）。このようにして、長方形が完全に見える地点に達する。
【図面の簡単な説明】
【図１】本発明の一実施例に係る全体的なシステム構成を示す斜視図である。
【図２】図１のシステムに使用されているコンピュータのブロック図である。
【図３】本発明に従ってミラーをベースとする投影を使用している別の実施例の略図である。
【図４】可変のサイズおよび解像度の表示を投影する３次元に移動可能なランプハウジングを使用している本発明のさらに別の実施例の略図である。
【図５】図４の実施例に似ているが、投影された表示を異なる向きに維持する、さらに別の実施例の略図である。
【図６】図４および図５のシステムにおいて使用される処理ステップを示すフローチャートである。
【図７】作業テーブル上のユーザーが選択した領域に対しカメラの自動パン／ズームを行う本発明のさらに別の実施例を示す、作業テーブルの平面図である。
【図８】図７のシステムにおいて使用される処理を示すフローチャートである。
【符号の説明】
１  対話式デスクトップシステム
２  ランプベース
３  ランプハウジング
５  電球
７  ＬＣＤマトリックス（パネル）
９  ビデオプロジェクタ
１１  ロータリズーム調節装置
１２  キーボード
１４  マウス
１６  ネットワークケーブル
１８  作業テーブル（デスク表面）
２２  カメラ
２４  ペーパードキュメント
２５  電子ドキュメント
３０  共通バス
３２  中央処理装置
３４  ＲＡＭ
３６  ＲＯＭ
３８  ディスク、テープ、またはＣＤ−ＲＯＭドライブ
４０  プリンタ、プロッタ、または読み取り装置
４２  Ａ／Ｄ変換器、Ｄ／Ａ変換器
４４  ディジタル入出力装置
４６  プロジェクタ、カメラ、ＬＡＮ、等
５０  ミラー
５２  デスク
５４  レンズ
６０  軸線
６２  表示領域
６６  選択長方形
７０  カメラの視野
【図１】
0004028916.tif 000002
【図２】
0004028916.tif 000003
【図３】
0004028916.tif 000004
【図４】
0004028916.tif 000005
【図５】
0004028916.tif 000006
【図６】
0004028916.tif 000007
【図７】
0004028916.tif 000008
【図８】
0004028916.tif 000009