(57)【特許請求の範囲】
【請求項１】
画像ディスプレイリクエストを示す信号を発生するための信号源と、
画像を表示するためのディスプレイエリアを有するディスプレイと、
前記信号源から前記信号を受け取るために接続され、且つ画像を定義するデータを前記ディスプレイに提供するために接続されているプロセッサと、
データを記憶するためのメモリと、
を含む機械操作方法であって、
前記メモリに記憶されたデータが前記プロセッサが実行する命令を示す命令データを含み、且つ前記プロセッサが前記メモリ内に記憶されたデータへアクセスするためにさらに接続されており、
前記ディスプレイのディスプレイエリア内の表示画像位置に第１の画像を表示するために前記プロセッサを操作するステップであって、前記第１の画像が第１のディスプレイ機能を含み、前記第１の画像が前記機械の前記メモリ内に記憶された第１の画像モデルデータストラクチュアを用いて生成され、且つ前記第１のディスプレイ機能が前記第１の画像モデルデータストラクチュア内に含まれた第１のデータ項目を表すことよりなるステップと、
任意の形状のビューイング操作領域（ＶＯＲ）を含む第１のビューイング操作領域画像を前記ディスプレイエリア内に表示するために前記プロセッサを操作するステップと、
前記ＶＯＲ内に第２の画像を表示するためにディスプレイリクエストを示す前記信号源からリクエスト信号データを受け取るために前記プロセッサを操作するステップと、
前記第１の画像の第１の画像セグメントの表示画像位置と同じ広がりを有する現在のビューイング位置内に位置された前記ＶＯＲを含む第２のビューイング操作領域画像を提供し、
前記第１の画像セグメントが前記第１のディスプレイ機能を含み、前記第１の画像モデルデータストラクチュアから前記第１のデータ項目を用いて前記ＶＯＲ内にディスプレイするために第２の画像を定義する画像定義データを生成し、
前記第２の画像が前記ＶＯＲのサイズと形状の大きさとぼぼ同一のサイズと形状の大きさを有しており、且つ前記第１の画像が前記ディスプレイエリア内にディスプレイされているのとほぼ同時に前記第２の画像を前記ＶＯＲ内に提供することによって、
前記ディスプレイリクエストを示す前記リクエスト信号データに応答するために前記プロセッサを操作するステップと、
を備える機械操作方法。
【請求項２】
前記ＶＯＲが前記ＶＯＲ内にディスプレイするために前記第２の画像を定義する前記画像定義データへ前記第１の画像モデルデータストラクチュアをマップするために前記ＶＯＲと対応するビューイング操作を有し、且つ前記第２の画像を定義する前記画像定義データを生成するステップが前記ビューイング操作に従って前記第２の画像を生成する
ことよりなる請求項１に記載の方法。
【請求項３】
前記第１の画像を生成するために使用される前記第１の画像モデルデータストラクチュアがオブジェクトモデルデータストラクチュアであり、前記第１の画像モデルデータストラクチュアが前記第１の画像セグメント内の第１のディスプレイオブジェクトによって表される第１のオブジェクトデータ項目を含み、オブジェクト座標データ項目が前記第１の画像内に第１のディスプレイオブジェクトの現在オブジェクト位置を示し、及び前記オブジェクト座標データ項目が前記第１のオブジェクトデータ項目を示し、且つ
前記ＶＯＲと対応する前記ビューイング操作が、前記第１の画像モデルデータストラクチュアから、前記ディスプレイエリア内の前記ＶＯＲの表示ビューイング位置と前記オブジェクト座標データ項目を用いて前記第１の画像セグメント内に含まれた前記第１のディスプレイオブジェクトによって表示される前記第１のオブジェクトデータ項目を入手し、且つ前記第１のオブジェクト項目を前記ビューイング操作に従って第２の画像を定義する前記画像定義データへマップする
ことよりなる請求項２に記載の方法。
【請求項４】
前記メモリ内に記憶された前記データがアプリケーション操作を定義する命令データをさらに含み、前記アプリケーション操作が前記第１の画像モデルデータストラクチュアからの前記第１のディスプレイオブジェクトを含む前記第１の画像を生成することが可能であり、且つ
前記ＶＯＲと対応する前記ビューイング操作が、
前記第１の画像モデルデータストラクチュアから第２のモデルデータストラクチュアを生成し、前記第２のモデルデータストラクチュアが前記第１の画像モデルデータストラクチュアから複写された複写された第１のオブジェクトデータ項目を含み、
前記第２のモデルデータストラクチュアから前記複写された第１のオブジェクトデータ項目を入手し、
変更された属性値を生成するために前記複写された第１のオブジェクトデータ項目によって示される属性値を変更し、
前記ディスプレイエリア内の前記ＶＯＲの表示ビューイング位置から第２の画像のサイズ及び位置データを入手し、前記第２の画像のサイズ及び位置データが前記第２の画像に関するサイズ及び位置情報を示し、
前記第２の画像サイズ及び位置データと、前記第２の画像を定義する前記画像定義データを生成するために前記変更された属性値を示す前記複写された第１のオブジェクトデータ項目を有する前記第２のモデルデータストラクチュアと、
を用いて前記アプリケーション操作を実行するために前記プロセッサを操作する
ことよりなる請求項３に記載の方法。
【請求項５】
前記信号源は機械ユーザの動作を示す信号を生成するためのユーザ入力デバイスであり、且つ
前記ユーザ入力デバイスから受け取られた前記リクエスト信号データが、前記ＶＯＲを、前記第１の画像セグメントと同じ広がりを有する前記ディスプレイエリア内の表示ビューイング位置へ移動する前記機械ユーザによる移動動作を示すことよりなる請求項１に記載の方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、一般に、画像をディスプレイするためのディスプレイを有するプロセッサ制御機械を操作する方法、及びこの方法によって操作されるプロセッサ制御機械に係り、特に、第１の画像が生成されたモデルデータストラクチュア上で操作し且つ第２の画像が生成されようとする画像の関連部分を識別するためのディスプレイされた出力生成領域を使用することによって、第１のディスプレイされた画像内に提供される画像ディスプレイ機能と関わりのある第２の画像を生成することに関する。
【０００２】
【従来の技術】
コンピュータのようなプロセッサ制御機械の頻繁で且つ激しい使用は、機械に接続されたディスプレイデバイスへの画像の形態での情報の提示である。文字、単語、及びテキストだけでなくグラフィックスのような他のディスプレイ機能を含んでいてもよい画像は、画像を定義する画像定義データストラクチュアから直接ディスプレイデバイスのディスプレイエリア内に生成される。ここで、画像定義データストラクチュアは一般に機械のメモリ領域内に記憶される。ラスタ画像として知られる一つのタイプの画像フォーマットは一般に「画素（ピクセル）」と呼ばれる個々の画像位置からなる。本明細書中で説明される画像は、例えば、ディジタルビデオ画像の場合におけるように、（システムオペレータ又はユーザから見ると静止しているような外見を有する）静止画像又はアニメーション画像であってもよい。
【０００３】
画像定義データストラクチュアだけが、データが表示する画像の情報内容について比較的に限定されたデータを担持する。しかしながら、多くの画像に関しては、画像定義データストラクチュアは、それ自体が、人間によって、又は機械のプロセッサによって実行されるアプリケーションプログラムのようなソフトウェア操作によって、理解されることが可能である情報又はデータを含む他のデータストラクチュアから発生する。このようなデータストラクチュアは、本明細書中において、「情報モデルデータストラクチュア」又は「モデルデータストラクチュア」と呼ばれ、且つ画像定義データストラクチュアとは区別されている。
【０００４】
情報モデルデータストラクチュアの一例は、フォトリアリスティック（写真的リアリズムを有する）シーンのようなグラフィックス画像が生成されるモデルである。「シーン記述」とも呼ばれるこのモデルは、３次元シーンにおける構成要素の形状、オブジェクト及び光源を定義する基本要素、カラー及び表面テクスチャのような基本要素（primitives）のディスプレイされた外見特性、並びにオブジェクト基本要素がどのようにして位置され且つそのシーンに一緒にフィット（適合）されるかを示す結合性の関連の記述を含む。
【０００５】
情報モデルデータストラクチュアの他の例は、テキスト、フォーマッティング命令、及びフォーマットされた原稿（文書）を生成するために必要とされる他のデータを含むワードプロセッシング又は他の文書操作アプリケーションによって使用される文書データストラクチュア又は文書モデルである。アプリケーション命令が実行されるプロセッサ制御機械のオペレータ又はユーザによるページ上又は文書中でのテキスト及びそのフォーマットとの対話を許容するため、ワードプロセッシングプログラムのようなアプリケーションは、ディスプレイ（装置）のディスプレイエリア内のページ又は文書の画像をディスプレイするために文書データストラクチュア（モデル）から画像定義データストラクチュアを生成する。
【０００６】
モデルデータストラクチュアから生成された画像は本明細書中の本発明を説明するために重要な少なくとも一つの類似性を有する。即ち各画像は機械のオペレータ又はユーザに対してモデルデータストラクチュアのビューを提供する。ビューの内容は、一般に「アプリケーション」と呼ばれるプロセッサ制御操作において定義される機能によって設定され、このプロセッサ制御操作はモデルデータストラクチュアから画像を生成する。実際に、アプリケーションによって生成される画像は、モデルデータストラクチュア内のデータと情報へ視覚的アクセスを提供する。
【０００７】
いくつかの現存するシステムにおいて、システムユーザは、アプリケーションによって定義される他の機能を介してモデルデータストラクチュア内のデータと情報へアクセスしてもよいし、またいくつかのケースにおいては、これらを操作してもよい。これは、原画像において現在見ることができるディスプレイ機能によって示されないデータと情報へアクセスし、且つ恐らくは影響を与えたり又は操作したりする能力をシステムのユーザへ提供する。
【０００８】
例えば、いくつかのコンピュータ支援設計システムにおいては、ユーザのコマンドによって、部分アセンブリのフロントビュー（正面図）（第１の画像）を含む画像がシステムディスプレイデバイスのディスプレイエリア内にディスプレイされ、且つユーザは、部分アセンブリのサイドビュー（側面図）（第２の画像）即ち部分アセンブリの一部を、ディスプレイエリアの個別部分内の第１の画像と同時にディスプレイさせてもよい。第２の画像は、両画像のビューイング及び検査、並びに両画像との対話を許容するため、ディスプレイエリアの片側においてディスプレイされてもよい。
【０００９】
モデルの複数ビュー（視点表示）が現存のシステム内に提供される時、原画像と、第２の画像に対する入力の内容の仕様と、第２の画像のディスプレイ内の位置の空間的な関係を視覚化するのは容易ではない。入力の仕様が第１の画像に直接的に関連していることもあるが（即ちユーザが第１の画像内の領域を指摘したり又は選択することができる時）、これは、例えば、ユーザが第２の画像を指定するためにコマンドをタイプしなければならないケースに必ずしも結びつかない。さらに、一旦選択が指定されると、ユーザは第２の画像の位置に対して全く制御を失うか、又は個別のステップでそれ（第２の画像の位置）を再び位置付けなければならない。従って、第２の画像が、第１の画像とそのモデルとに、どのように空間的に関連しているかを理解することは難しくなる可能性がある。第１の画像内の直接の選択を第２の画像の空間的な位置へリンクすることはこれらの関係をより明瞭にすることができる。このことは、そのモデルが複雑であり、多くの異なる方法で見ることが可能である時、特に重要である。複雑なモデル又は関連するモデルのセットを支援するシステムがより一般的になっているので、この問題はもっと重大となってきている。
【００１０】
第１の画像部分選択と第２の画像ディスプレイ位置の両方に対する同時制御をユーザへ提供することの例は、画像の拡大率のソフトウェア実行である。米国特許番号第4,800,379 号は、画像の画素のカラー内容を示すディジタルデータによって定義される画像をディスプレイするための方法及び装置を開示しており、この画像は、モニタを画像選択輪郭線エリアの境界内の中心に位置するようにディスプレイさせるための装置のインジケータアセンブリからの「拡大」信号に応答し、且つ画像の拡大された部分は画像選択輪郭線エリアの境界内にある。従って、画像の拡大された部分は、輪郭線エリア内の拡大された部分の下にある画像の部分が抑制されることによって、画像全体の空間的なコンテクスト内で見ることができる。
【００１１】
「ディジタル画像プロセッシングソフトウェアの制御に対する写真フィルタ比喩的表現（"Photographic Filter Metaphor for Control of Digital Image Processing Software" ）」と題された欧州特許番号第0 544 509 号は、第１の画像の空間的コンテクストにおける第２の画像のディスプレイの他の例を開示している。欧州特許番号第 0 544 509号は、ディスプレイデバイス上に画像をディスプレイし、画像の一部へオーバーレイするためのフィルタを選択し、画像を変更前に目に映ったままの状態に保存している間、上記フィルタによってオーバーレイされた画像の部分をディスプレイするために変更し、変更された画像のフィルタリング部分をディスプレイし、且つ変更前に目に映った通りの画像を検索するための方法と対話型ユーザインタフェースを開示している。
【００１２】
画像画素データストラクチュア上で単独で行われる操作は、画像値の操作に厳密に制限される第１の画像のバージョン及びビューを提供する。そこで、画素拡大装置の一般的なソフトウェア実行は二つの画像の同時ディスプレイを発生するために幾つかの所望される機能を提供するが、第１の画像の画像画素データストラクチュアから直接導出された第２の画像へ使用可能な情報内容の範囲は、画素値の操作のみから得られる第１の画像のバージョンとビューに必ず限定される。第１の画像の情報モデルデータストラクチュアから第１の画像に関する情報が使用可能である時、画像（画素）拡大を生成するために画像画素データストラクチュア上で操作するために使用される方法は、第１の画像の他のビューを提供するために情報モデルデータストラクチュア上の操作へ転送することは不可能であり、これによって、このような方法は情報モデルデータストラクチュアの他のビューへのアクセスに使用するには操作不可能である。
【００１３】
【発明が解決しようとする課題】
本発明は、画像が生成されたモデルデータストラクチュア内のデータ及び情報へのアクセスを提供し、そのアクセスを原画像の空間的コンテクスト内へ提供することの重要性を認識する。このモデル内のデータ及び情報の性質に依存して、本発明は、視覚、聴覚、触覚、及び嗅覚の出力を含むあらゆる適切な人間の知覚形態においてこのようなアクセスを提供できる。
【００１４】
さらに、多用途に使用するために、本発明は、例えば、グラフィックユーザインタフェース機能のタイプ又はその拡張したもの（エンハンスメント）として操作する場合におけるように、ヒューマンユーザによる入力と対話するように使用されることができる。或いは、本発明はソフトウェアプログラム制御下で完全に自動化された方法として実行されてもよく、例えば、他のアプリケーションプログラムから又はプロセッサ制御機械において同時に実行されるオペレーティングシステムからのような信号源からモデルデータストラクチュアにおけるデータ及び情報へのアクセスを示す人間が知覚できる出力をリクエスト（要求）する信号を受け取る。或いは、ユーザから又は他の信号源からの信号の組合せはモデルデータストラクチュア内のデータ及び情報へのアクセスを示す人間が知覚できる出力を要求するために使用されることができる。
【００１５】
【課題を解決するための手段】
本発明によれば、画像ディスプレイリクエストを指示する信号を発生するための信号源と、人間が知覚できる出力を生成するために出力利用デバイスと接続された出力サーキットリと、データを記憶するためのメモリと、前記信号源から前記信号を受け取るために接続され、人間が知覚できる出力を定義するデータを前記出力サーキットリへ提供するために接続され、且つ前記メモリ内に記憶されたデータにアクセスするために接続されたプロセッサと、を含むプロセッサ制御機械を操作する方法が提供されている。この機械の出力利用デバイスは画像を表示するためのディスプレイエリアを有するディスプレイを含み、且つこのディスプレイエリアは前記ディスプレイエリアの表示画像位置内にディスプレイされる第１の画像を有する。前記第１の画像は、これ以降「第１のディスプレイ機能」と呼ばれる少なくとも一つの知覚可能ディスプレイ機能を含む。プロセッサ制御機械のメモリ内に記憶されたデータはプロセッサが実行する命令を実行する命令データと第１の画像が生成される第１の画像モデルデータストラクチュアを含む。前記第１の画像モデルデータストラクチュアはこれ以降、「第１の画像データ項目」と呼ばれるデータ項目を含む。前記第１の画像データ項目は第１の画像内に第１のディスプレイ機能によって表示され、且つ前記第１のディスプレイ機能は前記第１の画像モデルデータストラクチュア内の第１の画像データ項目へマップされ得るか、又は前記第１の画像モデルデータストラクチュア内の第１の画像データ項目を示す。
【００１６】
この方法によれば、プロセッサは、最初に、前記第１のディスプレイ機能を含む第１の画像の一部、又は「第１の画像セグメント」の表示画像位置と同じ広がりを有するディスプレイエリア内の表示ビューイング位置内に出力生成領域を提供するためにディスプレイリクエストを示す信号源からリクエスト信号データを受け取る。次いで、プロセッサは、第１の画像モデルデータストラクチュアから第１の画像データ項目を用いて人間が知覚できる出力を定義する信号データを生成し、且つ出力サーキトリに対して人間が知覚できる出力を示すように、出力信号データを提供することによって、リクエスト信号データに応答し、出力利用デバイスが第１の画像がディスプレイエリア内にディスプレイされているのと同時に出力信号データに応答して人間が知覚できる出力を示す。このように、この方法は、信号源からのディスプレイリクエストに応答して第１の画像モデルデータストラクチュア内の第１の画像データ項目を用いて生成された人間が知覚できる出力を提供し、これによって第１の画像セグメント内の第１のディスプレイ機能に関連する情報へのアクセスを提供することの知覚を機械ユーザへ提供する。
【００１７】
画像が生成されるモデルデータストラクチュア内のデータと情報へ視覚的なアクセスを提供する場合において、本発明の方法と機械は、入力として第１の画像の一部を選択すること及び第１の画像の適切な空間的コンテクスト内に視覚的出力のディスプレイを位置付けることの両方を同時に制御することをユーザへ提供しないような、モデルデータストラクチュアの第２のビューを提供する現存のシステムにおける欠点を認識している。従って、本発明の方法及び装置は、第２の画像が要求され、それと同時に第１の画像の空間的なコンテクストに同一出力操作領域内に第２の画像のディスプレイを提供するように、原画像の一部を選択するため、出力操作領域を使用する。（これ以降、用語「第１の画像」は用語「原」画像と交換可能に使用される。）第１の画像の空間的コンテクストにおける第２の画像のこのようなディスプレイは、第２の画像の情報内容に依存するかもしれないが、第１の画像の情報内容を拡張（強調）するか、前記第１の画像内のビューから現在は隠されている情報を露呈するか、又はユーザを混乱させているように見える第１の画像内に現在ディスプレイされているビュー情報を隠すこともある。この方法が対話型の方法として実行される時、ユーザは、第２の画像の内容と位置の両方を決定するため、視覚的出力の場合においては、「ビューイング操作」領域と呼ばれる出力生成領域のディスプレイ位置を指定するだけでよいことが理解されよう。
【００１８】
従って、本発明の他の態様によれば、出力生成領域がビューイング操作領域であり、且つ出力サーキットリへ送られる人間が知覚できる出力がディスプレイデバイス上でディスプレイするために第２の画像を定義する画像定義データであるプロセッサ制御機械操作方法が提供されている。第２の画像は、ビューイング操作領域のサイズ及び形状の大きさとほぼ同一のサイズ及び形状の大きさを有する。第２の画像は、第１の画像がディスプレイエリア内にディスプレイされているのとほぼ同時にビューイング操作領域内に提供され、これによって第１の画像セグメントの現在画像位置と同じ広がりを有するディスプレイエリア内の表示ビューイング位置内のビューイング操作領域内に第２の画像の表示は、ディスプレイエリア内の第１の画像と置換することになる。
【００１９】
モデルデータストラクチュアの第２のビューを示す現存の方法に対する本発明の方法の他の有効な利点は、ビューイング操作領域内に第２の画像のフォーカスを示しながら、第１の画像のグローバルなコンテクスト（全域内容）を保持し且つ提供する能力である。
【００２０】
本発明は、プロセッサと通信する入力サーキトリと接続されたユーザ入力デバイスを介して機械ユーザによってビューイング操作領域のディスプレイが生成されるように要求するディスプレイリクエスト信号をさらに提供する。機械ユーザによるディスプレイリクエストは、ディスプレイエリア内の第１の位置から、ディスプレイエリア内の第１のディスプレイ機能を含む第１の画像セグメントと同じ広がりを有する現在のビューイング位置へビューイング操作領域を移動する機械ユーザによる移動動作を示す移動信号を含む。
【００２１】
本発明のこの態様において、第２の画像を生成するためにユーザによって必要とされる対話の量を減少するために、第２の画像を生成するために第１の画像の情報モデルデータストラクチュア上で実行される操作は移動可能なビューイング操作領域と対応している。この移動可能なビューイング操作領域の位置は、第２の画像が所望される第１の画像の一部を定義するが、操作される情報モデルデータストラクチュアの一部を必ず定義するわけではない。操作自体の入力の必要条件が、操作されようとする情報モデルデータストラクチュアの一部を定義するのである。操作の選択可能で移動可能なディスプレイ領域への結合及び出力画像の定義の移動可能なディスプレイ領域の位置への結合は、選択された第２の画像をディスプレイ上に生成するためにユーザが取らなければならない工程（ステップ）数を減らし、これによって、所望される第２の画像を生成するため、直覚的であり且つ使用が簡単なインタフェースをユーザに提供することになる。このインタフェースは、第１の画像の異なる部分へ移動した時に所望されるビューを生成するためにユーザが要求するさらなる対話を行わずに、移動可能なビューイング操作領域内に第１の画像の所望されるビューを示す、ユーザにとっての「レンズ」又は「フィルタ」の外見を取ってもよい。
【００２２】
請求項１に係る本発明は、画像ディスプレイリクエストを示す信号を発生するための信号源と、画像を表示するためにディスプレイエリアを有するディスプレイと、前記信号源から前記信号を受け取るために接続され且つ画像を定義するデータを前記ディスプレイに提供するために接続されているプロセッサと、データを記憶するためのメモリと、を含む機械操作方法であって、前記メモリに記憶されたデータが前記プロセッサが実行する命令を指示する命令データを含み、且つ前記プロセッサが前記メモリ内に記憶されたデータへアクセスするためにさらに接続されており、前記ディスプレイのディスプレイエリア内の表示画像位置に第１の画像を表示するために前記プロセッサを操作するステップであって、前記第１の画像が第１のディスプレイ機能を含み、前記第１の画像が前記機械の前記メモリ内に記憶された第１の画像モデルデータストラクチュアを用いて生成され、且つ前記第１のディスプレイ機能が前記第１の画像モデルデータストラクチュア内に含まれた第１のデータ項目を表すことよりなるステップと、ビューイング操作領域（ＶＯＲ）を含む第１のビューイング操作領域画像を前記ディスプレイエリア内に表示するために前記プロセッサを操作するステップと、前記ＶＯＲ内に第２の画像を表示するためにディスプレイリクエストを示す前記信号源からリクエスト信号データを受け取るために前記プロセッサを操作するステップと、前記第１の画像の第１の画像セグメントの表示画像位置と同じ広がりを有する現在のビューイング位置内に位置された前記ＶＯＲを含む第２のビューイング操作領域画像を提供し、前記第１の画像セグメントが前記第１のディスプレイ機能を含み、前記第１の画像モデルデータストラクチュアから前記第１のデータ項目を用いて前記ＶＯＲ内にディスプレイするために第２の画像を定義する画像定義データを生成し、前記第２の画像が前記ＶＯＲのサイズと形状の大きさとぼぼ同一のサイズと形状の大きさを有しており、且つ前記第１の画像が前記ディスプレイエリア内にディスプレイされているのとほぼ同時に前記第２の画像を前記ＶＯＲ内に提供することによって、前記ディスプレイリクエストを示す前記リクエスト信号データに応答するために前記プロセッサを操作するステップと、を備える機械操作方法である。
【００２３】
請求項２に係る本発明は、前記ＶＯＲが前記ＶＯＲ内にディスプレイするために前記第２の画像を定義する前記画像定義データへ前記第１の画像モデルデータストラクチュアをマップするために前記ＶＯＲと対応するビューイング操作を有し、且つ前記第２の画像を定義する前記画像定義データを生成するステップが前記ビューイング操作に従って前記第２の画像を生成することよりなる請求項１に記載の方法である。
【００２４】
請求項３に係る本発明は、前記第１の画像を生成するために使用される前記第１の画像モデルデータストラクチュアがオブジェクトモデルデータストラクチュアであり、前記第１の画像モデルデータストラクチュアが前記第１の画像セグメント内の第１のディスプレイオブジェクトによって表される第１のオブジェクトデータ項目を含み、オブジェクト座標データ項目が前記第１の画像内に第１のディスプレイオブジェクトの現在オブジェクト位置を示し、及び前記オブジェクト座標データ項目が前記第１のオブジェクトデータ項目を示し、且つ前記ＶＯＲと対応する前記ビューイング操作が、前記第１の画像モデルデータストラクチュアから、前記ディスプレイエリア内の前記ＶＯＲの表示ビューイング位置と前記オブジェクト座標データ項目を用いて前記第１の画像セグメント内に含まれた前記第１のディスプレイオブジェクトによって示される前記第１のオブジェクトデータ項目を入手し、且つ前記第１のオブジェクト項目を前記ビューイング操作に従って第２の画像を定義する前記画像定義データへマップすることよりなる請求項２に記載の方法である。
【００２５】
請求項４に係る本発明は、前記メモリ内に記憶された前記データがアプリケーション操作を定義する命令データをさらに含み、前記アプリケーション操作が前記第１の画像モデルデータストラクチュアからの前記第１のディスプレイオブジェクトを含む前記第１の画像を生成することが可能であり、且つ前記ＶＯＲと対応する前記ビューイング操作が、前記第１の画像モデルデータストラクチュアから第２のモデルデータストラクチュアを生成し、前記第２のモデルデータストラクチュアが前記第１の画像モデルデータストラクチュアから複写された複写された第１のオブジェクトデータ項目を含み、前記第２のモデルデータストラクチュアから前記複写された第１のオブジェクトデータ項目を入手し、変更された属性値を生成するために前記複写された第１のオブジェクトデータ項目によって示される属性値を変更し、前記ディスプレイエリア内の前記ＶＯＲの表示ビューイング位置から第２の画像のサイズ及び位置データを入手し、前記第２の画像のサイズ及び位置データが前記第２の画像に関するサイズ及び位置情報を示し、前記第２の画像サイズ及び位置データと、前記第２の画像を定義する前記画像定義データを生成するために前記変更された属性値を示す前記複写された第１のオブジェクトデータ項目を有する前記第２のモデルデータストラクチュアと、を用いて前記アプリケーション操作を実行するために前記プロセッサを操作することよりなる請求項４に記載の方法である。
【００２６】
請求項５に係る本発明は、前記信号源は機械ユーザの動作を示す信号を生成するためのユーザ入力デバイスであり、且つ前記ユーザ入力デバイスから受け取られた前記リクエスト信号データが、前記ＶＯＲを、前記第１の画像セグメントと同じ広がりを有する前記ディスプレイエリア内の表示ビューイング位置へ移動する前記機械ユーザによる移動動作を示すことよりなる請求項１に記載の方法である。
【００２７】
【実施例】
以下に定義される用語はこの明細書中及び請求項において示されている意味を有する。
【００２８】
本明細書中において用語「データ」は、情報を表すか又は情報を有する物理的信号を称する。用語「データ」は、物理的形態で存在するデータを含み、且つ一時的又は記憶されるていか若しくは転送されているデータを含む。例えば、データは、電磁的もしくは他の転送された信号として、又は電子的、磁気的、若しくは他の形態で記憶される信号として存在することができる。
【００２９】
「データの項目」又は「データ項目」はプロセッサがアクセスできるか、そうでない場合、このプロセッサがユニット（単位）として操作できる量のデータである。データは結合して「データストラクチュア」を形成することができる。「データストラクチュア」は相互に関連するデータのあらゆる結合である。データストラクチュアは他のデータストラクチュアを含んでいてもよい。
【００３０】
「プロセッサ制御機械」又は「プロセッサ」はデータを処理することができるあらゆる装置、構成要素、又はシステムであり、且つ一つかそれより多くの中央処理装置又は他の処理構成要素（構成要素）を含んでいてもよい。
【００３１】
プロセッサは演算（操作）を実行する時にデータを「使用」し、この時の操作の結果はそのデータの値に依存する。「命令」は、プロセッサがそれ自体の操作を決定するために使用することができるデータの項目である。プロセッサはこのプロセッサがその操作を決定するために命令を使用する時に一組の命令を「実行」する。
【００３２】
データの項目は、この項目が、物、事、又は特徴の存在や発生に依存するか、或いは物、事、又は特徴の計測（測度）に依存する値を有する時、物、事、又は特徴を「示す」。さらに、データの第２の項目がデータの第１の項目から得ることができる時、データの第２の項目がデータの第１の項目を用いてアクセス可能であり得る時、データの第２の項目がデータの第１の項目を復号化することによって得ることができる時、又はデータの第１の項目がデータの第２の項目の識別子であり得る時、データの第１の項目はデータの第２の項目を「示す」。例えば、データの第１の項目がディスプレイデバイスのディスプレイエリア内に画像ディスプレイ機能の位置情報を示し且つ位置情報がデータストラクチュア内で第２のデータ項目を得るためにプロセッサによって使用されてもよい時、データの第１の項目がデータの第２の項目を示す。
【００３３】
「画像」は光のパターンである。画像は、文字、ワード、テキスト、及びグラフィックスのような他の機能も含んでいてもよい。画像は、各セグメント自体が画像である画像「セグメント（部分）」へ分割されてもよい。画像のセグメントは全体画像に至るあらゆるサイズであってもよく且つ全体画像を含んでもよい。「画像出力デバイス」は画像を定義する出力を提供することができるデバイスである。「ディスプレイ」又は「ディスプレイデバイス」は可視の、人間の目で見ることができる形態で情報を提供する画像出力デバイスである。ディスプレイは、例えば、陰極線管と、発光、光反射、又は光吸収素子のアレイ（配列）と、用紙又は他の媒体上にマークを示すデバイス又はストラクチュア（構造体）と、画像を可視形態で定義することが可能なあらゆる他のデバイス又はストラクチュアと、を含んでいてもよい。ディスプレイ上に「画像を提供する」ことは、ビュアー（見る人）が画像を知覚することができるようにディスプレイを操作することである。「ディスプレイエリア」は画像が表示されるディスプレイの部分又は画像を受け取る媒体である。
【００３４】
データは、データが画像をディスプレイ上に表示することなどによって画像を直接生成するために充分な情報を有する時、画像を「定義」する。画像を定義するデータは、本明細書中では「画像定義」又は「画像定義データ」と呼ばれる。例えば、２次元アレイは画像の全て又はあらゆる部分をも定義することができる画像定義であり、一般に「画像画素データ」又は「画像画素データストラクチュア」と呼ばれ、且つこのアレイ内のデータの各項目は画像位置のカラーを表示する「画素値」と呼ばれる値を提供する。
【００３５】
用語「ディスプレイ機能」は、プロセッサ制御機械又はディスプレイシステムにおけるディスプレイによって生成されるあらゆる人間の知覚に関連する。「ディスプレイオブジェクト」はコヒーレントな（首尾一貫した）ユニティ（単一体）として知覚できるディスプレイ機能である。「形状（shape ）」は区別できる輪郭を有するディスプレイオブジェクトである。例えば、円形ディスプレイオブジェクトは形状である。境界付けされたエリア（area：領域）を有する形状は「領域（region）」と呼ばれてもよい。画像は、この画像の表示がその機能又はオブジェクトの知覚を生成することができる場合、ディスプレイ機能又はオブジェクトを「含む」。同様に、ディスプレイオブジェクトは、このディスプレイオブジェクトの表示が、ディスプレイ機能の知覚を生成することができる場合、ディスプレイ機能を「含む」。
【００３６】
本明細書中において「出力生成領域」とも呼ばれる「ビューイング操作領域」は、任意の形状の境界付けされたエリアを有する領域である。このビューイング操作領域は、少なくとも一つの区別できる輪郭と少なくとも一つの境界付けされたエリアを有するコヒーレントユニティとして知覚できるディスプレイ機能である。区別できる輪郭は、第２の画像が生成されない第１の画像の残りの部分から、第２の画像が生成される第１の画像の部分又はセグメントを、定義し且つ区別する。このビューイング操作領域は、位相的に複雑な境界を有していてもよく、従って、固定した又は所定の形状である必要がなく、又はそれがコヒーレントで区別できる境界付けされたエリアとして知覚可能である限り、明示的に描画された境界（へり）を有する必要もない。
【００３７】
ディスプレイ機能がデータの本体内のデータの一つ又はそれより多くの項目にマップされ得る時、ディスプレイ機能はデータの本体を「表示する」か、又は他の方法を述べると、ディスプレイ機能がマップされ得るデータの一つの項目又は複数の項目を「示す」。例えば、画像内でソリッド（中実）ブラック線として知覚されるディスプレイオブジェクトは、一つの操作がこの線のカラー及びソリッドネス（中実性）を生成するために使用するモデルデータストラクチュア内にデータの一つ又はそれより多くの項目を示してもよい。
【００３８】
ディスプレイ機能又はオブジェクトへのデータの一つ又はそれより多くの項目のマッピングは、ディスプレイシステム内のプロセッサによってアクセス可能であり且つ実行可能な一組の命令（命令データ項目）を意味すべく本明細書中に用いられる「操作」によって実行され、且つデータの一つ又はそれより多くの項目（操作の入力）と画像内のディスプレイ機能又はオブジェクト（操作の出力）のマッピングの関係又は機能（関数）を定義する。操作は、操作が画像内にディスプレイ機能又はオブジェクトを定義するデータを持たずに開始された時、画像内にディスプレイ機能又はオブジェクトを「生成」し、且つこの操作を実行することによって画像内にディスプレイ機能又はオブジェクトを定義するデータが得られる。
【００３９】
本発明の方法は「モデルベースの操作」である。モデルベースの操作は画像を出力として定義する画像定義データを生成するため、入力として「モデルデータ」を使用する。例えば、画像画素データ項目以外のデータ項目のような画像定義データ以外のデータ項目は、「情報モデルデータ項目」又は「モデルデータ」である。モデルベースの操作は、モデルデータストラクチュア内の一つ又はそれより多くのモデルデータ項目を、この操作によって生成された画像内に含まれるディスプレイ機能へマップする。
【００４０】
相互に関連するモデルデータ項目のコンビネーション（組合せ）は、本明細書中では、「モデルデータストラクチュア」、「情報モデルデータストラクチュア」、又は「第１の画像モデルデータストラクチュア」と呼ばれる。本発明を本明細書中に説明するため、画像を生成するために一つの操作が使用する全てのモデルデータ項目が、このモデルデータストラクチュアの一部として含まれると考えられる。さらに、モデルデータストラクチュアは、システムのメモリのほぼ連続した部分内に物理的に位置したデータ項目の組合せに限定はされないが、メモリ内に区々に位置し且つこの操作を実行する時にプロセッサによってアクセス可能な個々のモデルデータ項目を含んでいてもよい。さらに、モデルデータと操作の間の対話、及びモデルデータストラクチュアの部分であると考えられるデータの性質、量、及び資源は、それ自体が相当変化してもよいモデルベースの操作の機能的能力に応じて変化する。
【００４１】
本発明の方法は、この方法が、第２の画像を定義する画像定義データを生成するために第１の画像が生成されたモデルデータストラクチュアを使用する時、現存の第１の画像上で「操作する」。第１の画像を生成したこのモデルベースの操作は「アプリケーション」と呼ばれる。
【００４２】
このモデルデータストラクチュアは、画像を生成するためにこのアプリケーションによって直接使用されないデータ項目を含んでいてもよいが、これはこのアプリケーション又は他のモデルベース操作によって知られており且つアクセス可能であったりする。さらに、モデルデータストラクチュアは、画像を生成するために使用されている間、画像を生成するために使用されないしまたこのモデルデータストラクチュア内に含まれない一つ又はそれより多くの他のデータ項目を示すデータ項目を含んでいてもよい。例えば、画像内のディスプレイオブジェクトによって示されるモデルデータストラクチュア内のデータ項目が、画像内に表示されないディスプレイオブジェクトに関する特性又は詳細な情報を有する第２のモデルデータ項目を示してもよい。この第２のモデルデータ項目はモデルデタストラクチュア内に含まれてもよいし、又はこのモデルデータストラクチュアとリンクされた異なるデータストラクチュア内に含まれてもよい。
【００４３】
本発明は種々のプロセッサ制御機械を操作し、各々の機械は図１に示されている共通の構成要素（コンポーネント）、特性、及び構成を有する。図１における機械１００は画像ディスプレイリクエストを示す信号を生成するための信号ソース１５０を含む。信号ソース１５０は本発明の方法によって必要とされるタイプの信号を生成するあらゆる信号生成源を含んでいてもよい。このようなソースは、ユーザによって発生される信号を生成する人間のユーザによって制御可能な多様な入力デバイスを含み、このような信号を生成するために機械１００と接続される他のデバイスを含んでいてもよく、且つ遠隔又は局所的電子通信ネットワーク並びに赤外線及び無線接続を介してなどの有線又は無線通信ファシリティによって接続されるデバイスを含む。信号ソース１５０は、ディジタルコンピュータのオペレーティングシステム又はこのディジタルコンピュータによって実行される他のアプリケーションなどの機械１００によって実行される操作を含んでいてもよい。プロセッサ１４０は信号ソース１５０から信号を受け取るために接続されている。
【００４４】
機械１００はデータを記憶するためにメモリ１１０を含む。プロセッサ１４０はメモリ１１０内に記憶されるデータへアクセスし且つメモリ１１０内に記憶するためのデータを提供するために接続される。メモリ１１０は、プロセッサが実行する命令を指示する命令データを記憶し、且つ本発明の方法による機械１００を操作するための命令を指示する命令データを含む。
【００４５】
プロセッサ１４０は、ディスプレイデバイス１７０上のディスプレイエリア１８０内に表示するために第１の画像１８２を定義するデータを提供するために出力サーキットリ１６０とも接続されている。ここで使用されているように、全てのサーキットリの構成要素に関して、サーキットリの二つの構成要素のいづれも、データをこの構成要素の一つから他の構成要素へ転送することができるサーキットリの組合せが存在する時に「接続」される。プロセッサ１４０は、本発明の方法によって生成される人間が知覚できる出力を定義するデータを提供するため、出力サーキットリ１６０とさらに接続されて、出力利用デバイス１７２上で提示する。
【００４６】
ユーザ入力デバイスからの信号は、操作に対する「要求（リクエスト）」及び要求された操作を識別する情報を含んでいてもよく、一つ又は複数の信号は操作を実行させようとする機械ユーザによって一つ又はそれより多くの動作を指示する。操作は、受け取られた信号が有効な操作に対する有効な要求を指示し且つ操作を実行させる時、リクエストに「応答」してその機械によって実行される。単一の完全なリクエストを示す信号は、有効な操作のための有効なリクエストを示し、且つ操作を実行させるのに必要なユーザによって示される任意の数の動作の組合せを含んでいてもよい。
【００４７】
複数の入力デバイスは、動作を示すために機械ユーザによって使用される、例えば、キーボード又はポインティングデバイスを含んでいてもよい。好適なポインティングデバイスは、これらに限定はされないが、マウス、スタイラス若しくはペン、トラックボール、又はディスプレイデバイス１７０のタッチセンシティブ（感応）面と接触するユーザの指を含む。ユーザ動作を示す信号は、ディスプレイエリア１８０内でユーザが見ることができるディスプレイオブジェクトの選択又は移動を示す信号、操作がプロセッサ１４０によって実行されるようにするリクエストを示す信号、及びディスプレイエリア１８０内でディスプレイするためにプロセッサが画像を表示することになる信号を含んでいてもよい。
【００４８】
機械１００の物理的ハードウェア構成要素が接続される実際の方法は変化してもよいし、且ついくつか又は全ての構成要素間でハード配線の物理的接続や遠隔又は局所的な通信ネットワーク並びに赤外線及び無線接続などのような有線又は無線の通信設備を介した接続を含んでいてもよい。機械１００の物理的サイズの範囲は、例えば、電子ホワイトボードアプリケーションなどに好適な非常に大きなディスプレイデバイス１７０を含む機械から、かなり小型のデスクトップ、ラップトップ、及びポケットサイズ又はより小型のディスプレイデバイスを含む機械まで大きく変化してもよい。本発明はこの物理的サイズの範囲内の全ての機械上で操作可能であるように意図されている。
【００４９】
本発明によって一つの画像が生成され得る一つのタイプのモデルデータストラクチュアは「オブジェクト」を記述するデータ項目の集合から成っていてもよい。「オブジェクト」は、アプリケーション定義域の意味論的態様を示す（例えば、ワードプロセッサにおける文字、単語、及び段落、描写システムにおけるストローク、プロジェクト管理システムその他における一時的イベント（事象）及び依存等）。一般に、データストラクチュア内の「オブジェクト記述データ項目」がそれ自体一組のオブジェクトの特性を記述する他のデータ項目から成っている。特定のオブジェクトに関して、これらの特性は、画像を生成したアプリケーションによって使用されるアプリケーション特定属性に加えて、ディスプレイされた時にオブジェクトがどのように知覚されるかを決定するオブジェクトの位置的及び可視の属性を示してもよい。一般に、各オブジェクトはその特性と共に、ポインタ又は識別子によって独自にアドレスすることが可能であり且つこれによってオブジェクトはそれらの記述において互いに言及し合うことができる。オブジェクト又はそれらの特性は他のオブジェクト同士の間の関係又は制約を記述してもよい。オブジェクトベースのモデルデータストラクチュア内のデータ項目に関して使用される時、用語「ディスプレイ機能属性データ項目」はオブジェクト特性を言及する。
【００５０】
本発明の方法は、データストラクチュア内でデータのビュー（表示）を生成するためにモデルデータストラクチュア上で操作する。所望される各異なるタイプのビューは、特定のセットの操作がこのモデルデータストラクチュア上で実行されるのを要求する。モデルデータストラクチュア上で実行される一組の操作は、これ以降、「ビューイング操作」と呼ばれる。各区別的なビューイング操作がそれ自体のビューイング操作領域と「対応」されることができ、これによって第１の画像セグメントと同じ広がりを有する特定のビューイング操作領域のディスプレイが、プロセッサ１４０をして、操作の対応するセットによりこのモデルデータストラクチュアを用いて第２の画像を生成させ且つビューイング操作領域内に第２の画像を提供させる。
【００５１】
本発明の方法は、グラフィカルなユーザインタフェースシステム環境において動作するグラフィカル・オブジェクト・エディタ・アプリケーション・ソフトウェア・プログラムの機能性と協働する、一組の対話型ユーザ制御機能即ちビューイング操作として実行された。
【００５２】
各ビューイング操作は、上記に記述されているモデルデータストラクチュア８６０に類似する構造的特性を有する、これ以降、グラフィカルエディタデータストラクチュアと呼ばれるグラフィカルオブジェクトエディタのオブジェクトベースのモデルデータストラクチュア上で操作する。方法又はビューイング操作４００と指定されるこれらのビューイング操作の内の一つの実行が以下に詳しく説明されている。このプログラミング環境のストラクチュアは、これらの機能的構成要素がグラフィカルユーザインタフェース環境をサポートする広範囲の機械と共通していると理解した上で、図２の簡単化された機能的ブロック図によって説明されている。
【００５３】
例示された実施例は、Cedar （シーダ）プログラミング言語を用い、且つSunOS(商標登録) −コンパチブルオペレーティングシステム上で実行するゼロックスの所有権を主張できる研究ソフトウェア環境のCedar （シーダ）プログラミング環境へ書き込まれたリサーチソフトウェアプロトタイプアプリケーションとしてサンマイクロシステム・スパーク・ステーション（Sun Microsystem SPARKstation）コンピュータ１０上で実行された。Cedar （シーダ）プログラミング環境は、ディスプレイのディスプレイエリア内の複数のワークスペース又は「ウインドウズ」にディスプレイするために画像を供給且つ管理するため、及び機械のユーザによって操作されるように少なくとも一つのポインティングデバイスとインタフェースするため、ソフトウェア機能を含むグラフィックユーザインタフェース環境のためにアプリケーションサポートを提供する。ユーザは、まずグラフィックユーザインタフェースへ、次にこのインタフェースを介して各ウインドウ内で操作する各ソフトウェアアプリケーションへ、オペレーショナル（操作可能）コマンドを伝えるためにポインティングデバイスを使用する。
【００５４】
図示されている実践は、ＭＭＭ（マルチデバイス・マルチユーザ・マルチエディタ）として知られている編集環境のフレームワーク内でも動作する。ＭＭＭはCedar （シーダ）プログラミング環境内の単一ウインドウとして動作し、且つグラフィックエディタアプリケーションを含む複数のアプリケーションがこのＭＭＭウインドウ内でサブウインドウとして実行することを可能とする。ＭＭＭは、マウス又はトラックボールのような複数の入力デバイスからの事象を得て、どのデバイスがどの事象を生成したかを追跡し、且つ全ての事象を単一な待ち行列へ配置する。ＭＭＭは、各事象を順番にデキュー（待ち行列リストから外すこと）し、且つその事象がどのアプリケーションへ送られるべきかを決定する。ＭＭＭアプリケーションはそれらがどのようにスクリーン上で入れ子式に配列されるかを示す階層内に配列される。各事象は、事象をその子のアプリケーションの内の一つへ渡すルートアプリケーションへ渡され、且つこの子のアプリケーションの内の一つはその事象を順にツリーの下方へ渡す。マウス事象は、一般に、そのスクリーン領域がマウス座標を含む最も深くネスティング（入れ子式に配列）されたアプリケーションへ送られる。しかしながら、特定のアプリケーションにおいてユーザがオブジェクトをドラッグ（画像を押さえて移動する）操作又はリサイズ（サイズ変更）している時、全てのマウス座標は、ドラッギング又はリサイジングが完了するまでそのアプリケーションへ進む。キーボード事象は現在選択されているアプリケーションへ進む。ＭＭＭ環境についての追加の情報は、1991年、ニューヨーク、ACM のユーザインタフェースソフトウェア及びテクノロジに関するＡＣＭ、ＳＩＧグラフのシンポジウムの議事録（１９９１年１１月１１〜１３日のヒルトンヘッドＳＣ）のEric A. Bier and Steve Freeman著の"MMM:A User Interface Architecture for Shared Editors on a Single Screen" （７９〜８６ページ）に見られる。
【００５５】
図２においてシーダ環境１１８の基本的構造（ストラクチュア）は、階層的層内に配列された構成要素の集合であり、且つより下位のレベルのモジュールが通常のシーダ言語手続きとして呼出し可能なより上位のレベル即ち「クライアント」プログラムへ直接使用可能である良好に統合された対話型環境をサポートする。さらに、より上位レベルのシーダ構成要素は手続きの値をパラメータとしてより下位レベルのサービス手続きへ供給することができ、且つこのより下位レベルのサービス手続きはまた、必要な時に上位レベルの構成要素と通信するためにこの上位レベルの構成要素を後から呼び出すことができる。
【００５６】
シーダ環境１１８は、このアプリケーションコンテクスト（文脈）を一つ又はそれより多くのディスプレイスクリーンの複数の異なる部分へ物理的に分割することによって、プロセッサ１４０（図１）によって制御される異なるアプリケーションコンテクストを制御する。シーダプログラミング環境におけるGargoyle（ガーゴイル）グラフィックスエディタ１２０のようなアプリケーションプログラムは環境の「クライアント」と呼ばれる。シーダ環境は、以降、「ウインドウマネジャ１１２」と呼ばれる上位レベルのソフトウェアウインドウ管理システム１１２を含み、この「ウインドウマネジャ１１２」は、機械上で実行するアプリケーションクライアントプログラムのために必要なウインドウ管理制御を提供する。
【００５７】
ビューイング操作ソフトウェア４００は、本発明の方法によってビューイング操作を定義し且つ実行するために、及び第２の画像を生成するようにGargoyle（ガーゴイル）グラフィックスエディタ１２０によって使用されるグラフィックエディタデータストラクチュアと対話するためにソフトウェア命令を有する。ビューイング操作ソフトウェア４００は、Gargoyleグラフィックスエディタ１２０の機能部分と協働的に対話し、且つGargoyleグラフィックスエディタ１２０と同様にウインドウマネジャ１１２のクライアントである。各アプリケーションクライアントは、Gargoyleグラフィックスエディタ１２０の操作を実行し、且つユーザからのリクエスト信号に応答してディスプレイ１７０上のウインドウ２１１内にビューイング操作領域１８６を生成し且つ描画することからなるビューイング操作４００を実行するために、入力サーキットリ１５２から受け取られた信号をプロセッサ１４０（図１）の制御を指示するために一連のユーザ入力信号へ変換することによって、ウインドウマネジャ１１２を介して、データをユーザ対話デバイス１５４及びディスプレイ１７０と交換する。
【００５８】
図示されている実施例において、方法４００（ビューイング操作）は個別のアプリケーションとして実行され、且つＭＭＭエディタはアプリケーション１２０と方法４００の間のあらゆる対話を処理する。しかしながら、図３に示されているように、本発明の方法は、集合的エンティティ１２２としてグラフィックユーザインタフェース環境１１８内でウインドウ管理システム１１２と対話するアプリケーション１２０に対する機能的エンハンスメントとして実行されてもよい。方法４００は、パーソナルコンピュータ、完全機能付両面複写機、出版社関係装置、及び画像再生装置（複写機）を含むプロセッサ並びにディスプレイを有するコンピュータワークステーションや他のタイプの機械へ現在使用可能なあらゆる多様なグラフィックユーザインタフェースにおいて操作するため、この様に実行されてもよい。
【００５９】
図４は、ビューイング操作４００が操作する第１の画像２１０を示す。第１の画像２１０はディスプレイオブジェクト２１２、２１４、２１６、及び２１８を含む。これらのディスプレイオブジェクトは前から後へオーバーラップする順に配列され且つ内部を塗り潰すカラーを有する外観を呈しており、これによってこれらのオブジェクトは不透明となり、最前の三角形２１８が三角形２１６の一部を隠し、三角形２１６もまた三角形２１４の一部を隠し、且つ三角形２１４も同様にする。図５は、ディスプレイ１８０内のウインドウ２１１内の画像２１０を示す。グラフィックオブジェクトエディタ１２０はエディタのユーザが画像２１０内のディスプレイオブジェクトを選択し且つ操作するのを可能とする。グラフィックオブジェクトエディタ１２０は、プログラム定義されたウインドウ又は他のディスプレイ媒体に相対するそのｘ−ｙ座標、スペース内のそのオリエンテーション、その大きさ、及びその形状を画像内のオブジェクト毎に含むグラフィックエディタデータストラクチュアを使用する。
【００６０】
図６は、図２のビューイング操作４００として指定された本発明の操作の方法の図示された実施例からなる動作を示す。図示されている実施例におけるビューイング操作４００は、ＶＯＲ（ビューイング操作領域）１８６の境界内にあるオブジェクトの全てのエッジを現す操作を実行し、且つ実際にＶＯＲ１８６の境界内のモデルデータストラクチュア内のオブジェクト毎にオブジェクトが不透明になるか否かを制御するディスプレイ機能属性データ項目を変更する。
【００６１】
第１の画像２１０を含むウインドウとビューイング操作領域は、「選択可能ユニット」としてそれぞれ作用する。選択可能ユニットは、選択されることができる境界付けされたディスプレイ領域として知覚されるディスプレイ機能である。用語「選択（select）」が、選択可能ユニットに関して使用される時、選択可能ユニットを独自に示すユーザによるアクション（動作）を意味する。
【００６２】
図５は点線で境界付けされた円形領域としてＶＯＲ１８６の初期の位置を示す。図６のボックス４０４において、ユーザは、第１の画像２１０の第１の画像セグメント（部分）と同じ広がりを有するディスプレイ領域１８０内の現在のビューイング位置内にＶＯＲ１８６を位置付けるために第１の画像２１０を含む選択可能ユニットＶＯＲ１８６及びウインドウ２１１のいづれかと対話する。２次元のディスプレイエリア１８０内のＶＯＲ１８６は、実施例に示されている第１の画像２１０の画像平面とは異なる画像平面内にあるような外観を有し、且つ２．５次元の画像ディスプレイエリア１８０の外観を生成する。図８においては、この概念が示されており、且つヒューマンユーザの視点２２０からは二つの画像平面１８９及び１８８を有するディスプレイエリア１８０を示している。ユーザ対話は、第１の画像２１０を含むウインドウ２１１又はビューイング操作領域ウインドウ１８６へトラッキング（検索）シンボル又はカーソル１８１を移動するために機械のポインティングデバイスを使用し、且つマウスボタンを押したりするようないくつかの従来の方法で、このカーソルをいづれかの選択されたユニットへアタッチする（付ける）ことを備える。
【００６３】
図８に関しては、一旦カーソルが選択されたユニットへアタッチされると、ユーザは、画像平面１８８内の第１の画像２１０を含むウインドウ２１１を画像平面１８９内のＶＯＲ１８６の「下へ」移動するか、又は画像平面１８９内のＶＯＲ１８６を画像平面１８８内の第１の画像２１０の一部の「上へ」移動する。ユーザ対話の結果として、画像平面１８８内の各画像位置１８５は画像平面１８９内の画像位置１８７と対応するので、ＶＯＲ１８６は第１の画像２１０の第１の画像部分と同じ広がりを有するように位置される。図５においては、点線１８７が第１の画像２１０の部分（セグメント）の上の位置へのＶＯＲ１８６の移動を示す。ユーザの対話によってリクエスト信号の発生が得られ、このリクエスト信号は画像２１０の第１の画像部分と同じ広がりを有するディスプレイエリア１８０内の現在のビューイング位置内のＶＯＲ１８６のディスプレイを要求する。リクエスト信号はディスプレイアリア１８０内のＶＯＲ１８６のｘ−ｙディスプレイ座標の位置を含み且つウインドウマネジャー１１２と共にディスプレイプロセッシングを制御するビューイング操作４００へパスされる。
【００６４】
ユーザの操作アクションに応答して、図６のボックス４１０内の方法４００は、ボックス４２０において、グラフィックエディタデータストラクチュアを用いて第２の画像を定義する画像定義データを生成し、且つボックス４６０においては、第１の画像２１０がウインドウ２１１内に定義されるのと同時に、ディスプレイエリア１８０内のＶＯＲ１８６内にディスプレイするために出力ディスプレイサーキットリ１６０へ第２の画像を定義する画像定義データを提供する。
【００６５】
図７は、ボックス４２０を備えるアクションをより詳細に示す。例示されている実施例に関して、ボックス４２４における方法４００は変更された第２の画像を生成するために必要とされる新しい属性値を得る。方法４００は、他の複数のオブジェクトに関して各々のオブジェクトの前から後ろへの向きとは無関係に第１の画像部分内に位置する全てのオブジェクトの輪郭を示す。従って、方法４００は、オブジェクトが画像内に塗り潰しカラーを有するか否かを制御するディスプレイ機能属性データ項目を変更し、且つ塗り潰しカラーを有するオブジェクトを塗り潰しカラーを全く持たないオブジェクトへ変更する。
【００６６】
方法４００は次いでボックス４２８においてグラフィックエディタデータストラクチュアを同一の第２のモデルデータストラクチュアへ複写し、次いでボックス４３０、４３４、オブジェクト４３８においては、複写されたデータストラクチュアから各オブジェクトデータ項目を得て、オブジェクトの塗り潰しカラーを制御するディスプレイ機能属性データ項目を位置させ、且つその項目を塗り潰しカラーを全く持たないオブジェクトを示す新しい属性値と置換する。方法４００のこの部分は、グラフィックエディタデータストラクチュアをその引数として取るグラフィックオブジェクトエディタアプリケーション１２０からの現存の手続き、及びモデルデータストラクチュア上で操作を実行するために一つ又はそれより多くの手続きに対するポインタ、を使用することによって実行される。要するに、ビューイング操作４００は、複写されたモデルデータストラクチュアを引数として使用するアプリケーション手続き、及びデータストラクチュア内の塗り潰しカラーを「塗り潰さないカラー」へ変更するための手続きへのポインタを呼び出し、且つグラフィックオブジェクトエディタアプリケーション１２０内の呼び出された手続きは、指定された変更手続きを用いて複写されたモデルデータストラクチュアに変更を加える。
【００６７】
方法４００は次いでボックス４４０において複写され且つ変更されたデータストラクチュアを用いて第２の画像を定義する画像定義データを生成する。従って第２の画像は第１の画像全体の変更されたバージョンである。ビューイング操作４００は、第２の画像のサイズ及び位置を決定するため、ボックス４４４においてＶＯＲ１８６のサイズ及び位置を決定する。ビューイング操作４００は、第２の画像のサイズ及び位置を決定するため、アプリケーション１２０が第１の画像２１０を定義する画像定義データを生成するポイントでグラフィックオブジェクトエディタアプリケーション１２０へ制御を転送する。例示された実施例におけるグラフィックオブジェクトエディタの場合において、これは、複写され且つ変更されたモデルデータストラクチュアを用いて第２の画像を画素データストラクチュアへ描写し且つそれをＶＯＲのサイズ及び位置にクリッピングすることを含む。第２の画像データは次いで、第１の画像２１０がウインドウ２１１内に再描写されるのとほぼ同時にＶＯＲ１８６内に表示するためにディスプレイへ提供される。
【００６８】
図５はＶＯＲ１８６内の第２の画像を示す。第２の画像はＶＯＲ１８６内の三角形２１４の完全な輪郭を示す。第２の画像はさらにＶＯＲ１８６の境界内にある三角形２１６の完全な輪郭の部分も示す。三角形２１６の輪郭の残り部分はＶＯＲ１８６の境界の外側に隠れたままである。図５の方法４００の結果から見ることができるように、第２の画像が、相対的に僅かに知覚される変更を除く第１の画像部分にほぼ類似している時、ユーザの知覚システムは、第１の画像の内容を、第１の画像の空間的コンテクストにおける第２の画像の内容と調和させる。ＶＯＲは次いでユーザにはほぼ透明に見える外観を有する。
【００６９】
ＶＯＲ１８６との引き続くユーザ対話において、ユーザは、異なる第２の画像のディスプレイのために第１の画像２１０に対するその現在のビューイング位置から新しいビューイング位置へＶＯＲ１８６を移動してもよく、ここで異なる第２の画像は新しいビューイング位置におけるＶＯＲ１８６の「下」に位置する新しい第１の画像部分の変更されたビューを示す。改良されたプロセッシング効率に関して、第１の画像２１０内のオブジェクトが塗り潰しカラーを持たないように複写されたグラフィックエディタデータストラクチュアが一旦変更されると、複写され且つ変更されたモデルは、ＶＯＲ１８６が画像２１０の異なる部分の上を移動する時に使用するためにメモリ内にキャッシュ記憶されることができる。ＶＯＲ１８６がこのように移動される時、方法４００は、メモリから複写され且つ変更されたモデルを検索し、ＶＯＲ１８６によって定義された新しいクリッピング領域を決定し、且つ前もって変更された複写されたモデルデータストラクチュアと新しいクリッピング領域定義を用いて第２の画像を生成するためにアプリケーション１２０を呼び出す。
【００７０】
方法４００は、キャッシュ変更された複写をインバリデート（無効に）するモデルが何時変更されたかを検出する。ユーザがビューイング操作領域（ＶＯＲ）を最後に移動した時に生成されたキャッシュ複写モデルが、ビューイング操作領域の次の操作においてグラフィックエディタデータストラクチュアの現在状態をもはや示さない場合、方法４００はモデルを再び複写し、第２の画像を生成するためにモデル上で操作を実行し、且つ前もってキャッシュ記憶された複写されたモデルを新しく複写されたモデルと置換しなければならない。
【００７１】
図９は、矩形２１２と三角形２１４の部分上の新しい位置へ移動されたＶＯＲ１８６を示す。ＶＯＲ１８６の前の位置は点線の境界を有する円形の領域として示されている。図５で見ることができた三角形２１４の境界線の部分は、ＶＯＲ１８６が一旦取り去られたら、図９ではもう見えなくなるのが理解されよう。その新しい位置において、ＶＯＲ１８６は、矩形２１２の境界全体と、図４に示されている原稿画像２１０において全く不可視だった三角形２１９と、を有する第２の画像を示す。
【００７２】
例示されている実施例において、方法４００は、ＶＯＲ１８６が第１の画像２１０の第１の画像部分と同じ広がりを有するように位置する時はいつでもユーザのリクエスト信号に応答する。図示されている実施は、従って、「ドラッグアンドドロップ」動作を実行するためにポインティングデバイスを用いる多くのグラフィックユーザインタフェースにおいて慣例であるようにマウスボタンをリリースすることによってのように、ディスプレイエリア１８０内のＶＯＲの最終位置を表示するユーザからの信号の受け取りには依存しない。ユーザが第１の画像上のどこかへＶＯＲを移動する（又はＶＯＲの下へ第１の画像を移動する）場合、この方法はユーザの信号に応答し且つＶＯＲ内にディスプレイするための第２の画像を生成する。
【００７３】
本発明は、デリート（削除）又は「フィルタリング」動作としても動作してもよく、即ち第１の画像の一部内でディテールが減少するのを示すために選択クリテリア（規準）を用いることによって第１の画像部分からディスプレイオブジェクトを除去したり又はフィルタリングしたりする。
【００７４】
選択クリテリアを用いる時、これらはデータストラクチュア内で全く整合しない。オブジェクトが全く選択されない時、一つの実践は、第１の画像部分内のディスプレイオブジェクトによって表示されたオブジェクトデータ項目によって表示されたディスプレイ機能属性データ項目に対する現在の属性値を使用することであり、且つディスプレイオブジェクトは従って、変更されなかったように見える。従って、本発明は、第１の画像部分とほぼ一致する第２の画像を生成し、且つＶＯＲ１８６内の第２の画像を表示する。方法８０によって操作される機械のシステムユーザにとって、ＶＯＲは「透明」であるように見えて、オブジェクトがこの選択規準と整合しない時は単に第１の画像を不変のまま示すにすぎない。この操作は「ヌル」又は「アイデンティティ（一致）」操作又は変換と呼ばれる。
【００７５】
本発明は、第１の画像部分に含まれる全てのディスプレイオブジェクト上で操作するので、第１の画像内のディスプレイオブジェクトは、ＶＯＲ１８６の境界のディスプレイ位置の内側と外側の両方にあるディスプレイ位置と同じ広がりを有するディスプレイエリア１８０内にディスプレイ位置を有していてもよい。本発明は、変更されたディスプレイ機能を有するＶＯＲ１８６の境界内にあるディスプレイオブジェクトの部分が示されるが、ＶＯＲ１８６の境界の外側にある第１の画像内のディスプレイオブジェクトの残りの部分が変更されないディスプレイ機能を有するのが示されるように実行される。これは、ＶＯＲ１８６の外側にある三角形２１６の一部がオーバーラップ（重畳）する三角形によってまだ隠されている図５に見ることができる。
【００７６】
本発明の方法によってこの様に操作する多くの画像に対して、ビューイング操作領域は、比喩的に言えば、ユーザにとって一種の光学レンズ即ち一種のモデルデータストラクチュアフィルタとして機能するように見えると理解される。ビューイング操作領域境界を横切って第２の画像へ移送された第１の画像のコンテクストによって提供された視覚的類似性が、第２の画像のＶＯＲ内の表示と結合して、変更されたディスプレイ機能を有する選択された第１のディスプレイオブジェクトを示しながら、モデルデータストラクチュア内で情報についてのフィルタリング操作を実行する光学的レンズの外観を提供する。
【００７７】
例示されている実施例において、ＶＯＲはサブウインドウ内で実行され且つ従来のウインドウ操作技術を用いて他のサブウインドウと同様に操作され得る。例えば、ＶＯＲはユーザによって再度サイズ決定されるか、そうでない場合はあらゆる従来の方法において移動される。マウスクリックは選択されないＶＯＲを選択し且つ選択されたＶＯＲを再選択するために使用され得る。
【００７８】
図１０は本発明の方法が操作しようとする他のシステム環境を示している。オペレーティングシステム１３２とウインドウ管理システム１３０を含むオペレーティングシステム環境１２８は、グラフィックユーザインターフェースを支援する従来の又は標準的なオペレーティングシステム環境である。オペレーティングシステム環境１２８の例は、これらの限定はされないが、アップルコンピュータ（Apple Computer）、マイクロソフト（Microsoft ）、フューレットパッカード（Hewlett Packard ）、サンマイクロシステム（Sun Microsystems）、アイビーエム（ＩＢＭ）、ネクスト（Next）、ディジタルエキップメント社（Digital Equipment Corporaion）、及びユニックスシステム研究所（Unix Systems Laboratories ）によって提供されるパーソナルコンピュータ、ワークステーション、及びメインフレームコンピュータオペレーティングシステムを含んでいてもよい。本発明の方法は、例えば、Ｘウインドウシステム（商標登録）（マサチューセッツ工科大学の登録商標）のような工業規格ソフトウェアユーザインタフェースプラットフォームもウインドウマネジャー１３０として提供されるオペレーティングシステム環境１２８において操作することを目的とする。
【００７９】
マルチウインドウ、マルチアプリケーション環境において、各アプリケーションは、そのそれぞれのウインドウに結果をディスプレイするためにウインドウ管理システム１３０と対話する。各アプリケーションはその各ディスプレイウインドウ内で「実行」又は「ラン」するように命令される。ウインドウ管理システム１３０はユーザ入力信号を受け取り、それらを適切なアプリケーションへ向け、且つ適切なウインドウ内で画像のディスプレイを制御する。アプリケーションの内の特定の一つを機能的にエンハンスメントすることの実行の代わりに、図１０は、環境１２８内で実行される他のアプリケーションから独立して、個別のアプリケーションとして実行される方法又はビューイング操作４８０として指定される本発明の方法の機能性を示す。
【００８０】
図１０はビューイング操作／ウインドウ管理システムインタフェース５００（Viewing Operation/Window Management System Interface 500）（以後「ウインドウ・マネジャ・インタフェース５００」と呼ばれる）も示す。ウインドウマネジャインタフェース５００はウインドウマネジャ１３０内に含まれないが方法４８０がアプリケーション１２０、１２４、及び１２６のいづれかと対話するために必要とされるウインドウ管理機能性を有する方法４８０の実行のソフトウェア構成要素である。ウインドウマネジャインタフェース５００は、環境１２８内で実行されるアプリケーション毎の識別、メモリ位置、及びモデルデータストラクチュアに関するアプリケーション識別情報と含む。環境１２８内の方法４８０の開始はウインドウマネジャインタフェース５００を開始させ、このウインドウマネジャインタフェース５００は環境１２８内で実行される各アプリケーションのためにデータストラクチュアを最初に組立て、引き続いてこのデータストラクチュアを更新させたままにしておく。ウインドウマネジャインタフェース５００はビューイング操作４８０とアプリケーションの間を通信し、且つウインドウマネジャ１３０と実行しているアプリケーションの間にこれらの通信を渡す。この実行において、ビューイング操作領域はビューイング操作４８０が実行し、且つユーザが他のウインドウによってと同様にそれと対話するウインドウである。
【００８１】
ウインドウマネジャインタフェース５００はまたビューイング操作４８０と対応するＶＯＲ１８６の位置を探索する。複数のビューイング操作が環境１２８内で実行された時、ウインドウマネジャインタフェース５００は、各対応するＶＯＲの位置をトラッキング（探索）し、且つ一つのＶＯＲの位置の変更が他のビューイング操作がリペイント（再着色）するのを必要とし、そのため、それと対応するＶＯＲ内に新しい第２の画像を生成することもあるので、各実行中のビューイング操作へ何時ディスプレイエリア１８０内の位置を変更したかを知らせる。ウインドウマネジャインタフェース５００は、それ自体がディスプレイエリア１８０内にウインドウを提供するために実行されてもよい。ウインドウマネジャインタフェース５００の機能性がウインドウマネジャ１３０の供給側によってウインドウマネジャ１３０ヘ直接組み込まれてもよいことを知ることは重要である。
【００８２】
図１０はまた、ビューイング操作及び／又はアプリケーションインタフェース５０２、５０４、及び５０６を示す。これらのインタフェースの各々は、方法４８０が、ユーザがアプリケーションのウインドウ内のアプリケーションによって生成された画像の上にＶＯＲ１８６を移動する時、アプリケーションのターミノロジ内のアプリケーションによって、ウインドウマネジャインタフェース５００を介して通信してもよいように、環境１２８内で実行されるアプリケーションのために提供されなければならないソフトウェア構成要素である。アプリケーションが実行のためにオープンされ、且つその画像に対してウインドウが作成された時、ウインドウマネジャインタフェース５００がアプリケーション識別情報データストラクチュアを更新できるように、アプリケーションはウインドウマネジャインタフェース５００へそのことを通知しなければならない。
【００８３】
一般的なウインドウシステム環境において、ウインドウがディスプレイエリア内で移動したり又はリサイズされる時は必ず、ウインドウマネジャ１３０はその移動されたりリサイズされたウインドウによって影響を受ける全てのウインドウを識別し、且つ各影響されたアプリケーションへ影響を受けたアプリケーションのウインドウの部分に対するウインドウ内にその対応する画像をリペイントするように命令する。本発明の場合において、全ての影響されたウインドウをリペイントすることが、ＶＯＲと同じひおがりを有するディスプレイエリアのあらゆる部分がウインドウ上の操作によって影響を受けた時、ビューイング操作４８０と対応するＶＯＲ１８６内に画像をリペイントすることを含む。ビューイング操作領域（ＶＯＲ）がオープンウインドウ内の画像の部分と同じ広がりを有するように位置された時、ＶＯＲ１８６をリペイントすることよって、第２の画像を生成するためのビューイング操作が生じる。図１０に示されるマルチウインドウ、マルチアプリケーション環境１２８内の実行は、このように、ウインドウマネジャインタフェース５００が、その識別を提供し、且つビューイング操作４８０に対応する選択されたＶＯＲ１８６がそのアプリケーションウインドウ上で移動する時、特定のウインドウ内で画像を生成したアプリケーションのモデルデータストラクチュアへアクセスするためにするために問い合わせされることを要求する。
【００８４】
【発明の効果】
本発明は、画像が生成されたモデルデータストラクチュア内のデータ及び情報へのアクセスを提供する。
【図面の簡単な説明】
【図１】本発明の方法が操作してもよい代表的なプロセッサ制御機械を示す図である。
【図２】本発明の方法を示す実施例のシステム構成要素間の対話を示すブロック図である。
【図３】本発明の方法の他の実行を示す図２のブロックの変形を示す図である。
【図４】本発明の方法を示す実施例によって操作される第１の画像を示す図である。
【図５】図６及び図７のフローチャートにおいて示されている実施例の方法によって生成される第２の画像を示すディスプレイスクリーンを示す図である。
【図６】例示される実施例の方法の作用を示すフローチャートである。
【図７】例示される実施例の方法の作用を示すフローチャートである。
【図８】例示される実施例において実行されるディスプレイエリアの二つの画像平面を示す図である。
【図９】図６及び図７のフローチャートにおいて例示される実施例の方法によって生成される他の第２の画像を示すディスプレイスクリーンを示す図である。
【図１０】複数のウインドウ、即ちウインドウ管理環境において独立したアプリケーションとして操作する本発明の方法の他の実施例のシステム構成要素を示すブロック図である。
【符号の説明】
１００  機械
１４０  プロセッサ
１５０  信号ソース
１６０  出力サーキットリ
１７０  ディスプレイデバイス
１７２  出力利用デバイス
１８０  ディスプレイエリア
１８２  第１の画像
【図１】
0003640982.tif 000002
【図２】
0003640982.tif 000003
【図３】
0003640982.tif 000004
【図４】
0003640982.tif 000005
【図５】
0003640982.tif 000006
【図６】
0003640982.tif 000007
【図７】
0003640982.tif 000008
【図８】
0003640982.tif 000009
【図９】
0003640982.tif 000010
【図１０】
0003640982.tif 000011