【誤訳訂正書】
【提出日】平成23年9月15日(2011.9.15)
【誤訳訂正１】
【訂正対象書類名】特許請求の範囲
【訂正対象項目名】全文
【訂正方法】変更
【訂正の内容】
【特許請求の範囲】
【請求項１】
ユーザの複数の所定の動きのうちのいずれか一つをセンシングし、前記センシングされた所定の動きに該当する信号を生成する入力部と、
前記信号に該当する動作を行い、前記動作に該当する結果をディスプレイするために制御信号を生成する制御部と
を備えるユーザとの直観的なインターフェーシングのための入出力コンピュータ装置であって、
前記センシングされた所定の動きは、初期位置と移動経路とにより特定された描画形状に対応する直観的なジェスチャであることを特徴とするユーザとの直観的なインターフェーシングのための入出力コンピュータ装置。
【請求項２】
前記動作に該当する結果をディスプレイするディスプレイ部をさらに備えることを特徴とする請求項１に記載の装置。
【請求項３】
前記ディスプレイ部は、前記装置によって接続可能なデータベースに格納された資料に関する情報に該当してこれを提供するノードと前記ノードとの間のリンクをディスプレイすることを特徴とする請求項２に記載の装置。
【請求項４】
前記資料は親／子関係、前後関係及び所属関係のうち、いずれか一つを含む関連資料であることを特徴とする請求項３に記載の装置。
【請求項５】
前記入力部は、複数のユーザの所定の動きをセンシングし、前記複数のユーザが前記装置に対して同時に入力できるタッチスクリーンを備えることを特徴とする請求項２に記載の装置。
【請求項６】
前記センシングされた所定の動きは、前記装置によって接続可能なデータベースに格納された資料に該当するグラフィックオブジェクトを生成するための動き、グラフィックオブジェクトの間のリンクを生成するための動き、制御ボタンを生成するための動き、仮想キーボードを生成するための動き、オブジェクトを削除するための動き、及び前記データベースに格納された資料または関連資料に該当する一つまたはそれ以上のグラフィックオブジェクトを配列するためのレイヤまたは第２のレイヤを生成するための動きを備える直観的なジェスチャの中の一つであることを特徴とする請求項１に記載の装置。
【請求項７】
前記制御部によって接続可能であり、前記信号を該当動作と解釈するためのマッピングテーブルを格納して、前記制御部によって管理されるグラフィックオブジェクトに関する資料構造を格納するためのメモリをさらに備えることを特徴とする請求項６に記載の装置
【請求項８】
前記グラフィックオブジェクトは、前記該当資料に対して入力情報のうち一つが前記関連資料をディスプレイするために関連資料に関するデータベースを検索、前記グラフィックオブジェクトの位置及び方向を変更、前記グラフィックオブジェクトを拡大／縮小、及び前記該当資料を開放するように作用することを特徴とする請求項６に記載の装置。
【請求項９】
前記グラフィックオブジェクトに関する情報を少なくとも一つのコンピュータクライアント装置と通信するための送信部及び受信部をさらに備えることを特徴とする請求項６に記載の装置。
【請求項１０】
前記グラフィックオブジェクトに関する情報はＸＭＬに基づくソケットデータ通信を通じて送受信されることを特徴とする請求項９に記載の装置。
【請求項１１】
ユーザとの直観的なインターフェーシングのための入／出力コンピュータ装置であって、前記装置は、
ユーザから入力を受信して前記入力に該当する信号を生成するための入力部と、
前記装置によって接続可能なデータベースに格納された資料に関する情報に該当してこれを提供するグラフィックオブジェクトと前記グラフィックオブジェクトとの間の関係を示すグラフィックオブジェクトの間のリンクをディスプレイするディスプレイ部と
前記信号に該当する動作を行い、前記ディスプレイ部を制御する制御部とを備え、
前記入力部は、ユーザの複数の所定の動きのうちのいずれか一つをセンシングし、前記センシングされた所定の動きに該当する信号を生成し、
前記センシングされた所定の動きは、初期位置と移動経路とにより特定された描画形状に対応する直観的なジェスチャであることを特徴とする装置。
【請求項１２】
前記グラフィックオブジェクトと前記リンクは、前記ユーザが該当資料の関係と前記該当資料の状態を直観的に視覚化することができるようにディスプレイされることを特徴とする請求項１１に記載の装置。
【請求項１３】
前記グラフィックオブジェクトは、前記該当資料に対して入力情報のうち一つが前記関連資料をディスプレイするために関連資料に関するデータベースを検索、前記グラフィックオブジェクトの位置及び方向を変更、前記グラフィックオブジェクトを拡大／縮小、及び前記該当資料を開放するように作用することを特徴とする請求項１１に記載の装置。
【請求項１４】
前記入力部は、前記ユーザが前記グラフィックオブジェクトとインターフェーシングするためのタッチスクリーン、赤外線受信機及び視覚入力をセンシングするカメラのうちの一つであることを特徴とする請求項１３に記載の装置。
【請求項１５】
前記入力部は、前記ユーザの複数の所定の動きのうちの一つをセンシングし、前記センシングされた所定の動きに該当する信号を生成し、前記制御部は前記信号に該当する動作を行い、前記動作に該当する結果をディスプレイするために制御信号を生成することを特徴とする請求項１１に記載の装置。
【請求項１６】
前記センシングされた所定の動きは、前記装置によって接続可能なデータベースに格納された資料に該当するグラフィックオブジェクトを生成するための動き、グラフィックオブジェクトの間のリンクを生成するための動き、制御ボタンを生成するための動き、仮想キーボードを生成するための動き、オブジェクトを削除するための動き、及び前記データベースに格納された資料または関連資料に該当する一つまたはそれ以上のグラフィックオブジェクトを配列するためのレイヤまたは第２のレイヤを生成するための動きを備える直観的なジェスチャの中の一つであることを特徴とする請求項１５に記載の装置。
【請求項１７】
入出力コンピュータ装置とインターフェーシングする方法であって、前記方法は、
ユーザの複数の直観的な動きの中の一つをセンシングする段階と、
前記感知された直観的な動きに該当する信号を生成する段階と、
前記信号に該当する動作を行う段階と、
前記動作の結果をディスプレイする段階と
を備え、
前記センシングされた直観的な動きは、初期位置と移動経路とにより特定された描画形状に対応する直観的なジェスチャであることを特徴とする方法。
【請求項１８】
前記動作は、前記装置によって接続可能なデータベースに格納された資料に該当するグラフィックオブジェクトを生成するための動作、グラフィックオブジェクトの間のリンクを生成するための動作、制御ボタンを生成するための動作、仮想キーボードを生成するための動作、オブジェクトを削除するための動作、及び前記データベースに格納された資料または関連資料に該当する一つまたはそれ以上のグラフィックオブジェクトを配列するためのレイヤまたは第２のレイヤを生成するための動作の中の一つであることを特徴とする請求項１７に記載の方法。
【請求項１９】
前記該当資料に対する受信入力情報のうちの一つが前記関連資料をディスプレイするために関連資料に関する前記データベースを検索、前記グラフィックオブジェクトの位置または方向を変更、前記グラフィックオブジェクトを拡大／縮小、及び前記該当資料を開放するために前記グラフィックオブジェクトに関する動作の動きを感知する段階をさらに備えることを特徴とする請求項１８に記載の方法。
【請求項２０】
前記装置によって接続可能なデータベースに格納された資料に関する情報に該当してこれを備えるグラフィックオブジェクトと前記グラフィックオブジェクトとの間の関係を示す前記グラフィックオブジェクトの間のリンクをディスプレイする段階をさらに備え、前記グラフィックオブジェクト及び前記リンクは前記ユーザが前記該当資料の関係と前記該当資料の状態を直観的に視覚化することができるようにディスプレイされることを特徴とする請求項１７に記載の方法。
【誤訳訂正２】
【訂正対象書類名】明細書
【訂正対象項目名】全文
【訂正方法】変更
【訂正の内容】
【発明の詳細な説明】
【発明の名称】グラフィックユーザインターフェース装置及びグラフィックオブジェクトのディスプレイ方法
【技術分野】
【０００１】
本発明は、グラフィックユーザインターフェースに関するものである。より具体的にはグラフィックオブジェクト（ｇｒａｐｈｉｃ ｏｂｊｅｃｔ）を生成するためにユーザ入力を受け入れて、生成されたグラフィックオブジェクトをディスプレイするためのグラフィックユーザインターフェースに関する。
【背景技術】
【０００２】
コンピュータが会議空間で会議をサポートする道具として必須となっている。即ち、会議関連資料はコンピュータで読み出すことができるファイルとして提供されている。このような場合、そのような資料を検索及びディスプレイするためにファイル管理プログラム（例えば、ウィンドウズエクスプローラ）がしばしば用いられてきた。
【０００３】
しかし、フォルダ及びファイルは階層的に構成されるため、既存のエクスプローラまたはプログラムは大量の資料及びそのような資料の間の関係を同時にディスプレイしてこれらを直観的に把握することが難しいという問題があり、会議進行中に現在の案件と関連した資料をディスプレイするためにはユーザが該当資料が含まれたフォルダの位置を探し出さなければならない不便がある。
【０００４】
多数のユーザからの多様な案件を取り扱うために関連資料を表示するための会議進行補助システムが開発されて用いられている。しかし、新たな案件が上程される場合、その新たな案件が多数の資料と連結されており、そのような資料と共にリアルタイムで多数の参加者が認知することができるようにディスプレイする必要がある。即ち、参加者が面倒な探索過程を経なくても即時に現在の案件と関連した多数の資料及びこれらの間の関係を把握することができるように、現在の案件、関連した多数の資料、そしてこれらの間の関係をディスプレイしなければならない。
【０００５】
また、会議進行と関連した資料はイメージファイル、映像ファイル、サウンドファイル、テーブルファイル、テキストファイルなどのような多様な形式を有する資料が含まれていることもあるので、これらを記録してディスプレイする必要があり、そのような資料及び資料の間の関係を反映させて即時に会議を構成することが要求されている。
【０００６】
会議テーブルを取り囲んでいる参加者が会議の進行内容を便利に把握することができ、特に便利にテキスト情報を読み出すことができるようにするディスプレイ方法が要求されている。
【０００７】
要するに、会議進行に必要な機能を提供するために構成されたシステムにおいて、最小限の操作による直観的インターフェースによって会議の進展状況を総合的かつ直観的にディスプレイしてディスプレイ要素を操作することが要求されている。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
［発明の詳細な説明］
［技術的課題］
本発明は、前記従来技術の問題を解決するためのものであって、会議進行のために有用なグラフィックユーザインターフェースを提供することを目的とする。このために、会議進行時に必要な多様な情報のそれぞれはグラフィックオブジェクトとして格納され、表示部上にディスプレイされる。例えば、情報を格納する意味的集合体であるノードは表示部にディスプレイでき、ノードの意味情報の間の関係に基づいてリンクにより他のノードに連結され得る。その上、少なくとも一つのノード及びそのノードに連結されたリンクを備える一つのレイヤーが形成できる。会議進行を容易にして補助するためにこのようなノード、リンクまたはレイヤーを備える構造をディスプレイするグラフィックユーザインターフェースが提供される。
【０００９】
本発明の一実施形態によるグラフィックユーザインターフェースによれば、会議進行に必要な多量の情報が効率的に整理されてディスプレイされ、会議を準備する時に参考にできる資料に容易で速やかにアプローチ可能になり、可視したノードの分布とリンクの構造を通じて過去及び現在の会議進展状況を直観的に把握可能になる。
【００１０】
［技術的解決方法］
前述した目的を達成するために、ユーザの複数の所定の動きのうちのいずれか一つをセンシングし、前記センシングされた所定の動きに該当する信号を生成する入力部と、前記信号に該当する動作を行い、前記動作に該当する結果をディスプレイするために制御信号を生成する制御部とを備える、ユーザと直観的なインターフェーシングのための入出力コンピュータ装置を提供する。
前述した目的を達成するために、ユーザから入力を受信して前記入力に該当する信号を生成するための入力部と、前記装置によって接続可能なデータベースに格納された資料に関する情報に該当してこれを提供するグラフィックオブジェクトと前記グラフィックオブジェクトとの間の関係を示すグラフィックオブジェクトの間のリンクをディスプレイするディスプレイ部と、前記信号に該当する動作を行い、前記ディスプレイ部を制御する制御部とを備える、ユーザと直観的なインターフェーシングのための入／出力コンピュータ装置を提供する。
【００１１】
前述した目的を達成するために、ユーザの複数の直観的な動きの中の一つをセンシングする段階と、前記感知された直観的な動きに該当する信号を生成する段階と、前記信号に該当する動作を行う段階と、前記動作の結果をディスプレイする段階とを備える、入出力コンピュータ装置とインターフェーシングする方法を提供する。
【発明の効果】
【００１２】
本発明によるグラフィックユーザインターフェースを用いることによってユーザが面倒な探索手順を行うことなく現在の案件と関連した資料及びこれらの間の関係を直観的に把握することができる。
【００１３】
本発明によるグラフィックユーザインターフェースを用いることによって案件と関連した多様な形式の資料を検索及びディスプレイすることができる。さらに、会議参加者がどの位置からでもその進行内容を容易に把握することができるように方向転換が可能であり、ウィンドウズエクスプローラのような従来のファイル管理プログラムで提起されてきた問題を解消することができる。
【００１４】
［発明の実施のための最善の形態］
本発明の一実施形態によるユーザと直観的なインターフェーシングのための入出力コンピュータ装置は、ユーザの複数の所定の動きのうちのいずれか一つをセンシングし、前記センシングされた所定の動きに該当する信号を生成する入力部と、前記信号に該当する動作を行い、前記動作に該当する結果をディスプレイするために制御信号を生成する制御部とを備える。
前記入出力コンピュータ装置は、前記動作に該当する結果をディスプレイするディスプレイ部をさらに備える。
前記ディスプレイ部は、前記装置によって接続可能なデータベースに格納された資料に関する情報に該当してこれを提供するノードと前記ノードとの間のリンクをディスプレイする。
前記資料は親／子関係、前後関係及び所属関係のうち、いずれか一つを含む関連資料である。
前記入力部は、複数のユーザの所定の動きをセンシングし、前記複数のユーザが前記装置に対して同時に入力できるタッチスクリーンを備える。
前記センシングされた所定の動きは、前記装置によって接続可能なデータベースに格納された資料に該当するグラフィックオブジェクトを生成するための動き、グラフィックオブジェクトの間のリンクを生成するための動き、制御ボタンを生成するための動き、仮想キーボードを生成するための動き、オブジェクトを削除するための動き及び前記データベースに格納された資料または関連資料に該当する一つまたはそれ以上のグラフィックオブジェクトを配列するためのレイヤまたは第２のレイヤを生成するための動きを備える直観的なジェスチャの中の一つである。
前記入出力コンピュータ装置は、前記制御部によって接続可能であり、前記信号を該当動作と解釈するためのマッピングテーブルを格納して、前記制御部によって管理されるグラフィックオブジェクトに関する資料構造を格納するためのメモリをさらに備える。
前記グラフィックオブジェクトは、前記該当資料に対して入力情報のうち一つが前記関連資料をディスプレイするために関連資料に関するデータベースを検索、前記グラフィックオブジェクトの位置及び方向を変更、前記グラフィックオブジェクトを拡大／縮小、及び前記該当資料を開放するように作用する。
前記入出力コンピュータ装置は、前記グラフィックオブジェクトに関する情報を少なくとも一つのコンピュータクライアント装置と通信するための送信部及び受信部をさらに備える。
前記グラフィックオブジェクトに関する情報はＸＭＬに基づくソケットデータ通信を通じて送受信される。
本発明の他の実施形態によるユーザと直観的なインターフェーシングのための入／出力コンピュータ装置は、ユーザから入力を受信して前記入力に該当する信号を生成するための入力部と、前記装置によって接続可能なデータベースに格納された資料に関する情報に該当してこれを提供するグラフィックオブジェクトと前記グラフィックオブジェクトとの間の関係を示すグラフィックオブジェクトの間のリンクをディスプレイするディスプレイ部と、前記信号に該当する動作を行い、前記ディスプレイ部を制御する制御部とを備える。
前記グラフィックオブジェクトと前記リンクは、前記ユーザが該当資料の関係と前記該当資料の状態を直観的に視覚化することができるようにディスプレイされる。
前記グラフィックオブジェクトは、前記該当資料に対して入力情報のうち一つが前記関連資料をディスプレイするために関連資料に関するデータベースを検索、前記グラフィックオブジェクトの位置及び方向を変更、前記グラフィックオブジェクトを拡大／縮小、及び前記該当資料を開放するように作用する。
前記入力部は、前記ユーザが前記グラフィックオブジェクトとインターフェーシングするためのタッチスクリーン、赤外線受信機及び視角入力をセンシングするカメラのうちの一つである。
前記入力部は、前記ユーザの複数の所定の動きのうちの一つをセンシングし、前記センシングされた所定の動きに該当する信号を生成し、前記制御部は前記信号に該当する動作を行い、前記動作に該当する結果をディスプレイするために制御信号を生成する。
前記センシングされた所定の動きは、前記装置によって接続可能なデータベースに格納された資料に該当するグラフィックオブジェクトを生成するための動き、グラフィックオブジェクトの間のリンクを生成するための動き、制御ボタンを生成するための動き、仮想キーボードを生成するための動き、オブジェクトを削除するための動き及び前記データベースに格納された資料または関連資料に該当する一つまたはそれ以上のグラフィックオブジェクトを配列するためのレイヤまたは第２のレイヤを生成するための動きを備える直観的なジェスチャの中の一つである。
【００１５】
本発明のもう一つの実施形態による入出力コンピュータ装置とインターフェーシングする方法は、ユーザの複数の直観的な動きの中の一つをセンシングする段階と、前記感知された直観的な動きに該当する信号を生成する段階と、前記信号に該当する動作を行う段階と、前記動作の結果をディスプレイする段階とを備える。
前記動作は、前記装置によって接続可能なデータベースに格納された資料に該当するグラフィックオブジェクトを生成するための動作、グラフィックオブジェクトの間のリンクを生成するための動作、制御ボタンを生成するための動作、仮想キーボードを生成するための動作、オブジェクトを削除するための動作及び前記データベースに格納された資料または関連資料に該当する一つまたはそれ以上のグラフィックオブジェクトを配列するためのレイヤまたは第２のレイヤを生成するための動作の中の一つである。
前記方法は、前記該当資料に対する受信入力情報のうちの一つが前記関連資料をディスプレイするために関連資料に関する前記データベースを検索、前記グラフィックオブジェクトの位置または方向を変更、前記グラフィックオブジェクトを拡大／縮小、及び前記該当資料を開放するために前記グラフィックオブジェクトに関する動作の動きを感知する段階をさらに備える。
前記方法は、前記装置によって接続可能なデータベースに格納された資料に関する情報に該当してこれを備えるグラフィックオブジェクトと前記グラフィックオブジェクトとの間の関係を示す前記グラフィックオブジェクトの間のリンクをディスプレイする段階をさらに備え、前記グラフィックオブジェクト及び前記リンクは前記ユーザが前記該当資料の関係と前記該当資料の状態を直観的に視覚化することができるようにディスプレイされる。
【００１６】
［発明の実施のための形態］
本発明によるグラフィックユーザインターフェースを具体的に説明するに先立ち、本発明で用いる基本概念及び関連用語をまず説明することにする。
【００１７】
本発明で用いる用語の中で、「グラフィックオブジェクト」は、表示部にディスプレイされるグラフィック図形であり、同時に情報を備えるオブジェクトでもある。グラフィックオブジェクトを例示する図１を参照すれば、グラフィックオブジェクトは円形４１０１、４１０２、直線４２０、四角形４３０などのグラフィック図形を備えるが、これらはそれぞれノード、リンク、レイヤーという情報のオブジェクトにそれぞれ該当する。具体的には、「ノード４１０１、４１０２」は情報の最小単位を示す情報のオブジェクトである。会議に適用される場合、ノード４１０１、４１０２）は会議で論議すべき案件に対するキーワードまたはそのキーワードと関連して導き出されるキーワードを示すことができる。
【００１８】
図２は、表示部にディスプレイされるノードの例示的な形態を示す。ノード４１０は意見及び資料を縮約するキーワード４１１の領域を備えることができる。図１の例示を本発明の装置を具現するためのプロジェクト会議に適用すれば、ノード４１０１のキーワードは「手動作基盤の入出力装置」、ノード４１０２のキーワードはノード４１０１の下位構造である「制御部」になり得る。他の例として、ノード４１０１のキーワードは「手動作基盤の入出力装置」、ノード４１０２のキーワードはノード４１０１の開発担当者である「Ａ」になり得る。図１または図２でノードの形状として円形を例示したのは単に例示に過ぎず、三角形などの他の形状になり得ることはもちろんである。
【００１９】
図２でノード４１０は、ノード４１０の位置を表示するＩＤ領域４１３をさらに備えることができる。これ以外にノード４１０がディスプレイされる時ユーザが区分しやすいようにノード４１０の状態を示すカラー領域４１５をさらに備えることができる。ノードの状態は、例えばノードが選択されたか否かを備えることができる。ノードは付加情報として中心座標（ｘ，ｙ）値及びサイズである半径（ｒ）値をさらに備えることができる。
【００２０】
「リンク４２０」はノードとノードとの間を連結してノード間の関係を示す情報のオブジェクトである。ここで、「リンク４２０」が示すノード間の関係は、例えば上／下関係及び前／後関係、あるいは所属関係などを備えることができる。前記例示で、ノード４１０１が手動作基盤の入出力装置、ノード４１０２が制御部の場合、リンク４２０は二つの装置の間の上／下関係を表示し、ノード４１０１が手動作基盤の入出力装置、ノード４１０２が「Ａ」の場合、リンク４２０はその装置に対する担当者の所属関係を示す。
【００２１】
図３は、表示部にディスプレイされるリンクの例示的な形態を示す。図３に示した例で、リンク４２０は二つのノードを連結するが、この二つのノードは親と子の間の関係を有することができる。また、親子関係は上述した通り上／下、前／後、所属関係などを示すことができる。リンク４２０は親ノードの中心座標４２１から始まって、子ノードの中心座標４２２で終わる。リンク４２０は二つの連結されたノード間の関係によって実線または点線で表示できる。この時、リンクの形状である実線または点線はリンクが示す関係を区別するための例示に過ぎず、これ以外に色または太さなどのグラフィック特性を用いることができる。
【００２２】
「レイヤー４３０」は、少なくとも一つのノード及び前記ノードに連結されたリンクを備え、含まれたグラフィックオブジェクトに対して集合的な属性を示す情報のオブジェクトである。例えば、図１に示した通り、レイヤー４３０が所定の会議を示せば、ノード４１０１、４１０２及びリンク４２０がその会議で討議された事案に関連した特徴を示すことができる。四角のボックスは、図１でレイヤーを示す形態の一つの例であるだけで、レイヤーの形状はこれに制限されない。図１には二つのノード４１０１または４１０２、一つのリンク４２０、一つのレイヤー４３０のみが示されているが、これに制限されず、本発明はさらに多くのノード、リンク、レイヤーとグラフィックオブジェクトまたはさらに少ないノード、リンク、レイヤーとグラフィックオブジェクトを備えることができる。
【００２３】
図４は、複数のレイヤーを備えるグラフィックオブジェクトの例を示す。前記会議の例示を続ければ、複数のレイヤー４３０１−４３０Ｌはｎ番目の会議結果をそれぞれ表示し、一つの束として管理されることができる。この場合、何枚かのレイヤーに目を通すことで現在まで会議が進行された過程を直観的に把握することができる。
【００２４】
これ以外にも、例えばプロジェクトに対して賛否決定をするためのレイヤー、ブレーンストーミングをするためのレイヤー、参加組織構造のためのレイヤー、日程に関するレイヤーなどを一つの束で管理することができる。このように、多数のレイヤーを一つの束で管理するようになれば、多数のレイヤーに目を通すことでプロジェクト全体を直観的に把握することができ、状況に応じてレイヤーの配列順序及び束ねる方式を異にすることによってユーザが会議の進行状態を把握するのに役立つ。
【００２５】
また、リンクの数またはリンクの連結構造もユーザが現在の会議状態を把握するのに役立つ。例えば、図４に見られるように、ノード４１０Ｎは最適に多くのリンクに連結されており、その連結構造はツリー構造形式のレイアウトを有する。これはノード４１０Ｎが意味する案件から多くの案件が導き出されて上程された状態であり、このような案件に対して現在活発に会議が進行していることを意味する。また、例えば点線リンクが未決を意味する場合、ノード４１０Ｎと関連した案件のうち、多数は確実に解決されておらず、それに関する結論を導き出すために多数の方案が具体的に論議されていることが分かるが、このようにユーザはディスプレイを見るだけで会議の進行状態を一目で把握することができる。
【００２６】
グラフィックオブジェクトはまた、他のグラフィックオブジェクトに対する操作及び情報入力を行うツールオブジェクトを備えることができるが、図１に示した制御ボタン束４４０、仮想キーボード４５０などをその例に挙げることができる。具体的には、「制御ボタン束４４０」はグラフィックオブジェクトの操作をユーザの直観的な手動作でできるようにするツールオブジェクトである。図５に制御ボタン束の例示的な形態が示されている。図１または図５で制御ボタン束が円形であるのは単に例示的なものである。
【００２７】
図５で、制御ボタン束４４０はレイヤーのズームイン／アウト４４１、４４２、レイヤーの生成４４３及びレイヤーの削除４４４、グラフィックオブジェクトのファイルへの格納４４５、グラフィックオブジェクトが格納されたファイルのオープン４４６、リンクに連結されたノード構造のスケール調整４４７、４４８などを示す記号を含んでいる。
【００２８】
用語「ノード構造」とは、現在選択されたノード、選択されたノードに連結された全てのリンクとそのリンクに連結されたノード全部を称する。用語「ノード構造のスケール調整」とは、このようなノード構造において例えば選択されたノードを中心にノード構造を拡大／縮小したり、または予め定められた基本表示位置を中心にノード構造を拡大／縮小することになり得る。制御ボタン束４４０はノード構造の位置調整も備えることができる。スケール調整と同様に、ノード構造の位置調整も現在選択されたノードを中心に位置が移動したり基本表示位置を中心に位置が移動することができる。これ以外に上述した記号が示す動作の詳細な内容は制御部の関連部分で説明することにする。
【００２９】
ユーザは、例えば指で所望の動作に該当する制御ボタン束４４０の記号に触れるような直観的な手動作を通じて該当グラフィックオブジェクトの該当する操作を可能にすることができる。上述した制御ボタン束の機能及び記号は単に例示的なものであり、本発明で制御ボタン束の機能及び記号はこれに制限されない。
【００３０】
「仮想キーボード４５０」はテキスト入力を可能にするツールオブジェクトである。ユーザは仮想キーボードを用いて、例えばノード４１０１または４１０２のキーワード、レイヤー４３０の名前またはグラフィックオブジェクトの付加情報を入力及び修正することができる。
【００３１】
図６に仮想キーボードの例示的な形態を示した。仮想キーボードは仮想キーボード領域４５１、例えばＰＣ／ＡＴ １０１キー互換ハングルキーボードと配列の同じキーボタン４５２及びキーボードのサイズを調節することができる選択領域４５３で構成されている。ユーザは、例えば指で仮想キーボード４５０上のキーボタン領域４５２に触れるような直観的な手動作を通じて該当テキストを入力することができる。図６は単に仮想キーボードの例示であるだけであり、本発明の仮想キーボードはこれによって制限されない。
【００３２】
上述したグラフィックオブジェクトの概念に基づいて、以下では図７〜図３０を参照して本発明の実施形態を詳細に説明する。
【００３３】
図７は本発明の一実施形態による手動作基盤の入出力装置の構成を示したブロック図である。手動作基盤の入出力装置１００は、入力部１０２、制御部１０４及び表示部１０６を備える。
【００３４】
入力部１０２は、ユーザの手動作をセンシングしてこれを電気信号に変換する。手動作のセンシングはタッチスクリーンのように触覚（接触）情報を入力とするセンシング、カメラのように視覚情報を入力とするセンシング、または赤外線送受信装置のような赤外線送受信を用いるセンシングなどを備える。ただし、これに制限されない。入力部１０２はセンシングされた位置データを処理し、例えば手の初期位置と移動経路などを計算することによって感知された手動作が示す電気信号を発生させる。
【００３５】
図８〜１１は、ユーザがとる例示的な手動作を示したものである。図８で、ユーザが指２００で入力部１０２に円を描けば、入力部１０２はこれをセンシングして円が示す電気信号、例えば「ノード生成」を示す電気信号を発生させる。
【００３６】
図９で、ユーザが指２００で入力部１０２に直線を描けば、入力部１０２はこれをセンシングして直線が示す電気信号である「リンク生成」を示す電気信号を発生させる。一実施形態で、例えば表示部１０６上でいかなるグラフィックオブジェクトも存在しない領域から始め、二つ以上のノードを貫通する軌跡をドラッグした後、指２００を離せば「リンク生成」という電気信号が発生する。望ましい実施形態で、軌跡で最初に接したノードが最上位の親ノードになり、次に接したノードは最初のノードの子ノードになる関係を有することができる。この場合、もし指２００が三つ以上のノードを貫通すれば、軌跡上の一つのノードは直前のノードの子ノードになり得る。
【００３７】
図１０で、ユーザが入力部１０２に指２００でＺ状を描いた場合、入力部１０２はＺ状をセンシングしてＺ状の意味を示す、例えば「制御ボタン束４４０の生成（活性化）」を示す電気信号を発生させ得る。これと同様に、ユーザが入力部１０２に指２００で四角形を描いた場合、入力部１０２は四角形をセンシングして四角形の意味を示す、例えば「仮想キーボード４５０の生成（活性化）」を示す電気信号を発生させ得る。
【００３８】
一方、ユーザが入力部１０２の所定位置を指２００で触れる場合（ポインティングイベント）、入力部１０２はこれをセンシングしてポインティングイベントを示す電気信号の「該当するグラフィックオブジェクト（ノード、リンクまたはレイヤー）の選択」を示す電気信号を発生させる。ポインティングイベントが発生した位置がグラフィックオブジェクトの記号、例えば、制御ボタン束４４０などの格納記号上である場合、「グラフィックオブジェクトの格納」を示す電気信号を発生させる。同様に、ポインティングイベント発生位置が仮想キーボード４５０の特定テキスト位置上である場合、「該当テキスト入力」を示す電気信号を発生させる。
【００３９】
図１１で、ユーザが指２００でスプリング形状を描けば、入力部１０２はこれをセンシングしてスプリング形状が示す電気信号の「選択されたグラフィックオブジェクトの削除」を示す電気信号を発生させる。
【００４０】
一方、ユーザが指２００で引っ張る（ドラッグ）場合、入力部１０２はこれをセンシングしてドラッグが示す電気信号である「選択されたグラフィックオブジェクトの移動」を示す電気信号を発生させる。
【００４１】
上述した円、直線、ポインティングイベント、またはスプリング形状などは直観的なジェスチャーの例示であるだけで、これに制限されない。この実施形態で、入力部１０２で発生する電気信号は、図１２に示したメッセージのようなプロトコルで表現できる。即ち、電気信号は動作フィールド、動作が行われるオブジェクトフィールド及び付加情報フィールドを表示することができる。
【００４２】
図１４は、本発明による手動作基盤入出力装置で制御部１０４の例示的な詳細構成を示したものである。制御部１０４は、処理ユニット１０４ａを備えることができる。処理ユニット１０４ａは入力部１０２から受信された電気信号（またはメッセージ）を解折した後、それによる動作を行う。電気信号が表示部１０６のディスプレイのためのメッセージとして解折されれば、処理ユニット１０４ａはこれを指示する実行制御信号を表示部１０６に伝達する。例えば、処理ユニット１０４ａが解折した電気信号のオブジェクト及び動作が「ノード」及び「生成」の場合、処理ユニット１０４ａは情報オブジェクトのノードを生成した後、表示部１０６に生成されたノードをディスプレイするように指示する実行制御信号を伝達することができる。このように処理ユニット１０４ａを備える制御部１０４はマイクロプロセッサのように所定の演算及び制御処理が可能な装置で具現できるが、これに制限されない。
【００４３】
本発明の一実施形態で、制御部１０４は上述したような処理ユニット１０４ａ以外にメモリ１０４ｂのように処理ユニット１０４ａでアクセス可能な所定の格納装置をさらに備えることができる。
【００４４】
メモリ１０４ｂは、図１３のようなマッピングテーブルが格納できる。この実施形態で、制御部１０４は受信された電気信号をメモリ１０４ｂに格納されたマッピングテーブルと対照して電気信号のオブジェクト及び動作を解折することができる。
【００４５】
メモリ１０４ｂはまた、制御部１０４が管理するグラフィックオブジェクトに関する資料構造（ｄａｔａ ｓｔｒｕｃｔｕｒｅ）を格納することができる。本発明の一実施形態によって、制御部１０４が管理する資料構造の例を図１５〜１６に示した。図１５〜１６に示した通り、資料構造の形態はリストとグラフ、２種類の形態があり得る。
【００４６】
図１５に示した例示的なリストは、線形資料構造としてそれぞれのグラフィックオブジェクトをより容易に生成、削除及び検索することができるようにする。まず、図１５のノードリストはノードの識別子（ＩＤ）、説明、座標、半径サイズ及び状態フィールドを備える。説明フィールドは該当ノードが含蓄する資料のキーワード、該当ノードの上位ノード及び下位ノードのＩＤを備えることができる。座標フィールドは該当ノードの中心が位置する座標（ｘ、ｙ）になり、半径サイズフィールドは例えばピクセル単位で半径値になり得る。状態フィールドは以下で詳細に説明する拡張／縮小の状態を備える。フィールド及びフィールドに含まれた内容は単に例示に過ぎず、本発明のノードリストがこれに制限されるのではない。
【００４７】
図１５のリンクリストは、リンクのＩＤ、説明及び開始と終了フィールドを備える。説明フィールドは該当ノードが連結する二つのノード間の関係を表示することができる。開始及び終了フィールドは開始ノード及び終了ノードのＩＤを備えることができる。フィールド及びフィールドに含まれた内容も例示的なものであり、本発明はこれによって制限されない。
【００４８】
図１５のレイヤーリストはレイヤーのＩＤ、レイヤーが備えるノード及びリンクフィールドを備える。ノード及びリンクフィールドは該当レイヤーに含まれたノード及びリンクのＩＤをそれぞれ備えることができる。示したレイヤーリストのフィールド及びフィールドに含まれた内容も例示的なものであり、本発明はこれによって制限されない。
【００４９】
多数のユーザが本発明によるシステムを用いる場合、グラフィックオブジェクトに対して数多くの「生成」、「削除」などの動的作業を行うようになる。グラフィックオブジェクトをリストで管理することによってシステム設計時に事前にメモリ空間を確保する必要なく動的に必要なメモリ空間を作ってオブジェクトを連結することによって効率的なメモリ空間の管理が可能である。
【００５０】
図１６に示したグラフは非線形資料構造としてノードと各ノードを連結するリンクの関係及び論理的な構造情報を表現する。図１６に示したように、グラフは各ノード間の前／後関係、上／下関係及び所属関係を表現し、表示部１０６で示した形態のように管理されて操作される。図１６に示したように、本発明で非線形資料構造として用いられるグラフはツリーとは異なり、一定の方向性なく意味的に連結された全てのオブジェクト間の構造を表現することができる。従って、本発明の一実施形態による手動作基盤の入出力装置はグラフィックオブジェクトをグラフで管理することによってグラフィックオブジェクトの生成、削除などの制御がユーザの観点から直観的に操作されて表現できるという長所を有する。
【００５１】
図１３を参照して制御部１０４が行う動作を一つ一つ詳察することにする。
【００５２】
制御部１０４が解折した電気信号の動作が「生成」の場合、制御部１０４が行う作業はノード、リンクまたはレイヤーなどのグラフィックオブジェクトを生成してメモリ１０４ｂに格納されたリストまたはグラフのような資料構造に登録し、表示部１０６に生成されたグラフィックオブジェクトをディスプレイするように指示する制御信号を伝送する過程を備えることができる。電気信号の対象が制御ボタン束または仮想キーボードの場合、制御部１０４は制御ボタン束または仮想キーボードをｏｎ状態（活性化されて画面に表示した状態）に設定し、活性化された制御ボタン束または仮想キーボードを表示部１０６にディスプレイするように指示する制御信号を伝送することができる。
【００５３】
ノード、リンクまたはレイヤーのようなグラフィックオブジェクトの生成時に、制御部１０４はリストにそのオブジェクトが既に格納されているかどうかをまず確認することができる。例えば、生成されたノードのキーワードとノードリストにある所定のノードのキーワードが同一であれば該当ノードが存在するものと判断され得る。また、生成されたリンクの開始及び終了ノードのＩＤがリンクリストにある所定のリンクの開始及び終了ノードのＩＤと同一であれば該当リンクが存在するものと判断され得る。
【００５４】
該当グラフィックオブジェクトが存在しなければ、基本情報であるグラフィックオブジェクトのＩＤを該当リストに格納する（図１５参照）。ノードを生成する場合、ノードリストに中心座標とサイズ（半径）値を付加的に格納することができる。リンクを生成する場合、リンクリストにリンクの開始、終了ノードのＩＤを付加的に格納することができるが、この時、二つのノードはノードリストに存在しなければならない。このように登録されたオブジェクトはグラフに格納されることによって、グラフでの該当グラフィックオブジェクトの位置と異なるグラフィックオブジェクトとの関係を表現することが可能になる（図１６参照）。
【００５５】
制御部１０４が解折した電気信号の動作が「選択」の場合、制御部１０４は選択されたグラフィックオブジェクトのＩＤを把握する。即ち、「選択」は「移動」、「情報修正」またはレイヤーの「最大／最小化」などのための事前段階として用いられる。例えば、「選択」に対する手動作は指で触れるようなポインティングイベントになり得るが、この場合、制御部１０４は表示部１０６と通信して該当オブジェクトのＩＤを確認することができる。
【００５６】
制御部１０４が解折した電気信号の動作が「移動」の場合、制御部１０４は（選択された）ノードを移動し、移動した座標をノードリストまたはグラフの該当資料構造に格納した後、ノードを移動した座標で表示部１０６にディスプレイするように指示する制御信号を伝送する。
【００５７】
本発明の一実施形態でノードの移動は、単一ノード移動と全ての子ノードを移動するという二つを備えることができる。例えば、単一ノードの移動はノードの属性設定モードがｏｎの状態でノードを「選択」した後行われることができる。この実施形態で、単一ノードの移動は「選択」を通じてノードのＩＤを得てきた後、移動した座標値を計算して選択されたノードのみを移動させることができる。
【００５８】
一方、ノードの属性設定モードがｏｆｆである状態（非活性化されて、例えば、画面に半透明状態で表示される状態）でノードを「選択」した後、移動させると、選択された単一ノードに連結された異なるグラフィックオブジェクト（例えば、選択されたノードに連結されたリンク及びリンクに連結されたノード）まで共に移動できる。この実施形態で、選択されたノードと連結された全ての他のノードのＩＤ値を抽出し、抽出されたノードの移動した座標値を計算した後、再び該当資料構造に格納することができる。
【００５９】
制御部１０４が解折した電気信号の動作が「情報修正」の場合、この動作はユーザによる仮想キーボード４５０への入力を要する場合がある。また、ノード、リンクまたはレイヤーのようなグラフィックオブジェクトの「選択」が先行しなければならない。ユーザはこのようなグラフィックオブジェクトを選択した後、仮想キーボード４５０を通じて情報を入力することによって該当グラフィックオブジェクトの情報を変更させることができる。変更された情報は前述したような該当資料構造に格納できる。
【００６０】
制御部１０４が解折した電気信号の動作が「削除」の場合、制御部１０４は選択されたグラフィックオブジェクトに関する情報を該当資料構造から除去した後、これを表示部１０６にディスプレイするように（オブジェクト除去）指示する制御信号を伝送する。即ち、この過程は上述した「生成」と反対となる作業に該当する。電気信号の対象が制御ボタン束または仮想キーボードの場合、制御部１０４は制御ボタン束または仮想キーボードをｏｆｆ状態に設定（非活性化状態にディスプレイ、例えば半透明状態に）し、これをディスプレイするように指示する制御信号を伝送する。
【００６１】
制御部１０４が解折した電気信号の動作がノードの「拡張／縮小」の場合、制御部１０４は表示部１０６上で該当ノードの子ノードを表示したり、または非表示にするように資料構造で情報を変更した後、これをディスプレイするように指示する制御信号を伝送する。
【００６２】
拡張／縮小の機能は、図１７に示した通り、ノードの属性設定モードの機能中の一つになり得る。属性設定モードはノードの属性を設定することができる状態で、例えば該当ノードをダブルクリックすることによってノードのモードを属性設定モードに転換させることができる。一方、属性設定モード状態のノードをダブルクリックする場合、再び基本モードに戻ることができる。このようなモード切替の例は、単なる例示に過ぎず、本発明がこれに制限されるものではない。
【００６３】
属性設定モードの例として、図１８〜図２０にノードの拡張／縮小、サイズ調整及びキーワード検索を示した。
【００６４】
図１８を参照すれば、ユーザは属性設定モード状態で、例えばノード４１０１の＋／−記号４１６を指で触れること（ポインティングイベント）により拡張／縮小を実行させることができる。制御部１０４は受信された電気信号が「ノードの拡張／縮小」として解折された場合、まず該当ノードが現在拡張された状態なのか縮小された状態なのかを把握することができる。図１８の左側に示した通り、ノード４１０１が拡張状態の場合、制御部１０４は子ノードのＩＤ（例えば、４１０２−４１０６）及びリンクのＩＤ（例えば、４２０１−４２０５）をノード４１０１の資料構造から収集することができる。次に、制御部１０４は収集された子ノード４１０２−４１０６及びリンク４２０１−４２０５に対し縮小状態に情報を変更した後、これらの色を例えば、透明に変更することができる。反対に、図１８の右側に示した通りノード４１０１が縮小状態の場合、制御部１０４は収集された子ノード４１０２−４１０６及びリンク４２０１−４２０５に対して情報及び色を縮小の前の状態に、例えば鮮明に変更することができる。拡張／縮小で変更された情報は該当資料構造で格納及び管理される。
【００６５】
図１９を参照すれば、属性設定モード状態で、例えばノードのサイズ調整領域４１７を指で触れた後（ポインティングイベント）、適切に引っ張る（ドラッグ）ことによってノードのサイズを調整することができる。制御部１０４は受信された電気信号が「ノードのサイズ調整」と解折された場合、ポインティングイベント発生以後から該当ノードの中心座標と現在の指の座標との間の距離を計算してこの距離に比例するようにノードのサイズを調整する。
【００６６】
図１９の左側に示したノードを基本ノードサイズと仮定する。ユーザがサイズ調整領域４１７を指で触った後、例えばノードの外側に指をドラッグすれば、図１９の中央に示したように、ノードのサイズを拡大できる。これと反対に、ユーザが例えばノードの内側に指をドラッグすれば、図１９の右側に示したように、ノードのサイズを縮小できる。
【００６７】
制御部１０４は、変更されたノードのサイズを該当ノードの資料構造（例えば、ノードリストのサイズフィールド）に格納し、これをディスプレイするように表示部１０６に制御信号を伝送する。
【００６８】
ユーザは属性設定モード状態で、例えばノードのキーワード検索領域４１８を指で触れること（ポインティングイベント）によって「キーワード検索」を実行させることができる。制御部１０４は、受信された電気信号が「キーワード検索」と解折された場合、所定のデータベース（ＤＢ：１１８；図１４参照）を探索して前記ノードのキーワードと関連したファイルを呼出し、パーサー（ｐａｓｅｒ）を通じてファイルを解折した後、これをディスプレイするように指示する制御信号を表示部１０６へ伝送することができる。
【００６９】
図２０はキーワード検索時の表示部１０６の例示的なディスプレイ状態を示したものである。表示部１０６は、図２０に示した通り、ディスプレイ領域を分割（例えば、４７０１−４７０４）して複数の資料が同時にディスプレイされるようにすることができる。図２０で分割領域を４つに示したのは単に例示的なものであり、本発明がこれに制限されるものではない。表示部１０６は現在キーワード検索が実行された該当ノード４１０を表示して、ユーザがディスプレイされた資料とこれに関連したキーワードを容易に把握することができる。
【００７０】
ノードのキーワードと関連してディスプレイ領域４７０１−４７０４にディスプレイできるファイルの例としては、ノードに対する簡略な要約情報、参考資料のハイパーリンク、ワードなどのテキスト文書、パワーポイントなどのプレゼンテーション資料、ｊｐｇなどのイメージ資料またはａｖｉなどの動画像資料を挙げることができる。また、ファイルはｍｐ３などのサウンド資料またはｗａｖなどの録音資料を備えることができる。ただし、動画像資料、サウンド資料または録音資料などを再生するためにはスピーカのような別途の音源再生装置が必要となる場合がある。このように列挙された資料は単に例示に過ぎず、ノードのキーワードと関連した資料はこれ以外にパーサーを通じて解折されてディスプレイされ得る任意のテキスト及びマルチメディア資料を備えることができる。
【００７１】
図２１は、キーワード検索時、探索された資料のディスプレイに便宜を図るための例示的な検索ボタンを示したものである。例えば、検索ボタン４６０のスクロール記号４６２、４６３を指で触れること（ポインティングイベント）により探索された資料が順にディスプレイされるようにすることができる。
【００７２】
図２２は、検索ボタンのスクロール記号を用いる一実施形態を示す。図２２の左側に見られるように、キーワード検索時に検索されたファイルは最初にディスプレイされ得る。各領域４７０１、４７０２、４７０３、４７０４はそれぞれワード（１）、ウェブページ（２）、パワーポイント（３）及びエクセル（４）ファイルをディスプレイしている。ファイルの番号は目録化された順序を示すことができる。スクロール記号４６３に触れると、資料のディスプレイが図２２の右側に見られるように変わることがある。即ち各領域４７０１、４７０２、４７０３、４７０４はウェブページ（２）、パワーポイント（３）、エクセル（４）及びイメージ（５）ファイルをディスプレイする。この状態でスクロール記号４６２に触れると、資料のディスプレイは図２２の左側に見られるように、再び元に戻る。このようなディスプレイ方式及びスクロール記号は単に例示であるだけであり、本発明がこれに制限されるものではない。
【００７３】
図２３は、キーワード検索時にディスプレイされる資料の方向を変更する例を示したものである。キーワード検索時、ユーザが方向変更領域４７５に触れると、表示部１０６にディスプレイされる資料の方向が変更される。左側の基本ディスプレイ画面でユーザが方向変更領域４７５に触れると、図２３の右側画面のように、方向変更領域４７５がテキストの上方になるようにディスプレイ方向が変更される。例えば、方向変更領域４７５が表示部１０６の四つの縁に位置すれば、上述したものと同様の形態でディスプレイされる資料の方向が四つの縁の方向に変更される。このような機能は、会議進行時に会議テーブルを取り囲んでいる参加者がどの位置からもその進行内容を容易に把握することができ、特に便利にテキスト情報を読み出すことができるという長所を提供する。
【００７４】
制御部１０４が解折した電気信号の動作が「ズームイン／アウト」の場合、制御部１０４は表示部１０６上でレイヤーのスケールを選択されたサイズに調整するように指示する制御信号を伝送する。この機能は上述したように制御ボタン束４４０の機能の中の一つの、例えばユーザが、制御ボタン束４４０がｏｎである状態で制御ボタン束４４０上の「ズームイン／アウト」の記号４４１、４４２に指で触れること（ポインティングイベント）によって実行できる。スケールを拡張させれば、全体ノードのサイズは拡張された比率だけ増加し、スケールを縮小させれば、全体ノードのサイズは縮小された比率だけ減少する。ズームイン／アウトが０％または１００％に選択されれば、それぞれ以下で説明されるレイヤーの「最小」または「最大」の場合に該当する。
【００７５】
制御部１０４が解折した電気信号の動作が「ファイル格納」の場合、制御部１０４は表示部１０６にディスプレイ中であるグラフィックオブジェクトをコンピュータ読み出し可能媒体に格納できる形態のファイルで格納する。この機能は上述した通り制御ボタン束４４０の機能中一つの、例えばユーザが制御ボタン束４４０がオン（ｏｎ）である状態で制御ボタン束４４０上の「ファイル格納」の記号４４５に指で触れること（ポインティングイベント）により実行できる。
【００７６】
本発明の望ましい実施形態で、グラフィックオブジェクトが格納されるファイルはＸＭＬ形態になり得る。この実施形態で、制御部１０４は、まず、各レイヤーに対する要素（ｅｌｅｍｅｎｔ）を生成する。制御部１０４が上述した通り、リストとグラフとしてグラフィックオブジェクトを２つの資料構造で管理する場合、レイヤーに対する要素はレイヤーリストを参照して生成できる。その次に、ノード要素及びリンク要素を生成する。グラフィックオブジェクトがリストで管理される場合、同様にノード及びリンクに対する要素はノードリスト及びリンクリストを参照して生成できる。この実施形態で、リストに含まれている付加情報を属性として追加することができる。全ての要素が生成されれば、それぞれのノード及びリンク要素を該当レイヤー要素に登録することによって一つのファイルが生成される。
【００７７】
制御部１０４が解折した電気信号の動作が「ファイルオープン」の場合、制御部１０４はグラフィックオブジェクトが格納されたファイルを呼出し、パーサーを通じて解折し、これを表示部１０６にディスプレイするように指示する制御信号を伝送する。この機能は上述した通り、制御ボタン束４４０の機能中の一つの、例えばユーザが制御ボタン束４４０がｏｎである状態で制御ボタン束４４０上の「ファイルオープン」の記号４４６に指で触れること（ポインティングイベント）によって実行できる。
【００７８】
本発明の一実施形態で、制御部１０４の「ファイルオープン」はグラフィックオブジェクトが格納されたＸＭＬファイルを呼出すことができる。この実施形態で、制御部１０４は、まず、ルート要素（ｒｏｏｔ ｅｌｅｍｅｎｔ）を確認して装置で使用可能なファイルなのかを確認した後、ルート要素の子要素（ｃｈｉｌｄ ｅｌｅｍｅｎｔ）を導き出すことができる。子要素はレイヤー要素で構成され、それぞれのレイヤー要素は子要素としてリンク要素とノード要素を備える。このような情報の表現は単一グラフに関する情報を記述するものでレイヤーとグラフ、即ち、表示領域で表現された情報を制御領域の情報と有機的に連結するためである。リンク要素は属性としてリンクのＩＤ、リンクの説明、リンクを連結する２ノードのＩＤを備えることができ、ノード要素はノードのＩＤ、ノードの説明、ノードの座標及びノードのサイズを備えることができる。制御部１０４が上述したようにリストとグラフとしてグラフィックオブジェクトを２つの資料構造で管理する場合、パーサーを通じて解析された情報は各グラフィックオブジェクトのためのリスト及びグラフに格納され、グラフィックオブジェクト生成過程を通じて表示部１０６にグラフィックオブジェクトがディスプレイされるようにする。
【００７９】
制御部１０４が解折した電気信号の動作が「最大／最小化」の場合、制御部１０４は表示部１０６上で現在活性化状態であるレイヤーに対してその情報を一時的に格納した後、非表示したり（最小化）、現在最小化されたレイヤーに対して一時的に格納された情報をオープンした後、活性化を行う（最大化）ことができる。図４に示した例を参照すれば、レイヤー４３０１は現在活性化された状態であり、レイヤー４３０２−４３０Ｌは最小化された状態である。レイヤー４３０１を最小化させると非表示となり、レイヤー４３０２−４３０Ｌの中の一つを最大化すれば該当レイヤーが活性化される。
【００８０】
表示部１０６は、制御部１０４の指示に従ってグラフィックオブジェクトをディスプレイする。表示部１０６は液晶ディスプレイ（ＬＣＤ）で具現できるが、これに制限されるものではない。
【００８１】
図２４は、本発明の望ましい一実施形態で、入力部を表示部上に装着した構成を示したものである。一例示として、入力部１０２はタッチスクリーンであり、表示部１０６はＬＣＤになり得る。円状、Ｚ状などの手動作が発生すると、入力部１０２でこの手動作に該当する電気信号を制御部１０４へ伝送し、制御部１０４は受信された電気信号を解折し、解折されたところによって適切な動作を行うが、ディスプレイと関連した動作の場合、これを指示する制御信号を表示部１０６へ伝送することができる。一方、指でグラフィックオブジェクトに触れるようにポインティングイベントが発生すれば、制御部１０４は表示部１０６と通信してポインティングされたグラフィックオブジェクトに関する情報を得ることができる。この実施形態で、ユーザはディスプレイに基づいて直観的なジェスチャーで入／出力装置を作動することができる。
【００８２】
この実施形態で、入力部１０２及び表示部１０６として大型（例えば、５５インチ）タッチスクリーン及びＬＣＤを用いれば、複数の人が大型タッチスクリーンを通じて同時に自由に情報を入力することができる。従来技術では複数の人が情報の入力を所望する場合、ノートブック、キーボード、マウスなどを多数接続した後、入力を所望する人にスイッチングしたりまたは一つの入力装置に対して複数の人が順に用いなければならなかった。本発明では使用順序を気にせず、別途の入力装置乃至スイッチング装置を接続する必要なく、一つの入力部を複数の人が便利かつ自由に用いることができる。従って、本発明は会議進行のように複数の人が共に入力し、出力を共有する作業で有利に用いられる。
【００８３】
手動作基盤の入出力装置１００は、望ましくは図２４に示した通り、グラフィックオブジェクトファイル変換部１０８を備えることができる。グラフィックオブジェクトファイル変換部１０８はグラフィックオブジェクトに対するファイルを一定の形態のファイルに変換させて既存のシステム及び多様な形態のアプリケーションプログラムと互換性を有するようにすることができる。変換されるファイルの形態は画像ファイル、ワードファイル及びパワーポイントファイル形態の文書を備えることができるが、これに制限されない。
【００８４】
図２５は本発明の一実施形態によって、多数の手動作基盤の入出力装置がサーバ１００及びクライアント２００１−２００Ｃとして通信ネットワーク３００を通じて連動する構成を示したものである。図２５のクライアント２００１−２００Ｃはユーザの個人入出力装置で用いるためのものであって、携帯の簡便なノートブック及びタブレットＰＣで具現できるが、これに制限されない。通信ネットワーク３００はＬＡＮのような有線ネットワーク、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）のような無線ネットワークなど、接続された装置間の双方向データ伝送が可能な任意のネットワークを備えることができる。
【００８５】
図２５のサーバ−クライアントシステムでサーバ１００及びクライアント２００１−２００Ｃとして用いられる手動作基盤の入出力装置は、それぞれ通信ネットワーク３００を通じてグラフィックオブジェクトに関する情報を受信する受信部１１２、２１２１−２１２Ｃ及び表示部１０６、２０６１−２０６Ｃにディスプレイされているグラフィックオブジェクトを一時的に格納する臨時格納部１１６、２１６１−２１６Ｃをさらに備える。受信部１１２、２１２１−２１２Ｃで通信ネットワーク３００を通じてグラフィックオブジェクトに関する情報を受信した場合、臨時格納部１１６、２１６１−２１６Ｃは表示部１０６、２０６１−２０６Ｃにディスプレイされているグラフィックオブジェクトを一時的に格納し、表示部１０６、２０６１−２０６Ｃは受信されたグラフィックオブジェクトをディスプレイする。
【００８６】
サーバ１００は、通信ネットワーク３００を通じてグラフィックオブジェクトに関する情報を伝送する送信部１１０及びクライアント２００１−２００Ｃが通信ネットワーク３００を通じてサーバ１００に接続を要請する場合、クライアント２００１−２００Ｃを認証して接続を許可する認証部１１４をさらに備える。認証部１１４は望ましくは、認証されたクライアント２００１−２００Ｃの付加情報、即ちＩＤ及びＩＰアドレスをハッシュテーブルに登録して接続するクライアント２００１−２００Ｃを管理することができる。
【００８７】
図２６−２７は、サーバ−クライアントシステムでサーバとクライアントがグラフィックオブジェクトに関する情報を送受信する例示的な構成を示したものである。図２６を参照すれば、サーバ１００の送信部１１０は、サーバ１００に接続されたクライアント２００１がある場合、サーバ１００の表示部１０６にディスプレイ中であるグラフィックオブジェクトに関する情報を、通信ネットワーク３００を通じて接続されたクライアント２００１へ伝送する。一実施形態で、送信部１１０から伝送するグラフィックオブジェクトに関する情報は制御部１０４が管理するグラフィックオブジェクトに関する資料構造を備えることができる。また、グラフィックオブジェクトに関する情報を伝送する過程は、上述したファイル格納機能を用いて送信部１１０を通じてなされる。
【００８８】
サーバ１００からグラフィックオブジェクトに関する情報を受信したクライアント２００１は、現在クライアント２００１の表示部２０６１にディスプレイ中であるグラフィックオブジェクトに関する情報を臨時格納部２１４１に格納し、受信したグラフィックオブジェクトを表示部２０６１にディスプレイする。このような過程は受信部２１２１から上述したファイルオープン操作を用いて行うことができる。制御部２０４１は最小化機能を用いて現在活性化されていたレイヤーを非表示にし、最大化機能を用いて新たに受信されたレイヤーを活性化させることができる。制御部２０４１がグラフィックオブジェクトを上述した資料構造で管理する場合、ファイルオープン過程と同様にパーサーを通じてグラフィックオブジェクトの情報を分析した後、新たな資料構造を生成して各グラフィックオブジェクトを生成された資料構造に登録することができる。
【００８９】
サーバ−クライアントシステムで、グラフィックオブジェクトに関する情報の送受信はＸＭＬに基づく（ＸＭＬ ｂａｓｅｄ）ソケットデータ通信を通じて行われることができる。このようなシステムを構成することにより、遠隔ユーザもサーバ上で進行中である作業内容、例えば会議内容を自らの装置（クライアント）でリアルタイムにアップデートしながら見ることができる。
【００９０】
図２７は、サーバ−クライアントシステムでクライアントがサーバにグラフィックオブジェクトに関する情報を伝送する例を示したものである。クライアント２００１は通信ネットワーク３００を通じてグラフィックオブジェクトに関する情報を伝送する送信部２１０１をさらに備える。クライアント２００１は図２６を参照して説明されたような方法でサーバ１００にグラフィックオブジェクトに関する情報を伝送することができる。サーバ１００の受信部１１２がクライアント２００１からグラフィックオブジェクトに関する情報を受信した場合、図２６を参照して説明されたような方法で受信されたグラフィックオブジェクトに関する情報を処理することができる。
【００９１】
図２６を参照して上述した通り、サーバ１００の送信部１１０は、サーバ１００に接続されたクライアント２００１−２００Ｃがあれば、サーバの表示部１０６にディスプレイ中であるグラフィックオブジェクトに関する情報を、通信ネットワーク３００を通じて接続されたクライアント２００１−２００Ｃへ伝送する。従って、図２７でクライアント２００１がサーバ１００にグラフィックオブジェクトに関する情報を伝送すれば、サーバ１００はこのグラフィックオブジェクトに関する情報を、再び接続された全体クライアント２００１−２００Ｃへ伝送するようになる。従って、サーバ−クライアントシステムに従って、一つのクライアントが有するグラフィックオブジェクトに関する情報をサーバに接続された全体クライアントがいずれも共有して見ることができるようになる。
【００９２】
これと異なり、権限が委任されたクライアント２００１がサーバ１００だけでなく接続中である他のクライアント２００２−２００Ｃに直接グラフィックオブジェクトに関する情報を伝送するように具現されることができる。
【００９３】
本発明の望ましい一実施形態で、グラフィックオブジェクトの操作権限を有する装置のみがグラフィックオブジェクトに関する情報を伝送するようにすることができる。グラフィックオブジェクトの操作権限とは、多数のクライアント２００１−２００Ｃが通信ネットワーク３００を通じてサーバ１００と連動中である時、サーバ１００の表示部１０６にディスプレイされるグラフィックオブジェクトに関する情報を伝送することができる権限として複数の装置による操作でデータが衝突することを防止するためである。グラフィックオブジェクトの操作権限は基本的にサーバ１００が有し、クライアント２００１−２００Ｃはサーバ１００にグラフィックオブジェクトの操作権限を委任するように要請することができる。
【００９４】
図２７の例を続けて参照すれば、クライアント２００１はサーバ１００からグラフィックオブジェクトの操作権限が委任されたのである。従って、この場合、サーバ１００にグラフィックオブジェクトに関する情報を伝送することができるのはクライアント２００１だけで他のクライアント２００２−２００Ｃはサーバ１００にグラフィックオブジェクトに関する情報を伝送することができない。しかし、各クライアント２００１−２００Ｃは自らの表示部２０６１−２０６Ｃにディスプレイされるグラフィックオブジェクトに対してはグラフィックオブジェクトの操作権限の如何に関係なく入力部２０２１−２０２Ｃを通じて自由に操作することができる。
【００９５】
一実施形態で、操作権限がクライアント２００１に委任された場合にもサーバ１００の入力部１０２に入力した手動作が表示部１０６に反映されるように具現できる。この場合は上述した通りクライアントがオブジェクト操作権限に関係なく自由に自らの表示部にディスプレイされたグラフィックオブジェクトを生成または削除することができることに該当する。代わりに、クライアント２００１がサーバ１００から操作権限の委任を受けた場合には入力部１０２はディセーブルでき、入力部１０２に入力された手動作が表示部１０６にディスプレイされないことも有り得る。言い換えれば、自己のみの装置として遠距離ユーザが用いるクライアントと複数の人が共通に使用中の近距離ユーザのサーバを別途に取り扱うことができる。これはアプリケーションによってユーザが取捨選択することができる。
【００９６】
図２８は、本発明の一実施形態によって手動作基盤の入出力方法（７００）を行うための論理的な流れを示したものである。まず、手動作をセンシングし、センシングされた結果を電気信号に変換する（７０１）。電気信号の例として図１２に示したメッセージタイプのプロトコルを挙げることができる。
【００９７】
段階（７０２）で、電気信号に基づいてマッピングテーブルによって動作を行う。マッピングテーブルの例として図１３に示したマッピングテーブルを挙げることができる。段階（７０３）で、行われた動作を反映させてディスプレイする。
【００９８】
手動作基盤の入出力方法（７００）は、クライアントから通信ネットワークを介して接続要請を受信する段階（７０４）をさらに備えることができる。この場合、サーバは接続を要請するクライアントを認証して接続を許可することができる（７０５）。次に、サーバはディスプレイされているグラフィックオブジェクトに関する情報を接続されたクライアントへ伝送することができる（７０６）。
【００９９】
手動作基盤の入出力方法（７００）は、接続されたクライアントのいずれか一つからグラフィックオブジェクトの操作権限に対して委任の要請を受ける段階を備えることができる（７０８）。サーバは委任要請に応答し、委任を要請したクライアントにグラフィックオブジェクトの操作権限を委任することができる（７０９）。サーバはグラフィックオブジェクトの操作権限の委任を受けたクライアントからグラフィックオブジェクトに関する情報を受信することができる（７１０）。サーバは現在サーバの表示部にディスプレイされているグラフィックオブジェクトを臨時に格納し、受信されたグラフィックオブジェクトをディスプレイすることができる（７１１）。
【０１００】
図２９は、本発明の他の一実施形態による手動作基盤の入出力方法を行うための論理的な流れを示したものである。まず、ユーザジェスチャー信号を受け入れるために入力部１０２を開放する（８０１）。その次に、制御部１０４は各グラフィックオブジェクトのための資料構造を生成する（８０２）。グラフィックオブジェクトは上述したノード、リンク、レイヤーなどを備えることができる。次に、制御部１０４は入力部を通じて電気信号を受信する（８０３）。制御部１０４はマッピングテーブルに基づいて電気信号を分析する（８０４）。マッピングテーブルは例えば、図１３に示したマッピングテーブルを備えることができる。制御部１０４は分析された内容をバッファに格納する（８０５）。制御部１０４は分析された内容が、制御部１０４が行う動作に関するメッセージなのか判断する（８０６）。メッセージの場合、それによる動作を行う（８０７）。
【０１０１】
行った動作によって表示部１０６にディスプレイを指示する制御信号を発生させる（８０８）。発生させた指示信号を表示部１０６へ伝送する（８０９）。
【０１０２】
手動作基盤の入出力方法（８００）は、８０５段階の後、接続されたクライアントが存在するかを判定する段階（８１０）をさらに備えることができる。この実施形態で、接続されたクライアントが存在する場合、バッファに格納された内容を接続されたクライアントへ伝送する（８１１）。
【０１０３】
手動作基盤の入出力方法（８００）は、複数のクライアントのために受信部１１２を開放する段階（８１２）をさらに備えることができる。この実施形態で、受信部１１２は開放後にクライアントの接続を待機する（８１３）。クライアントが接続を要請すれば（８１４）、認証部１１４でクライアントを認証して接続を許可する（８１５）。認証されたクライアントの情報をハッシュテーブルに登録して（８１６）クライアントがファイルなどを伝送した場合、これを制御部１０４で処理する（８０７）。制御部１０４の処理は例えば、上述した通りディスプレイされているグラフィックオブジェクトを臨時に格納し、伝送されたグラフィックオブジェクトをディスプレイするものとなることができる。
【０１０４】
図３０は、本発明によって手動作基盤の入力を感知し、ディスプレイする例示的なグラフィックユーザインターフェース方法の論理的流れを示したものである。ポインティングイベント（ユーザの入力）管理者はユーザ入力を感知してポインタの移動する位置を追跡し、これを変数に格納する（９１０）。ポインティングイベント発生位置がノード内部領域なのか（９２０）、リンクなのか（９３０）、グラフィックオブジェクトのない空き空間（ベース領域）なのか（９４０）を判断する。
【０１０５】
ユーザ入力位置を判断した結果、ノード内部領域の場合、入力がクリックなのか（９２１）、ドラッグなのか（９２２）、ダブルクリックなのか（９２３）を判断する。クリックの場合、現在ノードを選択された状態でディスプレイ変更する（９２１１）。ディスプレイ変更は、例えば、ノードのカラー領域（４１５；図２参照）の色を変更したり発光アニメーション効果（きらめき）を与える方法などからなることができる。ドラッグの場合、該当ノードの中心座標をポインタの座標と一致するように該当ノードのディスプレイを更新する（９２２１）。この過程をドラッグを止めるまで反復する（９２２２）。ダブルクリックの場合、ノードが属性設定モードなのかを判断し（９２３１）、属性設定モードであれば属性設定モードに必要なボタン（例えば、拡張／縮小（４１６）、スケール調整（４１７）またはキーワード検索（４１８）等；図１７参照）をディスプレイし（９２３２）、属性設定モードではない場合、基本ノード形態（図２参照）でディスプレイする（９２３３）。
【０１０６】
ユーザ入力位置を判断した結果、リンクの場合、現在リンクを選択された状態でディスプレイ変更する（９３１）。ディスプレイ変更は上述したノードと同様の方法でなされる。
【０１０７】
ユーザ入力位置を判断した結果、空き空間の場合、ドラッグなのか判断する（９４１）。ドラッグが所定のジェスチャー（例えば、ノード生成）として認識されれば（９４１２）、該当ジェスチャーに該当するディスプレイ（例えば、新たなノードディスプレイ）を行う（９４１３）。ユーザの便宜のために、ドラッグ判断段階とジェスチャー認識段階との間に選択的にドラッグについて行く実線をディスプレイすることができる（９４１１）。
【０１０８】
本発明は、また、コンピュータで読み出すことができる記録媒体にコンピュータが読み出すことができるコードとして具現することが可能である。コンピュータが読み出すことができる記録媒体はコンピュータシステムによって読まれることができるデータが格納される全ての種類の記録装置を備える。コンピュータが読み出すことができる記録媒体の例としてはＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置などがあり、また、キャリアウェーブ（例えばインターネットを介した伝送）の形態で具現されるものも備える。また、コンピュータが読み出すことができる記録媒体はネットワークに接続されたコンピュータシステムに分散し、分散方式でコンピュータが読み出すことができるコードが格納されて実行できる。そして、本発明を具現するための機能的な（ｆｕｎｃｔｉｏｎａｌ）プログラム、コード及びコードセグメントは本発明の属する技術分野のプログラマにより容易に推察できる。
【０１０９】
このような本願発明である方法及び装置は、理解を促進するために図面に示した実施形態を参考までに説明したが、これは例示的なものに過ぎず、当該分野で通常の知識を有する者であればこれから多様な変形及び均等した他実施形態が可能であるという点を理解するはずである。従って、本発明の真正な技術的保護範囲は添付された特許請求の範囲によって定められなければならない。
【産業上の利用可能性】
【０１１０】
本発明によるグラフィックユーザインターフェースは、ユーザが面倒な探索手順を行うことなく現在の案件と関連した資料及びこれらの間の関係を直観的に把握することができるようにする。
【図面の簡単な説明】
【０１１１】
【図１】図１は、本発明の一実施形態による手動作基盤の入力及びディスプレイされるグラフィックオブジェクトを表示した図面である。
【図２】図２は、本発明の一実施形態によるグラフィックオブジェクトを示す図面である。
【図３】図３は、本発明の一実施形態によるグラフィックオブジェクトを示す図面である。
【図４】図４は、本発明の一実施形態によるグラフィックオブジェクトを示す図面である。
【図５】図５は、本発明の一実施形態によるグラフィックオブジェクトを示す図面である。
【図６】図６は、本発明の一実施形態によるグラフィックオブジェクトを示す図面である。
【図７】図７は、本発明の一実施形態による手動作入出力装置の構成図である。
【図８】図８は、本発明の一実施形態による手動作入力例示図である。
【図９】図９は、本発明の一実施形態による手動作入力例示図である。
【図１０】図１０は、本発明の一実施形態による手動作入力例示図である。
【図１１】図１１は、本発明の一実施形態による手動作入力例示図である。
【図１２】図１２は、本発明の一実施形態によるメッセージタイプの電気信号及びこれを実行動作とマッピングさせるマッピングテーブルを表示した図面である。
【図１３】図１３は、本発明の一実施形態によるメッセージタイプの電気信号及びこれを実行動作とマッピングさせるマッピングテーブルを表示した図面である。
【図１４】図１４は、本発明の一実施形態による制御部の構成例示図である。
【図１５】図１５は、本発明の一実施形態による制御部で管理するグラフィックオブジェクトの資料構造図である。
【図１６】図１６は、本発明の一実施形態による制御部で管理するグラフィックオブジェクトの資料構造図である。
【図１７】図１７は、本発明の実施形態による属性設定モードの機能を示す図面である。
【図１８】図１８は、本発明の実施形態による属性設定モードの機能を示す図面である。
【図１９】図１９は、本発明の実施形態による属性設定モードの機能を示す図面である。
【図２０】図２０は、本発明の実施形態による属性設定モードの機能を示す図面である。
【図２１】図２１は、本発明の一実施形態によるキーワード検索時の表示部のディスプレイ例示図である。
【図２２】図２２は、本発明の一実施形態によるキーワード検索時の表示部のディスプレイ例示図である。
【図２３】図２３は、本発明の一実施形態によるキーワード検索時の表示部のディスプレイ例示図である。
【図２４】図２４は、本発明の一実施形態によって表示部に入力部を装着した構成の例示図である。
【図２５】図２５は、本発明の一実施形態による手動作基盤の入出力装置を用いたサーバ−クライアントシステムの構成図である。
【図２６】図２６は、本発明の一実施形態によるサーバ−クライアントシステムでグラフィックオブジェクト情報の送受信を示す構成図である。
【図２７】図２７は、本発明の一実施形態によるサーバ−クライアントシステムでグラフィックオブジェクト情報の送受信を示す構成図である。
【図２８】図２８は、本発明の一実施形態による手動作基盤の入出力方法に関する論理フローチャートである。
【図２９】図２９は、本発明の他の実施形態による手動作基盤の入出力方法に関する論理フローチャートである。
【図３０】図３０は、本発明による手動作基盤の入力を感知及びディスプレイするグラフィックユーザインターフェース方法の論理フローチャートである。
【誤訳訂正３】
【訂正対象書類名】図面
【訂正対象項目名】図１２
【訂正方法】変更
【訂正の内容】
【図１２】
2009526303.tif 000001
【誤訳訂正４】
【訂正対象書類名】図面
【訂正対象項目名】図１４
【訂正方法】変更
【訂正の内容】
【図１４】
2009526303.tif 000002
【誤訳訂正５】
【訂正対象書類名】図面
【訂正対象項目名】図２４
【訂正方法】変更
【訂正の内容】
【図２４】
2009526303.tif 000003
【誤訳訂正６】
【訂正対象書類名】図面
【訂正対象項目名】図２６
【訂正方法】変更
【訂正の内容】
【図２６】
2009526303.tif 000004
【誤訳訂正７】
【訂正対象書類名】図面
【訂正対象項目名】図２７
【訂正方法】変更
【訂正の内容】
【図２７】
2009526303.tif 000005
【誤訳訂正８】
【訂正対象書類名】図面
【訂正対象項目名】図２８
【訂正方法】変更
【訂正の内容】
【図２８】
2009526303.tif 000006
【誤訳訂正９】
【訂正対象書類名】図面
【訂正対象項目名】図２９
【訂正方法】変更
【訂正の内容】
【図２９】
2009526303.tif 000007