(57)【特許請求の範囲】
【請求項１】
コンピュータにより取り扱われる複数のオブジェクトを組織化するための、コンピュータにより実行される双方向型のオブジェクト組織化方法であって、
表示装置の表示画面上に、前記複数のオブジェクトを前景レイヤーに前景オブジェクトのグループおよび背景レイヤーに背景オブジェクトのグループを表示させ、
（ａ）少なくとも１つの前景オブジェクトをブラッシングして視覚化し、
（ｂ）ユーザによる入力に応じて、少なくとも１つの前景オブジェクトを動かし、
（ｃ）前記少なくとも１つの前景オブジェクトを動かした後の前記オブジェクトの共通特性に基づいて、前記前景オブジェクトのグループに属する少なくとも１つのオブジェクトを前記「背景」レイヤー内に移動するか、前記「背景」オブジェクトのグループに属する少なくとも１つのオブジェクトを前記前景レイヤー内に移動し、
（ｄ）少なくとも１つの基準に合致するまで（ａ）から（ｃ）を繰り返す、
オブジェクト組織化方法。
【請求項２】
ブラッシングは、少なくとも２つの前景オブジェクトの共通特性に基づいて、少なくとも１つのオブジェクトに少なくとも１つの装飾を置くことによってなされ、
前記装飾は矢印および色付ボーダーの少なくとも一方である、
請求項１に記載のオブジェクト組織化方法。
【請求項３】
（ｂ）は、ユーザによるオブジェクトの移動と連動して前記前景オブジェクトを表示させる請求項１に記載のオブジェクト組織化方法。
【請求項４】
（ｂ）は、ユーザによるターゲットスナッピング動作に応じて、オブジェクトの移動に関するコンピュータによる支援の表示を行う請求項１に記載のオブジェクト組織化方法。
【請求項５】
（ｃ）は、オブジェクトの検索に応じて、オブジェクトの移動処理がなされる請求項１に記載のオブジェクト組織化方法。
【請求項６】
（ｃ）において、前記共通特性は、関連スコアおよび「グループ」集合情報の少なくとも一方である請求項１に記載のオブジェクト組織化方法。
【請求項７】
（ｃ）は、前記オブジェクトの関連スコアに基づいて、前記「前景レイヤー」の少なくとも１つのオブジェクトを「先に検索されたレイヤー」内に取り出し、前記「背景」レイヤーの少なくとも１つのオブジェクトを「検索されたレイヤー」内に取り出すことをさらに含む請求項１に記載のオブジェクト組織化方法。
【請求項８】
コンピュータにより取り扱われる複数のオブジェクトを組織化するための、コンピュータにより実行される双方向型のオブジェクト組織化方法であって、
前記複数のオブジェクトを、前景レイヤーに前景オブジェクトのグループおよび背景レイヤーに背景オブジェクトのグループを表示し、
（ａ）前記「前景レイヤー」の少なくとも１つのオブジェクトを選択し、
（ｂ）少なくとも１つの前景オブジェクトをブラッシングを通して視覚化し、
（ｃ）ユーザによる入力に応じて、少なくとも１つの前景オブジェクトを動かし、
（ｄ）前記少なくとも１つの前景オブジェクトを動かした後の前記複数のオブジェクトについて、それら複数のオブジェクトの少なくとも１つのオブジェクト用の関連スコアを計算し、
（ｅ）前記複数の関連スコアに基づいて、前記複数の「グループ」用の集合情報を計算し、
（ｆ）前記オブジェクトの前記関連スコアおよび前記「グループ」集合情報の少なくとも一方に基づいて、前記「前景レイヤー」の少なくとも１つのオブジェクトを前記「背景」レイヤー内に取り出すか、前記「背景」レイヤーの少なくとも１つのオブジェクトを前記「前景レイヤー」内に取り出し、
（ｇ）少なくとも１つの基準に合致するまで（ｂ）から（ｆ）を繰り返す、
オブジェクト組織化方法。
【請求項９】
（ｄ）において、オブジェクト関連スコアは、メタデータのクエリーに基づいて計算される請求項８に記載のオブジェクト組織化方法。
【請求項１０】
前記メタデータは、時間、場所、類似ラベル、類似テキスト、類似した顔の存在、類似した人の存在、類似イベント、類似場所および他の抽出された情報からなるグループから選択される請求項９に記載のオブジェクト組織化方法。
【請求項１１】
（ｆ）は、「グループ」のオブジェクトの集合情報に基づく請求項８に記載のオブジェクト組織化方法。
【請求項１２】
（ｃ）および（ｆ）の少なくとも一方が、流動的なアニメーション化された表示で示される請求項８に記載のオブジェクト組織化方法。
【請求項１３】
画面表示を操作することをさらに含み、
前記操作は、
オブジェクトの少なくとも１つのグループを強調することと、
オブジェクトの少なくとも１つのグループを印刷することと、
オブジェクトの少なくとも１つのグループの画像を装置へダウンロードすることと、
からなるグループから選ばれる、
請求項８に記載のオブジェクト組織化方法。
【請求項１４】
（ｂ）は、オブジェクト関連スコアを示すことをさらに含み、
前記関連スコアは、前記オブジェクトのサイズおよび透明度の少なくとも一方によって大型画面に示される、
請求項８に記載のオブジェクト組織化方法。
【請求項１５】
コンピュータにより取り扱われる複数のオブジェクトを組織化するための、コンピュータにより実行される双方向型のオブジェクト組織化方法であって、
前記オブジェクトが三次元「Ｘ−Ｙ−Ｚ」表現に組織化され、画面表示が最上の「Ｚ方向」の「Ｘ−Ｙ」平面に等しく、
（ａ）前記最上の「Ｚ方向」の前記「Ｘ−Ｙ」平面の少なくとも１つのオブジェクトをコンピュータブラッシングし、
（ｂ）前記最上の「Ｚ方向」の前記「Ｘ−Ｙ」平面の少なくとも１つのオブジェクトをユーザによる入力に応じて動かし、
（ｃ）前記少なくとも１つのオブジェクトを動かした後の前記オブジェクトの共通特性に基づいて、前記「Ｚ方向」の少なくとも１つのオブジェクトを前記最上の「Ｚ方向」へ取り出し、
（ｄ）少なくとも１つの基準に合致するまで（ａ）から（ｃ）を繰り返す、
オブジェクト組織化方法。
【請求項１６】
前記「Ｚ方向」は、前記オブジェクトのサイズおよび前記オブジェクトの透明度の少なくとも一方によって前記画面に表される請求項１５に記載のオブジェクト組織化方法。
【請求項１７】
コンピュータにより取り扱われる複数のオブジェクトを組織化するための、コンピュータにより実行される双方向型のオブジェクトを組織化するシステムであって、
前記複数のオブジェクトが、前景レイヤーに前景オブジェクトのグループとして、および背景レイヤーに背景オブジェクトのグループとして表示され、
（ａ）少なくとも１つの前景オブジェクトをブラッシングを通して視覚化する手段と、
（ｂ）ユーザによる入力に応じて、少なくとも１つの前景オブジェクトを動かす手段と、
（ｃ）前記動かす手段により前記少なくとも１つの前景オブジェクトを動かした後の前記複数のオブジェクトについて、それら複数のオブジェクトの少なくとも１つのオブジェクト用の関連スコアを計算する手段と、
（ｄ）前記複数の関連スコアに基づいて、前記複数の「グループ」用の集合情報を計算する手段と、
（ｅ）前記オブジェクトの前記関連スコアおよび前記「グループ」集合情報の少なくとも一方に基づいて、前記「前景レイヤー」の少なくとも１つのオブジェクトを前記「背景」レイヤー内に取り出すか、前記「背景」レイヤーの少なくとも１つのオブジェクトを前記「前景レイヤー」内に取り出す手段と、
（ｆ）少なくとも１つの基準に合致するまで（ａ）から（ｅ）の手段による処理を繰り返す手段と、
を備えるオブジェクト組織化システム。
【請求項１８】
コンピュータにより取り扱われる複数のオブジェクトを組織化するための、コンピュータにより実行される双方向型のオブジェクトを組織化する機能をコンピュータに実行させるプログラムであって、
前記機能は、
前記複数のオブジェクトを、前景レイヤーに前景オブジェクトのグループとして、および背景レイヤーに背景オブジェクトのグループとして表示し、
（ａ）少なくとも１つの前景オブジェクトをブラッシングを通して視覚化し、
（ｂ）ユーザによる入力に応じて、少なくとも１つの前景オブジェクトを動かし、
（ｃ）前記少なくとも１つの前景オブジェクトを動かした後の前記複数のオブジェクトについて、それら複数のオブジェクトの少なくとも１つのオブジェクト用の関連スコアを計算し、
（ｄ）前記複数の関連スコアに基づいて、前記複数の「グループ」用の集合情報を計算し、
（ｅ）前記オブジェクトの前記関連スコアおよび前記「グループ」集合情報の少なくとも一方に基づいて、前記「前景レイヤー」の少なくとも１つのオブジェクトを前記「背景」レイヤー内に取り出すか、前記「背景」レイヤーの少なくとも１つのオブジェクトを前記「前景レイヤー」内に取り出し、
（ｆ）少なくとも１つの基準に合致するまで（ａ）から（ｅ）を繰り返す、
ことを含む、
オブジェクト組織化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画面上での表示を組織化し検索し効果的に使用するインタラクティブな方法に関する。詳細には、本発明は、ファイル、メモ、写真、音楽ファイル、および、他のメディアといった複数のオブジェクトを組織化する、コンピュータ支援されたインタラクティブな方法、システムおよびプログラムに関する。
【背景技術】
【０００２】
大型表示、たとえば、液晶ディスプレイ（ＬＣＤ）、プラズマ画面およびプロジェクタ等の技術の進歩は、ビジネス、教育および家庭環境で、大型表示を広くあちこちに存在するものにしている。将来、コンピュータ化されたテーブルトップおよび壁型ディスプレイシステムが、より一般的になる。アプリケーションは、これらの大型共用表示装置の構造要素を利用する。多くのこれらのアプリケーションは、デスクトップパソコン（ＰＣ）用に設計されたものとは異なり、新しい双方向型操作技術を必要とする。
【０００３】
「ポンド（Pond）」は、音楽コンパクトディスク（ＣＤ）サムネイルを検索するためのテーブルトップアプリケーションである（非特許文献１）。メタファーは、魚群がいる池である。テーブルは、タッチ画面表示および無線ＩＣタグ（ＲＦＩＤ）リーダーを有する。予め規定されたキーワードを備えたＲＦＩＤタグがリーダーの上に置かれてクエリーを開始する。ポンドでは、オブジェクト（魚）の「グループ」（群）が検索され、池に表示される。各クエリーは「グループ」を生成する。池には特別なびく区域があり、ユーザは、選択群を作るために関心のあるオブジェクトを選択してそこに置くことができ、より多くのオブジェクトを環境内にもたらすために、群はクエリーを開始する。
【０００４】
三菱電機米国研究所（Mitsubishi Electric Research Laboratories）（ＭＥＲＬ）で開発されたテーブルトップアプリケーションは、オブジェクトの操作をサポートし、オブジェクトのグループをテリトリーとして取り扱う。パーソナルデジタルヒストリアン（Personal Digital Historian）は、個人的なデジタルデータ、すなわち、写真、オーディオ、ビデオを共有することをサポートする（非特許文献２）。双方向型操作モデルは回転式テーブルであり、ユーザは、テーブルの外側縁に沿って手を引いて、表示されたオブジェクトを回転することができる。「ユビテーブル（UbiTable）」および「ダイアモンドスピン（DiamondSpin）」は、テーブルを共用区域および個人的区域に分割することをサポートする（非特許文献３および４）。
【０００５】
本発明に関する特徴を備えた他のテーブルトップシステムとして、非特許文献５〜１１が挙げられる。
【０００６】
「電子ウォールおよび作業面」
【０００７】
パロアルトリサーチセンター（Palo Alto Research Center）（ＰＡＲＣ）の電子ホワイトボードおよび作業面でオブジェクトを組織化するためのリサーチシステムは、「ヴィキ（VIKI）」および「チボリ（Tivoli）」を含む（非特許文献１２〜１４）。これらのシステムは、自由形態作業面上のオブジェクトの暗示的構造物の認識をサポートする。特に、「ブロブ（blob）」を形成するオブジェクトは、接触するオブジェクトの「グループ」を決定することによって、または、空間密度を使用してクラスタリングを通して「グループ」を検出することによって、検出される。
【０００８】
「ダイナウォール（DynaWall）」システムは、磁力メタファーを使用して、電子「カード」のグループ分けをサポートする（非特許文献１５）。エレメントカードは互いに反発し、そのため、一方が他方の頂部にドラッグされるときには、オーバーラップが回避される。タイトルカードは他のカードを引きつけ、そのため、エレメントカードがその上にドラッグされるときに、一緒にくっつく。グループ分けによる検索はサポートされない。
【０００９】
大型表示上で操作するための双方向型操作技術を調査する他の最近のリサーチプロジェクトとして、「ピックアンドドロップ（Pick-and-Drop）」、「ドラッグアンドスロー（Drag-and-Throw）」、「プッシュアンドスロー（Push-and-Throw）」、「ドラッグアンドポップ（Drag-and-Pop）」、「ドラッグアンドピック（Drag-and-Pick）」、「プッシュアンドポップ（Push-and-Pop）」が挙げられる（非特許文献１６〜１９）。「ドラッグアンドポップ」および「プッシュアンドポップ」技術は、動かされているアイコンまたはドキュメントのタイプとの互換性によって潜在的なターゲットを識別する。「ドラッグアンドポップ」技術で、ユーザがオブジェクトをターゲットの方向に向けてドラッグすると、潜在的なターゲットのコピーがドラッグの方向に沿ってポップアップし、ソースオブジェクトのより近くにもたらされる。これらのコピーは、輪ゴム状のグラフィックスによってオリジナルに接続される。「プッシュアンドポップ」は類似技術であるが、重なった「テイクオフエリア」において、ドラッグされたオブジェクトを潜在的なターゲットで囲む点が異なる。
【００１０】
「グループ分けおよび検索用の双方向型操作および視覚化」
【００１１】
「スキャッター／ギャザー（Scatter/Gather）」システムは、結果を反復的にクラスタリングしユーザが関連クラスタを選択することを可能にすることによってサーチを狭めることをサポートする（非特許文献２０）。
【００１２】
「ヴィブ（VIBE）」システムは、表示上のキータームおよび位置に規定された関心点でドキュメント検索用の視覚化を使用する（非特許文献２１）。検索されたドキュメントは、力モデルを使用して関心点への関連に基づいて位置決めされる。「ヴィブ」タイプシステムの弱点は、オブジェクトが複数の力の影響下にあるときに、関連クラスタを解釈するのが困難でありうることである。
【非特許文献１】スタール（Ｓｔａｈｌ）ら、「ポンドを使用する情報探索（Information exploration using the Pond）」、ＣＶＥ  ２００２年会報、２００２年、頁７２〜７９
【非特許文献２】シェン（Ｓｈｅｎ）ら、「パーソナルデジタルヒストリアン：ユーザインタフェース設計（Personal Digital Historian: User Interface design）」、ＣＨＩ  ２００１年拡張アブストラクト、２００１年、頁２９〜３０
【非特許文献３】シェン（Ｓｈｅｎ）ら、「ユビテーブル：水平双方向型操作面における即興の対面コラボレーション（UbiTable: Impromptu face-to-face collaboration on horizontal interactive surfaces）」、ユビコンプ(UbiConp)  ２００３年会報、２００３年、頁２８１〜２８８
【非特許文献４】シェン（Ｓｈｅｎ）ら、「ダイアモンドスピン：テーブルまわりの双方向型操作のための拡張可能なツールキット（DiamondSpin: an extensible toolkit for around the-table interaction）」、ＣＨＩ  ２００４年会報、２００４年、頁１６７〜１７４
【非特許文献５】ストライツ（Ｓｔｒｅｉｔｚ）ら、「共同ビル用ルームウェア：建築スペースおよび情報スペースの総合設計（Roomware for cooperative buildings: Integrated design of architectural spaces and information spaces）」、コビルド（ＣｏＢｕｉｌｄ）  １９９８年会報、１９９８年、頁４〜２１
【非特許文献６】タンドラー（Ｔａｎｄｌｅｒ）ら、「コネクテーブルズ：共有ワークスペースを柔軟に形成するための表示のダイナミックカップリング（ConnecTables: Dynamic coupling of displays for the flexible creation of shared workspaces）」、ＵＩＳＴ  ２００１年会報、２００１年、頁１〜２０
【非特許文献７】パットン（Ｐａｔｔｅｎ）ら、「センステーブル：タンジブルユーザインタフェース用ワイヤレスオブジェクト追跡プラットフォーム（Sensetable: A wireless object tracking platform for tangible user interface）」、ＣＨＩ  ２００１年会報、２００１年、頁２５３〜２６０
【非特許文献８】マツシタ（Ｍａｔｓｕｓｉｔａ）ら、「ルミサイトテーブル：各利害関係者へ映し出された情報の方向を最適化する対面コラボレーションサポートシステム（Lumisight table: a face-to-face collaboration support system that optimizes direction off projected information to each stakeholder）」、ＣＳＣＷ  ２００４年会報、２００４年、頁２７４〜２８３
【非特許文献９】リンゲル（Ｒｉｎｇｅｌ）ら、「解放、移転、再配向、サイズ変更：マルチユーザインタラクティブテーブルにおけるドキュメント共有用の流動的技術（Release, relocate, reorient, resize: fluid techniques for document sharing on multi-user interactive tables）」、ＣＨＩ  ２００４年拡張アブストラクト、２００４年、頁１４４１〜１４４４
【非特許文献１０】ラール（Ｒｙａｌｌ）ら、「テーブルトップ共有表示グループウェアとの双方向型操作におけるグループサイズおよびテーブルサイズの効果を探索（Exploring the effects of group size and table size on interactions with tabletop shared-display groupware）」、ＣＳＣＷ  ２００４年会報、２００４年、頁２８４〜２９３
【非特許文献１１】スコット（Ｓｃｏｔｔ）ら、「共同テーブルトップワークスペースにおけるテリトリアリティ（Territoriality in collaborative tabletop workspaces）」、ＣＳＣＷ  ２００４年会報、２００４年、頁２９４〜３０３
【非特許文献１２】シップマン（Ｓｈｉｐｍａｎ）ら、「人が組織化した空間情報レイアウトにおける暗示的構造物の発見および使用（Finding and using implicit structure in human-organized spatial information layouts）」、ＣＨＩ  １９９５年会報、１９９５年、頁３４６〜３５３
【非特許文献１３】モラン（Ｍｏｒａｎ）ら、「自由形態双方向型操作パラダイム内のペンベースシステム用の暗示的構造物（Implicit structures for pen-based systems within a freeform interaction paradigm）」、ＣＨＩ  １９９５年会報、１９９５年、頁４８７〜４９４
【非特許文献１４】モラン（Ｍｏｒａｎ）ら、「自由形態電子ホワイトボードに統合された領域オブジェクトの空間的解釈（Spatial interpretation of domain objects integrated into a freeform electronic whiteboard）」、ＵＩＳＴ  １９９８年会報、１９９８年、頁１７５〜１８４
【非特許文献１５】プランテ（Ｐｒａｎｔｅ）ら、「ルームウェア：コンピュータが消失し双方向型操作が進化する（Roomware: Computers Disappear and interaction evolves）」、ＩＥＥＥ  コンピュータ（Ｃｏｍｐｕｔｅｒ）、２００４年１２月、頁４７〜５４
【非特許文献１６】レキモト（Ｒｅｋｉｍｏｔｏ）、「ピックアンドドロップ：複数コンピュータ環境用の直接操作技術（Pick-and-Drop: A direct manipulation technique for multiple computer environments）」、ＵＩＳＴ  １９９７年会報、ＡＣＭプレス（Ｐｒｅｓｓ）、１９９７年、頁３１〜３９
【非特許文献１７】ハスコート（Ｈａｓｃｏｅｔ）、「大型表示用スローイングモデル（Throwing models for large displays）」、ＨＣＩ  ２００３年会報、２００３年、頁７３〜７７
【非特許文献１８】ボーディッシュ（Ｂａｕｄｉｓｃｈ）ら、「ドラッグアンドポップおよびドラッグアンドピック：タッチシステムおよびペン操作システム上のリモート画面コンテンツにアクセスするための技術（Drag-and-Pop and Drag-and-Pick: Techniques for Accessing Remote Screen Content on Touch- and Pen-operated Systems）」、インターアクト（Ｉｎｔｅｒａｃｔ）  ２００３年会報、２００３年、頁５７
【非特許文献１９】コロン（Ｃｏｌｌｏｍｂ）ら、「ウォールサイズ表示におけるドラッグアンドポップの改良（Improving drag-and-drop on wall-size displays）」、ＧＩ  ２００５年会報、２００５年５月、頁２５〜３２
【非特許文献２０】カッティング（Ｃｕｔｔｉｎｇ）ら、「スキャッター／ギャザー：大型ドキュメント集合をブラウズするためのクラスタベースアプローチ（Scatter/Gather: a cluster-based approach to browsing large document collections）」、ＡＣＭ  ＳＩＧＩＲ  １９９２年会報、１９９２年、頁３１８〜３２９
【非特許文献２１】オルソン（Ｏｌｓｅｎ）ら、「ドキュメント収集の視覚化：ヴィブシステム（visualization of a Document Collection: the VIBE System）」、情報処理および管理（Ｉｎｆｏｒｍａｔｉｏｎ  Ｐｒｏｃｅｓｓｉｎｇ  ＆  Ｍａｎａｇｅｍｅｎｔ）、１９９３年、２９（１）、頁６９〜８２
【非特許文献２２】ベイヤー（Ｂｅｙｅｒ）ら、「文脈設計：顧客中心システムの確立（Contextual Design: Defining Customer-Centered Systems）」、モーガンカウフマン出版社（Ｍｏｒｇａｎ  Ｋａｕｆｍａｎｎ  Ｐｕｂｌｉｓｈｅｒｓ  Ｉｎｃ．）、１９９８年
【非特許文献２３】スクピン（Ｓｃｕｐｉｎ）、「ＫＪ法：日本民族学から派生したデータを分析するための技術（KJ Method: A Technique for Analyzing Data Derived from Japanese Ethnology）」、フナンオーガニゼーション（Ｈｕｎａｎ  Ｏｒｇａｎｉｚａｔｉｏｎ）、１９９７年、５６（２）、頁２３３〜２３７
【非特許文献２４】国連地域開発センター（United Nations Centre for Regional Development）（ＵＮＣＲＤ）、「ＫＪ法：第２テーマ研修コース（KJ Method: Second Thematic Training Course）（２００１年１１月１日〜３０日）」、[online]、［２００６年３月１３日検索］、インターネット<URL:http://www.uncrd.or.jp/hs/01i#ttc2/doc/01i#m5#23noji#ppt.pdf>
【非特許文献２５】アールベルグ（Ａｈｌｂｅｒｇ）ら、「視覚情報探索：ダイナミッククエリーフィルタとスターフィールド表示との密なカップリング（Visual information seeking: tight coupling of dynamic query filters with starfield displays）」、ＣＨＩ  １９９４年会報、１９９４年、頁３１３〜３１７
【非特許文献２６】[online]、［２００６年３月１０日検索］、インターネット<URL:http://Flickr.com>
【非特許文献２７】アイオフェ（Ｉｏｆｆｅ）、「機械学習能力での赤目現象の検出（Red Eye Detection with Machine Learning）」、画像処理に関するＩＥＥＥ国際学会（ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ）、２００３年、第２巻、頁８７１〜８７４
【非特許文献２８】[online]、［２００６年３月１３日検索］、インターネット<URL: http://lucene.apache.org>
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明の課題は、表示装置画面上におけるオブジェクトの組織化を容易に行うことができるようにすることである。
【課題を解決するための手段】
【００１４】
本発明は、特に、電子テーブルトップまたは大型ウォールなどと言った大型の表示装置での表示におけるオブジェクトの組織化、グループ分け、ラベル付けおよび検索の作業をサポートするための技術である。
【００１５】
本発明の第１の態様は、コンピュータにより取り扱われる複数のオブジェクトを組織化するための、コンピュータにより実行される双方向型のオブジェクト組織化方法であって、表示装置の表示画面上に、前記複数のオブジェクトを前景レイヤーに前景オブジェクトのグループおよび背景レイヤーに背景オブジェクトのグループを表示させ、（ａ）少なくとも１つの前景オブジェクトをブラッシングして視覚化し、（ｂ）少なくとも１つの前景オブジェクトを動かし、（ｃ）前記オブジェクトの共通特性に基づいて、前記前景オブジェクトのグループに属する少なくとも１つのオブジェクトを前記「背景」レイヤー内に移動するか、前記「背景」オブジェクトのグループに属する少なくとも１つのオブジェクトを前記前景レイヤー内に移動し、（ｄ）少なくとも１つの基準に合致するまで（ａ）から（ｃ）を繰り返す。
【００１６】
本発明の第２の態様は、第１の態様のオブジェクト組織化方法であって、ブラッシングは、少なくとも２つの前景オブジェクトの共通特性に基づいて、少なくとも１つのオブジェクトに少なくとも１つの装飾を置くことによってなされ、前記装飾は矢印および色付ボーダーの少なくとも一方である。
【００１７】
本発明の第３の態様は、第１の態様のオブジェクト組織化方法であって、（ｂ）は、ユーザによるオブジェクトの移動と連動して前記前景オブジェクトを表示させる。
【００１８】
本発明の第４の態様は、第１の態様のオブジェクト組織化方法であって、（ｂ）は、ユーザによるターゲットスナッピング動作に応じて、オブジェクトの移動に関するコンピュータによる支援の表示を行う。
【００１９】
本発明の第５の態様は、第１の態様のオブジェクト組織化方法であって、（ｃ）は、オブジェクトの検索に応じて、オブジェクトの移動処理がなされる。
【００２０】
本発明の第６の態様は、第１の態様のオブジェクト組織化方法であって、（ｃ）において、前記共通特性は、関連スコアおよび「グループ」集合情報の少なくとも一方である。
【００２１】
本発明の第７の態様は、第１の態様のオブジェクト組織化方法であって、（ｃ）は、前記オブジェクトの前記関連スコアに基づいて、前記「前景レイヤー」の少なくとも１つのオブジェクトを「先に検索されたレイヤー」内に取り出し、前記「背景」レイヤーの少なくとも１つのオブジェクトを「検索されたレイヤー」内に取り出すことをさらに含む。
【００２２】
本発明の第８の態様は、コンピュータにより取り扱われる複数のオブジェクトを組織化するための、コンピュータにより実行される双方向型のオブジェクト組織化方法であって、前記複数のオブジェクトを、前景レイヤーに前景オブジェクトのグループおよび背景レイヤーに背景オブジェクトのグループを表示し、（ａ）前記「前景レイヤー」の少なくとも１つのオブジェクトを選択し、（ｂ）少なくとも１つの前景オブジェクトをブラッシングを通して視覚化し、（ｃ）少なくとも１つの前景オブジェクトを動かし、（ｄ）前記複数のオブジェクトの少なくとも１つのオブジェクト用の関連スコアを計算し、（ｅ）前記複数の関連スコアに基づいて、前記複数の「グループ」用の集合情報を計算し、（ｆ）前記オブジェクトの前記関連スコアおよび前記「グループ」集合情報の少なくとも一方に基づいて、前記「前景レイヤー」の少なくとも１つのオブジェクトを前記「背景」レイヤー内に取り出すか、前記「背景」レイヤーの少なくとも１つのオブジェクトを前記「前景レイヤー」内に取り出し、（ｇ）少なくとも１つの基準に合致するまで（ｂ）から（ｆ）を繰り返す。
【００２３】
本発明の第９の態様は、第８の態様のオブジェクト組織化方法であって、（ｄ）において、オブジェクト関連スコアは、メタデータのクエリーに基づいて計算される。
【００２４】
本発明の第１０の態様は、第９の態様のオブジェクト組織化方法であって、前記メタデータは、時間、場所、類似ラベル、類似テキスト、類似した顔の存在、類似した人の存在、類似イベント、類似場所および他の抽出された情報からなるグループから選択される。
【００２５】
本発明の第１１の態様は、第８の態様のオブジェクト組織化方法であって、（ｆ）は、「グループ」のオブジェクトの集合情報に基づく。
【００２６】
本発明の第１２の態様は、第８の態様のオブジェクト組織化方法であって、（ｃ）および（ｆ）の少なくとも一方が、流動的なアニメーション化された表示で示される。
【００２７】
本発明の第１３の態様は、第８の態様のオブジェクト組織化方法であって、画面表示を操作することをさらに含み、前記操作は、オブジェクトの少なくとも１つのグループを強調することと、オブジェクトの少なくとも１つのグループを印刷することと、オブジェクトの少なくとも１つのグループの画像を装置へダウンロードすることと、からなるグループから選ばれる。
【００２８】
本発明の第１４の態様は、第８の態様のオブジェクト組織化方法であって、（ｂ）は、オブジェクト関連スコアを示すことをさらに含み、前記関連スコアは、前記オブジェクトのサイズおよび透明度の少なくとも一方によって大型画面に示される。
【００２９】
本発明の第１５の態様は、コンピュータにより取り扱われる複数のオブジェクトを組織化するための、コンピュータにより実行される双方向型のオブジェクト組織化方法であって、前記オブジェクトが三次元「Ｘ−Ｙ−Ｚ」表現に組織化され、画面表示が最上の「Ｚ方向」の「Ｘ−Ｙ」平面に等しく、（ａ）前記最上の「Ｚ方向」の前記「Ｘ−Ｙ」平面の少なくとも１つのオブジェクトをコンピュータブラッシングし、（ｂ）前記最上の「Ｚ方向」の前記「Ｘ−Ｙ」平面の少なくとも１つのオブジェクトをユーザが動かし、（ｃ）前記オブジェクトの共通特性に基づいて、前記「Ｚ方向」の少なくとも１つのオブジェクトを前記最上の「Ｚ方向」へ取り出し、（ｄ）少なくとも１つの基準に合致するまで（ａ）から（ｃ）を繰り返す。
【００３０】
本発明の第１６の態様は、第１５の態様のオブジェクト組織化方法であって、前記「Ｚ方向」は、前記オブジェクトのサイズおよび前記オブジェクトの透明度の少なくとも一方によって前記画面に表される。
【００３１】
本発明の第１７の態様は、コンピュータにより取り扱われる複数のオブジェクトを組織化するための、コンピュータにより実行される双方向型のオブジェクトを組織化するシステムであって、前記複数のオブジェクトが前景オブジェクトのグループおよび背景オブジェクトのグループに表示され、（ａ）少なくとも１つの前景オブジェクトをブラッシングを通して視覚化する手段と、（ｂ）少なくとも１つの前景オブジェクトを動かす手段と、（ｃ）前記複数のオブジェクトの少なくとも１つのオブジェクト用の関連スコアを計算する手段と、（ｄ）前記複数の関連スコアに基づいて、前記複数の「グループ」用の集合情報を計算する手段と、（ｅ）前記オブジェクトの前記関連スコアおよび前記「グループ」集合情報の少なくとも一方に基づいて、前記「前景レイヤー」の少なくとも１つのオブジェクトを前記「背景」レイヤー内に取り出すか、前記「背景」レイヤーの少なくとも１つのオブジェクトを「前景レイヤー」内に取り出す手段と、（ｆ）少なくとも１つの基準に合致するまで（ａ）から（ｅ）の手段による処理を繰り返す手段と、を備える。
【００３２】
本発明の第１８の態様は、コンピュータにより取り扱われる複数のオブジェクトを組織化するための、コンピュータにより実行される双方向型のオブジェクトを組織化する機能をコンピュータに実行させるプログラムであって、前記機能は、（ａ）少なくとも１つの前景オブジェクトをブラッシングを通して視覚化し、（ｂ）少なくとも１つの前景オブジェクトを動かし、（ｃ）前記複数のオブジェクトの少なくとも１つのオブジェクト用の関連スコアを計算し、（ｄ）前記複数の関連スコアに基づいて、前記複数の「グループ」用の集合情報を計算し、（ｅ）前記オブジェクトの前記関連スコアおよび前記「グループ」集合情報の少なくとも一方に基づいて、前記「前景レイヤー」の少なくとも１つのオブジェクトを前記「背景」レイヤー内に取り出すか、前記「背景」レイヤーの少なくとも１つのオブジェクトを前記「前景レイヤー」内に取り出し、（ｆ）少なくとも１つの基準に合致するまで（ａ）から（ｅ）を繰り返す、ことを含む。
【００３３】
より具体的には、本発明の実施形態に示すように、ダイナミックな視覚化を使用して、ドキュメントの現在の作業セットを示す。本発明の実施形態において、集合の残りは、小さなドットとして背景に表される。本発明の様々な実施形態において、ユーザがオブジェクトを「グループ」内に動かすかまたはラベルを形成するときに、背景の関連オブジェクトは自動的に検索され、前景レイヤー内に動かされる。本発明の様々な実施形態において、現在のセットの関連オブジェクトに沿って検索されたオブジェクトは、コード、色、装飾で強調されるか、または、その関連グループを指し示す矢印で強調される。本発明の実施形態において、あいまいさまたは不明確さがあるときには、関連オブジェクトはその「グループ」内に自動的には動かされず、ユーザは、関係を解釈する機会が与えられ、矢印をクリックしてオブジェクトを「グループ」内に送る。本発明の実施形態において、オブジェクトが大型表示上での長い距離によって分離される場合、ユーザにフィードバックを提供するために動きがアニメーション化される。
【発明の効果】
【００３４】
本発明は、（ａ）少なくとも１つの前景オブジェクトをブラッシングを通して視覚化し、（ｂ）少なくとも１つの前景オブジェクトを動かし、（ｃ）オブジェクトの共通特性に基づいて、「前景レイヤー」の少なくとも１つのオブジェクトを「背景」レイヤー内に取り出すか、「背景」レイヤーの少なくとも１つのオブジェクトを「前景レイヤー」内に取り出し、（ｄ）少なくとも１つの基準に合致するまで（ａ）から（ｃ）を繰り返す。これにより、本発明では、大型表示におけるオブジェクトの組織化を容易に行うことができる。
【発明を実施するための最良の形態】
【００３５】
本発明の一実施形態は、（ａ）少なくとも１つの前景オブジェクトをブラッシングを通して視覚化する手段と、（ｂ）少なくとも１つの前景オブジェクトを動かす手段と、（ｃ）複数のオブジェクトの少なくとも１つのオブジェクト用の関連スコアを計算する手段と、（ｄ）複数の関連スコアに基づいて、複数の「グループ」用の集合情報を計算する手段と、（ｅ）前記オブジェクトの関連スコアおよび「グループ」集合情報の少なくとも一方に基づいて、「前景レイヤー」の少なくとも１つのオブジェクトを「背景」レイヤー内に取り出し、「背景」レイヤーの少なくとも１つのオブジェクトを「前景レイヤー」内に取り出す手段と、（ｆ）少なくとも１つの基準に合致するまで（ａ）から（ｅ）の手段による処理を繰り返す手段と、を少なくとも備えるシステムによって、実行することができる。
【００３６】
該システムは、専用の装置であっても、汎用のコンピュータであってもよい。該システムは、さらに、ユーザがオブジェクトの移動を指示したり、キーワードを入力したりすることができる入力手段と、オブジェクトを表示する大画面を有する出力手段と、プロセッサと、オブジェクトや本発明を実行するプログラムを記憶する記憶手段と、を備えていてもよい。あるいは、該システムは、通信手段をさらに有し、該通信手段を介して、入力手段、出力手段、記憶手段などと接続していてもよい。
【００３７】
上記（ａ）〜（ｆ）の各々の手段は、システムに含まれるプロセッサであってもよく、プロセッサによって制御される別個の手段であってもよいし、プロセッサによって実行されるプログラムのステップであってもよい。大画面を有する出力手段は、たとえば、テーブルトップ型表示装置、ウォール型表示装置などであってよい。
【００３８】
テーブルトップおよびウォール表示装置等の電子面をグループ分けまたはラベル付け用のワークスペースとして使用するとき、データ探索および意味解釈機能は、コンピュータのデータ分析および検索機能によって容易に実現することができる。テキストメタデータを関連させたグラフィカルオブジェクトを組織化し検索することを取り扱う大型表示用のコンピュータアプリケーションをサポートするための一体型の双方向型システムを説明する。グラフィカルオブジェクトの例は、サムネイルおよびメモである（図１Ａ〜図１Ｃ参照）。より一般的には、任意のタイプのドキュメントまたはデータを表すアイコンを使用することができる。テキストメタデータは、キーワードまたはデータの記述からなり、機械が生成することができる（たとえば、タイムスタンプ、ＧＰＳ座標、顔、イベント、または、場所など）か、または、人が作成することができる（たとえば、注釈またはコメント）。表示装置は、構造化されていない自由形態の作業表面である。グラフィカルオブジェクトは、制約なしで、画面のどこにでも置くことができる。実際のデータに見られるように、データがあいまいさおよび不明確さを有するときには、コンピュータ制御の表示は、度を越して自動的にデータをクラスタリングすることはない。このようにして、ユーザは、データを解釈し表示において方向づける機会を有する。
【００３９】
本発明の様々な実施形態において、面は、特に特定の区域内に指定されていない。結果として、本発明の均一な面は、画面の現実の領域をどのように使用することができるかにおいて、より用途が広い。これは、「ポンド」、「ユビテーブル」および「ダイアモンドスピン」とは対照的である。この差は、特別な区域が視覚的に遮られてはいないが物理的に到達するのが困難なことがある大型テーブルおよびウォール表示には重要である。本発明の様々な実施形態において、より柔軟なグループ分けが可能であり、ユーザは任意のやり方で「グループ」を再配置することができる。
【００４０】
本発明の様々な実施形態において、ターゲットスナッピング用にグループ分けおよび双方向型操作による検索がサポートされる。対照的に、これらの能力は、「ヴィキ」、「チボリ」、「ダイナウォール」および「スキャッター／ギャザー」によってはサポートされない。本発明の様々な実施形態において、各「グループ」は、クエリーから自動的に形成されるのではなく、検索されたオブジェクトは表示上に分散され、矢印は潜在的な「グループ」メンバーシップを示すために用いられる。これは、オブジェクトが複数のグループに属する可能性がある問題を解決する。加えて、本発明の様々な実施形態において、ユーザには、オブジェクトを動かす前にデータクラスタを解釈する機会が与えられる。さらに、このマルチレーヤー空間モデルは、作業セット、集合、検索されたオブジェクトおよび先に検索されたオブジェクトを視覚化するために、表示面の深さ方向に沿った構造を提供する。本発明の実施形態において、ドキュメントのセットは連続的に絞り込まれるのではなく、むしろ、ユーザがどのようにグループを形成するかに基づいて関連ドキュメントに新しい視点を与えるものである。これは、これらのグループにおける共通の言葉(term)を強調する。
【００４１】
本発明の様々な実施形態における、この双方向型の技術は、どのように人々が物理的なオブジェクトを組織化するかによって動機づけられ、親和図法およびＫＪ法等のポストイット（登録商標）（Post-it）メモに書かれたデータについて解釈または分析するための確立された方法に基づくものである（非特許文献２２〜２４）。基本的な作業は、オブジェクトを「グループ」内に配置することに関与し、オブジェクトの「グループ」にラベルを付けることを含むことが多い。
【００４２】
本発明の様々な実施形態において、アプリケーション領域(domain)では、アプリケーションアイコンなしの純粋な情報オブジェクトを有することができ、したがって、ユーザは、行動を開始する前は潜在的なターゲットが存在するか否か容易にわからない。本発明の実施形態において、この問題は、矢印および「グループ」オブジェクトの境界線を備えた視覚的なヒントを用いることによって解決される。この解決は、本実施形態を、「ドラッグアンドポップ」および「プッシュアンドポップ」技術から弁別する。
【００４３】
本発明の様々な実施形態において、このモデルのオブジェクトの検索の進行は、表示に平行ではなく、表示の深さ方向に作用する。これは、「ヴィブ」システムとは対照的に、ユーザがオブジェクトをどこへ動かすかを決定するときに形成されるべき密なクラスタを可能にする。
【００４４】
本発明の様々な実施形態において、検索機能は、「グループ分け」およびラベル付け機能の両方で統合される。本発明の実施形態において、ドキュメントの現在の作業セットは、前景レイヤーでフルサイズオブジェクトとして示されることができ、集合の残りは、背景でドットによって視覚化することができる（図２参照）。本発明の実施形態において、「グループ」は、ユーザがオブジェクトを一緒に動かすときに形成されることができ、システムは、重なり合うオブジェクトのセットを検出し、それらを「グループ」であると宣言する（図３参照）。本発明の様々な実施形態において、ラベルは、ユーザが表示に新しいラベルオブジェクトを作りラベルにテキストを入力するときに、形成される。本発明の実施形態において、グループ分けのために、システムが、「グループ」のオブジェクトからメタデータを使用することによってクエリーストリングをほのめかすという意味で、検索は暗示的でありうる（下記参照）。他方、ラベル付けのために、検索は、クエリーストリングが直接ラベル上でテキストを採る場所では明示的でありうる。
【００４５】
本発明の様々な実施形態において、関連オブジェクトをその「グループ」に関して強調するために、システムは、暗示的および明示的なブラッシングによって視覚ヒントを示すことができる。ブラッシングは、ある属性のセットを有するオブジェクトを強調表示するための視覚化用語である。本発明の様々な実施形態において、強調表示（ブラッシング）は、いくつかのセットの属性を共有するオブジェクトを色づけするかまたは装飾するための技術である。視覚化ソフトウェアにおいて、ブラッシングを行う共通のやり方は、ユーザが、たとえば、ダイナミッククエリーおよびスターフィールド表示の、アプリケーションウインドウのコントロールパネルに属性値を入力することである（非特許文献２５）。本発明の実施形態において、インタラクティブなブラッシング技術が使用される。この技術は、ラベル付けおよびグループ分けを通して間接的に実行される。検索に関しては、ブラッシングは、明示的でありえる（ラベル付けによって開始される）か、または、（グループ分けの結果として）暗示的でありえる。「グループ」またはラベルのオブジェクトは、コードで（たとえば、カラーボーダーで）装飾され、関連オブジェクトは、同一のコードで（たとえば、同一のカラーボーダーで）装飾される。
【００４６】
本発明の様々な実施形態において、暗示的なブラッシング技術は、頻繁に「グループ」検出を行い「グループ」メンバーテキストおよびメタデータを分析して、ユーザがグループに正式にラベルをつけることを必要とせずに、このダイナミックな「グループ」情報に基づいて、属性のいくつかのセットを共有するオブジェクトのコード化か色づけかまたは装飾を開始する（図６のフローチャートを参照）。システムは、集合情報に基づいてグループを検出する。「グループ」が検出されるときには、その境界はグループのコード（たとえば、色）で塗られ、それは、「グループ」形成のときにシステムによって割り当てられる。本発明の実施形態において、オブジェクトは、大型画面に、重畳して描くことができ、すなわち、オブジェクトの周囲が「グループ」接触して描くことができる。透明度は、オブジェクトがグループにどのように関連するかを示すのに用いられる。各「グループ」用に、集合情報が考慮され、各用語用のスコアが、発生の関連および数によって重み付けられる。集合情報は、すべての関係した属性をカバーするグループの客観的記述を提供する。
【００４７】
図６に示す本発明の一態様では、オブジェクトを収集し出力手段である大画面に表示し（１００）、大画面における表示の前景レイヤーまたは背景の「レイヤー」としてオブジェクトを選択する（１１０）。前景オブジェクトを強調表示（ブラッシング）し（１２０）、オブジェクトの組織化が少なくとも１つの所定の基準に合致しているか否かを判断する（１３０）。判断が肯定された場合には、組織化されたオブジェクトを大画面に表示する（１４０）。判断が否定された場合には、前景オブジェクトを移動し（１５０）、新しいグループが形成されたか否かを判断する（１６０）。判断が肯定された場合には、オブジェクトを検索し（１７０）、１２０に戻り処理を続行する。一方、判断が否定された場合には、１３０に戻り処理を続行する。
【００４８】
ブラッシングをするときには、関係データ用に視覚ヒントが生成される。このデータのいくつかは既にワークスペース上にあり、一方、他のデータは、ブラッシングの結果として検索される。したがって、ブラッシングプロセスは、ワークスペース上のデータオブジェクトへ注意を引くだけではなく、ワークスペース内にデータベースまたはネットワークから関係データをもたらす。この特徴は、各「グループ」用のクエリーを生成することによって関連フィードバックを使用し、それによって、グループに発生する共通タームを増強する。検索機構は、既存のシステム（非特許文献２０）と同様であるが、インタフェースは、ワークスペースのグラフィカルオブジェクトが探索および意味付与の間に操作されるため、視覚的なやり方でこれをサポートするように設計される。
【００４９】
本発明の１つの実施形態において、Ｚ軸方向（または尺度変化）を使用して、グループ分け操作によってトリガされる情報検索のプロセスを表す。オブジェクトの関連状況に依存して、オブジェクトは異なる深さのレイヤーに配置され、異なるサイズで表される（図２〜４参照）。本発明の１つの実施形態において、データは、４つのレイヤー、すなわち、（１）作業セット、（２）関連周辺データ、（３）先に検索された周辺データ、および、（４）周辺データセット、に分割される。周辺データセットは、異なる透明度を使用して背景においてドットによって表され、先のレイヤーの表示を示す。レイヤー４にドットを表示することは、任意である。たとえば、ウェブ全体から来るデータではなく、データベースの比較的小さな明確な集合から来る周辺データ用にこれを行うことは実現可能である。検索された周辺データは、その関連状況がユーザによって実行されるグループ分けおよびラベル付け中に変えられるときにレイヤーの深さに沿って内外へ動く。関連データを検索するのと同時に、先にブラッシングされたデータの関連状況がチェックされる。もはや関連しないデータオブジェクトに関する視覚ヒントは除去される。たとえば、初期に周辺データベースから検索されたが状態がチェックされるときに関連していないものは、「先に検索された周辺データ」レイヤーへ送られる。
【００５０】
デスクトップＰＣからの標準ドラッグアンドドロップ操作は、大型表示では、うまく作用しない。データオブジェクトをその潜在的なグループへ動かす際に、特に、インタフェースが意図される典型的な表示のサイズを考慮して、便利さを提供するためにターゲットスナッピング技術が開発されている。本発明の実施形態において、ターゲットスナッピングを使用して、ブラッシングによる矢印の視覚ヒントをインタラクティブにする。本発明の実施形態において、ターゲットスナッピングは、ユーザがオブジェクトの矢印の先端にタッピングすることでなされ、そこで、オブジェクトを表示画面で関連グループへコンピュータ支援で移動することが開始される。本発明の実施形態において、移動はアニメーションで示される。本発明の実施形態において、オブジェクトの急速で流れるような操作は、ターゲットスナッピングを通してサポートされる。色づけされた矢印が、表示上でグループに関連するオブジェクトに装飾される。各矢印は、関連グループの色と同一の色に色づけられ、そのグループを指し示す。オブジェクトは、複数のグループに関連してもよいため、２つ以上の矢印を有することができる。ユーザは矢印をクリックして、オブジェクトをグループへ送ることができる。動きはアニメーション化され、オブジェクトはターゲットグループへはめこまれる（図３および４参照）。
【００５１】
配置を支援することは、テーブル型表示装置では重要である。本発明の実施形態において、ユーザは、オブジェクトをタップするかクリックすることができ、それを周辺にドラッグする。本発明の様々な実施形態において、オブジェクトは回転することもできる。オブジェクトを回転することによって、そのオブジェクトを目立たせることができ、したがって、これを他の回転しないオブジェクトから弁別する明らかなやり方を提供し、それは、オブジェクトをブックマークするのに効果的なやり方でありうる。本発明の実施形態において、オブジェクトを押し込むことにより、良好に見るためにこれを拡大する。
【００５２】
本発明の様々な実施形態において、検索されたオブジェクトはまた、前景レイヤーにピンで留めることもできる（図４および５参照）。オブジェクトの頂部縁のピンウィジェットをクリックすることによって、オブジェクトは、そのオブジェクトがもはや現在のクエリーに関連しなくなっても、背景に後退しない。先に検索されたピンで留められていないオブジェクトは、部分的に背景内に後退するだけであり、セッション中にアクセス可能なままである（図４および５参照）。
【００５３】
本発明の様々な実施形態において、ラベルオブジェクトを使用することもできる。第１に、「グループ」の意味がよりはっきりしてきたときに、ユーザはこれに一定のフレーズをラベルすることができる。第２に、ユーザが所定のキーワードで「グループ」を形成したいときには、作業スペースの空いた区域にラベルを置くことによって、明示的なブラッシングを開始することができる。両方の場合に、ラベルを右クリックすると、「グループ」のテキスト分析または作業セットに基づいて、システムによって提案されたフレーズのリストをもたらす。アプリケーションが終了するときには、ラベルのフレーズを保存して、「グループ」メンバーのメタデータに加えることができる。
【００５４】
セッション中に、作業セットは前景レイヤーに示され、データベースからの周辺データは背景レイヤーに示される。初期には、オブジェクトは、表示上にランダムに散乱される。概略的に、これは図２に例示される。
【００５５】
グループ分けおよびブラッシングの例は、図２から４の例示によって支援されて詳細に説明される。ユーザがオブジェクト７２を７０と一緒にオーバーラップして動かし、「グループ」が形成されるときに、「グループ」が検出され、暗示的なブラッシングがトリガされる。結果として、グループの色（緑）で「グループ」を指し示す矢印が、作業セットのオブジェクト７４に加えられる。データベースからのオブジェクト１２、４６および５３が「関連周辺データ」レイヤーへ検索され、グループを指し示す矢印が加えられる。オブジェクト１２をターゲットスナッピング（緑の矢印をクリック）すると、これをグループ｛７０、７２｝へ動かす。これは、ターゲット「グループ」を、｛１２、７０および７２｝へ変え、それは暗示的なブラッシングの別のラウンドをトリガする。図４に示されるように、オブジェクト４８および４９はデータベースから検索され、作業セットからのオブジェクト７３は今や関連としてブラッシングされる。同時に、先に関係したデータの関連状況がチェックされる。もはや関連ではないため、オブジェクト４６および７４から視覚ヒントが除去され、データベースからのオブジェクト４６が後方の「先に検索された周辺データ」へ送られる。
【００５６】
本発明の様々な実施形態において、ラベルをドラッグすると、オーバーラッピングしているメンバーオブジェクトの「グループ」全体を動かすことができる。本発明の実施形態において、データオブジェクトをドラッグすることは、それが「グループ」の一部であるか否かに関係なくそのオブジェクトのみを動かすが、ラベルで形式化された「グループ」は、ユーザがそれをユニットであると意図したときに、ユニット全体として操作されることができるべきであるからである。一方、ラベル付けされていない「グループ」は、メンバーシップの変化により影響を受けやすいべきである。図３および４において、ラベルオブジェクトは、楕円形によって表される。ラベルオブジェクトＡは、「グループ」｛７６、７７および７９｝に加えられ、これを形式化する。ワークスペースのラベルオブジェクトＢは、空の区域にラベルを置くことによってブラッシングを明示的に開始する例を示す。その関係したオブジェクト７５はブラッシングされる。
【００５７】
本発明の様々な実施形態において、アニメーションを使用して視覚化および双方向型操作を支援し、自然で生き生きした視覚効果を提供する。本発明の実施形態において、「グループ」が動き回るときには、この「グループ」を指し示すすべての矢印は絶えず再配向され、グループを指し示し続ける。本発明の１つの実施形態において、その潜在的なグループを指し示す「グループ」メンバーの矢印もまた、それに応じて、再配向されることができる。本発明の実施形態において、矢印が関連オブジェクトに加えられるかまたはもはや関連オブジェクトではないものから除去されるときに、点滅するフェードインおよび点滅するフェードアウトのアニメーションを使用して、ユーザの注意を引きつけることができる。本発明の実施形態において、ターゲットスナッピングモーションがアニメーション化され、ユーザが動作に従うことをより容易にする。本発明の実施形態において、「周辺データセット」レイヤーから「関連周辺データ」レイヤーへオブジェクトを検索するときに且つそれらを「先に検索された周辺データ」レイヤーへ送り戻すときに、Ｚ軸方向に沿ったアニメーションもまた使用される。
【００５８】
「実施例１：フォトブラウジングシナリオ」
【００５９】
第１のシナリオは、電子テーブル上で写真をブラウズすることである。近い将来、コンピュータは、マウス−キーボードおよびウインドウズグラフィカルインタフェースを備えたデスクトップに制限されないという前提がある。このシナリオは、人々が、リビングルームのコーヒーテーブルで見出されることが多い大きな写真アルバムで写真を閲覧するという事実によって動機付けられる。
【００６０】
アリスは、友人の家でリビングルームに座り、電子コーヒーテーブル上で写真集合をブラウズしている。彼女は、クエリーオブジェクト（ラベルのように見える）を形成することによって開始し、「旅行（ＴＲＡＶＥＬ）」という単語を入力する。システムは、写真メタデータでクエリーを実行し、もっとも関連のある写真が検索され、画面上に分散したサムネイルとして表示される。画面の解像度に依存して、示されるサムネイルの数に限定がある（たとえば、上位１００）。彼女は、友人の孫息子ビルを数枚の写真に見て、それらを、よく見るために自分の前のテーブルの区域の「グループ」に動かす。
【００６１】
このグループ分け動作は、写真の「グループ」が興味深いとユーザが示しているとシステムによって解釈される。応答において、システムは、ビルが強調されるこのグループの写真に基づいて新しいクエリーを生成する。「ビル」または「旅行」に関連した写真サムネイルの新しいセットが検索され、表示は、もっとも関連するもの（上位１００）を示す。これらのいくつかは、「旅行」に関する先のクエリーから既に画面上にある。「ビル」に関連する他のものが、前景レイヤーにもたらされ、あまり関連のない「旅行」サムネイルは、背景に消える。クエリーオブジェクトを形成するかまたはグループ内にサムネイルを動き回らせるかのいずれかによって、アリスは、インタラクティブに写真集合を探索することができる。何らかのやり方で、これは、アリスがテーブルと非公式な会話を有しているかのようである。彼女が興味をもつ写真を通して友人の生活のそのような部分についてより多く知ったときに、トピックは、１つの主題から次の主題へ流動的に苦労せずに移る。
【００６２】
システムはまた、写真がアップロードされるときに写真にラベルをつけるために使用することもできる。アリスの友人がカメラから写真の束を、たとえば、最近の数イベントの間に取られた２００枚の写真を、アップロードするときに、彼女は、写真をグループにソートして、各グループにラベルオブジェクトを置くことができる。（ラベルオブジェクトは、実際のポストイットメモのようなものであり、クエリーオブジェクトと同一である）。ラベルテキストは、ブラウズする将来の使用のために写真のメタデータの一部として保存されることができる。
【００６３】
メタデータを加えることは作業を必要とするため、必ずしもすべての写真にラベルが付けられるとは限らない。共有される写真は、コメント、メモおよびタグを加えることによって何らかのラベル付けをするものである（たとえば、非特許文献２６）。いずれの場合でも、常に、自動的に抽出することができる何らかのメタデータがあり、たとえば、写真が撮られた時間等である。場所のメタデータは、ＧＰＳ搭載カメラまたは携帯電話のカメラで得ることができる。他のリサーチアルゴリズムは、顔または人の存在を検出することができる（非特許文献２７）。
【００６４】
ブラウジング中に、システムは、上述の暗示的および明示的なブラッシングおよびターゲットスナッピング機能で写真を即座にグループ分けすることを容易にする。アリスは、矢印をクリックして、大型コーヒーテーブル表示上で写真を動き回らせることができる。動きは、アニメーション化された経験であり、これは、ビデオゲームをするようなものでありうる。改良された効率に加えて、これは、写真を閲覧するのに楽しいやり方でありうる。
【００６５】
写真に類似したやり方で、他の媒体をブラウズすることができる。
−ビデオ（ＤＶＤカバーのサムネイル）
−音楽（ＣＤカバーのサムネイル）
【００６６】
ユーザは、サムネイルをダブルクリックすることによって（または、入力装置のタイプに依存して他の何らかの動作によって）サムネイルを「再生」することができ、システムは、ビデオモニタまたはステレオシステム等の室内の別個の構成要素であってもよいプレーヤーを始動する。
【００６７】
「実施例２：ポストイットメモシナリオでの意味付与」
【００６８】
データを収集するためにポストイットメモまたはメモカードを使用し次いでデータから意味付与するためにメモを操作することの多くの変形例がある。データは、普通、定質的である（たとえば、ブレーンストーミングミーティングからのアイデア、フィールドからの観察等）。構造セルを備えたスプレッドシートソフトウェアでは適切な定量的なデータとは異なり、定質的データは、異なる種類の操作をサポートする自由形態作業面を必要とする。２つの確立した方法は、親和図法およびＫＪ法（上記に検討）である。下記のシナリオは、ＫＪ法に基づいている。
【００６９】
アキラ、ジョージ、ソフィアおよびスティーブンは、ビデオを見るための新しい装置用の製品およびアプリケーションを設計している。彼らは、ほとんど壁全体を覆っている非常に大きな表示を有するミーティングルームに集まる。ミーティングの第１の部分で、彼らは、表示に実際のポストイットメモを形成することによってブレーンストーミングを行い、新しいビデオ装置用のアプリケーションに関するアイデア、たとえば、「時間を潰すためにウェイティングルームで使用」を入力する。彼らは一緒に、５０から１００のメモで壁を一杯にする。
【００７０】
次のステップで、彼らは関係したメモをグループ内に動かす。システムは、視覚的ヒント、矢印およびターゲットスナッピングを提供することによってこれを容易にする。オブジェクトを動かすための機能は、そのメモがウォール表示を動かなければならない長い距離のため、特に有用である。
【００７１】
グループ分け後、ラベル付けされたオブジェクトはグループ内に置かれる。ラベルは、「グループ」内のメモ用のより高いレベルの記述として作用する（たとえば、装置用の「セキュリティアプリケーション」）。ラベル付けされたグループを参照して、アキラ、ジョージ、ソフィアおよびスティーブンは、製品開発のためにどのアプリケーションを続行するかに関して、優先順位を決めるかまたは投票することができる。
【００７２】
フォトブラウジングシナリオに記載された検索機能は、このシナリオでは使用されない。しかし、大容量のメモがフィールドまたは顧客のサイトから収集されるときには有用でありえ、クエリーオブジェクトを形成する（オブジェクトにラベルづけすることと同一）か、または、暗示的に、意味付与プロセス中にグループ分けするとによって、のいずれかで、作業面内にまたは作業面からメモをもたらすことができる。
【００７３】
「ダイナミック視覚化モデル」
【００７４】
本発明の様々な実施形態において、視覚化モデルは、４つのレイヤー、すなわち、（１）前景レイヤー、（２）検索されたレイヤー、（３）先に検索されたレイヤー、（４）背景、を有する。本発明の実施形態において、ユーザの観点から、最初の３つのレイヤーは、ユーザがオブジェクトと双方向型操作することができる前景レイヤーにあるとして考えることができる。本発明の実施形態において、ユーザは、第４のレイヤーにあるオブジェクトと双方向型操作することができない。
【００７５】
本発明の実施形態において、前景レイヤーは、現在のセットのサムネイルまたはメモをフルサイズで示す。ユーザは、ディレクトリを「開いて」、前景レイヤーの現在のセットにオブジェクトを加えることができる。オブジェクトは、ランダムなやり方で広げられるように、画面に置かれる。
【００７６】
本発明の実施形態において、検索されたレイヤーは、フルサイズよりもわずかに小さいサイズ（たとえば７５％）で検索されたオブジェクトを示す。このレイヤーのオブジェクトは、現在のクエリーによって検索されたものであるか、または、「ピンで留められた」検索されたオブジェクトである。
【００７７】
本発明の実施形態において、先に検索されたレイヤーは、減少したサイズ（たとえば２５％）でオブジェクトを示す。オブジェクトは、これをクリックすることによって検索されたレイヤーへもたらすことができる。再度これをクリックして、これを先に検索されたレイヤーへ戻す。
【００７８】
本発明の実施形態において、背景は、オブジェクトの存在期間(age)等の属性に基づいて変動する透明度レベルのドットとしてオブジェクトの集合全体を視覚化する。図２から５の概略例示において、背景のオブジェクトは、透明性の効果なしで、小さな円によって表される。実際、それらはかなり小さい。オプションとして、背景は、見えなくすることができる。本発明の実施形態において、ユーザは、背景のオブジェクトと双方向型操作することができない。
【００７９】
本発明の様々な実施形態において、他の双方向型操作は、オブジェクトを拡大すること、それをドラッグすること、および、それを回転することを含む。回転は、ユーザが異なる配向でテーブルのまわりに座っているテーブルトップ表示で有用である。任意のタイプの表示セットアップにおいて、オブジェクトを回転することは、これを視覚的に目立たせることができ、これは、オブジェクトをブックマークするのに効果的なやり方でありうる。
【００８０】
「グループ分けまたはラベル付けによる検索」
【００８１】
本発明の実施形態において、検索は、メタデータからキーワードおよびテキストをインデックスし、次いでクエリーストリングに基づいて関連スコアを計算することによって、達成される。
【００８２】
本発明の実施形態において、メタデータは、各データディレクトリで格納されることができる。メタデータファイルは、そのディレクトリのオブジェクト用のキーワードを含む。オブジェクトを含むメモ用に、メモのテキストは、検索用のメタデータとして使用することができる。写真用に、大半のデジタルカメラによって使用されるＥＸＩＦ画像フォーマットからのメタデータが、写真をシステムにアップロードするときに抽出されてもよい。最低限、これは時間を提供し、場所データ用のフィールドがある。人気のある写真管理アプリケーション（たとえば、アップルアイフォト（Apple iPhoto）、アドビーフォトショップアルバム（Adobe Photoshop Album））の共通特徴は、ユーザがキーワードおよびテキストをその写真に加えることを可能にし、この方法は、より多くのメタデータを獲得するために使用される。写真がインターネットで共有されるときには（たとえば、Ｆｌｉｃｋｒ）、または、公共機関のデータリポジトリに属するときには、ユーザがその写真に関するコメントおよびメモを加えることができることが合理的である。
【００８３】
本発明の様々な実施形態において、クエリーストリングは、明示的にまたは暗示的に得ることができる。本発明の実施形態において、ラベルオブジェクトを使用する明示的なクエリー用に、ラベルテキストは、クエリーストリングとして使用される。本発明の実施形態において、オブジェクトの「グループ」によって誘発された暗示的なクエリーについて、クエリーストリングは、グループのオブジェクトのメタデータテキストの結合であり、関連スコアを増強するために重み付けを提供するために複数が考慮に入れられる。
【００８４】
関連スコアは、異なる検索方法、たとえば標準ベクトル空間モデルおよびコサイン検索機能を使用して計算することができる。関連スコアを計算するために、商用のまたはオープンソースのテキストサーチエンジンを使用することも可能である（たとえば、ルシーン（Lucene）テキストサーチエンジンソフトウェア。アパッチソフトウェアファウンデーション（Apache software Foundation）、非特許文献２８）。
【００８５】
「装飾および画面をわたってのオブジェクト送信」
【００８６】
「グループ」またはラベルに関連するオブジェクトは、「前景レイヤー」または「検索されたレイヤー」にあってもよい。本発明の実施形態において、その関連ターゲットの各々用に、その「グループ」またはラベルを指し示す矢印装飾を見ることができる（図３参照）。矢印は、ターゲット「グループ」またはラベルボーダーの色と同一の色に設定される。本発明の実施形態において、ユーザは、矢印をクリックして、オブジェクトを画面をわたってターゲットグループへ送ることができる。本発明の実施形態において、動きは、ユーザのフィードバック用にアニメーション化される。
【００８７】
本発明の好適な実施形態の前述の記載は、例示および記載目的に提供されている。これは、網羅的であることを意図せず、または、開示された正確な形態に本発明を限定するようには意図しない。本発明およびその実際的なアプリケーションの原理を最良に説明するために、多くの実施形態が選ばれ記載され、それによって、当業者が、様々な実施形態用に、および、企図された特定の使用に適切である様々な修正例で、本発明を理解することを可能にする。本発明の範囲は、特許請求の範囲およびその等価物によって規定されることが意図される。
【００８８】
本発明の様々な実施形態は、コンピュータ業界の当業者には明らかなように、本開示の教示にしたがってプログラムされたプロセッサ（単数または複数）を使用して実施されてもよい。適切なソフトウェアのコード化は、ソフトウェア業界の当業者には明らかなように、本開示の教示に基づいて、熟練したプログラマによって容易に準備されることができる。本発明はまた、当業者に容易に明らかになるように、集積回路の準備によって実施されてもよく、構成要素回路の適切なネットワークを相互接続することによって、実施されてもよい。
【００８９】
様々な実施形態は、ここに呈された特徴のいずれかを行うために汎用または専用の計算プロセッサ（単数または複数）、装置（単数または複数）をプログラムするために使用することができる記憶された指令、情報を有する記憶媒体（単数または複数）でありうるコンピュータプログラム製品を含む。記憶媒体は、下記の１つまたはそれ以上を含むことができるが、それらに限定されない。すなわち、フロッピィディスク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、光磁気ディスク、ホログラフィック記憶装置、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＰＲＡＭＳ、ＶＲＡＭ、フラッシュメモリ装置、磁気または光カード、ナノシステム（分子メモリＩＣを含む）を含むいずれかのタイプの物理的な媒体；紙または紙系媒体；および、指令・情報を記憶するために適切ないずれかのタイプの媒体または装置、である。様々な実施形態は、全体でまたは部分的に１つまたはそれ以上の公共・私有のネットワーク上で伝達されることができるコンピュータプログラム製品を含み、伝達は、指令・情報を含み、それは、ここに呈された特徴のいずれかを行うために１つまたはそれ以上のプロセッサによって使用されることができる。様々な実施形態において、伝達は、複数の別個の伝達を含んでもよい。
【００９０】
１つまたはそれ以上のコンピュータ可読媒体に記憶されるため、本開示は、プロセッサ（単数または複数）のハードウェアを制御するための、且つ、コンピュータ（単数または複数）、プロセッサ（単数または複数）が本発明の結果を使用する人間のユーザまたは他の装置と双方向型操作することを可能にするための、ソフトウェアを含む。そのようなソフトウェアは、デバイスドライバ、インタフェースドライバ、オペレーティングシステム、実行環境・コンテナ、ユーザインタフェースおよびアプリケーションを含んでもよいが、それらに限定されない。
【００９１】
コードの実行は、直接であっても間接であってもよい。コードは、コンパイラ型言語、インタープリタ型言語および他の種類の言語を含むことができる。特許請求の範囲の文言によって他のように限定されない限り、機能用のコード・コードセグメントの実行・伝達は、その機能を行うために、ローカルであれリモートであれ、他のソフトウェアまたは装置の呼び出しまたはコールを含むことができる。呼び出しまたはコールは、その機能を行うために、ライブラリモジュール、デバイスドライバ、インタフェースドライバおよびリモートソフトウェアへの呼び出しまたはコールを含むことができる。呼び出しまたはコールは、分散型のクライアント／サーバシステムにおける呼び出しまたはコールを含むことができる。
【００９２】
本発明の実施形態において、ファイル、メモ、写真、音楽ファイル、および、大型画面に表示される他の媒体集合を含む複数のオブジェクトを組織化するためのコンピュータ支援されたインタラクティブな方法であって、複数のオブジェクトが前景オブジェクトのグループおよび背景オブジェクトのグループに表示される方法は、１つまたはそれ以上の前景オブジェクトをブラッシングを通して視覚化するステップと、１つまたはそれ以上の前景オブジェクトを動かすステップと、オブジェクトの共通特性に基づいて、「前景レイヤー」の１つまたはそれ以上のオブジェクトを「背景」レイヤー内に取り出し、「背景」レイヤーの１つまたはそれ以上のオブジェクトを「前景レイヤー」内に取り出すステップと、１つまたはそれ以上の基準に合致するまでこれらのステップを繰り返すステップと、を含む。
【００９３】
本発明の実施形態において、基準は、ユーザが、表示の各オブジェクトのグループメンバーシップに満足することである。
【００９４】
本発明の実施形態において、ファイル、メモ、写真、音楽ファイル、および、大型画面に表示される他の媒体集合を含む複数のオブジェクトを組織化するためのコンピュータ支援されたインタラクティブな方法であって、複数のオブジェクトが前景オブジェクトのグループおよび背景オブジェクトのグループに表示される方法は、１つまたはそれ以上の前景オブジェクトをブラッシングを通してコンピュータ支援視覚化するステップと、１つまたはそれ以上の前景オブジェクトを動かすステップと、オブジェクトの共通特性に基づいて、「前景レイヤー」の１つまたはそれ以上のオブジェクトを「背景」レイヤー内に取り出し、「背景」レイヤーの１つまたはそれ以上のオブジェクトを「前景レイヤー」内に取り出すステップと、１つまたはそれ以上の基準に合致するまでこれらのステップを繰り返すステップと、を含む。
【００９５】
本発明の実施形態において、ファイル、メモ、写真、音楽ファイル、および、大型画面に表示される他の媒体集合を含む複数のオブジェクトを組織化するためのコンピュータ支援されたインタラクティブな方法であって、複数のオブジェクトが前景オブジェクトのグループおよび背景オブジェクトのグループに表示される方法は、２つまたはそれ以上の前景オブジェクトの共通特性に基づいて、少なくとも１つのオブジェクトに少なくとも１つの装飾を置くことを通して１つまたはそれ以上の前景オブジェクトを暗示的に視覚化するステップと、１つまたはそれ以上の前景オブジェクトを動かすステップと、オブジェクトの共通特性に基づいて、「前景レイヤー」の１つまたはそれ以上のオブジェクトを「背景」レイヤー内に取り出し、「背景」レイヤーの１つまたはそれ以上のオブジェクトを「前景レイヤー」内に取り出すステップと、１つまたはそれ以上の基準に合致するまでこれらのステップを繰り返すステップと、を含む。本発明の一態様の方法において、ステップ（ａ）は、２つまたはそれ以上の前景オブジェクトの共通特性に基づいて、少なくとも１つのオブジェクトに少なくとも１つの装飾を置く暗示的な作用に関与する。
【００９６】
本発明の実施形態において、ファイル、メモ、写真、音楽ファイル、および、大型画面に表示される他の媒体集合を含む複数のオブジェクトを組織化するためのコンピュータ支援されたインタラクティブな方法であって、複数のオブジェクトが前景オブジェクトのグループおよび背景オブジェクトのグループに表示される方法は、１つまたはそれ以上の前景オブジェクトをブラッシングを通して視覚化するステップであって、ブラッシングは、２つまたはそれ以上の前景オブジェクトの共通特性に基づいて、少なくとも１つのオブジェクトに少なくとも１つの装飾を置くことに関与し、装飾は矢印および色付ボーダーの一方または両方であるステップと、１つまたはそれ以上の前景オブジェクトを動かすステップと、オブジェクトの共通特性に基づいて、「前景レイヤー」の１つまたはそれ以上のオブジェクトを「背景」レイヤー内に取り出し、「背景」レイヤーの１つまたはそれ以上のオブジェクトを「前景レイヤー」内に取り出すステップと、１つまたはそれ以上の基準に合致するまでこれらのステップを繰り返すステップと、を含む。本発明の一態様の方法において、ステップ（ａ）は、２つまたはそれ以上の前景オブジェクトの共通特性に基づいて、少なくとも１つのオブジェクトに少なくとも１つの装飾を置く暗示的な作用に関与する。
【００９７】
本発明の実施形態において、ファイル、メモ、写真、音楽ファイル、および、大型画面に表示される他の媒体集合を含む複数のオブジェクトを組織化するためのコンピュータ支援されたインタラクティブな方法であって、複数のオブジェクトが前景オブジェクトのグループおよび背景オブジェクトのグループに表示される方法は、１つまたはそれ以上の前景オブジェクトをブラッシングを通して視覚化するステップであって、ブラッシングは、２つまたはそれ以上の前景オブジェクトの共通特性に基づいて、少なくとも１つのオブジェクトに少なくとも１つの装飾を置くことに関与し、装飾は矢印および色付ボーダーの一方または両方であるステップと、少なくとも１つのオブジェクトの少なくとも１つの装飾とのユーザ双方向型操作が結果として１つまたはそれ以上の前景オブジェクトを動かすことになるステップと、オブジェクトの共通特性に基づいて、「前景レイヤー」の１つまたはそれ以上のオブジェクトを「背景」レイヤー内に取り出し、「背景」レイヤーの１つまたはそれ以上のオブジェクトを「前景レイヤー」内に取り出すステップと、１つまたはそれ以上の基準に合致するまでこれらのステップを繰り返すステップと、を含む。本発明の一態様の方法において、ステップ（ａ）は、２つまたはそれ以上の前景オブジェクトの共通特性に基づいて、少なくとも１つのオブジェクトに少なくとも１つの装飾を置く暗示的な作用に関与する。
【００９８】
本発明の実施形態において、ファイル、メモ、写真、音楽ファイル、および、大型画面に表示される他の媒体集合を含む複数のオブジェクトを組織化するためのコンピュータ支援されたインタラクティブな方法であって、複数のオブジェクトが前景オブジェクトのグループおよび背景オブジェクトのグループに表示される方法は、１つまたはそれ以上の前景オブジェクトをブラッシングを通して視覚化するステップと、１つまたはそれ以上の前景オブジェクトをユーザがインタラクティブに動かすステップと、オブジェクトの共通特性に基づいて、「前景レイヤー」の１つまたはそれ以上のオブジェクトを「背景」レイヤー内に取り出し、「背景」レイヤーの１つまたはそれ以上のオブジェクトを「前景レイヤー」内に取り出すステップと、１つまたはそれ以上の基準に合致するまでこれらのステップを繰り返すステップと、を含む。
【００９９】
本発明の実施形態において、ファイル、メモ、写真、音楽ファイル、および、大型画面に表示される他の媒体集合を含む複数のオブジェクトを組織化するためのコンピュータ支援されたインタラクティブな方法であって、複数のオブジェクトが前景オブジェクトのグループおよび背景オブジェクトのグループに表示される方法は、１つまたはそれ以上の前景オブジェクトをブラッシングを通して視覚化するステップと、１つまたはそれ以上の前景オブジェクトをターゲットスナッピングによってコンピュータ支援で動かすステップと、オブジェクトの共通特性に基づいて、「前景レイヤー」の１つまたはそれ以上のオブジェクトを「背景」レイヤー内に取り出し、「背景」レイヤーの１つまたはそれ以上のオブジェクトを「前景レイヤー」内に取り出すステップと、１つまたはそれ以上の基準に合致するまでこれらのステップを繰り返すステップと、を含む。
【０１００】
本発明の実施形態において、ファイル、メモ、写真、音楽ファイル、および、大型画面に表示される他の媒体集合を含む複数のオブジェクトを組織化するためのコンピュータ支援されたインタラクティブな方法であって、複数のオブジェクトが前景オブジェクトのグループおよび背景オブジェクトのグループに表示される方法は、１つまたはそれ以上の前景オブジェクトをブラッシングを通して視覚化するステップと、１つまたはそれ以上の前景オブジェクトを動かすステップと、オブジェクトの共通特性に基づいて、「前景レイヤー」の１つまたはそれ以上のオブジェクトを「背景」レイヤー内にコンピュータ支援で取り出し、「背景」レイヤーの１つまたはそれ以上のオブジェクトを「前景レイヤー」内にコンピュータ支援で取り出すステップと、１つまたはそれ以上の基準に合致するまでこれらのステップを繰り返すステップと、を含む。
【０１０１】
本発明の実施形態において、ファイル、メモ、写真、音楽ファイル、および、大型画面に表示される他の媒体集合を含む複数のオブジェクトを組織化するためのコンピュータ支援されたインタラクティブな方法であって、複数のオブジェクトが前景オブジェクトのグループおよび背景オブジェクトのグループに表示される方法は、１つまたはそれ以上の前景オブジェクトをブラッシングを通して視覚化するステップと、１つまたはそれ以上の前景オブジェクトを動かすステップと、関連スコアおよび「グループ」集合情報に基づいて、「前景レイヤー」の１つまたはそれ以上のオブジェクトを「背景」レイヤー内に取り出し、「背景」レイヤーの１つまたはそれ以上のオブジェクトを「前景レイヤー」内に取り出すステップと、１つまたはそれ以上の基準に合致するまでこれらのステップを繰り返すステップと、を含む。
【０１０２】
本発明の実施形態において、ファイル、メモ、写真、音楽ファイル、および、大型画面に表示される他の媒体集合を含む複数のオブジェクトを組織化するためのコンピュータ支援されたインタラクティブな方法であって、複数のオブジェクトが前景オブジェクトのグループおよび背景オブジェクトのグループに表示される方法は、１つまたはそれ以上の前景オブジェクトをブラッシングを通して視覚化するステップと、１つまたはそれ以上の前景オブジェクトを動かすステップと、オブジェクトの関連スコアに基づいて、「前景レイヤー」の１つまたはそれ以上のオブジェクトを「先に検索されたレイヤーグループ」内に取り出し、「背景」レイヤーの１つまたはそれ以上のオブジェクトを「検索されたレイヤーグループ」内に取り出すステップと、１つまたはそれ以上の基準に合致するまでこれらのステップを繰り返すステップと、を含む。
【０１０３】
本発明の実施形態において、ファイル、メモ、写真、音楽ファイル、および、大型画面に表示される他の媒体集合を含む複数のオブジェクトを組織化するためのコンピュータ支援されたインタラクティブな方法であって、複数のオブジェクトが前景オブジェクトのグループおよび背景オブジェクトのグループに表示される方法は、１つまたはそれ以上の前景オブジェクトをブラッシングを通して視覚化するステップと、１つまたはそれ以上の前景オブジェクトを動かすステップと、オブジェクトの共通特性に基づいて、「前景レイヤー」の１つまたはそれ以上のオブジェクトを「背景」レイヤー内に取り出し、「背景」レイヤーの１つまたはそれ以上のオブジェクトを「前景レイヤー」内に取り出すステップと、いずれかの新しいオブジェクトが「前景レイヤー」内に取り出されなくなるまでこれらのステップを繰り返すステップと、を含む。
【０１０４】
本発明の実施形態において、ファイル、メモ、写真、音楽ファイル、および、大型画面に表示される他の媒体集合を含む複数のオブジェクトを組織化するためのコンピュータ支援されたインタラクティブな方法であって、複数のオブジェクトが前景オブジェクトのグループおよび背景オブジェクトのグループに表示される方法は、１つまたはそれ以上の前景オブジェクトをブラッシングを通して視覚化するステップと、１つまたはそれ以上の前景オブジェクトを動かすステップと、複数のオブジェクトの１つまたはそれ以上のオブジェクト用の関連スコアを計算するステップと、各オブジェクトに関連したメタデータのクエリーを通して複数の関連スコアに基づいて、複数の「グループ」用の集合情報を計算するステップと、オブジェクトの関連スコアおよび「グループ」集合情報の一方または両方に基づいて、「前景レイヤー」の１つまたはそれ以上のオブジェクトを「背景」レイヤー内に取り出し、「背景」レイヤーの１つまたはそれ以上のオブジェクトを「前景レイヤー」内に取り出すステップと、１つまたはそれ以上の基準に合致するまでこれらのステップを繰り返すステップと、を含む。
【０１０５】
本発明の実施形態において、ファイル、メモ、写真、音楽ファイル、および、大型画面に表示される他の媒体集合を含む複数のオブジェクトを組織化するためのコンピュータ支援されたインタラクティブな方法であって、複数のオブジェクトが前景オブジェクトのグループおよび背景オブジェクトのグループに表示される方法は、１つまたはそれ以上の前景オブジェクトをブラッシングを通して視覚化するステップと、１つまたはそれ以上の前景オブジェクトを動かすステップと、複数のオブジェクトの１つまたはそれ以上のオブジェクト用の関連スコアを計算するステップと、時間、場所、類似ラベル、類似テキスト、類似した顔の存在、類似した人々の存在、類似イベント、類似場所および他の抽出された情報からなるグループから選択された、各オブジェクトに関連したメタデータのクエリーを通して複数の関連スコアに基づいて、複数の「グループ」用の集合情報を計算するステップと、オブジェクトの関連スコアおよび「グループ」集合情報の一方または両方に基づいて、「前景レイヤー」の１つまたはそれ以上のオブジェクトを「背景」レイヤー内に取り出し、「背景」レイヤーの１つまたはそれ以上のオブジェクトを「前景レイヤー」内に取り出すステップと、１つまたはそれ以上の基準に合致するまでこれらのステップを繰り返すステップと、を含む。
【０１０６】
本発明の実施形態において、手でラベルをつけられた写真がメタデータを構成する。
【０１０７】
本発明の実施形態において、ファイル、メモ、写真、音楽ファイル、および、大型画面に表示される他の媒体集合を含む複数のオブジェクトを組織化するためのコンピュータ支援されたインタラクティブな方法であって、複数のオブジェクトが前景オブジェクトのグループおよび背景オブジェクトのグループに表示される方法は、１つまたはそれ以上の前景オブジェクトをブラッシングを通して視覚化するステップと、１つまたはそれ以上の前景オブジェクトを動かすステップと、複数のオブジェクトの１つまたはそれ以上のオブジェクト用の関連スコアを計算するステップと、各オブジェクトに関連したメタデータのクエリーを通して複数の関連スコアに基づいて、複数の「グループ」用の集合情報を計算するステップと、「グループ」のオブジェクトの集合情報に基づいて、「前景レイヤー」の１つまたはそれ以上のオブジェクトを「背景」レイヤー内に取り出し、「背景」レイヤーの１つまたはそれ以上のオブジェクトを「前景レイヤー」内に取り出すステップと、１つまたはそれ以上の基準に合致するまでこれらのステップを繰り返すステップと、を含む。
【０１０８】
本発明の実施形態において、ファイル、メモ、写真、音楽ファイル、および、大型画面に表示される他の媒体集合を含む複数のオブジェクトを組織化するためのコンピュータ支援されたインタラクティブな方法であって、複数のオブジェクトが前景オブジェクトのグループおよび背景オブジェクトのグループに表示される方法は、１つまたはそれ以上の前景オブジェクトをブラッシングを通して視覚化するステップと、１つまたはそれ以上の前景オブジェクトを動かすステップであって、動きが流動的なアニメーション化された表示で示されるステップと、オブジェクトの共通特性に基づいて、「前景レイヤー」の１つまたはそれ以上のオブジェクトを「背景」レイヤー内に取り出し、「背景」レイヤーの１つまたはそれ以上のオブジェクトを「前景レイヤー」内に取り出すステップと、いずれかの新しいオブジェクトが「前景レイヤー」内に取り出されなくなるまでこれらのステップを繰り返すステップと、を含む。
【０１０９】
本発明の実施形態において、流動的なアニメーション化された表示は、ターゲットスナッピングに使用される。本発明の実施形態において、流動的なアニメーション化された表示は、Ｚ軸に沿って画面にオブジェクトを動き回らせるために使用される。
【０１１０】
本発明の実施形態において、ファイル、メモ、写真、音楽ファイル、および、大型画面に表示される他の媒体集合を含む複数のオブジェクトを組織化するためのコンピュータ支援されたインタラクティブな方法であって、複数のオブジェクトが前景オブジェクトのグループおよび背景オブジェクトのグループに表示される方法は、１つまたはそれ以上の前景オブジェクトをブラッシングを通して視覚化するステップと、１つまたはそれ以上の前景オブジェクトを動かすステップと、オブジェクトの共通特性に基づいて、「前景レイヤー」の１つまたはそれ以上のオブジェクトを「背景」レイヤー内に取り出し、「背景」レイヤーの１つまたはそれ以上のオブジェクトを「前景レイヤー」内に取り出すステップと、いずれかの新しいオブジェクトが「前景レイヤー」内に取り出されなくなるまでこれらのステップを繰り返すステップと、を含み、画面表示を操作するステップであって、操作は、オブジェクトの１つまたはそれ以上のグループを強調することと、オブジェクトの１つまたはそれ以上のグループを印刷することと、オブジェクトの１つまたはそれ以上のグループの画像を装置へダウンロードすることと、からなるグループから選ばれるステップをさらに含む。
【０１１１】
本発明の実施形態において、ファイル、メモ、写真、音楽ファイル、および、大型画面に表示される他の媒体集合を含む複数のオブジェクトを組織化するためのコンピュータ支援されたインタラクティブな方法であって、複数のオブジェクトが前景オブジェクトのグループおよび背景オブジェクトのグループに表示される方法は、１つまたはそれ以上の前景オブジェクトをブラッシングを通して視覚化するステップを含み、オブジェクト関連スコアを示すステップであって、関連スコアはオブジェクトのサイズおよび透明度の一方または両方によって示されるステップと、１つまたはそれ以上の前景オブジェクトを動かすステップと、オブジェクトの共通特性に基づいて、「前景レイヤー」の１つまたはそれ以上のオブジェクトを「背景」レイヤー内に取り出し、「背景」レイヤーの１つまたはそれ以上のオブジェクトを「前景レイヤー」内に取り出すステップと、いずれかの新しいオブジェクトが「前景レイヤー」内に取り出されなくなるまでこれらのステップを繰り返すステップと、をさらに含む。
【０１１２】
本発明の実施形態において、ファイル、メモ、写真、音楽ファイル、および、画面に表示される他の媒体集合を含む複数のオブジェクトを組織化するためのコンピュータ支援されたインタラクティブな方法であって、オブジェクトが三次元「Ｘ−Ｙ−Ｚ」表現に組織化され、画面表示が最上の「Ｚ方向」の「Ｘ−Ｙ」平面に等しい方法は、最上の「Ｚ方向」の「Ｘ−Ｙ」平面の１つまたはそれ以上のオブジェクトをコンピュータブラッシングするステップと、最上の「Ｚ方向」の「Ｘ−Ｙ」平面の１つまたはそれ以上のオブジェクトをユーザが動かすステップと、オブジェクトの共通特性に基づいて、「Ｚ方向」の１つまたはそれ以上のオブジェクトを最上の「Ｚ方向」へ取り出すステップと、１つまたはそれ以上の基準に合致するまで繰り返すステップと、を含む。
【０１１３】
本発明の実施形態において、ファイル、メモ、写真、音楽ファイル、および、画面に表示される他の媒体集合を含む複数のオブジェクトを組織化するためのコンピュータ支援されたインタラクティブな方法であって、オブジェクトが三次元「Ｘ−Ｙ−Ｚ」表現に組織化され、画面表示が最上の「Ｚ方向」の「Ｘ−Ｙ」平面に等しい方法は、最上の「Ｚ方向」の「Ｘ−Ｙ」平面の１つまたはそれ以上のオブジェクトをコンピュータブラッシングするステップと、最上の「Ｚ方向」の「Ｘ−Ｙ」平面の１つまたはそれ以上のオブジェクトをユーザが動かすステップと、オブジェクトの共通特性に基づいて、「Ｚ方向」の１つまたはそれ以上のオブジェクトを最上の「Ｚ方向」へ取り出すステップと、１つまたはそれ以上の基準に合致するまで繰り返すステップと、を含み、「Ｚ方向」は、オブジェクトのサイズおよびオブジェクトの透明度からなるグループから選択された特徴によって画面に表される。
【０１１４】
本発明の実施形態において、ファイル、メモ、写真、音楽ファイル、および、大型画面に表示される他の媒体集合を含む複数のオブジェクトを組織化するためのシステムであって、複数のオブジェクトが前景オブジェクトのグループおよび背景オブジェクトのグループに表示されるシステムは、１つまたはそれ以上の前景オブジェクトをブラッシングを通して視覚化するための手段と、１つまたはそれ以上の前景オブジェクトを動かすための手段と、複数のオブジェクトの１つまたはそれ以上のオブジェクト用の関連スコアを計算するための手段と、複数の関連スコアに基づいて、複数の「グループ」用の集合情報を計算するための手段と、オブジェクトの関連スコアおよび「グループ」集合情報の一方または両方に基づいて、「前景レイヤー」の１つまたはそれ以上のオブジェクトを「背景」レイヤー内に取り出し、「背景」レイヤーの１つまたはそれ以上のオブジェクトを「前景レイヤー」内に取り出すための手段と、１つまたはそれ以上の基準に合致するまでステップを繰り返すことと、を備える。
【０１１５】
本発明の実施形態において、記憶された指令を有する機械可読媒体は、システムを：１つまたはそれ以上の前景オブジェクトをブラッシングを通して視覚化させ；１つまたはそれ以上の前景オブジェクトを動かさせ；複数のオブジェクトの１つまたはそれ以上のオブジェクト用の関連スコアを計算させ；複数の関連スコアに基づいて、複数の「グループ」用の集合情報を計算させ；オブジェクトの関連スコアおよび「グループ」集合情報の一方または両方に基づいて、「前景レイヤー」の１つまたはそれ以上のオブジェクトを「背景」レイヤー内に取り出させ、「背景」レイヤーの１つまたはそれ以上のオブジェクトを「前景レイヤー」内に取り出させ；１つまたはそれ以上の基準に合致するまでステップを繰り返させる。
【図面の簡単な説明】
【０１１６】
【図１Ａ】データオブジェクト、すなわち、写真サムネイルの例を示す図である。
【図１Ｂ】データオブジェクト、すなわち、ビデオサムネイルの例を示す図である。
【図１Ｃ】データオブジェクト、すなわち、メモの例を示す図である。
【図２】前景レイヤー（方形で表される）に現在の作業セットを示し、背景（ドットで表される）に集合を示す図である。
【図３】ラベル付けによる明示的な検索およびグループ分けによる暗示的な検索の後の、図２に表示されたオブジェクトを示す図であり、楕円形のオブジェクトはラベルを表す。
【図４】図３に表示されたオブジェクトを示す図であり、図３の北西を指し示す緑の矢印をクリックすることによってオブジェクト１２が動かされた。
【図５】図４に表示されたオブジェクトを示す図であり、「グループ」が壊れたときに、検索されたオブジェクト４９をピンで留めることによって、検索されたレイヤーに保たれる。
【図６】表示されるべきオブジェクトを組織化する際に関与するステップのフローチャートである。
【符号の説明】
【０１１７】
１２、４６、４８、４９、５３、７０、７２、７３、７４  オブジェクト
【図１Ａ】
0005145765.tif 000002
【図１Ｂ】
0005145765.tif 000003
【図１Ｃ】
0005145765.tif 000004
【図２】
0005145765.tif 000005
【図３】
0005145765.tif 000006
【図４】
0005145765.tif 000007
【図５】
0005145765.tif 000008
【図６】
0005145765.tif 000009