(57)【要約】  本発明は画像検索・表示システムを開示する。該システムは、写真のナビゲーションするためにユーザに場所、時、人の３次元セレクションの視覚的な表示を提供するグラフィックユーザインターフェイスを含む。場所と時間はそれぞれ変形したマップとタイムライン上に表示される。変形は場所と時間における写真の数に基づく。人のサムネイルは、その人を含む写真の数による大きさとなっている。そのため、一般的には、そのコンテンツの所有者及びその家族／友人のサムネイルが最も大きくなる。ユーザインターフェイスは人を共通の写真の数に応じてグループ化することもできる。
2008529118.tif 000002
【特許請求の範囲】
【請求項１】
画像のコンテンツに関するデータと前記画像を形成した環境とでタグされた複数の画像を処理する画像検索・表示システムであって、
前記画像の前記コンテンツと前記画像を形成した前記環境とに関するタググラフを表示してユーザ選択可能グラフ要素を表示し、検索すべき関係画像にリンクするグラフィックユーザインターフェイスを有するシステム。
【請求項２】
前記ユーザ選択可能グラフィック要素は前記画像を撮った場所へのリンクを提供する、請求項１に記載の画像検索・表示システム。
【請求項３】
前記ユーザ選択可能グラフィック要素は前記画像を撮った時へのリンクを提供する、請求項１に記載の画像検索・表示システム。
【請求項４】
前記ユーザ選択可能グラフィック要素は前記画像の前記コンテンツに含まれる人へのリンクを提供する、請求項１に記載の画像検索・表示システム。
【請求項５】
前記ユーザ選択可能グラフィック要素は、前記画像を撮った前記場所にリンクする場所の一部を有するマップを含む、請求項１に記載の画像検索・表示システム。
【請求項６】
前記ユーザ選択可能グラフィック要素は、前記画像を撮った前記時にリンクする時点表示を有するタイムラインを含む、請求項１に記載の画像検索・表示システム。
【請求項７】
前記ユーザ選択可能グラフィック要素は、前記画像の前記コンテンツに含まれる前記人にリンクする人の画像を含む、請求項１に記載の画像検索・表示システム。
【請求項８】
前記ユーザ選択可能グラフィック要素は、前記マップ上に複数の場所に複数の拡大部分を有するマップを含み、前記拡大部分の拡大率は前記画像を撮った前記場所にリンクするため前記場所の各々における画像の数に対応する、請求項１に記載の画像検索・表示システム。
【請求項９】
前記ユーザ選択可能グラフィック要素は前記タイムライン上に複数の時間表示点を有するタイムラインを含み、前記時間表示点間の長さは前記画像を撮った前記時にリンクする前記時間表示点間の時間に撮った画像の数に対応する、請求項１に記載の画像検索・表示システム。
【請求項１０】
前記ユーザ選択可能グラフィック要素は、複数の画像を含み、各画像は前記画像の前記コンテンツに含まれる人にリンクするために前記人を表示し、前記画像の各々はその人の前記画像を含む写真の数に比例した拡大率で拡大される、請求項１に記載の画像検索・表示システム。
【請求項１１】
前記ユーザ選択可能グラフィック要素は複数の画像を含み、各画像は前記画像の前記コンテンツに含まれる人のグループにリンクするために前記人のグループを表示し、前記画像の各々はその人のグループの人の画像を含む写真の数に比例した拡大率で拡大される、請求項１に記載の画像検索・表示システム。
【請求項１２】
前記ユーザ選択可能グラフィック要素は、前記マップ上の複数の場所に複数の色を有するマップを含み、画像に表示された色は前記画像を撮った前記場所にリンクするため前記場所の各々で撮られた画像の数に対応する、請求項１に記載の画像検索・表示システム。
【請求項１３】
前記ユーザ選択可能グラフィック要素は複数の時間表示点を有するタイムラインを含み、前記時間表示点間に表示された各色は前記画像を撮った前記時にリンクするために前記時間表示点間に撮った画像の数に対応する、請求項１に記載の画像検索・表示システム。
【請求項１４】
前記ユーザ選択可能グラフィック要素は複数の画像を含み、各画像は前記画像の前記コンテンツに含まれる人にリンクするために前記人を表示し、前記ユーザ選択可能グラフィック要素の色はその人を含む前記画像の数に対応する、請求項１に記載の画像検索・表示システム。
【請求項１５】
前記ユーザ選択可能グラフィック要素は複数の場所に表示された複数の明るさ値を有するマップを含み、前記明るさ値は前記画像を撮った前記場所にリンクするため前記場所の各々において撮った画像の数に対応する、請求項１に記載の画像検索・表示システム。
【請求項１６】
前記ユーザ選択可能グラフィック要素は複数の時間表示点を有するタイムラインを含み、前記時間表示点間の時間は前記時間中に取った前記画像にリンクするため、前記時間中に撮った画像の数に応じた異なる明るさ値で表示される、請求項１に記載の画像検索・表示システム。
【請求項１７】
前記ユーザ選択可能グラフィック要素は画像のコンテンツに含まれる人にリンクするための、その人を含む前記画像の数に応じた複数の画像を含み、前記画像の各々は異なる明るさ値で表示される、請求項１に記載の画像検索・表示システム。
【請求項１８】
前記画像の前記コンテンツと前記画像を形成した前記環境とに基づき前記複数の画像を分類する画像分類・処理手段をさらに有する、請求項１に記載の画像検索・表示システム。
【請求項１９】
画像検索・表示方法であって、
画像のコンテンツと前記画像を形成した環境とを担うメタデータが付加された複数の画像を処理する段階と、
前記画像の前記コンテンツと前記画像を形成した前記環境とを表示する、検索すべき関係画像にリンクするためにユーザ選択可能グラフィック要素を表示する段階とを有する方法。
【請求項２０】
前記ユーザ選択可能グラフィック要素を表示する段階は、前記画像を撮った場所へのリンクを表示し提供する段階をさらに含む、請求項１９に記載の方法。
【請求項２１】
前記ユーザ選択可能グラフィック要素を表示する段階は、前記画像を撮った時へのリンクを表示し提供する段階をさらに含む、請求項１９に記載の方法。
【請求項２２】
前記ユーザ選択可能グラフィック要素を表示する段階は、前記画像の前記コンテンツに含まれる人へのリンクを表示し提供する段階をさらに含む、請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオとグラフィック画像の処理システムに関する。より具体的には、本発明は、画像の大きなコレクションを直感的かつ便利に検索して、比較するためのユーザインターフェイスと方法とに関する。
【背景技術】
【０００２】
ユーザがますます多くのデジタル写真画像（例えば、１万枚のコレクション）を集めるにつれて、このコレクションをナビゲーションすることがますます困難になりつつある。予め手間をかけて写真を整理しておかなければ、ある時、人、場所に関係する一群の写真を見つけるには時間がかかるであろう。多くの特許及び特許出願により、写真のブラウズと検索を改善するシステムと方法が開示されている。しかし、これらの方法とユーザインターフェイスシステムは、写真ブラウザに、直感的に、表示されたグラフ（graphs）を場所、時、人を選択するガイドラインとさせるグラフィックユーザインターフェイス（ＧＵＩ）を提供するものではない。ある写真を見つけるために、写真ブラウザは、複数のデータベースエントリーをナビゲーションして、画像表示セレクションを読み取り、所望の写真を見つけて選択しなければならない。
【０００３】
特許文献１では、データ表示のブラウズと管理を簡単にする表示装置と方法とが開示されている。公報この表示装置では、中央処理装置（ＣＰＵ）を用いて外部メモリから画像データと、撮影時間データと、メモリ使用データとを取得する。表示部が２４時間を示す時計タイプのデータリストと画像データ選択用のポインタとを表示し、その時計タイプデータリスト上に、デジタルカメラの外部メモリから取得したメモリ使用データと、画像データを展開して縮小したサムネイルデータとを表示する。ＣＰＵが、選択されたサムネイルデータを拡大して表示する。
【０００４】
特許文献２では、ネットワーク上でのアーカイブ、カタログ作成、検索、及び読み出しのためのデータベースを作成して、デジタル画像を格納する発明が開示されている。この方法は、デジタル画像オブジェクトのコレクションを受け取るためのクエリを作成するステップを含んでいる。写真はタイムラインまたはマップに表示できる。
【０００５】
他の先行技術としては特許文献３がある。この技術では、サムネイル操作、階層的符号化／復号、及び画像ベースのファイルブラウジングが写真のズーム方法とともに開示されている。特許文献３は、写真を管理するためのカレンダーベースのユーザインターフェイスシステムを開示している。特許文献４は、写真データベース中の写真のグループのシーンコンテンツの注釈によりそのデータベース中のグラフ（graphs）のブラウジングを効率的にするグラフィックユーザインターフェイスを開示している。
【０００６】
しかし、写真のブラウザは、写真を見つけるには、グラフィックユーザインターフェイスが直感的な選択と操作を提供していないので、多数のデータベースエントリー中をナビゲーションして、多数の画像表示セレクションを読み取らなければならないという問題点に対する有効な解決策をこれらの先行技術は提供していない。
【０００７】
上記理由により、多数の写真中のユーザブラウジングの操作と選択を簡単化する新しく改良されたシステム構成と機能処理手順とを提供する必要がある。グラフィックユーザインターフェイスが、各写真に含まれる画像コンテンツに直接関係する時、場所、人、その他の選択オプションに関係する直感的ユーザセレクションを提供できることが望ましい。さらに望ましいことは、ユーザに提供されるかかる選択オプションは、視覚的かつ直感的な画像として表示され、直接的にユーザにかかる選択をさせ、上記の問題と限界を解消することである。
【特許文献１】特開第２００３−０８５５３０号
【特許文献２】米国特許出願第２００３００３３２９６号
【特許文献３】欧州特許第１４２９２８７号
【特許文献４】米国特許出願第２００２００７５３１０号
【発明の開示】
【課題を解決するための手段】
【０００８】
それゆえ、本発明の目的は、場所、時、人等の視覚的表示を有する新しく改良されたユーザインターフェイスを提供し、写真ブラウザに写真のコンテンツ、時、場所に関係する写真の直感的かつ便利なナビゲーションと検索を可能とすることである。
【０００９】
特に、本発明は、分類インデックスとして場所、時、人のメタデータに基づき構成された写真ブラウジングインターフェイスを開示し、関心のある写真を見つけやすくする。
【００１０】
具体的な実施形態では、ユーザに写真のナビゲーションをするための場所、時、人の３次元セレクションの視覚的表示を提供する。場所と時間はそれぞれ変形したマップとタイムライン上に表示される。変形は場所と時間における写真の数に基づく。人達の視覚的表示は、その人達を撮影した写真の数に応じて大きさを変えたサムネイルで表される。これにより、一般的には、コンテンツの所有者とその家族／友人の写真のグループのサムネイルが最大になる。人達を共通の写真の数に応じてグループ化することもできる。
【００１１】
このようにして、グラフィックユーザインターフェイスをコンテンツ自体に基づき変形して表示する。グラフィックユーザインターフェイスにより、ユーザは写真のナビゲーションと検索をすることができる。さらに、ナビゲーションを容易にするために、ほとんどの写真を含む画像グループは空間的かつ時間的に比例拡大される。同様に、ほとんどの写真に含まれる人は、表示中で拡大される。グラフ表示の場合、ユーザに具体的なグループ化方法を説明する必要はない。グラフで表示された意味は、ユーザには、写真セレクションをブラウズし検索する時に一目見れば明らかとなり、明確かつ直感的な検索インターフェイスを提供する。
【００１２】
簡単に言うと、好ましい実施形態では、本発明は画像のコンテンツとその画像を形成した環境とに関係するデータを含むタグを有する複数の画像を処理する画像検索・表示システムを開示している。この画像検索・表示システムは、画像のコンテンツとその画像を形成した環境へのポインタを提供し、ユーザに画像を直感的に検索できるようにするためにユーザ選択可能グラフィック要素を表示するグラフィックユーザインターフェイスを含む。別の好ましい実施形態では、ユーザ選択可能グラフィック要素は、複数の場所に複数の拡大部分を有するマップを含む。該拡大部分はその場所の各々に関係する画像の数と比例する拡大率で拡大され、その画像を撮った選択された場所をユーザが指示するポインタを提供する。他の好ましい実施形態では、ユーザ選択可能グラフィック要素は、複数の時間点表示を有するタイムラインを含む。時間点表示間の長さはその時間点表示間の時間に関係する画像の数に比例し、ユーザに画像を撮った選択されたときを指示するポインタを提供する。他の好ましい実施形態では、ユーザ選択可能グラフィック要素は複数の画像を含み、各画像は人たちのグループを画像のコンテンツに含まれた人達のグループを指示するユーザ選択可能ポインタとして示す。各画像は人の画像に含まれるその人の写真の数に比例する拡大率で拡大される。
【００１３】
本発明の上記その他の目的と有利性は、図面を参照して好ましい実施形態の以下の詳しい説明を読めば当業者には明らかになるであろう。
【００１４】
[発明の詳細な説明]
図１は、画像検索・表示システムのグラフィックユーザインターフェイスを示している。これは３つのタグ、すなわち図１に示した場所、時、人のタグを含み、ユーザはそのタグにより複数の画像を特定してその中を検索して、場所、時、人に関する写真を選択することができる。これらのタグの各々は、すなわち図１に示した場所、時、人のタグは、ユーザにより選択されたその場所、時、人に関係のない画像をすべて排除するフィルタとして機能する。具体的に、すべてのデジタル画像は時間と場所のメタデータを含む。これらのメタデータはＧＰＳ座標の位置データを有し、写真が撮られた時の時間データ（例えば、日付と時刻）を格納している。そのデジタル画像に含まれる人の名前を格納して、デジタル画像の検索・表示を改善してもよい。ユーザが特別なサムネイルをクリックして検索のタイプを選択したとき、例えば写真に含まれる場所、時、または人を用いてデータをリンクして、写真の検索プロセスにおいてナビゲーションを容易にする直感的なユーザインターフェイスを提供することができる。
【００１５】
図２は、ユーザが場所選択タグをクリックして、画像検索・表示システム上に表示されるマップを示している。図示したマップは、検索する画像によりカバーされる場所の範囲に応じて、世界中をカバーするものでもよいし、より限定された地域をカバーするものでもよい。場所タグを選択すると、システムはその一部を拡大した変形マップ（distorted  map）を示す。拡大される部分は、多数の写真を撮った場所であり、拡大したサイズは写真の数を反映している。典型的には、これらのマップはユーザが多数の写真を撮った場所を表示し、例えば、ユーザのホームタウンや休暇で訪れた場所である。これらの場所では、マップを拡大して、ユーザがこれらの場所をより詳細に速く見ることができ、異なる場所で撮った写真を容易に区別できるように成っている。一般的に、少ない写真しか撮っていない場所では、ユーザは都市の具体的な場所に基づきナビゲーションしなくてもよいが、図２に示したような、多数の写真を撮った都市では、ユーザは具体的な場所に基づくナビゲーションをしたいと思う。タッチスクリーンの場合、ユーザは円で囲って興味のある一群の写真を選択することができる。
【００１６】
図２は非常に簡単な代表的な例を示している。一般的に、拡大されたエリアは図示したように離れたオーバーレイとして表示されても、されなくてもよい。拡大された部分はスムースに拡大されたマップまたは部分的に変形されたマップとして交互に表示することもできる。拡大していない部分は縮小してもよい。また、図２では１つの場所（上海）のみが拡大されて示されているが、通常、複数の場所を異なるレベルに拡大して表示してもよい。マップには写真の場所を示す特別な記号、例えば赤い点を含めて、写真がある場所をユーザがすぐに分かるようにしてもよい。本システムは、すでに変形した拡大はそのままにしてマップ全体を拡大する、マップ拡大の任意機能をユーザに提供してもよい。
【００１７】
上記のようにマップの一定の部分の拡大に加えて、検索・表示システムでは色を用いて多くの写真を撮ったエリアを示すこともできる。これは、地図上で色を用いて標高を示すのと同様である。
【００１８】
図３は、ユーザが時間タグをクリックした時に、本発明の画像検索・表示システムに表示される変形タイムラインを示す図である。変形タイムライン上では、多くの写真を撮った期間はタイムラインの長いセグメントを与えられている。ユーザは通常多くの写真（most  pictures）を撮った期間の画像を詳細に見ることを欲するので、かかる期間を表示することはユーザの検索・表示に最も役立つ。図３は１次元の拡大タイムラインを示している。２次元バージョンにより、（横軸に沿った）日付と（縦軸に沿った）時刻にわたる分布を示すこともできる。マップとタイムラインの両方において、色を用いて写真の密度が最も高い場所または時間をハイライトすることもできる（例えば、密度が最も高い部分を明るい赤にする）。あるいは、明るさを使用することができる。すなわち、色は変えないで、密度が最も高い部分がマップまたは変形タイムライン上で明るく見えるようにすることができる。
【００１９】
図４は、ユーザがピープルタグ（people  tag）をクリックしたときに表示される、写真中の人のサムネイルの表示例である。サムネイルのサイズは（最大サイズまでは）その人物を含む写真の数に比例しているので、ユーザは最も頻繁に出てくる人、例えば撮影者の身内や友人を素早く見つけることができる。さらに、同じ写真に写っている人達に基づいて写真をグループ化することもできる。すなわち、多数の写真があり各写真が同じ人達を含むとき、その多数の写真を一組（specified  set）としてグループ化することができる。例えばそのコンテンツの持ち主等の何人かは複数のグループに写っているかも知れない。好ましい実施形態では、画像検索・表示システムを提供する。そのシステムは、自動的にグループを作り、ユーザに各グループの名前を指定させる。あるいは、本システムは、単一の代表的な写真に最も頻繁に写っている人達に基づいてグループ化が行われ、どのグループが最も頻繁に写っているこの人たちを含むかユーザに容易に分かる構成を提供する。
【００２０】
図５は、２つのグループを示し、例えば写真の持ち主である１人は両方のグループに写っている。左側のグループが持ち主の家族であり、右側のグループが持ち主の仕事仲間であるとき、そのグループの意味は持ち主には非常に容易に分かる。さらに、グループ中の写真の数を用いてそのグループを表示するサイズを決定する。図５では、左側のグループの方が大きいが、それは右側のグループよりも多くの写真を含んでいるからである。ユーザはグループの１つを直感的に選択して、そのグループ中の人たちの変形画像を示すサムネイルをクリックすることにより、そのグループをオープンすることができる。グループ内のサブグループのサムネイルを柔軟に作って、別の人達の画像を示す異なるサムネイルをクリックするだけで、別の写真を便利に検索・表示（view）するオプションをユーザに提供することができる。
【００２１】
別の好ましい実施形態では、単一の画面上に異なる画像のセットの情報に関するサムネイルがすべて表示され、全サムネイルをブラウズするにはスクロールバーが必要である。ユーザは別のサムネイルの詳細を見るためにはズームインするが、すべての要素の相対的サイズは変わらない。検索・表示システムをタッチスクリーンディスプレイを有するシステムに組み込んで、ユーザが、選択する部分に対してタッチスクリーン上の対応するエリアを円で囲んで選択することができる。ユーザは、目的の場所、時、人に応じてスクリーンディスプレイの異なる部分を簡単かつ直感的にタッチすることにより、容易に画像を検索しナビゲーションすることができる。これにより、ユーザが大量の写真のコレクションから特定の写真を検索して見つけ出す容易かつ直感的な方法を提供する。
【００２２】
このシステムのユーザインターフェイスは、ほとんどの写真の場所、時、人をハイライトする。もちろん、このシステムを使用して、少数の写真だけでも、その場所、時、人を見つけることもできる。場所タグと時間タグから、ユーザは写真がほとんど無い場所と時が容易に分かる。同様に、ピープルタグにおいて、少数の写真にしか写っていない人達（最小サイズのサムネイル）を素早く知ることができる。本システムにより、写真が最も少ない場所、時、人をハイライトするように表示を逆転するオプションをユーザに提供でき、ユーザは多数の写真コレクション中の希少な写真を容易に見つけることができる。
【００２３】
好ましい実施形態では、本画像検索・表示システムは、場所、時、及び人たちの名前に関する情報を含むメタデータのタグを有するデジタル画像を処理するメタデータプロセッサを含む。本画像検索・表示システムは、さらに、各デジタル写真にタグされたメタデータに対応する場所を含むマップを含む。本発明による画像検索・表示システムは、各画像のメタデータを処理し、場所、時、人により各写真を関連づけるためのテーブル（例えばデータベース）を作る。本システムは、一組の写真の場所情報を分析して、同じ場所の近くで撮られた写真をクラスター化する（例えば、半径を５マイルとし、５マイル内で撮った写真はクラスター化し、オーバーラップする地域は結合して単一クラスターにする）。次に、本システムは、そのクラスターを各々に含まれる写真の数に基づいて区間Ｉ１、．．．Ｉｎにマッピングする。ここで、Ｉｎは写真が最も多い場所である。Ｍ（Ｉ１）＝０とＭ（Ｉｎ）＝最大値として、拡大ファクタを各区間に割り当てる。これらの拡大値に基づき、各区間の場所を対応するファクタにより拡大して、マップを表示することができる。好ましい実施形態では、拡大部分はマップの他の部分に重なっていてもよい（そのためこれらの部分は縮小して見える）。しかし、他の部分には写真が無いので、この写真コレクション中のナビゲーションには影響しない。実際的な実施形態では、マップのエリアの外で撮られた写真については、場所は背景上のマップの片側に表示できる。例えば、図２は中国のマップを示しているが、日本で撮った写真がありマップが日本をカバーしていないとき、場所は日本の方向のマップの片側のエリアに示してもよい。このように、ユーザは、マップがその場所をカバーしていなくても、写真を撮った場所のおおよそのアイデアを得ることができる。一般的に、マップは普通ユーザが写真を撮る場所をカバーしており、マップから外れる写真は少ないと予想される。同様に、タイムライン中の検索の場合、システムは各時間に撮られた写真の数を分析して、タイムラインを適宜拡大する。人により写真を検索する場合、写真コレクション中の各人の出現頻度をカウントし、人に区間を割り当てて、その区間に基づき、サムネイルに（ある最大値までの）拡大値を割り当てる。上記の実施形態によると、本発明は画像検索・表示システムを開示している。該システムは、複数の画像をその画像のコンテンツとその画像を形成した環境とに基づき分類する画像分類・処理手段を有する。
【００２４】
本発明を現在のところ好ましい実施形態に関して説明したが、言うまでもなく、かかる開示は本発明の範囲を限定するとして解釈すべきではない。上記の開示を読んだ当業者には、様々な代替と修正が明らかとなるであろう。従って、意図されていることは、添付した請求項を本発明の真の精神と範囲に含まれるすべての代替と修正をカバーするものとして解釈することである。
【図面の簡単な説明】
【００２５】
【図１】ユーザが場所、時、人を選択し、それによりユーザに写真をブラウズさせ、検索させる３つのタグの画面表示を示す図である。
【図２】ユーザがある場所で撮った写真を選択、検索する変形拡大したマップを示す画面表示の図である。
【図３】ユーザがある時に撮った写真を選択、検索する変形拡大したタイムラインを示す画面表示の図である。
【図４】写真に数人が写っている写真数に応じて異なる人の画像を示すサイズが異なるサムネイルを示す画面表示の図である。
【図５】ユーザが人により写真の検索を容易にするために、写真に含まれる人々に応じて自動的に整理されたサムネイルを示す画面の図である。
【図１】
2008529118.tif 000003
【図２】
2008529118.tif 000004
【図３】
2008529118.tif 000005
【図４】
2008529118.tif 000006
【図５】
2008529118.tif 000007
【国際調査報告】
2008529118.tif 000008
2008529118.tif 000009
2008529118.tif 000010