(57)【要約】      （修正有）【課題】ユーザーに負担を掛けることなく、より容易且つ安価に所望のコンテンツを検索する。【解決手段】ＰＣ１２から検索の元となる入力画像のデータが入力されると、サーバ１４の代表色抽出部で、入力画像の代表色が抽出される。タグ抽出部により、代表色抽出部で出力された入力画像の代表色と同様の代表色に関連するタグが代表色−タグＤＢから抽出される。画像検索部にて、画像一覧テーブルが参照されつつ、タグ抽出部で得られたタグが関連付けられた画像が画像ＤＢから検索される。画像選定部により、画像検索部で検索した画像が入力画像の検索結果として相応しいかどうかを表すスコアが算出され、算出したスコアに応じて、画像検索部で検索した画像が選定される。選定された画像は、検索ウィンドウに一覧表示される。【選択図】図１
2008192055.tif 000002
【特許請求の範囲】
【請求項１】
検索の元となる第一のコンテンツを入力するコンテンツ入力ステップと、
前記第一のコンテンツを特徴付ける属性を抽出する属性抽出ステップと、
前記属性抽出ステップで抽出された属性から想起される付帯情報を抽出する付帯情報抽出ステップと、
前記付帯情報抽出ステップで抽出された付帯情報が付与された第二のコンテンツを、複数のコンテンツから検索するコンテンツ検索ステップと、
前記第二のコンテンツを選択的に表示するコンテンツ表示ステップとを備えることを特徴とするコンテンツ検索方法。
【請求項２】
前記第一のコンテンツと前記第二のコンテンツとの関連性の度合いを表すスコアを算出し、
算出したスコアに応じて、前記第二のコンテンツから、前記コンテンツ表示ステップで表示するコンテンツを選定するコンテンツ選定ステップを備えることを特徴とする請求項１に記載のコンテンツ検索方法。
【請求項３】
前記コンテンツ、前記属性、および前記付帯情報を関連付けて記憶する第一記憶ステップを備えることを特徴とする請求項１または２に記載のコンテンツ検索方法。
【請求項４】
前記第一記憶ステップでは、前記コンテンツ、前記属性、および前記付帯情報をデータテーブル化して記憶することを特徴とする請求項３に記載のコンテンツ検索方法。
【請求項５】
前記属性、および前記付帯情報を関連付けて記憶する第二記憶ステップを備えることを特徴とする請求項１ないし４のいずれかに記載のコンテンツ検索方法。
【請求項６】
前記第二記憶ステップでは、前記属性、および前記付帯情報をデータテーブル化して記憶することを特徴とする請求項５に記載のコンテンツ検索方法。
【請求項７】
前記付帯情報は、前記コンテンツを検索する際に参照されるタグであることを特徴とする請求項１ないし６のいずれかに記載のコンテンツ検索方法。
【請求項８】
前記コンテンツは、画像であることを特徴とする請求項１ないし７のいずれかに記載のコンテンツ検索方法。
【請求項９】
前記属性抽出ステップでは、前記画像の代表色を前記属性として抽出することを特徴とする請求項８に記載のコンテンツ検索方法。
【請求項１０】
検索の元となる第一のコンテンツを入力するコンテンツ入力ステップと、
前記第一のコンテンツに付与された付帯情報を抽出する付帯情報抽出ステップと、
前記付帯情報抽出ステップで抽出された付帯情報から想起される属性を抽出する属性抽出ステップと、
前記属性抽出ステップで抽出された属性と同様の属性をもつ第二のコンテンツを、複数のコンテンツから検索するコンテンツ検索ステップと、
前記第二のコンテンツを選択的に表示するコンテンツ表示ステップとを備えることを特徴とするコンテンツ検索方法。
【請求項１１】
検索の元となる第一のコンテンツを入力するコンテンツ入力部と、
前記第一のコンテンツを特徴付ける属性を抽出する属性抽出部と、
前記属性抽出部で抽出された属性から想起される付帯情報を抽出する付帯情報抽出部と、
前記付帯情報抽出部で抽出された付帯情報が付与された第二のコンテンツを、複数のコンテンツから検索するコンテンツ検索部と、
前記第二のコンテンツを選択的に表示するコンテンツ表示部とを備えることを特徴とするコンテンツ検索装置。
【請求項１２】
検索の元となる第一のコンテンツを入力するコンテンツ入力部と、
前記第一のコンテンツに付与された付帯情報を抽出する付帯情報抽出部と、
前記付帯情報抽出部で抽出された付帯情報から想起される属性を抽出する属性抽出部と、
前記属性抽出部で抽出された属性と同様の属性をもつ第二のコンテンツを、複数のコンテンツから検索するコンテンツ検索部と、
前記第二のコンテンツを選択的に表示するコンテンツ表示部とを備えることを特徴とするコンテンツ検索装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のコンテンツから所望のコンテンツを検索するためのコンテンツ検索方法、およびコンテンツ検索装置に関する。
【背景技術】
【０００２】
最近、携帯電話やパーソナルコンピュータなどの情報端末機器の普及によって、映像、画像、音楽、ゲーム、電子書籍といった様々なコンテンツを、大量且つ容易に得ることが可能になってきた。これに伴い、不特定多数のユーザーがコンテンツを自由に登録・検索することができ、ユーザー同士で情報を共有するという新しい概念（いわゆるＷｅｂ２．０）が生まれており、フリッカー（flickr）と呼ばれるユーザー参加型の画像共有サービスや、はてなブックマーク、ウィキペディアといったフリー百科事典が既に実用化されている。
【０００３】
上記のようにコンテンツを登録・検索するシステムでは、膨大なコンテンツの中から、ユーザーが所望するコンテンツを効率的に検索するために、タグと呼ばれる付帯情報をコンテンツに付与している。このようなシステムは、フォークソノミー（folksonomy）と呼ばれている。なお、タグとは、そのコンテンツの特徴を端的な単語で表したもので、例えば、コンテンツが南の島の珊瑚礁と海、青空を写した画像であった場合は、「珊瑚礁」、「海」、「空」などがタグとして付与される。
【０００４】
このような背景を踏まえて、従来、コンテンツを登録・検索する際の利便性を高めるために、種々の技術が提案されている（特許文献１〜３参照）。特許文献１に記載の発明では、コンテンツとしての画像の一部または全部の領域の物理的特徴（色、周波数成分）を抽出し、抽出した物理的特徴、または物理的特徴の表現を変換した結果をタグとしている。例を挙げて説明すると、色の抽出結果が（Ｒ＝１、Ｇ＝０、Ｂ＝０）であった場合は「赤」、周波数成分が（画像の全領域＝０、上部領域＝０、左領域＝０）であった場合は、「低周波数が多い」とする。また、これらの物理的特徴を「山」、「海」などの具体的な単語に変換する変換用知識データを用意し、例えば、物理的特徴が「青」、「低周波数が多い」であれば、変換用知識データで「空」、「海」に変換し、これらをタグとする。
【０００５】
特許文献２に記載の発明では、まず、コンテンツとしての画像のイメージ、あるいは画像の付帯情報（タグ、画像の特徴を簡潔に表すアイコン、色味、音声コメントなど）に関して、相反する言葉（例えば、「モダン」と「伝統的」、「洋風」と「和風」など）をパラメータとしてもつ二次元以上の軸を有するマップを作成し、このマップ上に画像、または付帯情報を配置していく。そして、検索の際に、マップ上の距離を検索の曖昧度として指定し、検索の元になる画像を中心とする指定された範囲内にある画像を自動的に検索することで、いわゆるあいまい検索を行うことが可能となっている。
【０００６】
特許文献３に記載の発明では、連想語辞書を参照して、入力された検索語の連想語を取得し、取得した連想語と検索語に基づいて、コンテンツとしての画像の検索を行う。一方、イメージ語と感性パターンとを対応付けたデータを参照して、検索語および連想語に対応する感性パターンを取得し、取得した感性パターンの特徴量を用いて画像の検索を行い、最終的にこれら二つの経路で得られた検索結果を統合している。これにより、例えば、「さわやかな」といった抽象的な検索語に対して、適切な画像を精度良く検索することが可能となる。
【特許文献１】特開平２−１８７８６４号公報
【特許文献２】特開平８−３２９０９６号公報
【特許文献３】特開２０００−１１２９５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
フォークソノミーと呼ばれるシステムは、特定の管理者のみがコンテンツの登録を行うシステムとは異なり、万人に開かれたオープンなものであるため、コンテンツ同士の関係性が無限に広がるという利点をもつ。しかしながら、特許文献１に記載の発明は、物理的特徴を単語に変換するために変換用知識データが必要であり、物理的特徴から結び付けられる単語には限界がある。
【０００８】
特許文献２に記載の発明は、マップを作成する手間が掛かり煩わしく、そのうえ、マップを作成するユーザーのみに通用する閉じた関係性しか生まれない。また、特許文献３に記載の発明も同様に、連想語辞書やイメージ語と感性パターンとを対応付けたデータを用意する必要があり、事前の準備に掛かるコストの観点からも、フォークソノミーと呼ばれるシステムの利点を活かしていない。
【０００９】
本発明は、上記課題を鑑みてなされたものであり、ユーザーに負担を掛けることなく、より容易且つ安価に所望のコンテンツを検索することができるコンテンツ検索方法、およびコンテンツ検索装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、請求項１に記載の発明は、コンテンツ検索方法であって、検索の元となる第一のコンテンツを入力するコンテンツ入力ステップと、前記第一のコンテンツを特徴付ける属性を抽出する属性抽出ステップと、前記属性抽出ステップで抽出された属性から想起される付帯情報を抽出する付帯情報抽出ステップと、前記付帯情報抽出ステップで抽出された付帯情報が付与された第二のコンテンツを、複数のコンテンツから検索するコンテンツ検索ステップと、前記第二のコンテンツを選択的に表示するコンテンツ表示ステップとを備えることを特徴とする。
【００１１】
前記第一のコンテンツと前記第二のコンテンツとの関連性の度合いを表すスコアを算出し、算出したスコアに応じて、前記第二のコンテンツから、前記コンテンツ表示ステップで表示するコンテンツを選定するコンテンツ選定ステップを備えることが好ましい。
【００１２】
前記コンテンツ、前記属性、および前記付帯情報を関連付けて記憶する第一記憶ステップを備えることが好ましい。この場合、前記第一記憶ステップでは、前記コンテンツ、前記属性、および前記付帯情報をデータテーブル化して記憶することが好ましい。
【００１３】
前記属性、および前記付帯情報を関連付けて記憶する第二記憶ステップを備えることが好ましい。この場合、前記第二記憶ステップでは、前記属性、および前記付帯情報をデータテーブル化して記憶することが好ましい。
【００１４】
前記付帯情報は、前記コンテンツを検索する際に参照されるタグであることが好ましい。
【００１５】
前記コンテンツは、画像であることが好ましい。この場合、前記属性抽出ステップでは、前記画像の代表色を前記属性として抽出することが好ましい。なお、代表色とは、例えば、画像内の占める面積が大きい色など、その画像の視覚的な印象を表す色をいう。
【００１６】
請求項１０に記載の発明は、コンテンツ検索方法であって、検索の元となる第一のコンテンツを入力するコンテンツ入力ステップと、前記第一のコンテンツに付与された付帯情報を抽出する付帯情報抽出ステップと、前記付帯情報抽出ステップで抽出された付帯情報から想起される属性を抽出する属性抽出ステップと、前記属性抽出ステップで抽出された属性と同様の属性をもつ第二のコンテンツを、複数のコンテンツから検索するコンテンツ検索ステップと、前記第二のコンテンツを選択的に表示するコンテンツ表示ステップとを備えることを特徴とする。
【００１７】
請求項１１に記載の発明は、コンテンツ検索装置であって、検索の元となる第一のコンテンツを入力するコンテンツ入力部と、前記第一のコンテンツを特徴付ける属性を抽出する属性抽出部と、前記属性抽出部で抽出された属性から想起される付帯情報を抽出する付帯情報抽出部と、前記付帯情報抽出部で抽出された付帯情報が付与された第二のコンテンツを、複数のコンテンツから検索するコンテンツ検索部と、前記第二のコンテンツを選択的に表示するコンテンツ表示部とを備えることを特徴とする。
【００１８】
請求項１２に記載の発明は、コンテンツ検索装置であって、検索の元となる第一のコンテンツを入力するコンテンツ入力部と、前記第一のコンテンツに付与された付帯情報を抽出する付帯情報抽出部と、前記付帯情報抽出部で抽出された付帯情報から想起される属性を抽出する属性抽出部と、前記属性抽出部で抽出された属性と同様の属性をもつ第二のコンテンツを、複数のコンテンツから検索するコンテンツ検索部と、前記第二のコンテンツを選択的に表示するコンテンツ表示部とを備えることを特徴とする。
【発明の効果】
【００１９】
本発明のコンテンツ検索方法、およびコンテンツ検索装置によれば、検索の元となる第一のコンテンツから、属性、または付帯情報を抽出し、属性に関連する付帯情報、または付帯情報に関連する属性を抽出して、抽出した付帯情報、または属性をもつ第二のコンテンツを検索して選択的に表示するので、ユーザーに負担を掛けることなく、より容易且つ安価に所望のコンテンツを検索することができる。
【発明を実施するための最良の形態】
【００２０】
図１において、画像登録・検索システム２は、デジタルカメラ１０で撮影して得られた画像データ、あるいは、メモリカードやＣＤ−Ｒなどの記録媒体１１に記録された画像データ（写真フイルムをＴＩＦＦまたはＪＰＥＧ形式でデジタイズしたものも含む）が取り込まれたパーソナルコンピュータ（以下、ＰＣと略す）１２で、インターネット１３を介して画像登録・検索サーバ（以下、単にサーバという）１４にアクセスし、画像の登録・検索を行うものである。
【００２１】
デジタルカメラ１０は、例えば、ＩＥＥＥ１３９４、ＵＳＢ（Universal Serial Bus）などに準拠した通信ケーブルや、無線ＬＡＮなどによりＰＣ１２に接続され、ＰＣ１２とのデータの相互通信が可能となっている。また、記録媒体１１も同様に、専用のドライバを介してＰＣ１２とのデータの遣り取りが可能となっている。
【００２２】
ＰＣ１２は、モニタ１５と、キーボードおよびマウスからなる操作部１６とを備えている。ＰＣ１２の内部構成を示す図２において、ＣＰＵ２０は、ＰＣ１２全体の動作を統括的に制御する。ＣＰＵ２０には、前述の操作部１６の他に、データバス２１を介して、ＲＡＭ２２、ハードディスクドライブ（以下、ＨＤＤと略す）２３、通信Ｉ／Ｆ２４、および表示制御部２５が接続されている。
【００２３】
ＨＤＤ２３には、ＰＣ１２を動作させるための各種プログラムやデータの他に、画像の登録・検索を一括して行うためのビューアーソフトのプログラムや、デジタルカメラ１０、または記録媒体１１から取り込まれた複数の画像データが記憶されている。ＣＰＵ２０は、ＨＤＤ２３からプログラムを読み出してＲＡＭ２２に展開し、読み出したプログラムを逐次処理する。また、ＣＰＵ２０は、操作部１６から入力される操作入力信号に応じて、ＰＣ１２の各部を動作させる。
【００２４】
通信Ｉ／Ｆ２４は、デジタルカメラ１０などの外部機器や、インターネット１３などの通信ネットワークとのデータの遣り取りを媒介する。表示制御部２５は、モニタ１５の表示を制御し、ビューアーソフトに係わる各種ウィンドウなどをモニタ１５に表示させる。
【００２５】
サーバ１４の内部構成を示す図３において、ＣＰＵ３０は、サーバ１４全体の動作を統括的に制御する。ＣＰＵ３０には、データバス３１を介して、ＲＡＭ３２、データストレージ３３、および通信Ｉ／Ｆ３４などが接続されている。
【００２６】
データストレージ３３には、サーバ１４を動作させるための各種プログラムやデータが記憶されている。ＣＰＵ３０は、データストレージ３３からプログラムを読み出してＲＡＭ３２に展開し、読み出したプログラムを逐次処理する。通信Ｉ／Ｆ３４は、インターネット１３などの通信ネットワークとのデータの遣り取りを媒介する。
【００２７】
データストレージ３３には、ＰＣ１２から登録された画像のデータが記憶される画像データベース（以下、画像ＤＢと略す）３５と、代表色−タグデータベース（以下、代表色−タグＤＢと略す）３６とが設けられている。
【００２８】
図４に示すように、画像ＤＢ３５は、登録された画像のデータとともに、登録時に自動的に付けられるＩＤ（登録順に付した通し番号）を見出しとして、登録された画像のデータのファイル名と、その画像の代表色（後述、図示は二個だが、実際にはｎ個記憶されている）と、その画像の特徴を表すタグとを、データテーブル化して記憶している。以下の説明では、このデータテーブルを画像一覧テーブル５０と称する。また、画像ＤＢ３５に記憶された画像を登録済み画像（複数のコンテンツに相当）、そのデータを登録済み画像データ、これから新たに登録される画像を新規登録画像、そのデータを新規登録画像データという。
【００２９】
図５に示すように、代表色−タグＤＢ３６には、代表色と、その代表色から想起されるタグ（例えば、代表色が「青」であれば、タグは「海」、「空」、「砂浜」などとなる）とが同一のＩＤで関連付けられた、代表色−タグ一覧テーブル５１が記憶されている。代表色−タグ一覧テーブル５１は、画像一覧テーブル５０の代表色とタグの項目からそれぞれを抜き出し、ＩＤで分類される代表色に、抜き出したタグを当て嵌めることにより作成される。このため、代表色−タグ一覧テーブル５１には、新規登録画像データが記憶される度に、その新規登録画像のタグが加えられ、更新される（言う迄もないが、同じ代表色に同じタグがあった場合は、更新されない）。それぞれの代表色に関連するタグは、図示するように複数の場合もあるし、一つの代表色に対して一つの場合もある。また、例えば、代表色が「赤」、「緑」の二つであった場合は、タグは「クリスマス」、「紅葉」などといった具合に、複数の代表色に対して一つ、あるいは複数のタグが関連している場合もある。
【００３０】
図３に戻って、代表色抽出部３７は、ＰＣ１２からの新規登録画像データを解析して、その画像の代表色を抽出する。具体的には、代表色抽出部３７は、新規登録画像を構成する画素の色を表す階調値を横軸（階級）、全画素における階調値の出現個数を縦軸（度数）としたヒストグラムを生成する。そして、例えば、度数が一番目〜ｎ番目に大きい階級の階調値で表される色を代表色とする。また、代表色抽出部３７は、画像を検索する際に入力される検索の元となる画像（第一のコンテンツに相当、以下、入力画像という）のデータ（以下、入力画像データという）に対しても、新規登録画像データの場合と同様に、代表色を抽出する。代表色抽出部３７は、抽出したｎ個の代表色のデータをＣＰＵ３０に出力する。なお、本実施形態では、階調値は、ＲＧＢの各色を＃００〜＃ＦＦ（１６進数）の８ビットで表すデータであり、画素の色は、＃００００００（図４、および図５参照）のように、ＲＧＢの順に１６進数を並べて表現される。つまり、例を挙げると、図４で「＃００００ＦＦ」と表されている代表色は青色、「＃ＦＦ００００」と表されている代表色は赤色である。
【００３１】
タグ抽出部３８は、代表色抽出部３７で出力された入力画像の代表色のデータ、および代表色−タグ一覧テーブル５１を、ＣＰＵ３０、および代表色−タグＤＢ３６からそれぞれ読み出す。そして、代表色−タグ一覧テーブル５１を参照しながら、代表色抽出部３７で出力された入力画像のｎ個の代表色のうち、少なくともいずれか一つと一致する、あるいは類似する代表色に関連するタグを、代表色−タグＤＢ３６から抽出する。
【００３２】
代表色抽出部３７で出力された代表色と類似する代表色は、例えば、ＲＧＢの三次元色空間における距離が、予め設定された閾値よりも小さい色、すなわち、代表色抽出部３７で出力された代表色を中心として閾値を半径とする球の範囲内にある色を採用する。タグ抽出部３８は、抽出したタグのデータをＣＰＵ３０に出力する。
【００３３】
画像検索部３９は、タグ抽出部３８で抽出されたタグのデータ、および画像一覧テーブル５０を、ＣＰＵ３０、および画像ＤＢ３５から読み出す。そして、画像一覧テーブル５０を参照しながら、タグ抽出部３８で得られたタグのうち、少なくともいずれか一つが関連付けられた登録済み画像を画像ＤＢ３５から検索する。画像検索部３９は、検索した登録済み画像データをＣＰＵ３０に出力する。
【００３４】
画像選定部４０は、画像検索部３９で検索した登録済み画像データをＣＰＵ３０から読み出す。そして、読み出した登録済み画像のスコアを算出し、算出したスコアに応じて、入力画像に対する検索結果として出力する登録済み画像（以下、出力画像という、またそのデータを出力画像データという）を絞り込む。スコアとは、画像検索部３９で検索した登録済み画像が入力画像にどれだけ関連しているか、言い換えれば、画像検索部３９で検索した登録済み画像が出力画像として相応しいかどうかを表す値である。
【００３５】
スコアの算出は、画像検索部３９で検索した登録済み画像に関連付けられたタグと、タグ抽出部３８で得られたタグとの一致の度合いに基づいて行う。例えば、一致したタグの個数をスコアに加算する。また、これに加えて、あるいはこれに代えて、画像検索部３９で検索した登録済み画像の代表色と、入力画像の代表色との一致、または類似の度合いに基づいて行う。例えば、一致は＋１点、類似は＋０．５点として、５個一致、２個類似の場合は５＋（０．５×２）で６点とする。なお、画像検索部３９で検索した登録済み画像の代表色は、画像一覧テーブル５０に記憶されたものを用いてもよいし、画像検索部３９で検索した登録済み画像に対して、代表色抽出部３７で再度代表色の抽出を行い、これにより得られた代表色を用いてもよい。このようにして算出したスコアは、入力画像の代表色を元にタグ抽出部３８で抽出されたタグと一致するタグをもつ登録済み画像ほど、また、入力画像の代表色と一致、または類似する代表色をもつ登録済み画像ほど高くなる。
【００３６】
画像選定部４０は、スコアが上位ｍ番目の登録済み画像、または、スコアが予め設定された閾値を超える登録済み画像を、出力画像として選定する。画像選定部４０は、選定した出力画像データをＣＰＵ３０に出力する。ＣＰＵ３０は、画像選定部４０からの出力画像データを、通信Ｉ／Ｆ３４を介してＰＣ１２に出力する。
【００３７】
ＣＰＵ３０は、画像ＤＢ３５に新規登録画像データ、または入力画像データを記憶するとともに、ＩＤを付して、そのデータのファイル名と、代表色抽出部３７で出力された代表色と、ユーザーにより入力されたタグとを関連付けて画像一覧テーブル５０に記憶する。なお、入力画像データを記憶する場合、ユーザーにより入力されたタグだけでなく、タグ抽出部３８で抽出されたタグも併せて記憶してもよい。
【００３８】
画像の登録・検索を行う際には、操作部１６を操作してビューアーソフトを起動する。ビューアーソフトが起動されると、例えば、サーバ１４へのアクセス認証が行われ、アクセスが許可されると、画像の登録・検索が可能となる。
【００３９】
ビューアーソフトには、画像の登録を行うモードと検索を行うモードとが設けられている。画像の登録は、例えば、ＨＤＤ２３に記憶された画像のサムネイルをモニタ１５に一覧表示し、操作部１６で一覧の中から新規登録画像のサムネイルを選択させることにより行われる。なお、このとき、操作部１６で新規登録画像に適切なタグが入力される。
【００４０】
一方、画像の検索を行うモードでは、図６に示す検索ウィンドウ６０がモニタ１５に表示される。検索ウィンドウ６０には、入力画像が表示される領域６１と、出力画像が一覧表示される領域６２とが設けられている。
【００４１】
領域６１には、入力画像のサムネイルと、ＨＤＤ２３内の入力画像の保存先のパスが表示されるファイルダイアログ６３と、入力画像を選択するための選択ボタン６４とが設けられている。操作部１６のマウスを操作して、ポインタ６５を選択ボタン６４に合わせてクリックすると、ファイルダイアログ６３が拡大されて、ＨＤＤ２３に記憶されたファイルやフォルダを示すアイコンが階層別に一覧表示される。この状態で操作部１６のマウスを操作して、ポインタ６５を所望の画像のファイルのアイコンに合わせてクリックすることで、入力画像の選択を行うことができる。
【００４２】
入力画像を選択する前は、領域６２には何も表示されないか、領域６２自体が表示されない。入力画像の選択後、上述のようにサーバ１４側で出力画像が選定され、サーバ１４から出力画像データが通信Ｉ／Ｆ２４を介して入力されると、領域６２に出力画像のサムネイルが一覧表示される。出力画像の表示順序は特に規定しないが、例えば、画像選定部４０で算出したスコアが高い順、あるいは、登録日時が新しい順に表示される。なお、領域６２の下部には、一度で表示仕切れないサムネイルをスクロール表示するためのスクロールバー６６が設けられている。
【００４３】
次に、上記構成を有する画像登録・検索システム２の処理手順について、図７のフローチャートを参照して説明する。まず、ビューアーソフトが起動され、画像の検索を行うモードが選択されると、検索ウィンドウ６０がモニタ１５に表示される。ユーザーは、操作部１６で選択ボタン６４を選択し、ファイルダイアログ６３から入力画像を選択する。入力画像が選択されると、そのデータが通信Ｉ／Ｆ２４、およびインターネット１３を介してサーバ１４に送信される。
【００４４】
サーバ１４では、通信Ｉ／Ｆ３４で入力画像データが受信される。受信された入力画像データは、代表色抽出部３７に入力される。代表色抽出部３７では、入力画像データが解析され、その画像の代表色がｎ個抽出される。代表色抽出部３７で抽出されたｎ個の代表色のデータは、ＣＰＵ３０に出力される。
【００４５】
代表色の抽出後、代表色抽出部３７で出力された代表色のデータ、および代表色−タグ一覧テーブル５１が、ＣＰＵ３０、および代表色−タグＤＢ３６からタグ抽出部３８にそれぞれ読み出される。そして、タグ抽出部３８にて、代表色抽出部３７で出力された入力画像のｎ個の代表色のうち、少なくともいずれか一つと一致する、あるいは類似する代表色に関連するタグが代表色−タグＤＢ３６から抽出される。タグ抽出部３８で得られたタグのデータは、ＣＰＵ３０に出力される。
【００４６】
タグの抽出後、タグ抽出部３８で得られたタグのデータ、および画像一覧テーブル５０が、ＣＰＵ３０、および画像ＤＢ３５からそれぞれ画像検索部３９に読み出される。画像検索部３９では、画像一覧テーブル５０が参照されつつ、タグ抽出部３８で得られたタグのうち、少なくともいずれか一つが関連付けられた登録済み画像が画像ＤＢ３５から検索される。画像検索部３９で検索された登録済み画像データは、ＣＰＵ３０に出力される。
【００４７】
画像の検索後、画像検索部３９で検索された登録済み画像データが、ＣＰＵ３０から画像選定部４０に読み出される。画像選定部４０では、画像検索部３９で検索された登録済み画像に関連付けられたタグと、タグ抽出部３８で得られたタグとの一致の度合い、あるいは、画像検索部３９で検索された登録済み画像の代表色と、入力画像の代表色との一致、または類似の度合いを元に、ＣＰＵ３０から読み出した登録済み画像のスコアが算出される。そして、スコアが上位ｍ番目の登録済み画像、または、スコアが予め設定された閾値を超える登録済み画像が、出力画像として選定される。画像選定部４０で選定された出力画像データは、ＣＰＵ３０に出力される。
【００４８】
ＣＰＵ３０に出力された出力画像データは、通信Ｉ／Ｆ３４を介してＰＣ１２に出力される。また、これと同時に、入力画像データが画像ＤＢ３５に記憶され、入力画像データのファイル名と、代表色抽出部３７で出力された代表色と、ユーザーが入力したタグとが関連付けられて画像一覧テーブル５０に記憶される。
【００４９】
サーバ１４から出力画像データが通信Ｉ／Ｆ２４を介して入力されると、検索ウィンドウ６０の領域６２に出力画像のサムネイルが一覧表示される。ユーザーは、この一覧を閲覧して、所望の出力画像のダウンロードなどを行うことができる。
【００５０】
一方、画像の登録を行うモードが選択された場合は、ＨＤＤ２３に記憶された画像のサムネイルがモニタ１５に一覧表示される。ユーザーは、操作部１６で一覧の中から新規登録画像のサムネイルを選択し、タグを付してサーバ１４に送信する。サーバ１４では、新規登録画像データの代表色が代表色抽出部３７で抽出される。そして、ＣＰＵ３０により、画像ＤＢ３５に新規登録画像データが記憶される。また、これと同時に、新規登録画像データのファイル名と、代表色抽出部３７で出力された代表色と、ユーザーが入力したタグとが関連付けられて画像一覧テーブル５０に記憶される。さらに、新規登録画像のタグが、代表色−タグ一覧テーブル５１の該当する代表色の項に加えられ、代表色−タグ一覧テーブル５１が更新される。
【００５１】
以上説明したように、検索の元となる入力画像の代表色から想起されるタグを代表色−タグＤＢ３６から抽出して、抽出したタグが関連付けられた登録済み画像を画像ＤＢ３５から検索し、検索した登録済み画像を選定して出力画像とし、これを表示するので、特別な変換辞書や、ユーザーが事前にデータを準備する必要がない。このため、コスト面で極めて有利であり、また、ユーザーに負担を掛けることがない。そのうえ、一人のユーザーでは想起し得ない、他のユーザーのイメージを包含した、より幅広い種類のタグを利用しているので、検索結果に幅や奥深さをもたせることができ、画像の検索を円滑に行うことができる。画像の検索が円滑になれば、画像登録・検索システム２を利用するユーザーの増加に繋がり、結果的に検索結果の多様性がさらに促されるという相乗効果も期待することができる。
【００５２】
また、画像検索部３９で検索した登録済み画像が出力画像として相応しいかどうかを表すスコアに応じて、出力画像を選定するので、入力画像に関連性がない登録済み画像を出力画像から排除することができ、より適切な出力画像を表示することができる。
【００５３】
上記実施形態では、入力画像に代表色が関連付けられていない、つまり、入力画像が新規登録画像である場合を説明したが、入力画像として登録済み画像を用いる態様も考えられる。この場合は、既に代表色のデータがあるので、代表色抽出部３７で代表色の抽出を行わなくてもよい。勿論、再度代表色を抽出して、これを用いて後の処理を行っても構わない。
【００５４】
上記実施形態では、代表色抽出部３７で入力画像の代表色を抽出してから、その代表色から想起されるタグをタグ抽出部３８で抽出しているが、これとは逆に、入力画像のタグを抽出して、抽出したタグに関連する代表色を抽出してもよい。
【００５５】
この場合、図８のフローチャート（点線で省略している前後の処理は、図７に示すフローチャートと同様）に示すように、まず、タグ抽出部３８で、入力画像に付されたタグを抽出する。次いで、代表色抽出部３７にて、タグ抽出部３８で得られたタグに関連付けられた代表色を代表色−タグＤＢ３６から抽出する。
【００５６】
代表色の抽出後、画像検索部３９で、代表色抽出部３７で抽出された代表色と、少なくともいずれか一つが一致する代表色をもつ登録済み画像を画像ＤＢ３５から検索する。そして、画像選定部４０で、画像検索部３９で検索した登録済み画像の代表色と、代表色抽出部３７で得られた代表色との一致、または類似の度合い、あるいは、画像検索部３９で検索した登録済み画像に関連付けられたタグと、入力画像に関連付けられたタグの一致の度合いを元に、スコアを算出する。
【００５７】
最後は上記実施形態と同様に、スコアが上位ｍ番目の登録済み画像、または、スコアが予め設定された閾値を超える登録済み画像を、出力画像として選定する。この場合も、上記実施形態と同様の効果が得られる。なお、この場合、代表色抽出部３７は、単に代表色−タグ一覧テーブル５１を参照して代表色を抽出しているだけだが、画像を登録する際、および入力画像を画像ＤＢ３５に記憶する際には、上記実施形態と同様に、ヒストグラムを生成するなどして、新規登録画像、および入力画像の代表色を抽出する。入力画像を画像ＤＢ３５に記憶する際には、ヒストグラムを生成するなどして抽出した代表色に代えて、あるいはこれに加えて、タグ抽出部３８で得られたタグを元に代表色抽出部３７で抽出された代表色を画像一覧テーブル５０に記憶してもよい。
【００５８】
なお、上記実施形態で示した代表色の抽出の仕方や画像の検索方法、スコアの算出、出力画像の選定の仕方、検索ウィンドウ６０の表示形態などは一例であり、本発明を特に限定するものではない。
【００５９】
上記実施形態では、画像を特徴付ける属性として代表色を例示して説明したが、本発明はこれに限定されず、画像内の被写体の形状、大きさや、画像全体の鮮鋭度、明るさ、コントラストなどの他の属性を採用してもよく、複数の異なる属性毎、あるいは複数の異なる属性を複合させて、以降のタグ抽出や画像検索を行ってもよい。
【００６０】
上記実施形態では、ビューアーソフトで画像の登録・検索を行う態様を例示したが、インターネットのホームページ上で画像の登録・検索を行う態様としてもよい。また、上記実施形態では、サーバ１４に代表色抽出部３７などの各部を設けた例を挙げて説明したが、各部を別個の装置として、ＰＣ１２に接続する構成としてもよい。さらに、画像ＤＢ３５などのサーバ１４に設けた各部をＰＣ１２側に搭載してもよい。要するに、本発明の主旨を逸脱しなければ、如何様な態様にも適宜変更することが可能である。
【００６１】
なお、付帯情報としては、上記実施形態のタグに限らず、説明文のようなテキスト形式の情報や、音声コメントなどであってもよい。また、上記実施形態では、コンテンツとして画像を例に挙げて説明したが、映像、音楽、ゲーム、電子書籍などの他のコンテンツについても、本発明を適用することが可能である。コンテンツが電子書籍などの文章であった場合は、文章の文法的な構造を解析する構文解析や、文章を形態素（言語で意味を持つ最小単位）に分割し、品詞に分類する形態素解析などを行って、属性として文体を抽出する。コンテンツが音楽などの音声であった場合は、周波数解析などを行って、属性として音声の高低や音楽のジャンルを抽出する。あるいは、ウェブサイトのオークションサイトに登録された品物を検索する際に応用してもよい。
【図面の簡単な説明】
【００６２】
【図１】画像登録・検索システムのハードウェア構成を示す概略図である。
【図２】パーソナルコンピュータの内部構成を示すブロック図である。
【図３】画像登録・検索サーバの内部構成を示すブロック図である。
【図４】画像一覧テーブルの内容を示す説明図である。
【図５】タグ一覧テーブルの内容を示す説明図である。
【図６】検索ウィンドウを示す説明図である。
【図７】画像検索の処理手順を示すフローチャートである。
【図８】別の実施形態による画像検索の処理手順を示すフローチャートである。
【符号の説明】
【００６３】
２  画像登録・検索システム
１２  パーソナルコンピュータ（ＰＣ）
１４  画像登録・検索サーバ（サーバ）
１５  モニタ
１６  操作部
２０  ＣＰＵ
２３  ハードディスクドライブ（ＨＤＤ）
３０  ＣＰＵ
３３  データストレージ
３５  画像データベース（画像ＤＢ）
３６  タグデータベース（タグＤＢ）
３７  代表色抽出部
３８  タグ抽出部
３９  画像検索部
４０  画像選定部
５０  画像一覧テーブル
５１  タグ一覧テーブル
６０  検索ウィンドウ
【図１】
2008192055.tif 000003
【図２】
2008192055.tif 000004
【図３】
2008192055.tif 000005
【図４】
2008192055.tif 000006
【図５】
2008192055.tif 000007
【図６】
2008192055.tif 000008
【図７】
2008192055.tif 000009
【図８】
2008192055.tif 000010