(57)【要約】      （修正有）【課題】検索の流れを容易に把握可能にする。【解決手段】メディアDB内の各複合メディアから単一メディアを抽出し、単一メディアのデータと抽出元の複合メディアのIDとをメディアDBに格納し、単一メディア毎に特徴量を算出しそこに格納し、第1単一メディアに係る検索指示を受け付け、特徴量に基づき第1単一メディアと一致又は類似する単一メディアを抽出し、第1単一メディア及び抽出単一メディアのノード、第1単一メディアのノードと抽出単一メディアのノードとを結ぶリンクとを含む第1構造体を記憶部に登録し第1構造体をユーザに提示し、第2単一メディアに係る複合メディア表示指示を受け付け、第2単一メディアを含む特定複合メディアが存在する場合には、特定複合メディアのノードと、第2単一メディアのノードと特定複合メディアのノードとを結ぶリンクとを第1構造体に追加し、第2構造体として記憶部に登録し第2構造体をユーザに提示する。【選択図】図５
2010231444.tif 000002
【特許請求の範囲】
【請求項１】
複数のメディアのうちのいずれか１つを含む単一メディアのデータと前記複数のメディアのうちの２つ以上のメディアを含む複合メディアのデータとを格納しているメディア情報格納部に格納されている各前記複合メディアについて、当該複合メディアに含まれる前記メディアの各々を前記単一メディアとして抽出し、抽出した前記単一メディア毎に当該単一メディアのデータと当該単一メディアを包含する前記複合メディアの識別データとを前記メディア情報格納部に格納するステップと、
前記メディア情報格納部に格納されている前記単一メディア毎に、当該単一メディアのデータに基づき当該単一メディアの特徴量を算出し、前記メディア情報格納部に格納するステップと、
ユーザから第１の単一メディアの指定を含む検索指示を受け付けた場合、前記メディア情報格納部に格納されている前記特徴量に基づき、前記第１の単一メディアと一致又は類似する前記単一メディアを抽出するステップと、
前記第１の単一メディア及び抽出された前記単一メディアをノードとして含み、前記第１の単一メディアのノードと抽出された前記単一メディアのノードとを結ぶリンクを含む第１の構造体のデータを検索結果格納部に登録するステップと、
前記検索結果格納部に格納された前記第１の構造体のデータを用いて、構造体表示データを生成し、前記ユーザに提示する第１表示ステップと、
前記ユーザから第２の単一メディアの指定を含む複合メディア表示指示を受け付けた場合、前記メディア情報格納部を検索し、前記第２の単一メディアを包含する特定の複合メディアが存在するか判断するステップと、
前記第２の単一メディアを包含する前記特定の複合メディアが存在すると判断された場合、前記特定の複合メディアのノードと、前記第２の単一メディアのノードと前記特定の複合メディアのノードとを結ぶリンクとを前記第１の構造体に追加し、第２の構造体として前記検索結果格納部に登録するステップと、
前記検索結果格納部に格納された前記第２の構造体のデータを用いて、前記構造体表示データを生成し、前記ユーザに提示する第２表示ステップと、
をコンピュータに実行させるためのマルチメディア統合検索プログラム。
【請求項２】
前記ユーザから前記特定の複合メディアの指定を含む展開表示指示を受け付けた場合、前記メディア情報格納部から前記特定の複合メディアに包含される前記単一メディアを抽出するステップと、
前記特定の複合メディアに包含される前記単一メディアのノードと、前記特定の複合メディアのノードと前記特定の複合メディアに包含される前記単一メディアのノードの各々とを結ぶリンクとを前記第２の構造体に追加し、第３の構造体として前記検索結果格納部に登録するステップと、
前記検索結果格納部に格納された前記第３の構造体のデータを用いて、前記構造体表示データを生成し、前記ユーザに提示する第３表示ステップと、
をさらにコンピュータに実行させるための請求項１記載のマルチメディア統合検索プログラム。
【請求項３】
複数のメディアのうちのいずれか１つを含む単一メディアのデータと前記複数のメディアのうちの２つ以上のメディアを含む複合メディアのデータとを格納しているメディア情報格納部に格納されている各前記複合メディアについて、当該複合メディアに含まれる前記メディアの各々を前記単一メディアとして抽出し、抽出した前記単一メディア毎に当該単一メディアのデータと当該単一メディアを包含する前記複合メディアの識別データとを前記メディア情報格納部に格納するステップと、
前記メディア情報格納部に格納されている前記単一メディア毎に、当該単一メディアのデータに基づき当該単一メディアの特徴量を算出し、前記メディア情報格納部に格納するステップと、
ユーザから特定の単一メディアの指定を含む検索指示を受け付けた場合、前記メディア情報格納部に格納されている前記特徴量に基づき、前記特定の単一メディアと一致又は類似する前記単一メディアを抽出するステップと、
前記特定の単一メディア及び抽出された前記単一メディアをノードとして含み、前記特定の単一メディアのノードと抽出された前記単一メディアのノードとを結ぶリンクを含む第１の構造体のデータを検索結果格納部に登録するステップと、
前記検索結果格納部に格納された前記第１の構造体のデータを用いて、構造体表示データを生成し、前記ユーザに提示する第１表示ステップと、
ユーザから第１の単一メディア及び第２の単一メディアの指定を含むアンド検索指示を受け付けた場合、前記検索結果格納部から前記第１の単一メディアに対する検索結果とみなされる前記単一メディアのノードを第１のノードとして抽出し、前記検索結果格納部から前記第２の単一メディアに対する検索結果とみなされる前記単一メディアのノードを第２のノードとして抽出するステップと、
前記メディア情報格納部を検索し、前記第１のノードに係る前記単一メディアと前記第２のノードに係る前記単一メディアとを包含する特定の複合メディアが存在するか判断するステップと、
前記特定の複合メディアが存在すると判断された場合、前記特定の複合メディアのノードと、前記特定の複合メディアのノードと前記第１のノード及び第２のノードの各々とを結ぶリンクとを前記第１の構造体に追加し、第２の構造体として前記検索結果格納部に登録するステップと、
前記検索結果格納部に格納された前記第２の構造体のデータを用いて、前記構造体表示データを生成し、前記ユーザに提示するステップと、
をコンピュータに実行させるためのマルチメディア統合検索プログラム。
【請求項４】
前記メディア情報格納部を検索し、前記第１のノードに係る前記単一メディアと前記第２のノードに係る前記単一メディアとが同一であるか判断するステップと、
前記第１のノードに係る前記単一メディアと前記第２のノードに係る前記単一メディアとが同一であると判断された場合、前記第１のノードと前記第２のノードとを結ぶリンクを前記第１の構造体又は前記第２の構造体に追加し、第３の構造体として前記検索結果格納部に登録する単一メディア連結ステップと、
前記検索結果格納部に格納された前記第３の構造体のデータを用いて、前記第１のノードと前記第２のノードとが連続的に接近するように動的に前記構造体表示データを生成し、前記ユーザに提示する第３表示ステップと、
をさらにコンピュータに実行させるための請求項３記載のマルチメディア統合検索プログラム。
【請求項５】
複数のメディアのうちのいずれか１つを含む単一メディアのデータと前記複数のメディアのうちの２つ以上のメディアを含む複合メディアのデータとを格納しているメディア情報格納部に格納されている各前記複合メディアについて、当該複合メディアに含まれる前記メディアの各々を前記単一メディアとして抽出し、抽出した前記単一メディア毎に当該単一メディアのデータと当該単一メディアを包含する前記複合メディアの識別データとを前記メディア情報格納部に格納するステップと、
前記メディア情報格納部に格納されている前記単一メディア毎に、当該単一メディアのデータに基づき当該単一メディアの特徴量を算出し、前記メディア情報格納部に格納するステップと、
ユーザから第１の単一メディアの指定を含む検索指示を受け付けた場合、前記メディア情報格納部に格納されている前記特徴量に基づき、前記第１の単一メディアと一致又は類似する前記単一メディアを抽出するステップと、
前記第１の単一メディア及び抽出された前記単一メディアをノードとして含み、前記第１の単一メディアのノードと抽出された前記単一メディアのノードとを結ぶリンクを含む第１の構造体のデータを検索結果格納部に登録するステップと、
前記検索結果格納部に格納された前記第１の構造体のデータを用いて、構造体表示データを生成し、前記ユーザに提示する第１表示ステップと、
前記ユーザから第２の単一メディアの指定を含む複合メディア表示指示を受け付けた場合、前記メディア情報格納部を検索し、前記第２の単一メディアを包含する特定の複合メディアが存在するか判断するステップと、
前記第２の単一メディアを包含する前記特定の複合メディアが存在すると判断された場合、前記特定の複合メディアのノードと、前記第２の単一メディアのノードと前記特定の複合メディアのノードとを結ぶリンクとを前記第１の構造体に追加し、第２の構造体として前記検索結果格納部に登録するステップと、
前記検索結果格納部に格納された前記第２の構造体のデータを用いて、前記構造体表示データを生成し、前記ユーザに提示する第２表示ステップと、
を含み、コンピュータにより実行されるマルチメディア統合検索方法。
【請求項６】
複数のメディアのうちのいずれか１つを含む単一メディアのデータと前記複数のメディアのうちの２つ以上のメディアを含む複合メディアのデータとを格納しているメディア情報格納部に格納されている各前記複合メディアについて、当該複合メディアに含まれる前記メディアの各々を前記単一メディアとして抽出し、抽出した前記単一メディア毎に当該単一メディアのデータと当該単一メディアを包含する前記複合メディアの識別データとを前記メディア情報格納部に格納する手段と、
前記メディア情報格納部に格納されている前記単一メディア毎に、当該単一メディアのデータに基づき当該単一メディアの特徴量を算出し、前記メディア情報格納部に格納する手段と、
ユーザから第１の単一メディアの指定を含む検索指示を受け付けた場合、前記メディア情報格納部に格納されている前記特徴量に基づき、前記第１の単一メディアと一致又は類似する前記単一メディアを抽出する手段と、
前記第１の単一メディア及び抽出された前記単一メディアをノードとして含み、前記第１の単一メディアのノードと抽出された前記単一メディアのノードとを結ぶリンクを含む第１の構造体のデータを検索結果格納部に登録する手段と、
前記検索結果格納部に格納された前記第１の構造体のデータを用いて、構造体表示データを生成し、前記ユーザに提示する第１表示手段と、
前記ユーザから第２の単一メディアの指定を含む複合メディア表示指示を受け付けた場合、前記メディア情報格納部を検索し、前記第２の単一メディアを包含する特定の複合メディアが存在するか判断する手段と、
前記第２の単一メディアを包含する前記特定の複合メディアが存在すると判断された場合、前記特定の複合メディアのノードと、前記第２の単一メディアのノードと前記特定の複合メディアのノードとを結ぶリンクとを前記第１の構造体に追加し、第２の構造体として前記検索結果格納部に登録する手段と、
前記検索結果格納部に格納された前記第２の構造体のデータを用いて、前記構造体表示データを生成し、前記ユーザに提示する第２表示手段と、
を有するマルチメディア統合検索装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、ユーザによるマルチメディア検索を支援するための技術に関する。
【背景技術】
【０００２】
従来のマルチメディア検索では、例えば、キーワードを検索条件として文書などを検索する文書検索や、画像を検索条件として類似画像を検索する類似画像検索、ハミングを検索条件として音楽を検索する音楽検索など、検索条件として入力されたメディアと同種のメディアを検索するといった方式が主流であった。なお、本願では、テキスト、画像、音楽などを総称してメディアと呼ぶ。また、メディアのうちのいずれか１つを含むものを単一メディアと呼び、２つ以上のメディアを含むものを複合メディアと呼ぶ。例えば、画像と音声とを含む動画や、テキストと画像とを含む文書、テキストと画像と音楽とを含むウェブ（Ｗｅｂ）ページなどが複合メディアである。
【０００３】
そして、近年では、例えばキーワードを検索条件として、画像、音楽、動画などの異種メディアを検索（クロスメディア検索と呼ぶ場合もある）する方法が考えられている。例えば、検索条件として入力されたキーワードを含むＷｅｂページを全文検索により抽出し、抽出されたＷｅｂページ内の画像を検索結果として出力する方法がある。これは、同じ文書内に含まれる画像と文章とは互いに近い意味合いである場合が多いという前提を利用している。
【０００４】
一方で、一般的には、検索者は、目的の情報に辿り着くまでに、検索結果を吟味して新たな検索条件を作成し、再検索を行うという作業を繰り返す。なお、従来の検索システムでは、１つの検索条件に対する検索結果は１画面で表示される場合が多く、検索者は、複数の検索結果を比較検討しながら、試行錯誤して新たな検索条件を作成する必要がある。例えば、マルチメディア検索では、検索者が、検索結果として得られたＷｅｂページに含まれる画像を新たな検索条件として再検索を行いたいと考える場合がある。この場合、検索者は、検索条件として利用したい画像をＷｅｂページからダウンロードしてＰＣに一旦保存し、その後、新たな検索条件として入力（すなわち、アップロード）するといった作業を行わなければならず、手間がかかってしまう。
【０００５】
また、検索者は、検索の途中で、ある時点まで戻って過去の検索条件を拡張し直したいと考えることもある。しかし、再検索を繰り返しているうちに、例えば検索条件となった画像の出所がどこであったか分からなくなってしまう場合がある。この場合、検索の流れを把握できず、どのような観点で検索を進めていたか分からなくなってしまうという問題が生ずる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平７−１０５０７０号公報
【特許文献２】特開平６−３０１７３３号公報
【非特許文献】
【０００７】
【非特許文献１】Degi Young and Ben Shneiderman. A graphical filter flow representation of boolean queries: A prototype implementation and evaluation. Journal of the American Society for Information Science, Vol. 44(6), pp. 327-339, 1993.
【非特許文献２】飯崎智之, 志築文太郎, 三末和男, 田中二郎, 「検索過程を確認しながら条件指定が行える検索インタフェース」, 人工知能学会第１９回全国大会, ２００５年６月
【非特許文献３】Anselm Spoerri. Visual search editor for composing meta searches. Proceedings of the 67th Annual Meeting of the American Society for Information Science and Technology, 2004.
【非特許文献４】Peter Eades. A Heuristics for Graph Drawing Congressus Numerantium, Vol.42, pp.149-160, 1984.
【非特許文献５】小松香爾, 「情報検索システムにおける言語処理技術の利用」, 経営論集, pp.105-114, vol.13, No.1, 2003.12.
【非特許文献６】石井威望, 「映像検索技術―その必要性の増大と技術革新について」, テクノカレント, 平成１８年６月１日号, Ｎｏ．４１９
【非特許文献７】大野 和久, 鈴木 優, 川越 恭二, 「楽曲全体における特徴量の傾向に基づいた類似検索手法」, 日本データベース学会論文誌, Vol. 7, No. 1, pp.233-238, 2008
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従って、本技術の目的は、マルチメディア検索において検索の流れを容易に把握できるようにするための技術を提供することである。
【課題を解決するための手段】
【０００９】
本技術の第１の態様に係るマルチメディア統合検索方法は、複数のメディアのうちのいずれか１つを含む単一メディアのデータと複数のメディアのうちの２つ以上のメディアを含む複合メディアのデータとを格納しているメディア情報格納部に格納されている各複合メディアについて、当該複合メディアに含まれるメディアの各々を単一メディアとして抽出し、抽出した単一メディア毎に当該単一メディアのデータと当該単一メディアを包含する複合メディアの識別データとをメディア情報格納部に格納するステップと、メディア情報格納部に格納されている単一メディア毎に、当該単一メディアのデータに基づき当該単一メディアの特徴量を算出し、メディア情報格納部に格納するステップと、ユーザから第１の単一メディアの指定を含む検索指示を受け付けた場合、メディア情報格納部に格納されている特徴量に基づき、第１の単一メディアと一致又は類似する単一メディアを抽出するステップと、第１の単一メディア及び抽出された単一メディアをノードとして含み、第１の単一メディアのノードと抽出された単一メディアのノードとを結ぶリンクを含む第１の構造体のデータを検索結果格納部に登録するステップと、検索結果格納部に格納された第１の構造体のデータを用いて、構造体表示データを生成し、ユーザに提示する第１表示ステップと、ユーザから第２の単一メディアの指定を含む複合メディア表示指示を受け付けた場合、メディア情報格納部を検索し、第２の単一メディアを包含する特定の複合メディアが存在するか判断するステップと、第２の単一メディアを包含する特定の複合メディアが存在すると判断された場合、特定の複合メディアのノードと、第２の単一メディアのノードと特定の複合メディアのノードとを結ぶリンクとを第１の構造体に追加し、第２の構造体として検索結果格納部に登録するステップと、検索結果格納部に格納された第２の構造体のデータを用いて、構造体表示データを生成し、ユーザに提示する第２表示ステップとを含む。
【００１０】
本技術の第２の態様に係るマルチメディア統合検索方法は、複数のメディアのうちのいずれか１つを含む単一メディアのデータと複数のメディアのうちの２つ以上のメディアを含む複合メディアのデータとを格納しているメディア情報格納部に格納されている各複合メディアについて、当該複合メディアに含まれるメディアの各々を単一メディアとして抽出し、抽出した単一メディア毎に当該単一メディアのデータと当該単一メディアを包含する複合メディアの識別データとをメディア情報格納部に格納するステップと、メディア情報格納部に格納されている単一メディア毎に、当該単一メディアのデータに基づき当該単一メディアの特徴量を算出し、メディア情報格納部に格納するステップと、ユーザから特定の単一メディアの指定を含む検索指示を受け付けた場合、メディア情報格納部に格納されている特徴量に基づき、特定の単一メディアと一致又は類似する単一メディアを抽出するステップと、特定の単一メディア及び抽出された単一メディアをノードとして含み、特定の単一メディアのノードと抽出された単一メディアのノードとを結ぶリンクを含む第１の構造体のデータを検索結果格納部に登録するステップと、検索結果格納部に格納された第１の構造体のデータを用いて、構造体表示データを生成し、ユーザに提示する第１表示ステップと、ユーザから第１の単一メディア及び第２の単一メディアの指定を含むアンド検索指示を受け付けた場合、検索結果格納部から第１の単一メディアに対する検索結果とみなされる単一メディアのノードを第１のノードとして抽出し、検索結果格納部から第２の単一メディアに対する検索結果とみなされる単一メディアのノードを第２のノードとして抽出するステップと、メディア情報格納部を検索し、第１のノードに係る単一メディアと第２のノードに係る単一メディアとを包含する特定の複合メディアが存在するか判断するステップと、特定の複合メディアが存在すると判断された場合、特定の複合メディアのノードと、特定の複合メディアのノードと第１のノード及び第２のノードの各々とを結ぶリンクとを第１の構造体に追加し、第２の構造体として検索結果格納部に登録するステップと、検索結果格納部に格納された第２の構造体のデータを用いて、構造体表示データを生成し、ユーザに提示するステップとを含む。
【発明の効果】
【００１１】
マルチメディア検索において検索の流れを容易に把握できる。
【図面の簡単な説明】
【００１２】
【図１】マルチメディア検索における検索プロセスの一例を示す図である。
【図２】検索条件の履歴の一例を示す図である。
【図３】本技術の実施の形態の概要を説明するための図である。
【図４】本技術の実施の形態の概要を説明するための図である。
【図５】マルチメディア統合検索装置の機能ブロック図である。
【図６】検索ユーザインタフェース部の機能ブロック図である。
【図７】メディア解析部の機能ブロック図である。
【図８】検索処理部の機能ブロック図である。
【図９】メディア情報格納部に格納されるデータの一例を示す図である。
【図１０】検索結果格納部に格納されるデータの一例を示す図である。
【図１１】マルチメディア検索のための前処理の処理フローを示す図である。
【図１２】メディア解析処理の処理フローを示す図である。
【図１３】本実施の形態におけるメインの処理フロー（第１の部分）を示す図である。
【図１４】本実施の形態におけるメインの処理フロー（第２の部分）を示す図である。
【図１５】検索処理の処理フローを示す図である。
【図１６】複合メディア抽出処理の処理フローを示す図である。
【図１７】展開処理の処理フローを示す図である。
【図１８】ＡＮＤ検索処理の処理フローを示す図である。
【図１９】検索画面表示処理の処理フローを示す図である。
【図２０】強調表示処理の処理フローを示す図である。
【図２１】本実施の形態における画面遷移例を示す図である。
【図２２】本実施の形態における画面遷移例を示す図である。
【図２３】本実施の形態における画面遷移例を示す図である。
【図２４】本実施の形態における画面遷移例を示す図である。
【図２５】本実施の形態における画面遷移例を示す図である。
【図２６】本実施の形態における強調表示画面例を示す図である。
【図２７】本実施の形態における強調表示画面例を示す図である。
【図２８】本実施の形態における強調表示画面例を示す図である。
【図２９】コンピュータの機能ブロック図である。
【発明を実施するための形態】
【００１３】
まず、図１乃至図４を用いて、本技術の実施の形態の概要を説明する。図１にマルチメディア検索における検索プロセスの一例を示す。図１において、検索者であるユーザは、例えばパーソナル・コンピュータ（ＰＣ）を操作し、検索条件Ａ（図１では、画像１０１及びキーワード「ウルトラモバイルＰＣ」）を入力して検索を実行する。そして、ユーザは、検出結果として得られたＷｅｂページ１１０を確認する。ここで、Ｗｅｂページ１１０に含まれる画像１０２を新たな検索条件として再検索を行いたいと考えた場合、ユーザは、画像１０２をダウンロードし、ＰＣに一旦保存する。そして、ユーザは、画像１０２及びキーワード「ウルトラモバイルＰＣ」を検索条件Ｂとして入力し、再検索を実行する。そして、ユーザは、目的の情報に辿り着くまで、上記のような作業を繰り返し行う。
【００１４】
一方、検索の途中で、ユーザは、ある地点まで戻って過去の検索条件を拡張し直したいと考える場合がある。このような要求に対し、例えば図２に示すように検索条件の履歴を可視化することが考えられる。しかし、再検索を繰り返していくうちに、検索条件Ｂに含まれる画像１０２の出所（すなわち、Ｗｅｂページ１１０）をユーザが忘れてしまい、どのような経緯で検索条件Ａから検索条件Ｂに変更したか分からなくなってしまう場合がある。この場合、検索条件の履歴だけでは、検索の流れを十分に把握することができない。
【００１５】
そこで、本実施の形態では、図３及び図４に示すような構造体を表示することで、検索条件となった単一メディアの出所を確認できるようにし、検索の流れを容易に把握できるようにする。
【００１６】
図３は、複合メディアと当該複合メディアに含まれる単一メディアとの包含関係の一例を示す。図３において、ノードＡは複合メディアＡを示し、ノードＡ１乃至Ａ５は単一メディアＡ１乃至Ａ５を示している。また、図３において、点線の矢印は、メディア間の包含関係を示している。すなわち、図３では、複合メディアＡが、単一メディアＡ１乃至Ａ５を包含することを示している。なお、詳細は後で説明するが、本実施の形態では、バネモデルに従って構造体を表示する。
【００１７】
また、図４（ａ）は、キーワード（１）を検索条件として検索を行った場合の表示例を示す。図４において、実線の矢印は、検索条件と検索結果との対応関係を示している。すなわち、図４（ａ）では、単一メディアＡ４、単一メディアＢ、単一メディアＣ、単一メディアＤ及び単一メディアＥが、キーワード（１）に対する検索結果であることを示している。
【００１８】
また、図４（ｂ）は、図４（ａ）に示したような状態において、後で説明する操作によって、単一メディアＡ４を包含する複合メディアＡを表示させ、複合メディアＡに含まれる単一メディアＡ１、単一メディアＡ２、単一メディアＡ３及び単一メディアＡ５をさらに表示させた場合の一例を示す。
【００１９】
また、図４（ｃ）は、図４（ｂ）に示したような状態において、単一メディアＡ３を検索条件として再検索を行った場合の表示例を示す。図４（ｃ）では、単一メディアＦ、単一メディアＧ及び単一メディアＨが、単一メディアＡ３に対する検索結果であることを示している。例えば、図４（ｃ）のような構造体をユーザに提示することで、ユーザは、新たな検索条件となった単一メディアＡ３の出所が複合メディアＡであることを容易に把握できるようになる。すなわち、検索の流れを容易に把握できるようになる。以下、本技術の一実施の形態に係るマルチメディア統合検索装置３の処理を説明する。
【００２０】
図５に、本技術の一実施の形態に係るマルチメディア統合検索装置３の機能ブロック図を示す。マルチメディア統合検索装置３は、データ収集部３１と、検索ユーザインタフェース部３２と、メディア解析部３３と、検索処理部３４と、メディア情報格納部３５と、検索結果格納部３６とを有する。データ収集部３１は、例えばインターネットであるネットワーク１からメディア・データを収集し、メディア解析部３３に出力する。検索ユーザインタフェース部３２は、ユーザから、検索条件となるメディア・データ又は所定の指示の入力を受け付け、当該メディア・データをメディア解析部３３に出力したり、検索指示を検索処理部３４に出力したり、メディア情報格納部３５及び検索結果格納部３６に格納されているデータに基づき、上で説明したような構造体をユーザに提示するための処理を実施したりする。メディア解析部３３は、データ収集部３１又は検索ユーザインタフェース部３２からメディア・データを受信すると、後で説明するメディア解析処理を実施し、処理結果をメディア情報格納部３５に格納する。検索処理部３４は、検索ユーザインタフェース部３２から検索指示を受信すると、メディア情報格納部３５に格納されているデータに基づき検索処理を実施し、検索結果を検索結果格納部３６に格納する。
【００２１】
なお、図６に示すように、検索ユーザインタフェース部３２は、検索制御部３２１と、検索履歴格納部３２２と、表示部３２３とを含む。検索制御部３２１は、ユーザからの検索条件又は所定の指示の入力を受け付けたり、メディア情報格納部３５及び検索結果格納部３６に格納されているデータに基づき、上で説明したような構造体のデータを生成して検索履歴格納部３２２に格納したりする。表示部３２３は、検索履歴格納部３２２に格納されている構造体のデータを用いて、構造体表示データを生成してユーザに提示する。
【００２２】
また、図７に示すように、メディア解析部３３は、単一メディア抽出部３３１と、特徴量抽出部３３２とを含む。単一メディア抽出部３３１は、複合メディアから単一メディアを抽出し、メディア情報格納部３５に格納する。特徴量抽出部３３２は、メディア情報格納部３５に格納されている単一メディア毎に、当該単一メディアの特徴量を算出し、メディア情報格納部３５に格納する。
【００２３】
また、図８に示すように、検索処理部３４は、全文検索部３４１と、類似画像検索部３４２と、類似音声検索部３４３とを含む。全文検索部３４１は、キーワード又は文章が検索条件として入力された場合に、メディア情報格納部３５に格納されているデータに基づき全文検索処理を実施し、検索結果を検索結果格納部３６する。類似画像検索部３４２は、画像が検索条件として入力された場合に、メディア情報格納部３５に格納されているデータに基づき類似画像検索処理を実施し、検索結果を検索結果格納部３６に格納する。類似音声検索部３４３は、ハミング又は音声が検索条件として入力された場合、メディア情報格納部３５に格納されているデータに基づき類似音声検索処理を実施し、検索結果を検索結果格納部３６に格納する。
【００２４】
図９に、メディア情報格納部３５に格納されるデータの一例を示す。図９の例では、メディア情報格納部３５には、単一メディア毎に、単一メディアＩＤと、当該単一メディアを包含する複合メディアの複合メディアＩＤと、単一メディアの特徴量と、単一メディアの種別（テキスト、画像、音声）と、単一メディア・データとが格納されるようになっている。なお、単一メディアを包含する複合メディアが存在しない場合には、その旨のデータが設定される。さらに、メディア情報格納部３５には、複合メディア毎に、複合メディアＩＤと複合メディア・データとが格納されるようになっている。
【００２５】
図１０に、検索結果格納部３６に格納されるデータの一例を示す。図１０の例では、検索結果格納部３６には、検索条件となった単一メディア毎に、単一メディアＩＤと、検索結果１と、・・・、検索結果ｎとが格納されるようになっている。検索結果の各々には、検索対象メディアＩＤと、類似度とが含まれる。検索対象メディアＩＤには、検索対象となった単一メディアの単一メディアＩＤが設定される。また、類似度には、検索条件となった単一メディアと検索対象となった単一メディアとの類似度が設定される。
【００２６】
次に、図１１乃至図２７を用いて、マルチメディア統合検索装置３の処理内容を説明する。マルチメディア統合検索装置３は、マルチメディア検索のための前処理として図１１に示すような処理を実施する。まず、データ収集部３１が、ネットワーク１からメディア・データを収集し、メディア解析部３３に出力する（図１１：ステップＳ１）。そして、メディア解析部３３は、データ収集部３１からメディア・データを受信すると、未処理のメディアを特定する（ステップＳ３）。そして、メディア解析部３３は、特定メディアについてメディア解析処理を実施する（ステップＳ５）。メディア解析処理については図１２を用いて説明する。
【００２７】
まず、メディア解析部３３の単一メディア抽出部３３１が、特定メディアが単一メディアであるか判断する（図１２：ステップＳ１１）。特定メディアが単一メディアであると判断された場合（ステップＳ１１：Ｙｅｓルート）、単一メディア抽出部３３１は、単一メディアＩＤを割り当て、当該単一メディアＩＤと単一メディア・データとをメディア情報格納部３５に格納する（ステップＳ１３）。なお、特定メディアが単一メディアの場合には、単一メディア抽出部３３１は、複合メディアが存在しない旨のデータをメディア情報格納部３５に格納する。
【００２８】
そして、特徴量抽出部３３２が、メディア情報格納部３５に格納された単一メディア・データから当該単一メディアの特徴量を算出し、メディア情報格納部３５に格納する（ステップＳ１５）。例えば単一メディアがテキストの場合には、形態素解析を行って索引語に分解し、ＴＦ・ＩＤＦ法などによる重み付けを行ったものを特徴量として抽出する。なお、テキストに関する特徴量を算出する技術としては、例えば背景技術の欄で示した非特許文献５に記載の技術などを用いることができる。また、単一メディアが画像の場合には、色や形状などの視覚的な特徴量を抽出する。画像に関する特徴量を算出する技術としては、例えば背景技術の欄で示した非特許文献６に記載の技術などを用いることができる。さらに、音声に関する特徴量を算出する技術としては、例えば背景技術の欄で示した非特許文献７に記載の技術などを用いることができる。その後、メディア解析処理を終了し、元の処理に戻る。
【００２９】
一方、特定メディアが単一メディアでないと判断された場合（ステップＳ１１：Ｎｏルート）、すなわち特定メディアが複合メディアである場合には、単一メディア抽出部３３１は、複合メディアＩＤを割り当て、当該複合メディアＩＤと複合メディア・データとをメディア情報格納部３５に格納する（ステップＳ１７）。そして、単一メディア抽出部３３１は、複合メディアを単一メディア単位に分解し、単一メディア・データを抽出する（ステップＳ１９）。例えば、Ｗｅｂページであれば、ＨＴＭＬ（Hyper Text Markup Language）タグに従って分解することができる。また、文書であれば、文章部分と画像が階層管理されているため、文章部分と画像とを分解抽出できる。また、動画の場合には、従来のカット検出を施し、代表フレーム画像として抽出できる。
【００３０】
そして、単一メディア抽出部３３１は、抽出した単一メディア毎に、単一メディアＩＤを割り当て、当該単一メディアＩＤと複合メディアＩＤと単一メディア・データとをメディア情報格納部３５に格納する（ステップＳ２１）。
【００３１】
そして、特徴量抽出部３３２が、抽出された単一メディア毎に、メディア情報格納部３５に格納された単一メディア・データから当該単一メディアの特徴量を算出し、メディア情報格納部に格納する（ステップＳ２３）。単一メディアの特徴量の算出については、ステップＳ１５の処理と変わらないため、ここではこれ以上述べない。そして、メディア解析処理を終了し、元の処理に戻る。
【００３２】
図１１の説明に戻って、メディア解析部３３は、収集した全てのメディアについて処理が完了したか判断する（ステップＳ７）。収集した全てのメディアについて処理が完了していなければ（ステップＳ７：Ｎｏルート）、ステップＳ３の処理に戻り、上で述べた処理を繰り返す。一方、収集した全てのメディアについて処理が完了した場合（ステップＳ７：Ｙｅｓルート）、処理を終了する。
【００３３】
このように、複合メディアから単一メディアを抽出し、単一メディア・データをメディア情報格納部３５に格納しておくことで、複合メディアと単一メディアとの包含関係を図３に示したように可視化することが可能となる。
【００３４】
次に、図１３及び図１４を用いて、本実施の形態におけるメインの処理内容を説明する。まず、ユーザが、マルチメディア統合検索装置３を操作し、表示装置に表示されている検索画面（図示せず）に検索条件を入力する。例えば、ユーザは、キーボードを操作してキーワードを入力したり、マウスを操作して所定のフォルダに保存されている単一メディア・データ（例えば画像ファイル及び音声ファイルなど）をドラッグ・アンド・ドロップすることによって入力したりする。検索ユーザインタフェース部３２の検索制御部３２１は、ユーザから検索条件の入力を受け付け、記憶装置に格納する。なお、検索制御部３２１は、検索条件となる単一メディアのノードを含む構造体のデータを生成し、検索履歴格納部３２２に登録する。
【００３５】
また、ユーザは、マウス又はキーボードを操作し、必要に応じて検索指示、複合メディア表示指示、展開表示指示、圧縮表示指示又はＡＮＤ検索指示を入力する。例えば、ユーザは、検索画面において、検索条件となる単一メディアのノードを左クリックすることにより検索指示を行う。検索指示には、選択された単一メディアのＩＤが含まれる。また、ユーザは、検索画面において、表示対象となる単一メディアのノードを右クリックすることにより複合メディア表示指示を行う。複合メディア表示指示には、選択された単一メディアのＩＤが含まれる。さらに、ユーザは、検索画面において、表示対象となる複合メディアのノードを左クリックすることにより展開表示指示を行う。展開表示指示には、選択された複合メディアのＩＤが含まれる。また、ユーザは、検索画面において、折りたたみたい単一メディアのノードを左ダブルクリックすることにより圧縮表示指示を行う。圧縮表示指示には、選択された単一メディアのＩＤが含まれる。また、ユーザは、検索画面において、ドラッグ操作によって、ＡＮＤ検索の対象となる単一メディアのノード同士を近づけることによりＡＮＤ検索指示を行う。ＡＮＤ検索指示には、ＡＮＤ検索の対象となる単一メディアのＩＤが含まれる。
【００３６】
そして、検索ユーザインタフェース部３２の検索制御部３２１は、ユーザからの所定の指示を受け付ける（図１３：ステップＳ３１）。そして、検索制御部３２１は、受け付けた指示が検索指示であるか判断する（ステップＳ３３）。受け付けた指示が検索指示である場合（ステップＳ３３：Ｙｅｓルート）、検索制御部３２１は、検索指示に含まれる単一メディアＩＤを検索処理部３４に出力する。そして、検索処理部３４は、検索制御部３２１からの単一メディアＩＤを受信すると、メディア情報格納部３５に格納されているデータに基づき検索処理を実施する（ステップＳ３５）。なお、検索処理の詳細については後で説明するが、当該処理では、検索指示で指定された単一メディアとの類似度が所定の閾値以上である単一メディアを抽出したり、類似度の高い順にソートした場合の上位所定順位内にある単一メディアを抽出したりする。この所定の閾値や所定順位は、例えば予めユーザにより設定されているものとする。そして、検索処理が完了すると、検索処理により抽出された単一メディアの情報が検索処理部３４から検索制御部３２１に送信される。
【００３７】
そして、検索制御部３２１は、検索処理により抽出された単一メディアの情報を検索処理部３４から受信する。そして、検索制御部３２１は、検索履歴格納部３２２に格納されている現在の構造体に、検索処理により抽出された単一メディアのノードを追加し、検索指示で指定された単一メディアのノードと追加したノードとを結ぶリンクをさらに追加することにより、新たな構造体のデータを生成し、検索履歴格納部３２２に登録する（ステップＳ３６）。
【００３８】
その後、端子Ａを介してステップＳ４９（図１４）の処理に移行する。
【００３９】
一方、受け付けた指示が検索指示でなければ（ステップＳ３３：Ｎｏルート）、検索制御部３２１は、受け付けた指示が複合メディア表示指示であるか判断する（ステップＳ３７）。受け付けた指示が複合メディア表示指示である場合（ステップＳ３７：Ｙｅｓルート）、検索制御部３２１は、メディア情報格納部３５に格納されているデータに基づき複合メディア抽出処理を実施する（ステップＳ３９）。なお、複合メディア抽出処理の詳細については後で説明するが、当該処理により、複合メディア表示指示で指定された単一メディアを包含する複合メディアが存在する場合には当該複合メディアが抽出される。そして、抽出された複合メディアのノードを現在の構造体に追加することによって新たな構造体のデータが生成され、検索履歴格納部３２２に登録される。その後、端子Ａを介してステップＳ４９（図１４）の処理に移行する。
【００４０】
一方、受け付けた指示が複合メディア表示指示でなければ（ステップＳ３７：Ｎｏルート）、検索制御部３２１は、受け付けた指示が展開表示指示であるか判断する（ステップＳ４１）。受け付けた指示が展開表示指示である場合（ステップＳ４１：Ｙｅｓルート）、検索制御部３２１は、メディア情報格納部３５に格納されているデータに基づき展開処理を実施する（ステップＳ４２）。なお、展開処理の詳細は後で説明するが、当該処理により、展開表示指示で指定された複合メディアに含まれる単一メディアが抽出される。そして、抽出された単一メディアのノードを現在の構造体に追加することによって新たな構造体のデータが生成され、検索履歴格納部３２２に登録される。その後、端子Ａを介してステップＳ４９（図１４）の処理に移行する。
【００４１】
一方、受け付けた指示が展開表示指示でなければ（ステップＳ４１：Ｎｏルート）、検索制御部３２１は、受け付けた指示が圧縮表示指示であるか判断する（ステップＳ４３）。受け付けた指示が圧縮表示指示である場合（ステップＳ４３：Ｙｅｓルート）、検索制御部３２１は、現在の構造体から、圧縮表示指示で指定された単一メディアのノードを削除することにより、新たな構造体のデータを生成し、検索履歴格納部３２２に登録する（ステップＳ４４）。その後、端子Ａを介してステップＳ４９（図１４）の処理に移行する。
【００４２】
一方、受け付けた指示が圧縮表示指示でなければ（ステップＳ４３：Ｎｏルート）、検索制御部３２１は、受け付けた指示がＡＮＤ検索指示であるか判断する（ステップＳ４５）。受け付けた指示がＡＮＤ検索指示である場合（ステップＳ４５：Ｙｅｓルート）、検索制御部３２１は、メディア情報格納部３５及び検索履歴格納部３２２に格納されているデータに基づきＡＮＤ検索処理を実施する（ステップＳ４７）。なお、ＡＮＤ検索処理の詳細は後で説明するが、当該処理により、後で説明する共通複合メディアが存在する場合には当該共通複合メディアが抽出される。そして、抽出された共通複合メディアを現在の構造体に追加することによって新たな構造体のデータが生成され、検索履歴格納部３２２に登録される。さらに、ＡＮＤ検索処理により、ＡＮＤ検索指示で指定された第１の単一メディアに対する検索結果のいずれかと、ＡＮＤ検索指示で指定された第２の単一メディアに対する検索結果のいずれかとが一致する場合、１の検索結果として表示するような設定がなされる。その後、端子Ａを介してステップＳ４９（図１４）の処理に移行する。
【００４３】
一方、受け付けた指示がＡＮＤ検索指示でなければ（ステップＳ４５：Ｎｏルート）、端子Ａを介してステップＳ４９（図１４）の処理に移行する。
【００４４】
図１４の説明に移行して、端子Ａの後、検索ユーザインタフェース部３２の表示部３２３が、検索履歴格納部３２２に格納されているデータに基づき、検索画面表示処理を実施する（図１４：ステップＳ４９）。なお、検索画面表示処理の詳細は後で説明するが、当該処理により、バネモデルに従って構造体表示データが生成され、ユーザに提示される。
【００４５】
その後、検索制御部３２１は、ユーザから新たな指示を受け付けたか判断する（ステップＳ５１）。ユーザから新たな指示を受け付けた場合（ステップＳ５１：Ｙｅｓルート）、端子Ｂを介してステップＳ３３に戻る。すなわち、上で述べたような処理を繰り返す。
【００４６】
一方、ユーザから新たな指示を受け付けていなければ（ステップＳ５１：Ｎｏルート）、表示部３２３が、現在表示中の構造体の各ノードの位置が平衡位置に収束したか判断する（ステップＳ５３）。現在表示中の構造体の各ノードの位置が平衡位置に収束したと判断された場合（ステップＳ５３：Ｙｅｓルート）、本処理を終了する。
【００４７】
一方、現在表示中の構造体の各ノードの位置が平衡位置に収束していないと判断された場合（ステップＳ５３：Ｎｏルート）、ステップＳ４９の処理に戻る。すなわち、構造体の各ノードの位置が平衡位置に収束するまでステップＳ４９の処理が繰り返される。
【００４８】
以上のような処理を実施することにより、ユーザは、検索指示、複合メディア表示指示、展開表示指示及びＡＮＤ検索指示を繰り返し行うことで検索を進めることが可能となる。また、ユーザは、構造体を確認することによって検索の流れを容易に把握できる。また、展開表示指示によって、複合メディアに含まれる単一メディアを表示されるので、次の検索条件を指定し易くなる。
【００４９】
次に、図１５を用いて、ステップＳ３５（図１３）における検索処理について説明する。まず、検索処理部３４は、検索制御部３２１から受信した単一メディアＩＤを基にメディア情報格納部３５を検索し、検索条件となる単一メディアの情報を取得する。
【００５０】
そして、検索処理部３４は、検索条件となる単一メディアがテキストであるか判断する（ステップＳ６１）。検索条件となる単一メディアがテキストである場合（ステップＳ６１：Ｙｅｓルート）、検索処理部３４は、検索条件となる単一メディアの情報を含む全文検索指示を全文検索部３４１に出力する。そして、全文検索部３４１は、検索処理部３４から全文検索指示を受信すると、全文検索指示に含まれる単一メディアの情報を基に全文検索処理を実施し、検索結果を検索結果格納部３６に格納する（ステップＳ６３）。具体的には、特徴量に基づき、検索条件となる単一メディア（テキスト）と類似する単一メディア（テキスト）をメディア情報格納部３５から抽出し、抽出した単一メディア毎に、単一メディアＩＤ及び類似度を含む検索結果を検索結果格納部３６に格納する。ここでは、検索条件となる単一メディア（テキスト）との類似度が所定の閾値以上である単一メディア（テキスト）を抽出したり、類似度の高い順にソートした場合の上位所定順位内にある単一メディア（テキスト）を抽出する。なお、全文検索処理自体は、従来と同じであるため、これ以上述べない。そして、処理を終了し、元の処理に戻る。
【００５１】
一方、検索条件となる単一メディアがテキストでないと判断された場合（ステップＳ６１：Ｎｏルート）、検索処理部３４は、検索条件となる単一メディアが画像であるか判断する（ステップＳ６５）。検索条件となる単一メディアが画像である場合（ステップＳ６５：Ｙｅｓルート）、検索処理部３４は、検索条件となる単一メディアの情報を含む類似画像検索指示を類似画像検索部３４２に出力する。そして、類似画像検索部３４２は、検索処理部３４から類似画像検索指示を受信すると、類似画像検索指示に含まれる単一メディアの情報を基に類似画像検索処理を実施し、検索結果を検索結果格納部３６に格納する（ステップＳ６７）。具体的には、特徴量に基づき、検索条件となる単一メディア（画像）と類似する単一メディア（画像）をメディア情報格納部３５から抽出し、抽出した単一メディア毎に、単一メディアＩＤ及び類似度を含む検索結果を検索結果格納部３６に格納する。ここでは、検索条件となる単一メディア（画像）との類似度が所定の閾値以上である単一メディア（画像）を抽出したり、類似度の高い順にソートした場合の上位所定順位内にある単一メディア（画像）を抽出する。なお、類似画像検索処理自体は、従来と同じであるため、これ以上述べない。そして、処理を終了し、元の処理に戻る。
【００５２】
一方、検索条件となる単一メディアが画像でないと判断された場合（ステップＳ６５：Ｎｏルート）、検索処理部３４は、検索条件となる単一メディアが音声であるか判断する（ステップＳ６９）。検索条件となる単一メディアが音声である場合（ステップＳ６９：Ｙｅｓルート）、検索処理部３４は、検索条件となる単一メディアの情報を含む類似音声検索指示を類似音声検索部３４３に出力する。そして、類似音声検索部３４３は、検索処理部３４から類似音声検索指示を受信すると、類似音声検索指示に含まれる単一メディアの情報を基に類似音声検索処理を実施し、検索結果を検索結果格納部３６に格納する（ステップＳ７１）。具体的には、特徴量に基づき、検索条件となる単一メディア（音声）と類似する単一メディア（音声）をメディア情報格納部３５から抽出し、抽出した単一メディア毎に、単一メディアＩＤ及び類似度を含む検索結果を検索結果格納部３６に格納する。ここでは、検索条件となる単一メディア（音声）との類似度が所定の閾値以上である単一メディア（音声）を抽出したり、類似度の高い順にソートした場合の上位所定順位内にある単一メディア（音声）を抽出する。なお、類似音声検索処理自体は、従来と同じであるため、これ以上述べない。そして、処理を終了し、元の処理に戻る。
【００５３】
一方、検索条件となる単一メディアが音声でないと判断された場合（ステップＳ６９：Ｎｏルート）、処理を終了し、元の処理に戻る。
【００５４】
以上のような処理を実施することにより、検索条件に応じた検索結果を得ることができる。
【００５５】
次に、図１６を用いて、ステップＳ３９（図１３）における複合メディア抽出処理について説明する。まず、検索制御部３２１は、複合メディア表示指示で指定された単一メディアのＩＤを基にメディア情報格納部３５を検索し、当該単一メディアを包含する複合メディアが存在するか判断する（図１６：ステップＳ８１）。具体的には、メディア情報格納部３５において、当該単一メディアに対応する複合メディアＩＤが格納されているか否かで判断する。複合メディア表示指示で指定された単一メディアを包含する複合メディアが存在すると判断された場合（ステップＳ８１：Ｙｅｓルート）、検索制御部３２１は、検索履歴格納部３２２に格納されている現在の構造体に、その複合メディアのノードを追加し、複合メディア表示指示で指定された単一メディアのノードと追加したノードとを結ぶリンクをさらに追加することにより、新たな構造体のデータを生成し、検索履歴格納部３２２に登録する（ステップＳ８３）。そして、処理を終了し、元の処理に戻る。
【００５６】
一方、複合メディア表示指示で指定された単一メディアを包含する複合メディアが存在しないと判断された場合（ステップＳ８１：Ｎｏルート）、処理を終了し、元の処理に戻る。
【００５７】
以上のような処理を実施することにより、複合メディア表示指示で指定された単一メディアを包含する複合メディアのノードを表示できるようになる。
【００５８】
次に、図１７を用いて、ステップＳ４２（図１３）における展開処理について説明する。まず、検索制御部３２１は、展開表示指示で指定された複合メディアのＩＤを基にメディア情報格納部３５を検索し、展開表示指示で指定された複合メディアに含まれる単一メディアを特定する（図１７：ステップＳ９１）。
【００５９】
そして、検索制御部３２１は、検索履歴格納部３２２に格納されている現在の構造体に、特定した単一メディアのノードを追加し、展開表示指示で指定された複合メディアのノードと追加したノードとを結ぶリンクをさらに追加することにより、新たな構造体のデータを生成し、検索履歴格納部３２２に登録する（ステップＳ９３）。そして、処理を終了し、元の処理に戻る。
【００６０】
以上のような処理を実施することにより、展開表示指示で指定された複合メディアに含まれる単一メディアのノードを表示することができるようになる。すなわち、複合メディアと当該複合メディアに含まれる単一メディアとの包含関係を可視化できるようになる。
【００６１】
次に、図１８を用いて、ステップＳ４７（図１３）におけるＡＮＤ検索処理について説明する。まず、検索制御部３２１は、ＡＮＤ検索指示で指定された第１の単一メディア及び第２の単一メディアを特定する（図１８：ステップＳ１０１）。そして、検索制御部３２１は、検索履歴格納部３２２に格納されている現在の構造体から、第１の単一メディアに対する検索結果とみなされる単一メディアのノードを第１のノードとして抽出する（ステップＳ１０３）。また、検索制御部３２１は、第２の単一メディアに対する検索結果とみなされる単一メディアのノードを第２のノードとして抽出する（ステップＳ１０５）。
【００６２】
そして、検索制御部３２１は、第１のノードに係る単一メディアと第２のノードに係る単一メディアとを包含する複合メディア（以下、共通複合メディアと呼ぶ）が存在するか判断する（ステップＳ１０７）。共通複合メディアが存在すると判断された場合（ステップＳ１０７：Ｙｅｓルート）、検索制御部３２１は、検索履歴格納部３２２に格納されている現在の構造体に、共通複合メディアのノードを追加し、第１のノード及び第２のノードの各々と追加したノードとを結ぶリンクをさらに追加することにより、新たな構造体のデータを生成し、検索履歴格納部３２２に登録する（ステップＳ１０９）。そして、ステップＳ１１１の処理に移行する。
【００６３】
一方、共通複合メディアが存在しないと判断された場合（ステップＳ１０７：Ｎｏルート）、ステップＳ１０９の処理をスキップし、ステップＳ１１１の処理に移行する。
【００６４】
そして、検索制御部３２１は、第１のノードに係る単一メディアと第２のノードに係る単一メディアとが一致するか判断する（ステップＳ１１１）。具体的には、メディア情報格納部３５を検索し、単一メディアＩＤが同一か否かで判断する。第１のノードに係る単一メディアと第２のノードに係る単一メディアとが一致すると判断された場合（ステップＳ１１１：Ｙｅｓルート）、検索制御部３２１は、現在の構造体において、第１のノードと第２のノードとを結ぶリンクを長さ０のバネとして設定し、かつ、第１のノードと第２のノードとの間の斥力を０として設定することにより、新たな構造体のデータを生成し、検索履歴格納部３２２に登録する（ステップＳ１１３）。すなわち、第１のノードと第２のノードとが長さ０のバネで接続される。なお、上でも述べたが、本実施の形態では、バネモデルに沿って、構造体の各ノードの位置が平衡位置に収束するまでステップＳ４９（図１４）における検索画面表示処理が繰り返し実施される。従って、第１のノードと第２のノードとが接近する様子がアニメーション風で表示され、最終的には１つのノードとして表示されることになる。その後、処理を終了し、元の処理に戻る。
【００６５】
一方、第１のノードに係る単一メディアと第２のノードに係る単一メディアとが不一致であると判断された場合（ステップＳ１１１：Ｎｏルート）、ステップＳ１１３の処理をスキップし、元の処理に戻る。
【００６６】
以上のような処理を実施することにより、枝分かれした検索結果同士の繋がりを容易に把握できるようになる。
【００６７】
次に、図１９を用いて、ステップＳ４９（図１４）における検索画面表示処理について説明する。なお、本実施の形態では、構造体の視認性を向上させるため、バネモデルを採用する。バネモデルについては、背景技術の欄で示した非特許文献４に詳細が開示されている。
【００６８】
まず、表示部３２３が、現在表示中の構造体の各ノードの座標を特定する（図１９：ステップＳ１２１）。そして、表示部３２３は、ノード間の斥力及び引力を算出する（ステップＳ１２３）。そして、表示部３２３は、算出した斥力及び引力からノードに係る合成力を計算し、ノードに係る合成力から各ノードの配置位置を決定し、構造体表示データを生成して記憶装置に格納する（ステップＳ１２５）。なお、例えば単一メディアが画像であれば当該画像のサムネイルをノードとして表示するようにしてもよいし、文書ファイルのアイコンをノードとして表示するようにしてもよい。
【００６９】
そして、表示部３２３は、強調表示を行うか否か判断する（ステップＳ１２７）。なお、強調表示を行うか否かは、予めユーザ等により設定されているものとする。強調表示を行わないと判断された場合（ステップＳ１２７：Ｎｏルート）、ステップＳ１２９の処理をスキップし、ステップＳ１３１の処理に移行する。一方、強調表示を行うと判断された場合（ステップＳ１２７：Ｙｅｓルート）、表示部３２３は、強調表示処理を実施する（ステップＳ１２９）。
【００７０】
図２０を用いて強調表示処理について説明する。まず、表示部３２３は、構造体表示データに含まれるノードのうち未処理のノードを特定し、当該ノードに係るメディアを特定する（図２０：ステップＳ１４１）。そして、表示部３２３は、特定メディアが複合メディアであるか判断する（ステップＳ１４３）。特定メディアが複合メディアであると判断された場合（ステップＳ１４３：Ｙｅｓルート）、表示部３２３は、特定メディア（すなわち、複合メディア）について展開表示済みであるか判断する（ステップＳ１４５）。すなわち、特定メディアについて展開表示指示を受け付けている場合には、展開表示済みであると判断する。特定メディアについて未展開であれば（ステップＳ１４５：Ｎｏルート）、ステップＳ１６１の処理に移行する。
【００７１】
一方、特定メディアについて展開表示済みである場合（ステップＳ１４５：Ｙｅｓルート）、表示部３２３は、特定メディア（すなわち、複合メディア）のノードと、当該特定メディアに含まれる単一メディアのノードとを含む第１のノード群を特定する（ステップＳ１４７）。そして、表示部３２３は、第１のノード群を囲む枠線を表示するように、又は、当該枠線で囲まれた領域を第１の色で強調表示するように構造体表示データを更新する（ステップＳ１４９）。例えば、ベジエ曲線を用いて、第１のノード群を囲む枠線を描画する。その後、ステップＳ１６１の処理に移行する。
【００７２】
また、ステップＳ１４３において特定メディアが複合メディアではないと判断された場合（ステップＳ１４３：Ｎｏルート）、すなわち特定メディアが単一メディアである場合、表示部３２３は、特定メディアに対する検索結果とみなされる単一メディアが存在するか判断する（ステップＳ１５１）。特定メディアに対する検索結果とみなされる単一メディアが存在しないと判断された場合（ステップＳ１５１：Ｎｏルート）、ステップＳ１６１の処理に移行する。
【００７３】
一方、特定メディアに対する検索結果とみなされる単一メディアが存在すると判断された場合（ステップＳ１５１：Ｙｅｓルート）、表示部３２３は、特定メディアのノードと、特定メディアに対する検索結果とみなされる単一メディアのノードとを含む第２のノード群を特定する（ステップＳ１５３）。そして、表示部３２３は、第２のノード群に含まれるいずれかのノードが、未展開の複合メディアのノードと接続されているか判断する（ステップＳ１５５）。第２のノード群に含まれるいずれかのノードが、未展開の複合メディアのノードと接続されていると判断された場合（ステップＳ１５５：Ｙｅｓルート）、表示部３２３は、当該未展開の複合メディアのノードを第２のノード群に追加する（ステップＳ１５７）。一方、第２のノード群に含まれる全てのノードが、未展開の複合メディアのノードと接続されていないと判断された場合（ステップＳ１５５：Ｎｏルート）、ステップＳ１５７の処理をスキップする。
【００７４】
そして、表示部３２３は、第２のノード群を囲む枠線を表示するように、又は、当該枠線に囲まれた領域を第２の色で強調表示するように構造体表示データを更新する（ステップＳ１５９）。例えば、ベジエ曲線を用いて、第２のノード群を囲む枠線を描画する。その後、ステップＳ１６１の処理に移行する。
【００７５】
そして、表示部３２３は、構造体表示データに含まれる全てのノードについて処理が完了したか判断する（ステップＳ１６１）。構造体表示データに含まれる全てのノードについて処理が完了していなければ（ステップＳ１６１：Ｎｏルート）、ステップＳ１４１の処理に戻り、上で述べた処理を繰り返す。一方、構造体表示データに含まれる全てのノードについて処理が完了した場合（ステップＳ１６１：Ｙｅｓルート）、処理を終了し、元の処理に戻る。
【００７６】
図１９の説明に戻って、表示部３２３は、記憶装置に格納されている構造体表示データを検索画面に表示する（ステップＳ１３１）。なお、強調表示を行う旨の設定がなされている場合には、上で説明した強調表示処理により更新された構造体表示データが表示される。そして、処理を終了し、元の処理に戻る。
【００７７】
このように、バネモデルに従って構造体の各ノードの配置位置を決定するので、ノード同士をある程度離して表示することができるようになる。また、ノードの増加にも柔軟に対処できる。
【００７８】
図２１乃至図２７に、本実施の形態における画面遷移例及び強調表示画面例を示す。まず、図２１及び図２２に、検索指示、複合メディア表示指示及び展開表示指示による画面遷移の一例を示す。例えば、ユーザが、複合メディアを検索条件として入力し、当該複合メディアについて展開表示指示を行うと、図２１（ａ）のような画面が表示される。図２１（ａ）では、複合メディアＡのノードと、複合メディアＡに含まれる単一メディアＡ１乃至Ａ５の各々のノードが表示されている。そして、図２１（ａ）に示した画面において、ユーザが単一メディアＡ３について検索指示を行うと、図２１（ｂ）のような画面が表示される。図２１（ｂ）では、図２１（ａ）に示した画面に対して、単一メディアＡ３に対する検索結果として抽出された単一メディアＢ、単一メディアＣ及び単一メディアＤの各ノードが追加されている。さらに、図２１（ｂ）に示した画面において、ユーザが単一メディアＡ２について検索指示を行うと、図２１（ｃ）のような画面が表示される。ここでは、検索結果として単一メディアＥと単一メディアＦと単一メディアＧとが抽出されたものとする。図２１（ｃ）では、図２１（ｂ）に示した画面に対して、単一メディアＥのノードと単一メディアＦのノードと単一メディアＧのノードとが追加されている。そして、図２１（ｃ）に示した画面において、ユーザが単一メディアＧについて複合メディア表示指示を行うと、図２２に示すような画面が表示される。ここでは、複合メディアＸが、単一メディアＧを包含しているものとする。図２２では、図２１（ｃ）に示した画面に対して、複合メディアＸのノードが追加されている。
【００７９】
次に、図２３に、ＡＮＤ検索指示による画面遷移の例を示す。例えば、図２３（ａ）に示すように、ユーザが単一メディアＡ２及びＡ３についてＡＮＤ検索指示を行うと、図２３（ｂ）に示すような画面が表示される。ここでは、複合メディアＸが、単一メディアＢと単一メディアＧと単一メディアＸ１と単一メディアＸ２と単一メディアＸ３とを包含しているものとする。図２３（ｂ）では、図２３（ａ）に示した画面に対して、複合メディアＸが追加されている。さらに、図２３（ｂ）に示した画面において、ユーザが複合メディアＸについて展開表示指示を行うと、図２３（ｃ）に示すような画面が表示される。図２３（ｃ）では、図２３（ｂ）に示した画面に対して、単一メディアＸ１のノードと単一メディアＸ２のノードと単一メディアＸ３のノードとが追加されている。
【００８０】
また、図２４及び図２５に、ＡＮＤ検索指示による画面遷移の他の例を示す。例えば、図２４（ａ）に示すように、ユーザが単一メディアＡ２及びＡ５についてＡＮＤ検索指示を行うと、図２４（ｂ）に示すような画面が表示される。ここでは、単一メディアＡ５に対する検索結果として単一メディアＧと単一メディアＫと単一メディアＬとが抽出されたものとする。図２４（ｂ）では、図２４（ａ）に示した画面に対して、単一メディアＧのノード間を結ぶ線２４０１が追加されている。なお、上でも述べたが、単一メディアＧのノード間は、長さ０のバネで結ばれるため、図２４（ｂ）に示した画面は、図２４（ｃ）、図２５（ａ）及び図２５（ｂ）の順に遷移する。すなわち、単一メディアＧのノードが接近する様子がアニメーション風で表示され、最終的には図２５（ｂ）に示すように１つのノードとして表示される。なお、単一メディアＧのノードは、画面上は１つのノードとして表示されるが、構造体のデータとしては、単一メディアＡ２のノードに接続されるものと、単一メディアＡ５のノードに接続されるものとで別々に管理される。例えば、単一メディアＡ２を左ダブルクリックした場合には、長さ０のバネを切断するようにすれば、単一メディアＡ５のノードに接続される単一メディアＧのノードはそのまま表示されることとなる。
【００８１】
次に、図２６乃至図２８に、強調表示画面例を示す。なお、図２６（ａ）乃至（ｃ）は、図２１（ａ）乃至（ｃ）に示した画面に対して強調表示を施した場合の画面例を示す。例えば、図２６（ａ）では、図２１（ａ）に示した画面に対して、枠線２６０１がさらに表示されている。なお、枠線２６０１は、複合メディアＡについての展開表示指示に応じて表示される。図２６（ａ）において、枠線２６０１は、複合メディアＡのノードと、複合メディアＡに含まれる単一メディアＡ１乃至Ａ５の各々のノードとを囲むように表示されている。また、図２６（ｂ）では、図２６（ａ）に示した画面に対して、枠線２６０２（点線）がさらに表示されている。なお、枠線２６０２は、単一メディアＡ３についての検索指示に応じて表示される。図２６（ｂ）において、枠線２６０２は、単一メディアＡ３のノードと、単一メディアＡ３に対する検索結果である単一メディアＢ、単一メディアＣ及び単一メディアＤの各々のノードとを囲むように表示されている。さらに、図２６（ｃ）では、図２６（ｂ）に示した画面に対して、枠線２６０３（点線）がさらに表示されている。なお、枠線２６０３は、単一メディアＡ２についての検索指示に応じて表示される。図２６（ｃ）において、枠線２６０３は、単一メディアＡ２のノードと、単一メディアＡ２に対する検索結果である単一メディアＥ、単一メディアＦ及び単一メディアＧの各々のノードとを囲むように表示されている。
【００８２】
また、図２７は、図２２に示した画面に対して強調表示を施した場合の画面例を示す。例えば、図２７では、図２２に示した画面に対して、枠線２７０１と枠線２７０２（点線）と枠線２７０３（点線）とがさらに表示されている。なお、基本的には図２６（ｃ）に示した画面と同じであるが、図２７では、単一メディアＧについての複合メディア表示指示に応じて、枠線２７０３が、複合メディアＸのノードも囲むように表示される。
【００８３】
また、図２８（ａ）乃至（ｃ）は、図２３（ａ）乃至（ｃ）に示した画面に対して強調表示を施した場合の画面例を示す。例えば、図２８（ａ）では、図２３（ａ）に示した画面に対して、枠線２８０１と枠線２８０２（点線）と枠線２８０３（点線）とがさらに表示されている。また、図２８（ｂ）では、単一メディアＡ２及びＡ３についてのＡＮＤ検索指示に応じて、枠線２８０２及び枠線２８０３の各々が、複合メディアＸのノードも囲むように表示される。さらに、図２８（ｃ）では、図２８（ｂ）に示した画面に対して、枠線２８０４がさらに表示されている。なお、枠線２８０４は、複合メディアＸについての展開表示指示に応じて表示される。図２８（ｃ）において、枠線２８０４は、複合メディアＸのノードと、複合メディアＸに含まれる単一メディアＢ、単一メディアＧ、単一メディアＸ１、単一メディアＸ２及び単一メディアＸ３の各々のノードとを囲むように表示されている。また、図２８（ｃ）に示すように、複合メディアＸについての展開表示指示に応じて、枠線２８０２及び枠線２８０３の各々は、複合メディアＸのノードを枠から外すようにして表示される。
【００８４】
以上本技術の一実施の形態を説明したが、本技術はこれに限定されるものではない。例えば、上で説明したマルチメディア統合検索装置３の機能ブロック図は必ずしも実際のプログラムモジュール構成に対応するものではない。
【００８５】
また、上で説明したデータ構造は一例であって、必ずしも上記のような構造でなければならないわけではない。さらに、上で述べた画面例は一例であって、同様の内容を表示する他の画面構成を採用することも可能である。
【００８６】
また、処理フローにおいても、処理結果が変わらなければ処理の順番を入れ替えることも可能である。さらに、並列に実行させるようにしても良い。
【００８７】
また、上では、検索条件が入力された後、いずれかの指示を受けるまで待つようになっていたが、単一メディアが検索条件として入力された場合に、検索指示を待たずに検索処理を行うような構成を採用するようにしてもよい。また、複合メディアが検索条件として入力された場合に、展開表示指示を待たずに展開処理を行うような構成を採用するようにしてもよい。
【００８８】
また、例えば構造体のノードを選択すると、別画面に当該ノードに係る単一メディアのデータを表示するような構成を採用することも可能である。
【００８９】
以上本実施の形態をまとめると以下のようになる。
【００９０】
第１の態様に係るマルチメディア統合検索方法は、複数のメディアのうちのいずれか１つを含む単一メディアのデータと複数のメディアのうちの２つ以上のメディアを含む複合メディアのデータとを格納しているメディア情報格納部に格納されている各複合メディアについて、当該複合メディアに含まれるメディアの各々を単一メディアとして抽出し、抽出した単一メディア毎に当該単一メディアのデータと当該単一メディアを包含する複合メディアの識別データとをメディア情報格納部に格納するステップと、メディア情報格納部に格納されている単一メディア毎に、当該単一メディアのデータに基づき当該単一メディアの特徴量を算出し、メディア情報格納部に格納するステップと、ユーザから第１の単一メディアの指定を含む検索指示を受け付けた場合、メディア情報格納部に格納されている特徴量に基づき、第１の単一メディアと一致又は類似する単一メディアを抽出するステップと、第１の単一メディア及び抽出された単一メディアをノードとして含み、第１の単一メディアのノードと抽出された単一メディアのノードとを結ぶリンクを含む第１の構造体のデータを検索結果格納部に登録するステップと、検索結果格納部に格納された第１の構造体のデータを用いて、構造体表示データを生成し、ユーザに提示する第１表示ステップと、ユーザから第２の単一メディアの指定を含む複合メディア表示指示を受け付けた場合、メディア情報格納部を検索し、第２の単一メディアを包含する特定の複合メディアが存在するか判断するステップと、第２の単一メディアを包含する特定の複合メディアが存在すると判断された場合、特定の複合メディアのノードと、第２の単一メディアのノードと特定の複合メディアのノードとを結ぶリンクとを第１の構造体に追加し、第２の構造体として検索結果格納部に登録するステップと、検索結果格納部に格納された第２の構造体のデータを用いて、構造体表示データを生成し、ユーザに提示する第２表示ステップとを含む。
【００９１】
このようにすれば、検索条件となった単一メディアと検索結果として抽出された単一メディアとの対応関係と、単一メディアと当該単一メディアを包含する複合メディアとの包含関係とが可視化されるので、ユーザは、検索の流れを容易に把握できるようになる。
【００９２】
また、第１の態様において、ユーザから特定の複合メディアの指定を含む展開表示指示を受け付けた場合、メディア情報格納部から特定の複合メディアに包含される単一メディアを抽出するステップと、特定の複合メディアに包含される単一メディアのノードと、特定の複合メディアのノードと特定の複合メディアに包含される単一メディアのノードの各々とを結ぶリンクとを第２の構造体に追加し、第３の構造体として検索結果格納部に登録するステップと、検索結果格納部に格納された第３の構造体のデータを用いて、構造体表示データを生成し、ユーザに提示する第３表示ステップとをさらに含むようにしてもよい。このようにすれば、例えば複合メディア内の単一メディアを新たな検索条件として再検索が行われた場合、当該単一メディアの出所を容易に把握できるようになる。
【００９３】
第２の態様に係るマルチメディア統合検索方法は、複数のメディアのうちのいずれか１つを含む単一メディアのデータと複数のメディアのうちの２つ以上のメディアを含む複合メディアのデータとを格納しているメディア情報格納部に格納されている各複合メディアについて、当該複合メディアに含まれるメディアの各々を単一メディアとして抽出し、抽出した単一メディア毎に当該単一メディアのデータと当該単一メディアを包含する複合メディアの識別データとをメディア情報格納部に格納するステップと、メディア情報格納部に格納されている単一メディア毎に、当該単一メディアのデータに基づき当該単一メディアの特徴量を算出し、メディア情報格納部に格納するステップと、ユーザから特定の単一メディアの指定を含む検索指示を受け付けた場合、メディア情報格納部に格納されている特徴量に基づき、特定の単一メディアと一致又は類似する単一メディアを抽出するステップと、特定の単一メディア及び抽出された単一メディアをノードとして含み、特定の単一メディアのノードと抽出された単一メディアのノードとを結ぶリンクを含む第１の構造体のデータを検索結果格納部に登録するステップと、検索結果格納部に格納された第１の構造体のデータを用いて、構造体表示データを生成し、ユーザに提示する第１表示ステップと、ユーザから第１の単一メディア及び第２の単一メディアの指定を含むアンド検索指示を受け付けた場合、検索結果格納部から第１の単一メディアに対する検索結果とみなされる単一メディアのノードを第１のノードとして抽出し、検索結果格納部から第２の単一メディアに対する検索結果とみなされる単一メディアのノードを第２のノードとして抽出するステップと、メディア情報格納部を検索し、第１のノードに係る単一メディアと第２のノードに係る単一メディアとを包含する特定の複合メディアが存在するか判断するステップと、特定の複合メディアが存在すると判断された場合、特定の複合メディアのノードと、特定の複合メディアのノードと第１のノード及び第２のノードの各々とを結ぶリンクとを第１の構造体に追加し、第２の構造体として検索結果格納部に登録するステップと、検索結果格納部に格納された第２の構造体のデータを用いて、構造体表示データを生成し、ユーザに提示するステップとを含む。
【００９４】
このようにすれば、第１の単一メディアに対する検索結果として抽出された単一メディアと、第２の単一メディアに対する検索結果として抽出された単一メディアとを両方とも包含する共通の複合メディアが表示されるので、ユーザは、検索結果同士の繋がりを把握できるようになる。
【００９５】
また、第２の態様において、メディア情報格納部を検索し、第１のノードに係る単一メディアと第２のノードに係る単一メディアとが同一であるか判断するステップと、第１のノードに係る単一メディアと第２のノードに係る単一メディアとが同一であると判断された場合、第１のノードと第２のノードとを結ぶリンクを第１の構造体又は第２の構造体に追加し、第３の構造体として検索結果格納部に登録する単一メディア連結ステップと、検索結果格納部に格納された第３の構造体のデータを用いて、第１のノードと第２のノードとが連続的に接近するように動的に構造体表示データを生成し、ユーザに提示する第３表示ステップとをさらに含むようにしてもよい。このようにすれば、第１の単一メディアに対する検索結果として抽出された単一メディアと、第２の単一メディアに対する検索結果として抽出された単一メディアとが同一である場合には、ノード同士が徐々に近づくように表示されるので、直ぐにノードを重ねて表示する場合に比べ、確認し易くなる。
【００９６】
さらに、第２の態様において、上で述べた単一メディア連結ステップにおいて、ノード間を結ぶリンクをバネとする所定のバネモデルに従って構造体表示データを生成する場合において、第１のノードと第２のノードとを結ぶリンクを、長さ０のバネとして設定するようにしてもよい。所定のバネモデルによる描画を行う場合には、長さ０のバネでノード間を結ぶようにすれば、ノード同士が徐々に近づくような表示を行わせることができる。
【００９７】
また、第１及び第２の態様において、上で述べた第１表示ステップ、第２表示ステップ及び第３表示ステップにおいて、ノード間を結ぶリンクをバネとする所定のバネモデルに従って各ノードを配置することにより、構造体表示データを生成するようにしてもよい。このようにすれば、ノード同士はある程度離れて表示されるので、視認性が高くなる。
【００９８】
さらに、第１及び第２の態様において、上で述べた第１表示ステップ、第２表示ステップ及び第３表示ステップにおいて、単一メディアのノードと、当該単一メディアに対する検索結果とみなされる単一メディアのノードとを含む第１のノード群を囲む第１の枠線を表示するように、又は、当該第１の枠線で囲まれる領域を強調表示するように構造体表示データを生成するようにしてもよい。そして、複合メディアのノードと、当該複合メディアに包含される単一メディアのノードとを含む第２のノード群を囲む第２の枠線を表示するように、又は、当該第２の枠線で囲まれる領域を強調表示するように構造体表示データを生成するようにしてもよい。このようにすれば、検索条件となった単一メディアと検索結果として抽出された単一メディアとの対応関係と、単一メディアと当該単一メディアを包含する複合メディアとの包含関係とを、より確認し易くなる。
【００９９】
なお、マルチメディア統合検索装置３をハードウエアと共に実現するためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等の記憶媒体又は記憶装置に格納される。尚、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。
【０１００】
なお、マルチメディア統合検索装置３は、図２９に示すように、メモリ２５０１（記憶部）とＣＰＵ２５０３（処理部）とハードディスク・ドライブ（ＨＤＤ）２５０５と表示装置２５０９に接続される表示制御部２５０７とリムーバブル・ディスク２５１１用のドライブ装置２５１３と入力装置２５１５とネットワークに接続するための通信制御部２５１７とがバス２５１９で接続されている。ＯＳ及びＷｅｂブラウザを含むアプリケーション・プログラムは、ＨＤＤ２５０５に格納されており、ＣＰＵ２５０３により実行される際にはＨＤＤ２５０５からメモリ２５０１に読み出される。必要に応じてＣＰＵ２５０３は、表示制御部２５０７、通信制御部２５１７、ドライブ装置２５１３を制御して、必要な動作を行わせる。また、処理途中のデータについては、メモリ２５０１に格納され、必要があればＨＤＤ２５０５に格納される。このようなコンピュータは、上で述べたＣＰＵ２５０３、メモリ２５０１などのハードウエアとＯＳ及び必要なアプリケーション・プログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。
【０１０１】
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
【０１０２】
（付記１）
複数のメディアのうちのいずれか１つを含む単一メディアのデータと前記複数のメディアのうちの２つ以上のメディアを含む複合メディアのデータとを格納しているメディア情報格納部に格納されている各前記複合メディアについて、当該複合メディアに含まれる前記メディアの各々を前記単一メディアとして抽出し、抽出した前記単一メディア毎に当該単一メディアのデータと当該単一メディアを包含する前記複合メディアの識別データとを前記メディア情報格納部に格納するステップと、
前記メディア情報格納部に格納されている前記単一メディア毎に、当該単一メディアのデータに基づき当該単一メディアの特徴量を算出し、前記メディア情報格納部に格納するステップと、
ユーザから第１の単一メディアの指定を含む検索指示を受け付けた場合、前記メディア情報格納部に格納されている前記特徴量に基づき、前記第１の単一メディアと一致又は類似する前記単一メディアを抽出するステップと、
前記第１の単一メディア及び抽出された前記単一メディアをノードとして含み、前記第１の単一メディアのノードと抽出された前記単一メディアのノードとを結ぶリンクを含む第１の構造体のデータを検索結果格納部に登録するステップと、
前記検索結果格納部に格納された前記第１の構造体のデータを用いて、構造体表示データを生成し、前記ユーザに提示する第１表示ステップと、
前記ユーザから第２の単一メディアの指定を含む複合メディア表示指示を受け付けた場合、前記メディア情報格納部を検索し、前記第２の単一メディアを包含する特定の複合メディアが存在するか判断するステップと、
前記第２の単一メディアを包含する前記特定の複合メディアが存在すると判断された場合、前記特定の複合メディアのノードと、前記第２の単一メディアのノードと前記特定の複合メディアのノードとを結ぶリンクとを前記第１の構造体に追加し、第２の構造体として前記検索結果格納部に登録するステップと、
前記検索結果格納部に格納された前記第２の構造体のデータを用いて、前記構造体表示データを生成し、前記ユーザに提示する第２表示ステップと、
をコンピュータに実行させるためのマルチメディア統合検索プログラム。
【０１０３】
（付記２）
前記ユーザから前記特定の複合メディアの指定を含む展開表示指示を受け付けた場合、前記メディア情報格納部から前記特定の複合メディアに包含される前記単一メディアを抽出するステップと、
前記特定の複合メディアに包含される前記単一メディアのノードと、前記特定の複合メディアのノードと前記特定の複合メディアに包含される前記単一メディアのノードの各々とを結ぶリンクとを前記第２の構造体に追加し、第３の構造体として前記検索結果格納部に登録するステップと、
前記検索結果格納部に格納された前記第３の構造体のデータを用いて、前記構造体表示データを生成し、前記ユーザに提示する第３表示ステップと、
をさらにコンピュータに実行させるための付記１記載のマルチメディア統合検索プログラム。
【０１０４】
（付記３）
複数のメディアのうちのいずれか１つを含む単一メディアのデータと前記複数のメディアのうちの２つ以上のメディアを含む複合メディアのデータとを格納しているメディア情報格納部に格納されている各前記複合メディアについて、当該複合メディアに含まれる前記メディアの各々を前記単一メディアとして抽出し、抽出した前記単一メディア毎に当該単一メディアのデータと当該単一メディアを包含する前記複合メディアの識別データとを前記メディア情報格納部に格納するステップと、
前記メディア情報格納部に格納されている前記単一メディア毎に、当該単一メディアのデータに基づき当該単一メディアの特徴量を算出し、前記メディア情報格納部に格納するステップと、
ユーザから特定の単一メディアの指定を含む検索指示を受け付けた場合、前記メディア情報格納部に格納されている前記特徴量に基づき、前記特定の単一メディアと一致又は類似する前記単一メディアを抽出するステップと、
前記特定の単一メディア及び抽出された前記単一メディアをノードとして含み、前記特定の単一メディアのノードと抽出された前記単一メディアのノードとを結ぶリンクを含む第１の構造体のデータを検索結果格納部に登録するステップと、
前記検索結果格納部に格納された前記第１の構造体のデータを用いて、構造体表示データを生成し、前記ユーザに提示する第１表示ステップと、
ユーザから第１の単一メディア及び第２の単一メディアの指定を含むアンド検索指示を受け付けた場合、前記検索結果格納部から前記第１の単一メディアに対する検索結果とみなされる前記単一メディアのノードを第１のノードとして抽出し、前記検索結果格納部から前記第２の単一メディアに対する検索結果とみなされる前記単一メディアのノードを第２のノードとして抽出するステップと、
前記メディア情報格納部を検索し、前記第１のノードに係る前記単一メディアと前記第２のノードに係る前記単一メディアとを包含する特定の複合メディアが存在するか判断するステップと、
前記特定の複合メディアが存在すると判断された場合、前記特定の複合メディアのノードと、前記特定の複合メディアのノードと前記第１のノード及び第２のノードの各々とを結ぶリンクとを前記第１の構造体に追加し、第２の構造体として前記検索結果格納部に登録するステップと、
前記検索結果格納部に格納された前記第２の構造体のデータを用いて、前記構造体表示データを生成し、前記ユーザに提示するステップと、
をコンピュータに実行させるためのマルチメディア統合検索プログラム。
【０１０５】
（付記４）
前記メディア情報格納部を検索し、前記第１のノードに係る前記単一メディアと前記第２のノードに係る前記単一メディアとが同一であるか判断するステップと、
前記第１のノードに係る前記単一メディアと前記第２のノードに係る前記単一メディアとが同一であると判断された場合、前記第１のノードと前記第２のノードとを結ぶリンクを前記第１の構造体又は前記第２の構造体に追加し、第３の構造体として前記検索結果格納部に登録する単一メディア連結ステップと、
前記検索結果格納部に格納された前記第３の構造体のデータを用いて、前記第１のノードと前記第２のノードとが連続的に接近するように動的に前記構造体表示データを生成し、前記ユーザに提示する第３表示ステップと、
をさらにコンピュータに実行させるための付記３記載のマルチメディア統合検索プログラム。
【０１０６】
（付記５）
前記単一メディア連結ステップにおいて、
ノード間を結ぶリンクをバネとする所定のバネモデルに従って前記構造体表示データを生成する場合において、前記第１のノードと前記第２のノードとを結ぶリンクを、長さ０のバネとして設定する
ことを特徴とする付記４記載のマルチメディア統合検索プログラム。
【０１０７】
（付記６）
前記第１表示ステップ、前記第２表示ステップ及び前記第３表示ステップにおいて、
ノード間を結ぶリンクをバネとする所定のバネモデルに従って各ノードを配置することにより、前記構造体表示データを生成する
ことを特徴とする付記２、４又は５記載のマルチメディア統合検索プログラム。
【０１０８】
（付記７）
前記第１表示ステップ、前記第２表示ステップ及び前記第３表示ステップにおいて、
前記単一メディアのノードと、当該単一メディアに対する検索結果とみなされる前記単一メディアのノードとを含む第１のノード群を囲む第１の枠線を表示するように、又は、当該第１の枠線で囲まれる領域を強調表示するように前記構造体表示データを生成し、
前記複合メディアのノードと、当該複合メディアに包含される前記単一メディアのノードとを含む第２のノード群を囲む第２の枠線を表示するように、又は、当該第２の枠線で囲まれる領域を強調表示するように前記構造体表示データを生成する
ことを特徴とする付記２、４、５又は６記載のマルチメディア統合検索プログラム。
【０１０９】
（付記８）
複数のメディアのうちのいずれか１つを含む単一メディアのデータと前記複数のメディアのうちの２つ以上のメディアを含む複合メディアのデータとを格納しているメディア情報格納部に格納されている各前記複合メディアについて、当該複合メディアに含まれる前記メディアの各々を前記単一メディアとして抽出し、抽出した前記単一メディア毎に当該単一メディアのデータと当該単一メディアを包含する前記複合メディアの識別データとを前記メディア情報格納部に格納するステップと、
前記メディア情報格納部に格納されている前記単一メディア毎に、当該単一メディアのデータに基づき当該単一メディアの特徴量を算出し、前記メディア情報格納部に格納するステップと、
ユーザから第１の単一メディアの指定を含む検索指示を受け付けた場合、前記メディア情報格納部に格納されている前記特徴量に基づき、前記第１の単一メディアと一致又は類似する前記単一メディアを抽出するステップと、
前記第１の単一メディア及び抽出された前記単一メディアをノードとして含み、前記第１の単一メディアのノードと抽出された前記単一メディアのノードとを結ぶリンクを含む第１の構造体のデータを検索結果格納部に登録するステップと、
前記検索結果格納部に格納された前記第１の構造体のデータを用いて、構造体表示データを生成し、前記ユーザに提示する第１表示ステップと、
前記ユーザから第２の単一メディアの指定を含む複合メディア表示指示を受け付けた場合、前記メディア情報格納部を検索し、前記第２の単一メディアを包含する特定の複合メディアが存在するか判断するステップと、
前記第２の単一メディアを包含する前記特定の複合メディアが存在すると判断された場合、前記特定の複合メディアのノードと、前記第２の単一メディアのノードと前記特定の複合メディアのノードとを結ぶリンクとを前記第１の構造体に追加し、第２の構造体として前記検索結果格納部に登録するステップと、
前記検索結果格納部に格納された前記第２の構造体のデータを用いて、前記構造体表示データを生成し、前記ユーザに提示する第２表示ステップと、
を含み、コンピュータにより実行されるマルチメディア統合検索方法。
【０１１０】
（付記９）
複数のメディアのうちのいずれか１つを含む単一メディアのデータと前記複数のメディアのうちの２つ以上のメディアを含む複合メディアのデータとを格納しているメディア情報格納部に格納されている各前記複合メディアについて、当該複合メディアに含まれる前記メディアの各々を前記単一メディアとして抽出し、抽出した前記単一メディア毎に当該単一メディアのデータと当該単一メディアを包含する前記複合メディアの識別データとを前記メディア情報格納部に格納するステップと、
前記メディア情報格納部に格納されている前記単一メディア毎に、当該単一メディアのデータに基づき当該単一メディアの特徴量を算出し、前記メディア情報格納部に格納するステップと、
ユーザから特定の単一メディアの指定を含む検索指示を受け付けた場合、前記メディア情報格納部に格納されている前記特徴量に基づき、前記特定の単一メディアと一致又は類似する前記単一メディアを抽出するステップと、
前記特定の単一メディア及び抽出された前記単一メディアをノードとして含み、前記特定の単一メディアのノードと抽出された前記単一メディアのノードとを結ぶリンクを含む第１の構造体のデータを検索結果格納部に登録するステップと、
前記検索結果格納部に格納された前記第１の構造体のデータを用いて、構造体表示データを生成し、前記ユーザに提示する第１表示ステップと、
ユーザから第１の単一メディア及び第２の単一メディアの指定を含むアンド検索指示を受け付けた場合、前記検索結果格納部から前記第１の単一メディアに対する検索結果とみなされる前記単一メディアのノードを第１のノードとして抽出し、前記検索結果格納部から前記第２の単一メディアに対する検索結果とみなされる前記単一メディアのノードを第２のノードとして抽出するステップと、
前記メディア情報格納部を検索し、前記第１のノードに係る前記単一メディアと前記第２のノードに係る前記単一メディアとを包含する特定の複合メディアが存在するか判断するステップと、
前記特定の複合メディアが存在すると判断された場合、前記特定の複合メディアのノードと、前記特定の複合メディアのノードと前記第１のノード及び第２のノードの各々とを結ぶリンクとを前記第１の構造体に追加し、第２の構造体として前記検索結果格納部に登録するステップと、
前記検索結果格納部に格納された前記第２の構造体のデータを用いて、前記構造体表示データを生成し、前記ユーザに提示するステップと、
を含み、コンピュータにより実行されるマルチメディア統合検索方法。
【０１１１】
（付記１０）
複数のメディアのうちのいずれか１つを含む単一メディアのデータと前記複数のメディアのうちの２つ以上のメディアを含む複合メディアのデータとを格納しているメディア情報格納部に格納されている各前記複合メディアについて、当該複合メディアに含まれる前記メディアの各々を前記単一メディアとして抽出し、抽出した前記単一メディア毎に当該単一メディアのデータと当該単一メディアを包含する前記複合メディアの識別データとを前記メディア情報格納部に格納する手段と、
前記メディア情報格納部に格納されている前記単一メディア毎に、当該単一メディアのデータに基づき当該単一メディアの特徴量を算出し、前記メディア情報格納部に格納する手段と、
ユーザから第１の単一メディアの指定を含む検索指示を受け付けた場合、前記メディア情報格納部に格納されている前記特徴量に基づき、前記第１の単一メディアと一致又は類似する前記単一メディアを抽出する手段と、
前記第１の単一メディア及び抽出された前記単一メディアをノードとして含み、前記第１の単一メディアのノードと抽出された前記単一メディアのノードとを結ぶリンクを含む第１の構造体のデータを検索結果格納部に登録する手段と、
前記検索結果格納部に格納された前記第１の構造体のデータを用いて、構造体表示データを生成し、前記ユーザに提示する第１表示手段と、
前記ユーザから第２の単一メディアの指定を含む複合メディア表示指示を受け付けた場合、前記メディア情報格納部を検索し、前記第２の単一メディアを包含する特定の複合メディアが存在するか判断する手段と、
前記第２の単一メディアを包含する前記特定の複合メディアが存在すると判断された場合、前記特定の複合メディアのノードと、前記第２の単一メディアのノードと前記特定の複合メディアのノードとを結ぶリンクとを前記第１の構造体に追加し、第２の構造体として前記検索結果格納部に登録する手段と、
前記検索結果格納部に格納された前記第２の構造体のデータを用いて、前記構造体表示データを生成し、前記ユーザに提示する第２表示手段と、
を有するマルチメディア統合検索装置。
【０１１２】
（付記１１）
複数のメディアのうちのいずれか１つを含む単一メディアのデータと前記複数のメディアのうちの２つ以上のメディアを含む複合メディアのデータとを格納しているメディア情報格納部に格納されている各前記複合メディアについて、当該複合メディアに含まれる前記メディアの各々を前記単一メディアとして抽出し、抽出した前記単一メディア毎に当該単一メディアのデータと当該単一メディアを包含する前記複合メディアの識別データとを前記メディア情報格納部に格納する手段と、
前記メディア情報格納部に格納されている前記単一メディア毎に、当該単一メディアのデータに基づき当該単一メディアの特徴量を算出し、前記メディア情報格納部に格納する手段と、
ユーザから特定の単一メディアの指定を含む検索指示を受け付けた場合、前記メディア情報格納部に格納されている前記特徴量に基づき、前記特定の単一メディアと一致又は類似する前記単一メディアを抽出する手段と、
前記特定の単一メディア及び抽出された前記単一メディアをノードとして含み、前記特定の単一メディアのノードと抽出された前記単一メディアのノードとを結ぶリンクを含む第１の構造体のデータを検索結果格納部に登録する手段と、
前記検索結果格納部に格納された前記第１の構造体のデータを用いて、構造体表示データを生成し、前記ユーザに提示する第１表示手段と、
ユーザから第１の単一メディア及び第２の単一メディアの指定を含むアンド検索指示を受け付けた場合、前記検索結果格納部から前記第１の単一メディアに対する検索結果とみなされる前記単一メディアのノードを第１のノードとして抽出し、前記検索結果格納部から前記第２の単一メディアに対する検索結果とみなされる前記単一メディアのノードを第２のノードとして抽出する手段と、
前記メディア情報格納部を検索し、前記第１のノードに係る前記単一メディアと前記第２のノードに係る前記単一メディアとを包含する特定の複合メディアが存在するか判断する手段と、
前記特定の複合メディアが存在すると判断された場合、前記特定の複合メディアのノードと、前記特定の複合メディアのノードと前記第１のノード及び第２のノードの各々とを結ぶリンクとを前記第１の構造体に追加し、第２の構造体として前記検索結果格納部に登録する手段と、
前記検索結果格納部に格納された前記第２の構造体のデータを用いて、前記構造体表示データを生成し、前記ユーザに提示する手段と、
を有するマルチメディア統合検索装置。
【符号の説明】
【０１１３】
１  ネットワーク    ３  マルチメディア統合検索装置
３１  データ収集部    ３２  検索ユーザインタフェース部
３３  メディア解析部    ３４  検索処理部
３５  メディア情報格納部    ３６  検索結果格納部
３２１  検索制御部    ３２２  検索履歴格納部    ３２３  表示部
３３１  単一メディア抽出部    ３３２  特徴量抽出部
３４１  全文検索部    ３４２  類似画像検索部    ３４３  類似音声検索部
【図１】
2010231444.tif 000003
【図２】
2010231444.tif 000004
【図３】
2010231444.tif 000005
【図４】
2010231444.tif 000006
【図５】
2010231444.tif 000007
【図６】
2010231444.tif 000008
【図７】
2010231444.tif 000009
【図８】
2010231444.tif 000010
【図９】
2010231444.tif 000011
【図１０】
2010231444.tif 000012
【図１１】
2010231444.tif 000013
【図１２】
2010231444.tif 000014
【図１３】
2010231444.tif 000015
【図１４】
2010231444.tif 000016
【図１５】
2010231444.tif 000017
【図１６】
2010231444.tif 000018
【図１７】
2010231444.tif 000019
【図１８】
2010231444.tif 000020
【図１９】
2010231444.tif 000021
【図２０】
2010231444.tif 000022
【図２１】
2010231444.tif 000023
【図２２】
2010231444.tif 000024
【図２３】
2010231444.tif 000025
【図２４】
2010231444.tif 000026
【図２５】
2010231444.tif 000027
【図２６】
2010231444.tif 000028
【図２７】
2010231444.tif 000029
【図２８】
2010231444.tif 000030
【図２９】
2010231444.tif 000031