(57)【要約】【課題】  検索対象が画像、音声、テキスト、複数のデータを記述・参照している構造化文書のいずれであるかに係らず、出力先のデバイスや目的によって最適な代表情報（画像・音声・テキスト）を生成もしくは選択して、検索結果を表示・印刷・再生できる。【解決手段】  検索結果にどんなドキュメントが含まれているかが一目でわかる。検索結果をその個数を問わず一覧できる。検索条件に応じて最適な代表情報が自動的に生成もしくは選択される。代表画像はサムネイルでないため、検索対象が音声データなどでも検索結果を見ることができる。検索結果が可視化されることで、検索条件の精度・詳細の度合いが把握できる。【選択図】  図６
2006119972.tif 000002
【特許請求の範囲】
【請求項１】
情報を取得する手段と、取得した情報から代表となる情報の判別手段と、
検索結果を出力するための出力手段を有し、
前記出力手段は前記代表情報を用いた検索結果を出力することを特徴とする情報処理装置。
【請求項２】
請求項1において、前記情報取得手段は情報生成手段であることを特徴とする情報処理装置。
【請求項３】
請求項１において、前記情報取得手段は情報選択手段であることを特徴とする情報処理装置。
【請求項４】
請求項２において、前記情報生成手段は画像、音声、テキストのうち少なくともひとつを生成する手段であることを特徴とする情報処理装置。
【請求項５】
請求項３において、前記情報選択手段は画像、音声、テキストのうち少なくともひとつを選択する手段であることを特徴とする情報処理装置。
【請求項６】
請求項１において、前記代表情報判別手段はデバイスの能力、出力先の能力、利用目的のうち少なくともひとつを取得基準とすることを特徴とする情報処理装置。
【請求項７】
請求項６において、前記出力手段は表示手段であって、
前記代表情報判別手段はデバイスのサイズ、デバイスの解像度、デバイスの表示可能な色数、デバイスのリフレッシュレート、デバイスのメモリ容量、デバイスのＣＰＵ、表示先の対応するデータ形式、表示先のサイズ、表示先の一行あたりに表示可能な文字数のうちの少なくともひとつを選択基準とすることを特徴とする情報処理装置。
【請求項８】
請求項６において、前記出力手段は印刷手段であって、前記代表情報判別手段はデバイスの解像度、デバイスの印刷可能な色数、デバイスのメモリ容量、デバイスのＣＰＵ、印刷先の対応するデータ形式、印刷先のサイズ、印刷先の一行あたりに表示可能な文字数のうちの少なくともひとつを選択基準とすることを特徴とする情報処理装置。
【請求項９】
請求項６において、前記出力手段は再生手段であって、前記代表情報判別手段はデバイスの再生能力、デバイスのメモリ容量、デバイスのCPU、出力先の対応するデータ形式のうちの少なくともひとつを選択基準とすることを特徴とする情報処理装置。
【請求項１０】
請求項６において、前記代表情報判別手段はデバイスの有無を選択基準とすることを特徴とする情報処理装置。
【請求項１１】
請求項６において、前記代表情報判別手段は出力方法の利用目的が表示または印刷または再生のいずれかであることを選択基準とすることを特徴とする情報処理装置。
【請求項１２】
請求項２において、前記情報生成手段はファイルもしくはファイルに含まれる情報の変換手段であることを特徴とする情報処理装置。
【請求項１３】
請求項１２において、前記変換手段はファイルもしくはファイルに含まれる画像の拡大縮小であることを特徴とする情報処理装置。
【請求項１４】
請求項１２において、前記変換手段はファイルもしくはファイルに含まれる音声の再生時間の短縮であることを特徴とする情報処理装置。
【請求項１５】
請求項１２において、前記変換手段はファイルもしくはファイルに含まれるテキストの要約であることを特徴とする情報処理装置。
【請求項１６】
請求項１２において、前記変換手段はファイルもしくはファイルに含まれる情報の形式変換であることを特徴とする情報処理装置。
【請求項１７】
請求項２において、前記情報生成手段は代替情報生成手段であることを特徴とする情報処理装置。
【請求項１８】
請求項３において、前記情報選択手段は検索対象とは別にある複数の情報から選択することを特徴とする情報処理装置。
【請求項１９】
請求項３において、前記情報選択手段は複数の表現方法をもつ構造化文書から情報を選択することを特徴とする情報処理装置。
【請求項２０】
請求項７または８または９において、前記出力手段は検索条件、ファイル内容と検索条件の一致の度合い、ファイルのサイズ、ファイル形式、ファイル名、ユーザの指定のうちの少なくともひとつに対応して各代表情報の形式、大きさ、再生時間、要約の長さのうち少なくともひとつを決定することを特徴とする情報処理装置。
【請求項２１】
請求項７または８または９において、前記出力手段は検索条件、ファイル内容と検索条件の一致の度合い、ファイルのサイズ、ファイル形式、ファイル名、ユーザの指定のうちの少なくともひとつに対応して各代表情報の表示もしくは再生を決定することを特徴とする情報処理装置。
【請求項２２】
請求項１において、前記出力手段は出力先の能力に応じて、検索結果が１ページに収まるようにレイアウトすることを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置に関する。
【背景技術】
【０００２】
従来、画像を検索対象とする技術として、検索はディレクトリ単位で行い、検索結果の表示に画像情報に含まれるサムネイルを使用する方法（例えば、特許文献１参照）や、データベース登録時に縮小画像を生成し、検索結果の表示に使用する方法があった（例えば、特許文献２参照）。
【０００３】
また、画像の変換は行わないが、検索結果をレイアウト表示する方法もあった（例えば、特許文献３参照）
そのほか、物体データを対象とし、登録された物体属性を検索して物体データを三次元配置する方法（例えば、特許文献４参照）や、データを三次元物体として表現し鳥瞰図にレイアウトするか、データ量に応じたアイコンを三次元配置する方法もあった（例えば、特許文献参照）。
【特許文献１】特開２００２−０４９６３４号公報
【特許文献２】特開２００３−２２３４６７号公報
【特許文献３】特開平１１−１７５５３３号公報
【特許文献４】特開２００２−０５６４１号公報
【特許文献５】特開平０８−０６３３２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
検索技術そのものは進歩してきたが、検索の結果の表示は文字列であることがほとんどであり、読みにくいという問題がある。
【０００５】
画像を対象にした検索の場合、検索結果を画像そのものを使って表現するとユーザは検索結果を理解しやすくなるが、表示が不ぞろいで逆に判りにくくなってしまうこともある。
【０００６】
また、画像以外が対象の場合、対象データそのものを画像として表示するということはできない。
【０００７】
検索結果が複数ページにわたって表示されると、検索結果の一覧性が低下するという問題もある。
【０００８】
デバイス・メディアによって、表示可能な画像形式や解像度、処理能力が異なることもあり、検索結果の表示方法がひとつだけではユーザにとって見難くなる可能性もある。
【０００９】
本発明は、検索結果を処理して、デバイス・メディアの能力に応じて最適な代表画像とレイアウトで表すことを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決するために、本発明の請求項１記載の情報処理装置は、
ファイルから情報を取得する手段と、取得した情報から代表となる情報の判別手段と、検索結果を出力するための出力手段を有し、前記出力手段は前記代表情報を用いた検索結果を出力することを特徴とする。
【００１１】
本発明の請求項２記載の情報処理装置は、請求項1において、前記情報取得手段は情報生成手段であることを特徴とする。
【００１２】
本発明の請求項３記載の情報処理装置は、請求項１において、前記情報取得手段は情報選択手段であることを特徴とする。
【００１３】
本発明の請求項４記載の情報処理装置は、請求項２において、前記情報生成手段は画像、音声、テキストのうち少なくともひとつを生成する手段であることを特徴とする。
【００１４】
本発明の請求項５記載の情報処理装置は、請求項３において、前記情報選択手段は画像、音声、テキストのうち少なくともひとつを選択する手段であることを特徴とする。
【００１５】
本発明の請求項６記載の情報処理装置は、請求項１において、前記代表情報判別手段はデバイスの能力、出力先の能力、利用目的のうち少なくともひとつを取得基準とすることを特徴とする。
【００１６】
本発明の請求項７記載の情報処理装置は、請求項６において、前記出力手段は表示手段であって、前記代表情報判別手段はデバイスのサイズ、デバイスの解像度、デバイスの表示可能な色数、デバイスのリフレッシュレート、デバイスのメモリ容量、デバイスのＣＰＵ、表示先の対応するデータ形式、表示先のサイズ、表示先の一行あたりに表示可能な文字数のうちの少なくともひとつを選択基準とすることを特徴とする。
【００１７】
本発明の請求項８記載の情報処理装置は、請求項６において、前記出力手段は印刷手段であって、前記代表情報判別手段はデバイスの解像度、デバイスの印刷可能な色数、デバイスのメモリ容量、デバイスのＣＰＵ、印刷先の対応するデータ形式、印刷先のサイズ、印刷先の一行あたりに表示可能な文字数のうちの少なくともひとつを選択基準とすることを特徴とする。
【００１８】
本発明の請求項９記載の情報処理装置は、請求項６において、前記出力手段は再生手段であって、前記代表情報判別手段はデバイスの再生能力、デバイスのメモリ容量、デバイスのCPU、出力先の対応するデータ形式のうちの少なくともひとつを選択基準とすることを特徴とする。
【００１９】
本発明の請求項１０記載の情報処理装置は、請求項６において、前記代表情報判別手段はデバイスの有無を選択基準とすることを特徴とする。
【００２０】
本発明の請求項１１記載の情報処理装置は、請求項６において、前記代表情報判別手段は出力方法の利用目的が表示または印刷または再生のいずれかであることを選択基準とすることを特徴とする。
【００２１】
本発明の請求項１２記載の情報処理装置は、請求項２において、前記情報生成手段はファイルもしくはファイルに含まれる情報の変換手段であることを特徴とする。
【００２２】
本発明の請求項１３記載の情報処理装置は、請求項１２において、前記変換手段はファイルもしくはファイルに含まれる画像の拡大縮小であることを特徴とする。
【００２３】
本発明の請求項１４記載の情報処理装置は、請求項１２において、前記変換手段はファイルもしくはファイルに含まれる音声の再生時間の短縮であることを特徴とする。
【００２４】
本発明の請求項１５記載の情報処理装置は、請求項１２において、前記変換手段はファイルもしくはファイルに含まれるテキストの要約であることを特徴とする。
【００２５】
本発明の請求項１６記載の情報処理装置は、請求項１２において、前記変換手段はファイルもしくはファイルに含まれる情報の形式変換であることを特徴とする。
【００２６】
本発明の請求項１７記載の情報処理装置は、請求項２において、前記情報生成手段は代替情報生成手段であることを特徴とする。
【００２７】
本発明の請求項１８記載の情報処理装置は、請求項３において、前記情報選択手段は検索対象とは別にある複数の情報から選択することを特徴とする。
【００２８】
本発明の請求項１９記載の情報処理装置は、請求項３において、前記情報選択手段は複数の表現方法をもつ構造化文書から情報を選択することを特徴とする。
【００２９】
本発明の請求項２０記載の情報処理装置は、請求項７または８または９において、前記出力手段は検索条件、ファイル内容と検索条件の一致の度合い、ファイルのサイズ、ファイル形式、ファイル名、ユーザの指定のうちの少なくともひとつに対応して各代表情報の形式、大きさ、再生時間、要約の長さのうち少なくともひとつを決定することを特徴とする。
【００３０】
本発明の請求項２１記載の情報処理装置は、請求項７または８または９において、前記出力手段は検索条件、ファイル内容と検索条件の一致の度合い、ファイルのサイズ、ファイル形式、ファイル名、ユーザの指定のうちの少なくともひとつに対応して各代表情報の表示もしくは再生を決定することを特徴とする。
【００３１】
本発明の請求項２２記載の情報処理装置は、請求項１において、前記出力手段は出力先の能力に応じて、検索結果が１ページに収まるようにレイアウトすることを特徴とする。
【発明の効果】
【００３２】
検索結果にどんなドキュメントが含まれているかが一目でわかる。
【００３３】
検索結果をその個数を問わず一覧できる。
【００３４】
検索条件に応じて最適な代表情報が自動的に生成もしくは選択される。
【００３５】
代表画像はサムネイルでないため、検索対象が音声データなどでも検索結果を見ることができる。
【００３６】
検索結果が可視化されることで、検索条件の精度・詳細の度合いが把握できる。
【発明を実施するための最良の形態】
【００３７】
＜実施形態１＞
以下、図面を参照して、本発明における情報処理装置の実施例を説明する。本実施例では、本発明における情報処理装置としてネットワークシステムを例に説明する。
【００３８】
図１は本発明の実施例に係るサーバ・クライアントを含むシステムの概要を示した構成図である。
【００３９】
同図において、本発明の実施例に係るサーバ１０６、ＰＣ１０２、ＰＤＡ１０３は、ネットワーク１０１に接続されている。ネットワーク１０１には、カラープリンタ１０４、モノクロプリンタ１０５が接続されている。図１では、ネットワーク１０１とＰＤＡ１０３が接続されている状態を示しているが、ＰＤＡ１０３はネットワーク１０１と分離して持ち歩くことができる。
【００４０】
図２は本発明の実施例に係るＰＣ１０２の構成を示すブロック図である。
【００４１】
同図において、ＣＰＵ２０１は、システム制御部であり、装置全体を制御する。ＲＯＭ２０２は、ＣＰＵの制御プログラムや各種固定データを格納するものである。ＲＡＭ２０３は、ＳＲＡＭ、ＤＲＡＭ等で構成され、プログラム制御変数等を格納するためのものである。また、各種設定パラメータ、各種ワーク用バッファもＲＡＭ２０３に格納されるものである。外部記憶部２０４はハードディスク等で構成され、文書や画像などのファイルデータを格納するためのものである。入力部２０５は、キーボード、タッチパネル等で構成され、オペレータが各種入力操作を行うためのものである。表示部２０６は、ＬＣＤ、ＬＥＤ等でオペレータに表示通知するためのものである。Ｉ／Ｆ２０７は、ネットワークに接続するためのインターフェースである。接続方法としてはＬＡＮ、ＵＳＢ等がある。図２に示した構成は、本発明の実施例に係る情報処理装置の一部を示したものであり、装置によっては、この他、スキャナ部、プリンタ部、モデム、スピーカ等が装置の構成に加わる場合がある。また、ソフトウェア等で本発明を実現する場合等には、図２の各ブロックを必ずしも装置内に持っていなくても良い。
【００４２】
サーバ１０６、ＰＤＡ１０３も図２と基本的に同様の構成である。ただし、ＰＣ１０２はサーバ１０６として振る舞う場合もある。また、ＰＤＡ１０３はＰＣに比べ制限された外部記憶部・入力部・表示部を持つ場合がある。
【００４３】
図３はサーバ１０６内の記憶部２０４内に格納している文書ファイルの一部を示した例である。
【００４４】
同図に示したように、文書ファイルはＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ、仕様はhttp://www.w3.org/XML/）形式で記述されたテキストファイルである。同図ではpresentation要素のsrc属性の属性値として"./color.pdf
"等 が指定されており、これは外部ファイルへのリンク情報を意味する。すなわち、リンク情報の記述によって、本文書ファイルからは、画像ファイル "./color.
pdf"等が参照されている。
【００４５】
以下、本実施例に係るＰＣ１０２がネットワーク１０１等を経由してサーバ１０６上の検索プログラムで検索を行い、その検索結果を受け取る際の動作に関して１種類の実施例を説明する。送信の際のプロトコルに関しては、本実施例では特に限定しないが、ＴＣＰ／ＩＰやＨＴＴＰ、ＦＴＰを利用しても良いし、電子メール等を使用しても良い。
【００４６】
図４は、第１の実施例に係るＰＣ１０２の動作を示すフローチャートである。
【００４７】
ＰＣ１０２が画像検索の結果を表示しようとするとき、ＰＣ１０２がネットワーク１０１などを経由して検索条件をサーバ１０６に送るとサーバ１０６はその条件を元に検索を行い、検索条件を満たすファイルへのリンクと、その検索における重要度や順位などのメタデータを含むリストをＰＣ１０２に返す。ＰＣ１０２はリストをＲＡＭ２０３もしくは外部記憶部２０４にダウンロードする。
【００４８】
以下、図４のフローチャートに沿って第１の実施例の動作を説明する。
【００４９】
リストのメタデータから各検索結果の配置・サイズを計算し、レイアウトを決める（ステップ１０１）。ＰＣ１０２のデバイス・ソフトの有無と能力を検索結果と照合し、各画像が表示部２０６で表示可能な画像形式かどうか調べる（ステップ１０２）。表示可能な画像形式はＰＣ１０２に接続されたデバイスの有無または能力や、インストールされたソフトによって異なるが、ＢＭＰ、ＪＰＥＧ、ＧＩＦ、ＰＮＧ、ＰＤＦ、ＳＶＧ、Ｆｌａｓｈ、ＭＰＥＧ２がある。表示できない画像形式の場合は、表示可能な画像形式に変換する（ステップ１０３）。
【００５０】
次にステップ１０１で計算されたサイズにステップ１０２もしくはステップ１０３で得られた結果のサイズが適するかどうかを調べる（ステップ１０４）。サイズが合わない場合は、レイアウトに適したサイズに変換する（ステップ１０５）。
【００５１】
ステップ１０４もしくはステップ１０５で得られた結果をレイアウトし、表示する（ステップ１０７）。
【００５２】
図５は、第２の実施例に係るＰＣ１０２の動作を示すフローチャートである。
【００５３】
図３のような複数の表現方法をもつ構造化文書を対象に、ＰＣ１０２が検索した結果を表示しようとするとき、ＰＣ１０２がネットワーク１０１などを経由して検索条件をサーバ１０６に送るとサーバ１０６はその条件を元に検索を行い、検索条件を満たすファイルへのリンクと、その検索における重要度や順位などのメタデータを含むリストをＰＣ１０２に返す。ＰＣ１０２はリストをＲＡＭ２０３もしくは外部記憶部２０４にダウンロードする。
【００５４】
以下、図５のフローチャートに沿って第２の実施例の動作を説明する。
【００５５】
各構造化文書を先頭から読み込み、文書を解析する（ステップ１１１）。ステップ１１１の解析結果から、文書が画像データへのリンクもしくはＳＶＧ（Ｓｃａｌａｂｌｅ  Ｖｅｃｔｏｒ  Ｇｒａｐｈｉｃｓ、仕様はhttp://www.w3.org/Graphics/SVG/）を含んでいるならこれを表示候補とし、ステップ１１４に進む（ステップ１１２）。表示候補の記録はＲＡＭ２０３上に保持してもよいし、外部記憶装置２０４に保存してもよい。表示候補がなければ代替画像を生成し、ステップ１１７に進む（ステップ１１３）。
【００５６】
ステップ１１２で表示候補が得られた場合、各候補が表示可能な画像形式か調べる（ステップ１１４）。表示可能な画像形式はＰＣ１０２に接続されたデバイスの有無または能力や、インストールされたソフトによって異なるが、ＢＭＰ、ＪＰＥＧ、ＧＩＦ、ＰＮＧ、ＰＤＦ、ＳＶＧ、Ｆｌａｓｈ、ＭＰＥＧ２がある。図３の場合、リンク先のデータのデータ形式の判別は要素のｔｙｐｅ属性で行う。表示可能な表示候補がなければ代替画像を生成し、ステップ１１８に進む（ステップ１１３）。代替画像の形式は表示可能なものであり、内容・サイズは一律にしてもよいし、検索結果のメタデータやファイル自身の作成時間・サイズ・ファイル形式などに応じて異なるものを生成してもよい。
【００５７】
ステップ１１４で表示可能な画像形式が存在した場合、表示不能な候補は取り除く。（ステップ１１５）。ステップ１１５で得られた表示候補の内、解像度、メディアの大きさ、一行あたりに表示可能な文字数、メモリ容量、リフレッシュレート、ＣＰＵ等のデバイスの能力で表示候補を更に絞ることができるか検索する（ステップ１１６）。図３の例でいうと、データが要求するデバイスの能力は要素のｍｅｄｉａ属性で判断する。最初のｉｍａｇｅ要素のｍｅｄｉａ属性には“（ｃｏｌｏｒ）”とあるため、これはカラー表示用のデータである。２つめのｉｍａｇｅ要素のｍｅｄｉａ属性には“（ｍｏｎｏｃｈｒｏｍｅ）”とあるため、これはモノクロ表示用のデータである。３つめのｉｍａｇｅ要素のｍｅｄｉａ属性には“(max-device-height: 800px) and (max-device-width: 600px)"とあるため、これは高さ８００ピクセル、幅６００ピクセルまでの表示用のデータである。４つめのｉｍａｇｅ要素のｍｅｄｉａ属性には特に指定がないため、汎用のデータとみなす。もしデバイスの能力が要求に満たないデータがあればこれを表示候補から除く（ステップ１１７）。仮にステップ１１６で表示候補が１つめと２つめのｉｍａｇｅ要素のみの場合に、データを表示するデバイスがカラーを表示可能であれば、２つ目のｉｍａｇｅ要素は表示候補から外れることになる。表示候補を絞ることができないなら、表示候補はそのままでステップ１１８に進む。
【００５８】
検索結果リストのメタデータから各検索結果の配置・サイズを計算し、レイアウトを決める（ステップ１１８）。
【００５９】
各検索結果の表示候補中にステップ１１７で計算されたサイズに適するものがあるかどうかをサーバ１０６等に問い合わせるかもしくはネットワーク１０１等から画像を取得して調べる（ステップ１１９）。サイズが合わない場合は、画像候補中文書順で最初のものをネットワーク１０１等から画像を取得し、レイアウトに適したサイズに変換してＲＡＭ２０３もしくは外部記憶部２０４に保存してからステップ１２２に進む（ステップ１２０）。
【００６０】
ステップ１１９で適したサイズの画像候補が存在する場合、不適なサイズの候補を取り除く（ステップ１２１）。
【００６１】
ステップ１２０もしくはステップ１２１から得られた画像候補中、文書順で最初のものに絞る（ステップ１２２）。画像をまだ取得していなければネットワーク１０１等から画像を取得する。
【００６２】
次にステップ１２２で得た画像をレイアウトして（ステップ１２３）、表示部２０６に表示する（ステップ１２４）。
【００６３】
図６は、第３の実施例に係るＰＣ１０２の動作を示すフローチャートである。
【００６４】
画像ファイル、テキストファイル、音声ファイル、実行ファイルや図３のような複数の表現方法をもつ構造化文書等を対象に、ＰＣ１０２が検索した結果を印刷しようとするとき、ＰＣ１０２がネットワーク１０１などを経由して検索条件をサーバ１０６に送るとサーバ１０６はその条件を元に検索を行い、検索条件を満たすファイルへのリンクと、その検索における重要度や順位などのメタデータを含むリストをＰＣ１０２に返す。ＰＣ１０２はリストをＲＡＭ２０３もしくは外部記憶部２０４にダウンロードする。
【００６５】
以下、図６のフローチャートに沿って第３の実施例の動作を説明する。
【００６６】
リストのメタデータから各検索結果の配置・サイズを計算し、レイアウトを決める（ステップ１４１）。
【００６７】
検索結果の各ファイルが構造化文書かどうか拡張子や先頭部分を解析してエラーになるかどうか等で判別し、構造化文書であればステップ１４４、そうでなければステップ１４３に進む（ステップ１４２）。
【００６８】
ステップ１４２でファイルが構造化文書でなかった場合はそのファイルが表示可能な画像データであるかどうかを拡張子から判別し、表示可能であればステップ１５０、不可能であればステップ１４９に進む（ステップ１４３）。表示可能な画像形式はＰＣ１０２に接続されたデバイスの有無または能力や、インストールされたソフトによって異なるが、ＢＭＰ、ＪＰＥＧ、ＧＩＦ、ＰＮＧ、ＰＤＦ、ＳＶＧ、Ｆｌａｓｈ、ＭＰＥＧ２等がある。
【００６９】
ステップ１４２でファイルが構造化文書であった場合、先頭から読み込み、文書を解析する（ステップ１４４）。
【００７０】
ステップ１４４の解析結果から、文書が画像データへのリンクもしくはＳＶＧを含んでいるならこれを表示候補とし、ステップ１４６に進む（ステップ１４５）。表示候補の記録はＲＡＭ２０３上に保持してもよいし、外部記憶装置２０４に保存してもよい。表示候補がなければステップ１４９に進む。
【００７１】
ステップ１４５で表示候補が得られた場合、各候補が表示可能な画像形式か調べる（ステップ１４６）。表示可能な画像形式はＰＣ１０２に接続されたデバイスの有無または能力や、インストールされたソフトによって異なるが、ＢＭＰ、ＪＰＥＧ、ＧＩＦ、ＰＮＧ、ＰＤＦ、ＳＶＧ、Ｆｌａｓｈ、ＭＰＥＧ２等がある。図３の場合、リンク先のデータのデータ形式の判別は要素のｔｙｐｅ属性で行う。表示可能な表示候補がなければステップ１４９に進む。
【００７２】
ステップ１４６で得られた画像候補の内、表示・印刷・再生といった目的に一致するものがあるかどうか検索する（ステップ１４７）。図３の例でいうと目的に一致するかどうかは要素のｍｅｄｉａ属性で判断する。最初の２つのｉｍａｇｅ要素のｍｅｄｉａ属性には“ｐｒｉｎｔ”とあるため印刷目的、残り２つのｉｍａｇｅ要素のｍｅｄｉａ属性には“ｓｃｒｅｅｎ”とあるので表示目的のデータであることがわかる。一致するものがあればデータ候補を一致するものに絞る（Ｓ１４８）。一致するものがなければデータ候補はそのままでステップ１５０に進む。
【００７３】
ステップ１４３、ステップ１４６で表示可能な画像がなかった場合、もしくはステップ１４５で構造化文書が画像へのリンクかＳＶＧを含まなかった場合、代表画像をファイル以外から取得し、ステップ１５４に進む（ステップ１４９）。取得する場所はＰＣのＲＡＭ２０３、外部記憶部２０４のほか、ネットワーク１０１などから取得する。取得する画像の形式は表示可能なものであり、内容・サイズは一律にしてもよいし、検索結果のメタデータやファイル自身の作成時間・サイズ・ファイル形式などに応じて異なるものを取得してもよい。
【００７４】
各検索結果の画像候補中にステップ１４１で計算されたサイズに適するものがあるかどうかをサーバ１０６等に問い合わせるかもしくはネットワーク１０１等から画像を取得して調べる（ステップ１５０）。サイズが合わない場合は、画像候補中文書順で最新のものをネットワーク１０１等から画像を取得し、レイアウトに適したサイズに変換してＲＡＭ２０３もしくは外部記憶部２０４に保存してからステップ１５３に進む（ステップ１５１）。
【００７５】
ステップ１５０で適したサイズの画像候補が存在する場合、不適なサイズの候補を取り除く（ステップ１５２）。
【００７６】
ステップ１５１もしくはステップ１５２から得られた画像候補中、最新のものに絞る（ステップ１５３）。画像をまだ取得していなければネットワーク１０１等から画像を取得する。
【００７７】
次にステップ１４９もしくはステップ１５３で得た画像をレイアウトして（ステップ１５４）、印刷する（ステップ１５５）。
【００７８】
図７は、第４の実施例に係るＰＣ１０２の動作を示すフローチャートである。
【００７９】
画像ファイル、テキストファイル、音声ファイル、実行ファイルや図３のような複数の表現方法をもつ構造化文書等を対象に、ＰＣ１０２が検索した結果を再生しようとするとき、ＰＣ１０２がネットワーク１０１などを経由して検索条件をサーバ１０６に送るとサーバ１０６はその条件を元に検索を行い、検索条件を満たすファイルへのリンクと、その検索における重要度や順位などのメタデータを含むリストをＰＣ１０２に返す。ＰＣ１０２はリストをＲＡＭ２０３もしくは外部記憶部２０４にダウンロードする。
【００８０】
以下、図７のフローチャートに沿って第４の実施例の動作を説明する。
【００８１】
リストのメタデータから各検索結果の再生時間・順序を計算する（ステップ１６１）。
【００８２】
検索結果の各ファイルが構造化文書かどうか拡張子や先頭部分を解析してエラーになるかどうか等で判別し、構造化文書であればステップ１６４、そうでなければステップ１６３に進む（ステップ１６２）。
【００８３】
ステップ１６２でファイルが構造化文書でなかった場合はそのファイルが再生可能な画像データであるかどうかを拡張子から判別し、再生可能であればステップ１７０、不可能であればステップ１６９に進む（ステップ１６３）。再生可能な音声形式はＰＣ１０２に接続されたデバイスの有無または能力や、インストールされたソフトによって異なるが、ＷＡＶＥ、ｍｐ３、ＶｏｉｃｅＸＭＬ（http://www.w3.org/TR/voicexml20/）等がある。
【００８４】
ステップ１６２でファイルが構造化文書であった場合、先頭から読み込み、文書を解析する（ステップ１６４）。
【００８５】
ステップ１６４の解析結果から、文書が音声データへのリンクもしくはＶｏｉｃｅＸＭＬを含んでいるならこれを再生候補とし、ステップ１６６に進む（ステップ１６５）。再生候補の記録はＲＡＭ２０３上に保持してもよいし、外部記憶装置２０４に保存してもよい。再生候補がなければステップ１６９に進む。
【００８６】
ステップ１６５で再生候補が得られた場合、各候補が再生可能な音声形式か調べる（ステップ１６６）。再生可能な音声形式はＰＣ１０２に接続されたデバイスの有無または能力や、インストールされたソフトによって異なるが、ＷＡＶＥ、ｍｐ３、ＶｏｉｃｅＸＭＬ等がある。図３の場合、リンク先のデータのデータ形式の判別は要素のｔｙｐｅ属性で行う。再生可能な再生候補がなければステップ１６９に進む。
【００８７】
ステップ１６６で得られた再生候補の内、表示・印刷・再生といった目的に一致するものがあるかどうか検索する（ステップ１６７）。図３の例でいうと目的に一致するかどうかは要素のｍｅｄｉａ属性で判断する。最初の２つのｉｍａｇｅ要素のｍｅｄｉａ属性には“ｐｒｉｎｔ”とあるため印刷目的、残り２つのｉｍａｇｅ要素のｍｅｄｉａ属性には“ｓｃｒｅｅｎ”とあるので表示目的のデータであることがわかる。一致するものがあればデータ候補を一致するものに絞る（Ｓ１６８）。一致するものがなければデータ候補はそのままでステップ１７０に進む。
【００８８】
ステップ１６３、ステップ１６６で再生可能な画像がなかった場合、もしくはステップ１６５で構造化文書が音声データへのリンクかＶｏｉｃｅＸＭＬを含まなかった場合、代表音声をファイル名から生成し、ステップ１７４に進む（ステップ１６９）。
【００８９】
各検索結果の再生候補中にステップ１６１で計算された再生時間に適するものがあるかどうかをサーバ１０６等に問い合わせるかもしくはネットワーク１０１等から音声データ、もしくは音声データに付加されたメタデータを取得して調べる（ステップ１７０）。再生時間が合わない場合は、再生候補中文書順で最新のものをネットワーク１０１等から音声データを取得し、適した再生時間に短縮してＲＡＭ２０３もしくは外部記憶部２０４に保存してからステップ１７３に進む（ステップ１７１）。
【００９０】
ステップ１７０で適した再生時間の再生候補が存在する場合、不適な再生時間の候補を取り除く（ステップ１７２）。
【００９１】
ステップ１７１もしくはステップ１７２から得られた再生候補中、最新のものに絞る（ステップ１７３）。音声をまだ取得していなければネットワーク１０１等から取得する。
【００９２】
次にステップ１６９もしくはステップ１７３で得た音声を連結して（ステップ１７４）、再生する（ステップ１７５）。
【００９３】
本実施例においては、構造化文書ファイルとしてＸＭＬ形式のファイルを例に説明したが、ＨＴＭＬなど他の構造化文書の処理においても本発明は適用し得るものである。
【００９４】
なお、以上のような動作はＣＰＵ２０１がＲＯＭ２０２やＲＡＭ２０３に記憶したプログラムに基づいて実行するものであるが、本発明は、このようなプログラムをフロッピー（登録商標）ディスクやハードディスク、ＣＤ−ＲＯＭ、メモリカード等の各種記憶媒体に格納し、これを専用のデータ読取装置によって、コンピュータ等の情報処理装置に取り込み、ＣＰＵ２０１で実行するようにしてもよい。
【００９５】
また、以上の実施例では、主にサーバ、ＰＣ、ＰＤＡを例に説明したが、本発明はこれに限らず、例えば、ＨＴＴＰサーバ、ＦＴＰサーバ等の各種サーバ装置、携帯電話機等の通信装置、デジタル複写機などの文書処理装置、あるいは、コンピュータ等の情報処理装置における装置制御においても、同様に適用し得るものである。
【図面の簡単な説明】
【００９６】
【図１】本発明の実施例による情報処理装置を含むシステムの構成を示す模式図。
【図２】上記実施例による情報処理装置の構成の一部を示すブロック図。
【図３】上記実施例による情報処理装置が扱う構造化文書の一部を示した図。
【図４】本発明の第１の実施例による情報処理装置の代表画像取得手段の動作を示すフローチャート。
【図５】本発明の第２の実施例による情報処理装置の代表画像取得手段の動作を示すフローチャート。
【図６】本発明の第３の実施例による情報処理装置の代表画像取得手段の動作を示すフローチャート。
【図７】第４の実施例に係るＰＣ１０２の動作を示すフローチャート。
【符号の説明】
【００９７】
１０１  ネットワーク
１０２  ＰＣ
１０３  ＰＤＡ
１０４  カラープリンタ
１０５  モノクロプリンタ
１０６  プリンタ
２０１  ＣＰＵ
２０２  ＲＯＭ
２０３  ＲＡＭ
２０４  外部記憶部
２０５  入力部
２０６  表示部
２０７  インターフェース
【図１】
2006119972.tif 000003
【図２】
2006119972.tif 000004
【図３】
2006119972.tif 000005
【図４】
2006119972.tif 000006
【図５】
2006119972.tif 000007
【図６】
2006119972.tif 000008
【図７】
2006119972.tif 000009