(57)【特許請求の範囲】
【請求項１】
クライアント装置と、当該クライアント装置に外部通信路を介して接続されるサーバ装置とを含む情報表示システムであって、
順序関係を有する複数の画像からそれぞれサムネイル画像を生成するサムネイル画像生成手段と、
前記サムネイル画像生成手段で生成された複数の前記サムネイル画像を、前記順序関係に従って表示するサムネイル表示手段と、
前記サムネイル画像の中から前記サムネイル画像の指定を受け付ける指定手段と、
前記指定手段により指定を受け付けた前記サムネイル画像についての拡大画像を表す第１拡大画像を生成するとともに、当該サムネイル画像に対して前記順序関係における前後位置の前記サムネイル画像についても、前記第１拡大画像よりも小さい拡大画像を表す第２拡大画像を生成する拡大手段と、
前記拡大手段により生成された前記第１拡大画像および前記第２拡大画像について、予め決められた数だけ前記順序関係に従って表示する拡大画像表示手段と、
前記拡大画像表示手段により表示される前記第１拡大画像および前記第２拡大画像の前記順序関係に従った順送りを指示する順送り指示手段と、
を備え、
前記指定手段は、前記順送り指示手段により前記順序関係に従った順送りが指示されることにより前記第１拡大画像の生成が必要となった前記サムネイル画像について、指定を受け付けたものとして扱い、
前記クライアント装置は、前記サムネイル画像の表示で利用された前記画像の符号データと、当該符号データのどの部分が保存され、どの部分が保存されていないかを記述した管理情報とを保存し、前記第１拡大画像および前記第２拡大画像を表示する場合に、前記管理情報に基づいて保存されていない前記符号データの情報を生成して当該符号データの情報を含む前記画像の送信要求を前記サーバ装置に送信し、
前記送信要求を受け取った前記サーバ装置は、前記送信要求に含まれる前記符号データの情報に応じた前記符号データを前記クライアント装置に送信する、
ことを特徴とする情報表示システム。
【請求項２】
外部から与えられた前記画像の分類情報を用いて複数の前記サムネイル画像を分類する分類手段を更に備え、
前記サムネイル表示手段は、前記サムネイル画像の分類を識別可能な様態で、前記サムネイル画像を表示する、
ことを特徴とする請求項１記載の情報表示システム。
【請求項３】
前記画像の特徴量に基づいて分類した分類情報を用いて複数の前記サムネイル画像を分類する分類手段を更に備え、
前記サムネイル表示手段は、前記サムネイル画像の分類を識別可能な様態で、前記サムネイル画像を表示する、
ことを特徴とする請求項１記載の情報表示システム。
【請求項４】
前記順送り指示手段は、前記分類情報を用い、前記指定手段により前記サムネイル画像の中から選択されることで指定を受け付けた前記サムネイル画像の分類と同じ分類および前記指定手段により前記サムネイル画像の中から選択されることで指定を受け付けた前記サムネイル画像の分類に近い分類の、前記順序関係に従った順送りによって表示される前記第１拡大画像の表示時間を長く割り当てて、前記拡大画像表示手段により表示される前記第１拡大画像および前記第２拡大画像の前記順序関係に従った順送りを指示する、
ことを特徴とする請求項２または３記載の情報表示システム。
【請求項５】
前記拡大手段は、前記分類情報を用い、前記指定手段により前記サムネイル画像の中から選択されることで指定を受け付けた前記サムネイル画像の分類と同じ分類および前記指定手段により前記サムネイル画像の中から選択されることで指定を受け付けた前記サムネイル画像の分類に近い分類の、前記順序関係に従った順送りによって表示される前記第１拡大画像に比べ、前記順序関係に従った順送りによって表示される異なる分類の前記第１拡大画像を低画質に生成する、
ことを特徴とする請求項２または３に記載の情報表示システム。
【請求項６】
前記拡大手段は、前記分類情報を用い、前記指定手段により前記サムネイル画像の中から選択されることで指定を受け付けた前記サムネイル画像の分類と同じ分類および前記指定手段により前記サムネイル画像の中から選択されることで指定を受け付けた前記サムネイル画像の分類に近い分類の、前記順序関係に従った順送りによって表示される前記第１拡大画像に比べ、前記順序関係に従った順送りによって表示される異なる分類の前記第１拡大画像の画像サイズを小さく生成する、
ことを特徴とする請求項２または３に記載の情報表示システム。
【請求項７】
前記サムネイル画像の表示倍率の指定を受け付ける倍率指定手段を更に備え、
前記サムネイル画像生成手段は、前記倍率指定手段により指定された前記表示倍率に応じてサイズまたは解像度を変更して前記サムネイル画像を生成する、
ことを特徴とする請求項１ないし６のいずれか一記載の情報表示システム。
【請求項８】
前記画像の画像フォーマットはＪＰＥＧ２０００であり、
前記サムネイル画像生成手段は、ＪＰＥＧ２０００の階層符号化機能を用いて前記サムネイル画像を生成する、
ことを特徴とする請求項１ないし７のいずれか一記載の情報表示システム。
【請求項９】
前記サムネイル表示手段は、前記拡大画像表示手段により表示されている前記拡大画像に対応する前記サムネイル画像のみを、強調表示する、
ことを特徴とする請求項１ないし８のいずれか一記載の情報表示システム。
【請求項１０】
クライアント装置と、当該クライアント装置に外部通信路を介して接続されるサーバ装置とを含む情報表示システムで実行される情報表示方法であって、
前記情報表示システムは、制御部を備え、
前記制御部において実行される、
サムネイル画像生成手段が、順序関係を有する複数の画像からそれぞれサムネイル画像を生成するステップと、
サムネイル表示手段が、前記サムネイル画像生成手段で生成された複数の前記サムネイル画像を、前記順序関係に従って表示するステップと、
指定手段が、前記サムネイル画像の中から前記サムネイル画像の指定を受け付けるステップと、
拡大手段が、前記指定手段により指定を受け付けた前記サムネイル画像についての拡大画像を表す第１拡大画像を生成するとともに、当該サムネイル画像に対して前記順序関係における前後位置の前記サムネイル画像についても、前記第１拡大画像よりも小さい拡大画像を表す第２拡大画像を生成するステップと、
拡大画像表示手段が、前記拡大手段により生成された前記第１拡大画像および前記第２拡大画像について、予め決められた数だけ前記順序関係に従って表示するステップと、
順送り指示手段が、前記拡大画像表示手段により表示される前記第１拡大画像および前記第２拡大画像の前記順序関係に従った順送りを指示するステップと、
を含み、
前記指定手段は、前記順送り指示手段により前記順序関係に従った順送りが指示されることにより前記第１拡大画像の生成が必要となった前記サムネイル画像について、指定を受け付けたものとして扱い、
前記クライアント装置は、前記サムネイル画像の表示で利用された前記画像の符号データと、当該符号データのどの部分が保存され、どの部分が保存されていないかを記述した管理情報とを保存し、前記第１拡大画像および前記第２拡大画像を表示する場合に、前記管理情報に基づいて保存されていない前記符号データの情報を生成して当該符号データの情報を含む前記画像の送信要求を前記サーバに送信するステップを含み、
前記送信要求を受け取った前記サーバ装置は、前記送信要求に含まれる前記符号データの情報に応じた前記符号データを前記クライアント装置に送信するステップを含む、
ことを特徴とする情報表示方法。
【請求項１１】
分類手段が、外部から与えられた前記画像の分類情報を用いて複数の前記サムネイル画像を分類するステップを更に含み、
前記サムネイル表示手段は、前記サムネイル画像の分類を識別可能な様態で、前記サムネイル画像を表示する、
ことを特徴とする請求項１０記載の情報表示方法。
【請求項１２】
分類手段が、前記画像の特徴量に基づいて分類した分類情報を用いて複数の前記サムネイル画像を分類するステップをさらに含み、
前記サムネイル表示手段は、前記サムネイル画像の分類を識別可能な様態で、前記サムネイル画像を表示する、
ことを特徴とする請求項１０記載の情報表示方法。
【請求項１３】
前記順送り指示手段は、前記分類情報を用い、前記指定手段により前記サムネイル画像の中から選択されることで指定を受け付けた前記サムネイル画像の分類と同じ分類および前記指定手段により前記サムネイル画像の中から選択されることで指定を受け付けた前記サムネイル画像の分類に近い分類の、前記順序関係に従った順送りによって表示される前記第１拡大画像の表示時間を長く割り当てて、前記拡大画像表示手段により表示される前記第１拡大画像および前記第２拡大画像の前記順序関係に従った順送りを指示する、
ことを特徴とする請求項１１または１２記載の情報表示方法。
【請求項１４】
前記拡大手段は、前記分類情報を用い、前記指定手段により前記サムネイル画像の中から選択されることで指定を受け付けた前記サムネイル画像の分類と同じ分類および前記指定手段により前記サムネイル画像の中から選択されることで指定を受け付けた前記サムネイル画像の分類に近い分類の、前記順序関係に従った順送りによって表示される前記第１拡大画像に比べ、前記順序関係に従った順送りによって表示される異なる分類の前記第１拡大画像を低画質に生成する、
ことを特徴とする請求項１１または１２記載の情報表示方法。
【請求項１５】
前記拡大手段は、前記分類情報を用い、前記指定手段により前記サムネイル画像の中から選択されることで指定を受け付けた前記サムネイル画像の分類と同じ分類および前記指定手段により前記サムネイル画像の中から選択されることで指定を受け付けた前記サムネイル画像の分類に近い分類の、前記順序関係に従った順送りによって表示される前記第１拡大画像に比べ、前記順序関係に従った順送りによって表示される異なる分類の前記第１拡大画像の画像サイズを小さく生成する、
ことを特徴とする請求項１１または１２記載の情報表示方法。
【請求項１６】
倍率指定手段が、前記サムネイル画像の表示倍率の指定を受け付けるステップを更に含み、
前記サムネイル画像生成手段は、前記倍率指定手段により指定された前記表示倍率に応じてサイズまたは解像度を変更して前記サムネイル画像を生成する、
ことを特徴とする請求項１０ないし１５のいずれか一記載の情報表示方法。
【請求項１７】
前記画像の画像フォーマットはＪＰＥＧ２０００であり、
前記サムネイル画像生成手段は、ＪＰＥＧ２０００の階層符号化機能を用いて前記サムネイル画像を生成する、
ことを特徴とする請求項１０ないし１６のいずれか一記載の情報表示方法。
【請求項１８】
前記サムネイル表示手段は、前記拡大画像表示手段により表示されている前記拡大画像に対応する前記サムネイル画像のみを、強調表示する、
ことを特徴とする請求項１０ないし１７のいずれか一記載の情報表示方法。
【請求項１９】
コンピュータを、
順序関係を有する複数の画像から生成されたサムネイル画像を、前記順序関係に従って表示するサムネイル表示手段と、
前記サムネイル画像の中から前記サムネイル画像の指定を受け付ける指定手段と、
前記指定手段により指定を受け付けた前記サムネイル画像についての拡大画像を表す第１拡大画像、および、当該サムネイル画像に対して前記順序関係における前後位置の前記サムネイル画像についての前記第１拡大画像よりも小さい拡大画像を表す第２拡大画像について、予め決められた数だけ前記順序関係に従って表示する拡大画像表示手段と、
前記拡大画像表示手段により表示される前記第１拡大画像および前記第２拡大画像の前記順序関係に従った順送りを指示する順送り指示手段と、
前記サムネイル画像の表示で利用された前記画像の符号データと、当該符号データのどの部分が保存され、どの部分が保存されていないかを記述した管理情報とを保存し、前記第１拡大画像および前記第２拡大画像が表示される場合に、前記管理情報に基づいて保存されていない前記符号データの情報を生成して当該符号データの情報を含む前記画像の送信要求を送信する送信手段と、
前記サムネイル画像の表示で利用された前記画像の符号データと、前記送信要求に応じて受信された保存されていない前記符号データとから、前記第１拡大画像および前記第２拡大画像を生成する生成手段と、
として機能させ、
前記指定手段は、前記順送り指示手段により前記順序関係に従った順送りが指示されることにより前記第１拡大画像の生成が必要となった前記サムネイル画像について、指定を受け付けたものとして扱う、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報表示システム、情報表示方法およびプログラムに関する。
【背景技術】
【０００２】
紙文書をスキャナ等の入力デバイスを使用して電子化する装置、例えば電子ファイリング装置などが、従来から存在している。近年、スキャナの低価格化やスキャン機能を搭載したＭＦＰ（Multi Function Printer）の普及や、ｅ−文書法等の法制化により一般的なオフィスにおいてもそのハンドリングの良さや利便性が認知されることにより、紙文書をスキャンして電子化する機会が増えてきている。一方では、電子化された文書画像データや写真画像データ、ＰＣ等のアプリケーションによって作成された文書データ等をデータベース（以下ＤＢ）化して一元管理する画像ＤＢの用途が増えてきている。例えば、紙文書の原本を保存しておく必要があっても管理のし易さ、検索のし易さという点で画像ＤＢを構築する場合もある。
【０００３】
上記したような画像ＤＢにおいては、サーバ装置を設置して多数の人がアクセスする大規模なものから、自分のＰＣ内にＤＢを構築するパーソナル用途のものまで様々である。また、近年のＭＦＰは内蔵のＨＤＤに文書を蓄積する機能を備えており、ＭＦＰをベースとした画像ＤＢを構築する場合もある。
【０００４】
複数の画像が蓄積されている画像ＤＢ内の画像を閲覧する場合、ユーザは画像の検索手法を用いて目的の画像を検索する。すなわち、検索対象画像の画像名（ファイル名）が既知であれば、画像名の一覧から検索するが、通常はサムネイルの一覧表示が使用される。例えば、文書画像を検索する場合、キーワード検索した後に、キーワードにヒットした候補画像をサムネイル一覧表示して、最終的に検索対象画像を選択し、あるいは最初からサムネイル一覧表示のみを使用し、検索対象画像を探索する方法が採られている。
【０００５】
サムネイル一覧表示は縮小画像を画面上に複数個配列することにより、画像内容の把握を容易にするものであるが、限られた画面上に複数の画像を一度に表示するため、個々のサムネイルの解像度は一般的に低い。写真画像をサムネイル一覧表示した場合、低解像度の縮小画像でもその内容把握は比較的容易であるが、文字中心の文書画像の場合は、その縮小画像では文字の判読が困難になり文書画像の内容把握が難しい。従って、文書画像の検索では、ユーザは個々の文書画像をビューアなどの機能を使って拡大表示して確認しなければならず、検索時の操作性が非常に悪い。特に、ネットワークを介したサーバ・クライアントシステムの場合では、ビューアで画像を表示する際に新たに解像度の高い画像データの転送が必要となり、この結果、多数の画像の確認に、多くの処理時間を要し、検索効率が著しく低下する。
【０００６】
そこで、サムネイル一覧表示では多数のサムネイル数を表示すると時間がかかるため、特にネットワークを介したサーバ・クライアントシステムの場合では、一度に一覧できる表示数を少なくしてページをめくるように画面を変更することにより、表示までの待ち時間を短縮している。しかし、これでも一画面に表示できるサムネイル数が少ないため、何度もページをめくる（画面を変更する）必要があり、またサムネイル一覧表示に含まれる画像の全容が容易に掴めないため、最終ページまで閲覧しても所望の画像が見つからないこともあり、検索効率を一層悪化させる。
【０００７】
ところで、画像ＤＢでサムネイル一覧表示を行う場合に、表示する度に、つまり表示画面を作成する度に、蓄積された原画像からの動的なサムネイル作成を行わず、また原画像データをそのまま使用することなく、一般的には、原画像を縮小したサムネイル用の画像を予め保持（蓄積）し、サムネイル用の画像を使用する方法を採る。この方法は処理速度の点で優れている。例えば、サーバ・クライアントシステムにおいて、ＨＴＭＬ（Hyper Text Markup Langage）などを使用してサムネイル一覧の表示画面を作成する場合、通常、ビットマップの表示画面をサーバ側が作成することはなく、サーバはＨＴＭＬ文書に表示する画像（ファイル）名によるリンクのみを作成し、クライアント側のブラウザソフトによってＨＴＭＬ文書を展開（レンダリング）して、いわゆるビットマップの表示画面が生成される。このような場合、表示画面上でのサムネイルサイズ（通常はサーバ側が指定する）にかかわらず、サーバからクライアントへ表示画面上のサムネイル画像を全て転送する必要がある（通常、画面からはみ出た部分があっても全て転送する）。そのため、１画面に表示するサムネイル数が多くなると、それに応じて転送すべきデータ量が多くなる。また、小容量のデータを多数回転送するためデータの転送効率が低下し、クライアント側の画面表示に時間がかかる（通常、データ転送時のパケット長は固定であり、異なるファイルを同一パケットにしないため、小ファイルでは冗長な転送データが発生する。小ファイルの転送データが多くなると、冗長データが無視できず、これにより転送効率が低下する）。また、一般的にサーバ側でも表示するサムネイル数が多くなるとディスクアクセスなどの負荷が増える。
【０００８】
そこで、上記した問題を解決するものとして特許文献１の検索方法が提案されている。すなわち、サムネイルを２次元マップ上に配置して表示するマップ表示手順と、マップを分割した複数の小領域のうち特定の小領域内のポイントを利用者が指示したとき、特定の小領域を中心とする小領域群を拡大対象領域とし、拡大対象領域内に配置されたサムネイルを拡大して内容を詳細に表示するサムネイル詳細表示手順により、簡易な操作で目的の情報を検索している。
【０００９】
【特許文献１】特開２００４−２５８８３８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかし、上記した方法では、サムネイルと詳細表示の２値的な表示切替のため、マップ上で検索対象画像の位置を把握出来ないと、しらみつぶしに拡大表示して探索する必要が生じ、拡大率が不足する可能性ある。また、マップ上に表示するサムネイルの数が多くなると、サムネイルを重ねて表示できないため、サムネイルサイズが小さくなり、サムネイル一覧の意味がなくなる可能性もある。さらに、一覧表示上のサムネイル数が多くなると、前述したように、表示に時間がかかる。
【００１１】
本発明は、上記に鑑みてなされたものであって、ビューアなどの別ウィンドウを開くことなく、軽快かつ連続して、複数のサムネイル画像の内容を確認しながらの検索が可能となり、操作性を向上させることができる情報表示システム、情報表示方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決し、目的を達成するために、本発明の情報表示システムは、クライアント装置と、当該クライアント装置に外部通信路を介して接続されるサーバ装置とを含む情報表示システムであって、順序関係を有する複数の画像からそれぞれサムネイル画像を生成するサムネイル画像生成手段と、前記サムネイル画像生成手段で生成された複数の前記サムネイル画像を、前記順序関係に従って表示するサムネイル表示手段と、前記サムネイル画像の中から前記サムネイル画像の指定を受け付ける指定手段と、前記指定手段により指定を受け付けた前記サムネイル画像についての拡大画像を表す第１拡大画像を生成するとともに、当該サムネイル画像に対して前記順序関係における前後位置の前記サムネイル画像についても、前記第１拡大画像よりも小さい拡大画像を表す第２拡大画像を生成する拡大手段と、前記拡大手段により生成された前記第１拡大画像および前記第２拡大画像について、予め決められた数だけ前記順序関係に従って表示する拡大画像表示手段と、前記拡大画像表示手段により表示される前記第１拡大画像および前記第２拡大画像の前記順序関係に従った順送りを指示する順送り指示手段と、を備え、前記指定手段は、前記順送り指示手段により前記順序関係に従った順送りが指示されることにより前記第１拡大画像の生成が必要となった前記サムネイル画像について、指定を受け付けたものとして扱い、前記クライアント装置は、前記サムネイル画像の表示で利用された前記画像の符号データと、当該符号データのどの部分が保存され、どの部分が保存されていないかを記述した管理情報とを保存し、前記第１拡大画像および前記第２拡大画像を表示する場合に、前記管理情報に基づいて保存されていない前記符号データの情報を生成して当該符号データの情報を含む前記画像の送信要求を前記サーバ装置に送信し、前記送信要求を受け取った前記サーバ装置は、前記送信要求に含まれる前記符号データの情報に応じた前記符号データを前記クライアント装置に送信する、ことを特徴とする。
【００１３】
また、本発明は、上記情報表示システムにおいて、外部から与えられた前記画像の分類情報を用いて複数の前記サムネイル画像を分類する分類手段を更に備え、前記サムネイル表示手段は、前記サムネイル画像の分類を識別可能な様態で、前記サムネイル画像を表示する、ことを特徴とする。
【００１４】
また、本発明は、上記情報表示システムにおいて、前記画像の特徴量に基づいて分類した分類情報を用いて複数の前記サムネイル画像を分類する分類手段を更に備え、前記サムネイル表示手段は、前記サムネイル画像の分類を識別可能な様態で、前記サムネイル画像を表示する、ことを特徴とする。
【００１５】
また、本発明は、上記情報表示システムにおいて、前記順送り指示手段は、前記分類情報を用い、前記指定手段により前記サムネイル画像の中から選択されることで指定を受け付けた前記サムネイル画像の分類と同じ分類および前記指定手段により前記サムネイル画像の中から選択されることで指定を受け付けた前記サムネイル画像の分類に近い分類の、前記順序関係に従った順送りによって表示される前記第１拡大画像の表示時間を長く割り当てて、前記拡大画像表示手段により表示される前記第１拡大画像および前記第２拡大画像の前記順序関係に従った順送りを指示する、ことを特徴とする。
【００１６】
また、本発明は、上記情報表示システムにおいて、前記拡大手段は、前記分類情報を用い、前記指定手段により前記サムネイル画像の中から選択されることで指定を受け付けた前記サムネイル画像の分類と同じ分類および前記指定手段により前記サムネイル画像の中から選択されることで指定を受け付けた前記サムネイル画像の分類に近い分類の、前記順序関係に従った順送りによって表示される前記第１拡大画像に比べ、前記順序関係に従った順送りによって表示される異なる分類の前記第１拡大画像を低画質に生成する、ことを特徴とする。
【００１７】
また、本発明は、上記情報表示システムにおいて、前記拡大手段は、前記分類情報を用い、前記指定手段により前記サムネイル画像の中から選択されることで指定を受け付けた前記サムネイル画像の分類と同じ分類および前記指定手段により前記サムネイル画像の中から選択されることで指定を受け付けた前記サムネイル画像の分類に近い分類の、前記順序関係に従った順送りによって表示される前記第１拡大画像に比べ、前記順序関係に従った順送りによって表示される異なる分類の前記第１拡大画像の画像サイズを小さく生成する、ことを特徴とする。
【００１８】
また、本発明は、上記情報表示システムにおいて、前記サムネイル画像の表示倍率の指定を受け付ける倍率指定手段を更に備え、前記サムネイル画像生成手段は、前記倍率指定手段により指定された前記表示倍率に応じてサイズまたは解像度を変更して前記サムネイル画像を生成する、ことを特徴とする。
【００１９】
また、本発明は、上記情報表示システムにおいて、前記画像の画像フォーマットはＪＰＥＧ２０００であり、前記サムネイル画像生成手段は、ＪＰＥＧ２０００の階層符号化機能を用いて前記サムネイル画像を生成する、ことを特徴とする。
【００２０】
また、本発明は、上記情報表示システムにおいて、前記サムネイル表示手段は、前記拡大画像表示手段により表示されている前記拡大画像に対応する前記サムネイル画像のみを、強調表示する、ことを特徴とする。
【００２１】
また、本発明は、クライアント装置と、当該クライアント装置に外部通信路を介して接続されるサーバ装置とを含む情報表示システムで実行される情報表示方法であって、前記情報表示システムは、制御部を備え、前記制御部において実行される、サムネイル画像生成手段が、順序関係を有する複数の画像からそれぞれサムネイル画像を生成するステップと、サムネイル表示手段が、前記サムネイル画像生成手段で生成された複数の前記サムネイル画像を、前記順序関係に従って表示するステップと、指定手段が、前記サムネイル画像の中から前記サムネイル画像の指定を受け付けるステップと、拡大手段が、前記指定手段により指定を受け付けた前記サムネイル画像についての拡大画像を表す第１拡大画像を生成するとともに、当該サムネイル画像に対して前記順序関係における前後位置の前記サムネイル画像についても、前記第１拡大画像よりも小さい拡大画像を表す第２拡大画像を生成するステップと、拡大画像表示手段が、前記拡大手段により生成された前記第１拡大画像および前記第２拡大画像について、予め決められた数だけ前記順序関係に従って表示するステップと、順送り指示手段が、前記拡大画像表示手段により表示される前記第１拡大画像および前記第２拡大画像の前記順序関係に従った順送りを指示するステップと、
を含み、前記指定手段は、前記順送り指示手段により前記順序関係に従った順送りが指示されることにより前記第１拡大画像の生成が必要となった前記サムネイル画像について、指定を受け付けたものとして扱い、前記クライアント装置は、前記サムネイル画像の表示で利用された前記画像の符号データと、当該符号データのどの部分が保存され、どの部分が保存されていないかを記述した管理情報とを保存し、前記第１拡大画像および前記第２拡大画像を表示する場合に、前記管理情報に基づいて保存されていない前記符号データの情報を生成して当該符号データの情報を含む前記画像の送信要求を前記サーバに送信するステップを含み、前記送信要求を受け取った前記サーバ装置は、前記送信要求に含まれる前記符号データの情報に応じた前記符号データを前記クライアント装置に送信するステップを含む、ことを特徴とする。
【００２２】
また、本発明は、上記情報表示方法において、分類手段が、外部から与えられた前記画像の分類情報を用いて複数の前記サムネイル画像を分類するステップを更に含み、前記サムネイル表示手段は、前記サムネイル画像の分類を識別可能な様態で、前記サムネイル画像を表示する、ことを特徴とする。
【００２３】
また、本発明は、上記情報表示方法において、分類手段が、前記画像の特徴量に基づいて分類した分類情報を用いて複数の前記サムネイル画像を分類するステップをさらに含み、前記サムネイル表示手段は、前記サムネイル画像の分類を識別可能な様態で、前記サムネイル画像を表示する、ことを特徴とする。
【００２４】
また、本発明は、上記情報表示方法において、前記順送り指示手段は、前記分類情報を用い、前記指定手段により前記サムネイル画像の中から選択されることで指定を受け付けた前記サムネイル画像の分類と同じ分類および前記指定手段により前記サムネイル画像の中から選択されることで指定を受け付けた前記サムネイル画像の分類に近い分類の、前記順序関係に従った順送りによって表示される前記第１拡大画像の表示時間を長く割り当てて、前記拡大画像表示手段により表示される前記第１拡大画像および前記第２拡大画像の前記順序関係に従った順送りを指示する、ことを特徴とする。
【００２５】
また、本発明は、上記情報表示方法において、前記拡大手段は、前記分類情報を用い、前記指定手段により前記サムネイル画像の中から選択されることで指定を受け付けた前記サムネイル画像の分類と同じ分類および前記指定手段により前記サムネイル画像の中から選択されることで指定を受け付けた前記サムネイル画像の分類に近い分類の、前記順序関係に従った順送りによって表示される前記第１拡大画像に比べ、前記順序関係に従った順送りによって表示される異なる分類の前記第１拡大画像を低画質に生成する、ことを特徴とする。
【００２６】
また、本発明は、上記情報表示方法において、前記拡大手段は、前記分類情報を用い、前記指定手段により前記サムネイル画像の中から選択されることで指定を受け付けた前記サムネイル画像の分類と同じ分類および前記指定手段により前記サムネイル画像の中から選択されることで指定を受け付けた前記サムネイル画像の分類に近い分類の、前記順序関係に従った順送りによって表示される前記第１拡大画像に比べ、前記順序関係に従った順送りによって表示される異なる分類の前記第１拡大画像の画像サイズを小さく生成する、ことを特徴とする。
【００２７】
また、本発明は、上記情報表示方法において、倍率指定手段が、前記サムネイル画像の表示倍率の指定を受け付けるステップを更に含み、前記サムネイル画像生成手段は、前記倍率指定手段により指定された前記表示倍率に応じてサイズまたは解像度を変更して前記サムネイル画像を生成する、ことを特徴とする。
【００２８】
また、本発明は、上記情報表示方法において、前記画像の画像フォーマットはＪＰＥＧ２０００であり、前記サムネイル画像生成手段は、ＪＰＥＧ２０００の階層符号化機能を用いて前記サムネイル画像を生成する、ことを特徴とする。
【００２９】
また、本発明は、上記情報表示方法において、前記サムネイル表示手段は、前記拡大画像表示手段により表示されている前記拡大画像に対応する前記サムネイル画像のみを、強調表示する、ことを特徴とする。
【００３０】
また、本発明のプログラムは、コンピュータを、順序関係を有する複数の画像から生成されたサムネイル画像を、前記順序関係に従って表示するサムネイル表示手段と、前記サムネイル画像の中から前記サムネイル画像の指定を受け付ける指定手段と、前記指定手段により指定を受け付けた前記サムネイル画像についての拡大画像を表す第１拡大画像、および、当該サムネイル画像に対して前記順序関係における前後位置の前記サムネイル画像についての前記第１拡大画像よりも小さい拡大画像を表す第２拡大画像について、予め決められた数だけ前記順序関係に従って表示する拡大画像表示手段と、前記拡大画像表示手段により表示される前記第１拡大画像および前記第２拡大画像の前記順序関係に従った順送りを指示する順送り指示手段と、前記サムネイル画像の表示で利用された前記画像の符号データと、当該符号データのどの部分が保存され、どの部分が保存されていないかを記述した管理情報とを保存し、前記第１拡大画像および前記第２拡大画像が表示される場合に、前記管理情報に基づいて保存されていない前記符号データの情報を生成して当該符号データの情報を含む前記画像の送信要求を送信する送信手段と、前記サムネイル画像の表示で利用された前記画像の符号データと、前記送信要求に応じて受信された保存されていない前記符号データとから、前記第１拡大画像および前記第２拡大画像を生成する生成手段と、として機能させ、前記指定手段は、前記順送り指示手段により前記順序関係に従った順送りが指示されることにより前記第１拡大画像の生成が必要となった前記サムネイル画像について、指定を受け付けたものとして扱う、ことを特徴とする。
【発明の効果】
【００３５】
本発明によれば、順序関係を有する複数の画像から生成された複数のサムネイル画像を順序関係に従って表示するとともに、指定を受け付けたサムネイル画像についての拡大画像を表示する。そして、拡大画像の順序関係に従った順送りを指示することにより、拡大画像の生成が必要となったサムネイル画像が指定を受け付けたものとして扱われる。これにより、ビューアなどの別ウィンドウを開くことなく、軽快かつ連続して、複数のサムネイル画像の内容を確認しながらの検索が可能となり、操作性を向上させることができる、という効果を奏する。
【００３６】
本発明によれば、外部から与えられた画像の分類情報を用いて複数のサムネイル画像を分類し、サムネイル画像の分類を識別可能な態様でサムネイル画像を表示することにより、サムネイル画像の数が非常に多い場合であっても、最初に拡大化するサンプル画像の特定が速くなるため、一般的に使用されるサイズよりも小さいサイズのサムネイル画像を使用することが可能になるので、そのような場合の転送時間が短縮可能であり、生産性の向上を図ることができる、という効果を奏する。
【００３７】
本発明によれば、画像の特徴量に基づいて分類した分類情報を用いて複数のサムネイル画像を分類し、サムネイル画像の分類を識別可能な態様でサムネイル画像を表示することにより、サムネイル画像の数が非常に多い場合であっても、最初に拡大化するサンプル画像の特定が速くなるため、一般的に使用されるサイズよりも小さいサイズのサムネイル画像を使用することが可能になるので、そのような場合の転送時間が短縮可能であり、生産性の向上を図ることができる、という効果を奏する。
【００３８】
本発明によれば、分類情報を用い、指定を受け付けたサムネイル画像の分類と同じ分類および指定を受け付けたサムネイル画像の分類に近い分類の拡大画像を表示する際に表示時間を長く割り当てて、拡大画像の順序関係に従った順送りを指示することにより、指定を受け付けたサムネイル画像の分類と同じ分類および指定を受け付けたサムネイル画像の分類に近い分類の拡大画像の確認が容易になり、効率的に画像を絞り込むことができるので、生産性の向上を図ることができる、という効果を奏する。
【００３９】
本発明によれば、分類情報を用い、指定を受け付けたサムネイル画像の分類と同じ分類および指定手段により指定を受け付けたサムネイル画像の分類に近い分類の拡大画像に比べ、他の拡大画像を低画質に生成することにより、指定を受け付けたサムネイル画像の分類と異なる分類については転送される画像データ量を少なくすることができ、データ転送の効率化やより高速でブラウジング表示をすることが可能となるので、検索効率の向上および生産性の向上を図ることができる、という効果を奏する。
【００４０】
本発明によれば、分類情報を用い、指定を受け付けたサムネイル画像の分類と同じ分類および指定手段により指定を受け付けたサムネイル画像の分類に近い分類の拡大画像に比べ、他の拡大画像の画像サイズを小さく生成することにより、指定を受け付けたサムネイル画像の分類と異なる分類については転送される画像データ量を少なくすることができ、データ転送の効率化やより高速でブラウジング表示をすることが可能となるので、検索効率の向上および生産性の向上を図ることができる、という効果を奏する。
【００４１】
本発明によれば、サムネイル画像の表示倍率の指定を受け付け、指定された表示倍率に応じてサイズまたは解像度を変更してサムネイル画像を生成することにより、サムネイル画像の精細度を変更しているため、拡大率を上げても画質が低下することなく内容の確認が可能となる、という効果を奏する。
【００４２】
本発明によれば、指定を受け付けたサムネイル画像に加え、当該サムネイル画像に対して順序関係における前後位置のサムネイル画像についても拡大画像も生成し、指定を受け付けたサムネイル画像および当該サムネイル画像に対して順序関係における前後位置のサムネイル画像について、予め決められた数だけ順序関係に従って表示することにより、指定を受け付けた注目画像となるサムネイル画像の前後のサムネイル画像を同時に表示することが可能になるため、効率的に画像を絞り込むことが可能となるので、検索効率の向上および生産性の向上を図ることができる、という効果を奏する。
【００４３】
本発明によれば、画像の画像フォーマットはＪＰＥＧ２０００であり、ＪＰＥＧ２０００の階層符号化機能を用いてサムネイル画像を生成することにより、サイズの異なる複数のサムネイルを生成する代わりに画像を階層符号へ変換し、解像度（サイズ）の異なるサムネイル画像を生成するように構成しているので、原画像の符号データ量のみで各種処理を実行することができるので、保存するデータ量を削減することができる、という効果を奏する。
【００４４】
本発明によれば、表示されている拡大画像に対応するサムネイル画像のみを強調表示することにより、表示されている拡大画像のサムネイル順での位置が把握することができるようになり、検索効率の向上および生産性の向上を図ることができる、という効果を奏する。
【００４５】
また、本発明によれば、画像の符号データをクライアント装置側で保存することによって、符号データの転送の重複を回避することが可能となり結果的に検索時のデータ転送量を削減することができるので、転送時間を短縮することができ、生産性の向上を図ることができる、という効果を奏する。
【発明を実施するための最良の形態】
【００４６】
以下に添付図面を参照して、この発明にかかる情報表示システム、情報表示方法およびプログラムの最良な実施の形態を詳細に説明する。
【００４７】
［第１の実施の形態］
本発明の第１の実施の形態を図１ないし図８に基づいて説明する。本実施の形態は情報表示システムとしてクライアントサーバシステムを適用した例である。
【００４８】
図１は、本発明の第１の実施の形態にかかるクライアントサーバシステムの構成を示すブロック図である。図１に示すように、本実施の形態にかかるクライアントサーバシステムは、パーソナルコンピュータ（以下ＰＣ）、ＰＤＡや携帯電話などのモバイル端末などのクライアント装置１００と、クライアント装置１００からのコマンドに応じて画像分類を行い、分類結果をクライアント装置１００へ出力するサーバ装置１１０とを、ＬＡＮやインターネットなどの外部通信路１０４で接続することにより構成されている。
【００４９】
クライアント装置１００は、図１に示すように、モニタなどの表示デバイス１０１、アプリケーションプログラム１０２、ユーザからの指示入力手段であるキーボードやマウスなどの入力デバイス１０３を備えている。アプリケーションプログラム１０２は、ユーザ指示の解釈、サーバ１１０との通信、表示デバイス１０１の制御を行う。
【００５０】
サーバ装置１１０は、図１に示すように、外部通信路１０４とのインターフェース（以下Ｉ／Ｆ）１１１、画像ＤＢ１１４へ登録する順序関係を有する登録画像１１２を所定サイズ以下に変倍して複数のサムネイル画像を生成するサムネイル生成部１１３、登録画像１１２の画像データやサムネイル画像データを蓄積する画像ＤＢ１１４、表示画面制御部１１８を備えている。表示画面制御部１１８は、クライアント装置１００の表示デバイス１０１上へ表示するための表示画面データ１１９を生成し、かつ、クライアント装置１００によって指定され入力される画面制御データ１２０の内容に応じて表示画面を制御する。なお、図１中の点線は、画像登録時のデータの流れを表し、実線はサムネイル一覧表示画面の生成時のデータの流れを表している。
【００５１】
なお、順序関係を有する登録画像１１２としては、文書のページ画像、スライド画像、動画やデジタルカメラ等の撮像時間順のシーケンス画像などが挙げられる。
【００５２】
図２は、サーバ装置１１０／クライアント装置１００の構成を示すブロック図である。図２において、２０１はプログラムに応じた演算や処理を行うＣＰＵ、２０２はプログラムのコードや画像の符号データなどのデータを一時的に記憶、保持するワーク領域として使用される揮発性のメモリ、２０３は画像データやプログラムなどを保存、蓄積するためのハードディスク（以下ＨＤＤ）であり、画像ＤＢ１１４を保持する。２０４はモニタ２０５へ表示するためのデータバッファであるビデオメモリである。ビデオメモリ２０４に書き込まれた画像データは、定期的にモニタ２０５へ表示される。２０６はマウスやキーボードなどの入力デバイス、２０７はインターネットやＬＡＮなどの外部通信路１０４を介してデータを送受信する外部Ｉ／Ｆ、２０８は各々の構成要素を接続するバスである。
【００５３】
本実施の形態では、サーバ装置１１０がＰＣにより構成され、表示画面生成などの処理がソフトウェアによって実現する例を示す。すなわち、サーバ装置１１０内の処理は図示しないアプリケーションプログラムによって実現される。なお、本実施の形態はこれに限定されず、ＭＦＰなどの装置内にハードウェアによって処理を行うように構成しても良いし、また、サーバ、クライアント構成を採らずに、例えば１つのＰＣやＭＦＰなどの機器内に、図１の構成を構成するようにしても良い。
【００５４】
以下、本実施の形態の動作概要を説明する。本実施の形態のシステムは、大別すると二つの動作に分かれている。一つは画像の登録動作であり、他の一つは所望の画像を検索し、閲覧し、取得（サーバ装置１１０からのダウンロード）する「画像ＤＢ１１４内の画像を利用する」動作である。画像の利用においては、まず所望の画像を検索し、その後、ユーザのクライアント装置１００内へ蓄積する。また、キーワード検索や類似画像検索などの画像検索の技術があるが、本実施の形態では説明を簡略するため、それらの検索処理の後に行う、サムネイル一覧表示から検索対象画像を探索する動作を検索処理の対象とする。なお、キーワード検索や類似画像検索などの処理を行うことなく、サムネイル一覧表示のみから画像を検索するケースもある。
【００５５】
画像登録時の動作としては、登録される連続したシーケンス画像、例えば本の一連のページ画像や動画のフレーム画像などからその画像のサムネイル表示用のサムネイル画像とページの内容をブラウジングするための表示画像の作成がある。
【００５６】
以下、本実施の形態における画像のサムネイル一覧表示からの検索動作時の検索結果の表示に関する処理についての説明を行なう。
【００５７】
まず、画像登録動作の概要について、図１のブロック図（破線は登録時の動作を示す）および図３のフローチャートを参照して説明する。
【００５８】
ステップＳ００１において、ユーザは、クライアント装置１００からアプリケーションプログラム１０２を介してサーバ装置１１０へ画像データの登録の指示と登録する登録画像データ１１２を指示する。
【００５９】
ステップＳ００２において、登録画像データ１１２は、外部通信路１０４を介してサーバ装置１１０へ入力され、外部Ｉ／Ｆ１１１を経由して画像ＤＢ１１４へファイル名などの付随するメタ情報などと共にＩＤが付与されて登録される。同時に、サムネイル画像生成手段として機能するサムネイル生成部１１３は登録画像１１２を縮小処理して所定サイズ以下のサイズの「サムネイル画像」を生成し、画像ＤＢ１１４へＩＤを付与して登録する。なお、登録画像データ１１２が複数ページの画像データの場合には、ページ単位でサムネイルを生成する。また、登録される画像の分類情報も外部から与えられ、画像ＤＢ１１４へＩＤに対応した状態で登録される。外部から与えられる分類情報は、画像をカテゴリ分けできれば何でも良い。例えば、画像に付随するメタデータ（作成日・時間、作成者、作成ソフト、画像の種類、ユーザ注釈、キーワード等）を用いた分類情報や、画像に内在する情報（色や形を用いたカテゴリ分け、統計的性質を用いたカテゴリ分け、反復学習を用いたカテゴリ分け等）を用いた分類情報やこれら以外の新しい発見から得た分類情報などである。ここに、分類手段が実現されている。
【００６０】
本実施の形態では、登録画像毎に１種類のサイズからなるサムネイル画像をシーケンス画像毎に生成する。ここでのサムネイル生成方法は、例えば、サイズの異なるサムネイル毎に長辺のサイズを規定して、原画像の長辺サイズがそれ以上であれば、登録画像データ１１２を縮小処理し、長辺が該サイズのサムネイルを作成するようにすれば良い。短辺は、長辺との比を保持して縮小する。
【００６１】
上記画像ＤＢ１１４における、ＩＤやファイル名などの付随するメタ情報は、一般的なＲＤＢ（リレーショナルデータベース）を使用することにより、情報の登録、管理、検索などの処理を簡易に実現できる。また、サムネイルおよび原画像データは、必要に応じて圧縮符号化して蓄積し、上記したメタ情報からリンクされて読み込み可能に構築しておけばよい。また、画像ＤＢ１１４は上述の機能を満たせば、例えばＸＭＬ（eXtensible Markup Langage）などの言語を使用し、階層的なデータ構造などを構築して蓄積しても良く、また、異なるサーバ毎にそれぞれＤＢとして蓄積してもよい。画像登録は、スキャナやデジタルカメラなどの画像入力装置から直接、画像データをサーバ装置１１０へ登録するようにしても良い。
【００６２】
次に、画像検索動作の概要について、図１のブロック図および図４のフローチャートを参照して説明する。
【００６３】
ステップＳ１０１において、ユーザは、クライアント装置１００のアプリケーションプログラム１０２を使用して、サムネイルの一覧表示をサーバ装置１１０へ指示する。
【００６４】
ステップＳ１０２において、サーバ装置１１０は、一覧表示指示を受信すると、表示画面制御部１１８が図５に示すサムネイル一覧表示画面の初期画面を生成する（サムネイル表示手段）。図５は、サムネイル一覧表示画面の一例を示す正面図である。本実施の形態におけるサムネイル一覧表示画面は、大きく二つの画面構造からなる。一つはサムネイル一覧ビュー３０２であり、他の一つはそのサムネイル画像を拡大して表示する選択画像表示ビュー３１１である。ここに、拡大手段および拡大画像表示手段が実現されている。クライアント装置１００内のアプリケーション１０２は、これら二つのフレームを合成して表示デバイス１０１用の表示画面を生成し、図５の画面を作成する。
【００６５】
図５において、３０１はサムネイル一覧ビュー３０２の表示領域を規定するウィンドウ、３０２はサムネイルの表示フレームであるサムネイル一覧ビュー、３０３は個々のサムネイル（各矩形が一つのサムネイルを表している）、３０４はサムネイル一覧ビュー３０２の表示倍率を設定するスライダ、３０５はサムネイル一覧ビュー３０２を水平方向へスクロールするスライダ、３０６はサムネイル一覧ビュー３０２を垂直方向へスクロールするスライダ、３１１は選択画像表示ビュー、３０８は選択画像表示ビュー３１１を構成しており現在選択している画像を表示するウィンドウ、３０９は選択画像表示ビュー３１１を構成しており現在選択している画像のサムネイル一覧での直前の画像を表示するウィンドウ、３１０は選択画像表示ビュー３１１を構成しており現在選択している画像のサムネイル一覧での直後の画像を表示するウィンドウ、３０７は選択画像表示ビュー３１１への画像の表示移動を指定するスライダ、である。
【００６６】
また、図６はサムネイル一覧ビュー３０２を示す正面図である。図６に示す３１２は、サムネイル一覧ビュー３０２の表示領域を規定するウィンドウ３０１の境界を表す表示領域を表している。
【００６７】
表示画面制御部１１８は、前述の通り二種類の表示画面を生成するが、外枠のフレーム部分は、サムネイル一覧ビュー３０２の表示倍率や表示領域のスライダ３０５、３０６の位置を変更する程度であるので、その説明は省略し、サムネイル一覧ビュー３０２の画面生成を詳述する。
【００６８】
表示画面制御部１１８が初期画面を生成する場合、サムネイル一覧ビュー３０２の表示倍率と表示領域３１２を所定の値に設定して、サムネイル一覧ビュー３０２を生成し、外枠のフレーム部分と共に表示画面１１９として外部Ｉ／Ｆ１１１より外部通信路１０４を経由してクライアント１００へ送信する。
【００６９】
サムネイル一覧ビュー３０２は、図６に示す画面となるが、表示画面制御部１１８では、このような画像を保持する必要はなく、個々の表示画像の位置情報（座標情報）と表示画像のＩＤ情報を保持しておけばよい。また、サムネイル一覧ビュー３０２は、表示領域３１２内の画面のみをクライアント装置１００へ送信する。サムネイル一覧ビュー３０２内に表示されるサムネイルは、サーバ装置１１０側から送信される表示パラメータにより同一カテゴリとわかるように表示される。たとえば、同じ色の枠や飾りで飾られたサムネイル表示などで表示される。カテゴリ分けに用いる画像の分類情報は、前述のように、ユーザが前もってサーバ装置１１０に画像の登録情報と共に登録することなどによって、サーバ装置１１０に登録されているものとする。
【００７０】
上記したような表示画面の作成方法やサーバクライアント間の通信方法には種々の手法があるが、一般的によく使用される手法としてサーバ装置１１０をＷｅｂサーバとしてＷＷＷ（World Wide Web）ベースの技術を使用することにより実現可能となる。そして、表示画面１１９はＨＴＭＬ（Hyper Text Markup Langage）によって記述され、アプリケーション１０２は一般的なＷｅｂブラウザを使用すれば良い。また、本実施の形態では、表示倍率や表示領域を変更するためのスクロールのスライダ３０４，３０５，３０６，３０７を画面内に構成しているが、例えば、クライアント装置１００内のマウスなどの入力デバイス１０３にそれらの機能を設けるように構成しても良い。
【００７１】
図４に戻り、ステップＳ１０３において、クライアント装置１００のアプリケーション１０２は、表示画面１１９を展開（レンダリング）し、表示デバイス１０１上に表示画面１１９を表示する。
【００７２】
ステップＳ１０４において、クライアント装置１００を使用しているユーザは、表示画面１１９を閲覧し、検索対象画像を探すために、表示領域を変更するスライダ３０５、３０６を操作し、画面スクロールを指示する。このスライダの操作は、マウスなどの入力デバイス１０３により実行される。
【００７３】
ステップＳ１０５において、画面スクロールや表示倍率の変更指示は、画面制御データ１２０として表示倍率と表示領域のデータへ変換されてサーバ装置１１０へ送信される。
【００７４】
ステップＳ１０６において、サーバ装置１１０では、画面制御データ１２０を受信すると、選択画像表示用の画像を取り出してクライアント装置１００に返送する。このとき、画像の取り出しを行わずに、元画像から返信用の画像データを生成してもよい。
【００７５】
ステップＳ１０７において、ステップＳ１０３と同様に、表示デバイス１０１上に変更後の表示画面１１９を表示する。
【００７６】
ステップＳ１０８において、ユーザが検索対象画像を見つけられない場合は、ステップＳ１０４〜Ｓ１０７の動作を繰り返す。
【００７７】
図７は、本実施の形態におけるクライアント装置１００の表示デバイス１０１にて表示される選択画像表示ビュー３１１におけるスライダ３０７を用いたときの表示画像の変化を示した正面図である。図７に示す例は、文書画像のページめくり表示の例を表したものであり、最初の注目ページが表示されるウィンドウ３０８には「Ｂ」が表示され、その前のウィンドウ３０９には「Ａ」が表示され、その後のウィンドウ３１０には「Ｃ」が表示されている（図７（ａ）参照）。なお、「Ｃ」の後には、「Ｄ」、「Ｅ」、「Ｆ」・・・が続いて現れるものとする。この状態でユーザは「Ｆ」を見つけたいと仮定する。また、「Ｂ」と「Ｅ」と「Ｆ」は同じページカテゴリに分類されるものとする。この場合、「Ｂ」と「Ｅ」と「Ｆ」は、同じ色もしくはページの枠組み等で、サムネイル一覧ビュー３０２に表示されているサムネイル３０３の一覧上に明記され、一目で同一カテゴリとわかるように表示される。
【００７８】
このように外部から与えられた画像の分類情報を用いて複数のサムネイル画像を分類し、サムネイル画像の分類を識別可能な態様でサムネイル画像を表示することにより、サムネイル画像の数が非常に多い場合であっても、最初に拡大化するサンプル画像の特定が速くなるため、一般的に使用されるサイズよりも小さいサイズのサムネイル画像を使用することが可能になるので、そのような場合の転送時間が短縮可能であり、生産性の向上を図ることができる。
【００７９】
ユーザは、サムネイル一覧ビュー３０２に表示されているサムネイル３０３から検索対象画像の候補画像の表示として、マウスなどの入力デバイス１０３により、「Ｆ」と同じカテゴリの最初のページであるサムネイル画像「Ｂ」を選択して選択画像表示ビュー３１１の中央にあるウィンドウ３０８へ表示させ（図７（ａ）参照）（指定手段）、スライダ３０７を用いて拡大画像表示領域であるウィンドウ３０８に表示される画像を「Ｃ」、「Ｄ」・・・と次々に変化させながら（順送り指示手段）、ウィンドウ３０８の画像が検索対象画像「Ｆ」であるかどうかを確認する（図７（ｂ）〜（ｄ））。
【００８０】
図７（ｄ）に示すように、ウィンドウ３０８にページ「Ｅ」が表示された場合には、ウィンドウ３１０に表示される次のページが「Ｆ」と確認できる。すなわち、次のページが検索対象画像「Ｆ」であり、次の画面に行くと画像内容を詳細に確認することができる。
【００８１】
なお、上述したような動作中に、選択画像表示ビュー３１１の中央にあるウィンドウ３０８で表示されているサムネイル画像を対応付けるために、図７に示すように、ウィンドウ３０８で表示されているサムネイル３０３の周りを強調することにより対応付けている。この対応付けに関しては、このように周りを強調表示すること以外に、そのサムネイル画像をＯＮ／ＯＦＦ表示、つまり、表示したり表示しなかったり、色塗りで消したり消さなかったりすることによっても強調可能である。これにより、表示されている拡大画像に対応するサムネイル画像のみを強調表示することにより、現在表示されている拡大画像のサムネイル順での位置が把握することができるようになり、検索効率の向上および生産性の向上を図ることができる。
【００８２】
このように本実施の形態によれば、順序関係を有する複数の画像から生成された複数のサムネイル画像を順序関係に従って表示するとともに、指定を受け付けたサムネイル画像についての拡大画像を表示する。そして、拡大画像の順序関係に従った順送りを指示することにより、拡大画像の生成が必要となったサムネイル画像が指定を受け付けたものとして扱われる。これにより、ビューアなどの別ウィンドウを開くことなく、軽快かつ連続して、複数のサムネイル画像の内容を確認しながらの検索が可能となり、操作性を向上させることができる。
【００８３】
また、画面の表示領域内のサムネイル画像のみのデータを転送しているため、サイズの大きなサムネイル画像についても転送時間が短縮され、検索効率が向上する。
【００８４】
さらに、サムネイル数が非常に多い画面を表示する場合は、一般的に使用されるよりも小さいサイズのサムネイル画像が使用可能であるため、その場合の転送時間が一層短縮され、検索効率が向上する。
【００８５】
また、指定を受け付けたサムネイル画像に加え、当該サムネイル画像に対して順序関係における前後位置のサムネイル画像についても拡大画像も生成し、指定を受け付けたサムネイル画像および当該サムネイル画像に対して順序関係における前後位置のサムネイル画像について、予め決められた数だけ順序関係に従って表示することにより、指定を受け付けた注目画像となるサムネイル画像の前後のサムネイル画像を同時に表示することが可能になるため、効率的に画像を絞り込むことが可能となるので、検索効率の向上および生産性の向上を図ることができる。
【００８６】
［第２の実施の形態］
次に、本発明の第２の実施の形態を図８ないし図１１に基づいて説明する。なお、前述した第１の実施の形態と同じ部分は同じ符号で示し説明も省略する。
【００８７】
本実施の形態は、表示倍率に応じてサムネイルサイズ（または解像度）を変更し、サムネイルの精細度を変更するようにしたものである。以下において詳述する。
【００８８】
図８は、サーバ装置１１０におけるサムネイル一覧ビュー３０２の生成処理の流れを示すフローチャートである。ステップＳ２０１において、クライアント装置１００から画面制御データ１２０が入力されると、表示倍率とサムネイル一覧ビュー３０２の表示領域３１２を設定する。初期設定画面の場合は、サーバ装置１１０にそれらの所定値が設定される。表示倍率を変更する場合には、表示画面倍率設定用スライダ３０４を操作し、表示倍率の変更を指示する。このスライダの操作は、マウスなどの入力デバイス１０３により実行される。ここに、倍率指定手段が実現されている。
【００８９】
ステップＳ２０２において、表示倍率に応じて表示するサムネイルサイズを設定する。つまり、サムネイルサイズの設定とは、サムネイル一覧ビュー３０２に使用するサムネイル種を設定することである。本実施の形態では、登録画像毎にサイズの異なるサムネイル画像を複数生成するようにしたものである。ここでのサムネイル生成方法は、例えば、図９に示すように、サイズの異なる各サムネイル毎に長辺のサイズを規定して、原画像の長辺サイズがそれ以上であれば、登録画像データ１１２を縮小処理し、長辺が該サイズのサムネイルを作成するようにすれば良い。短辺は、長辺との比を保持して縮小する。
【００９０】
例えば、入力された登録画像データ１１２の画像サイズが、縦４０００画素×横２０００画素の場合、縦が図９のサイズ、横がその１／２のサイズのＳａｍ１〜Ｓａｍ７の７つの異なるサイズのサムネイルが生成される。なお、本実施の形態ではサイズ（画素数）によりサムネイルの大きさを規定する例を示しているが、解像度を変更するように構成しても良い。
【００９１】
例えば、表示倍率に対応するサムネイルの長辺サイズが「４０」である場合、図９のＳａｍ１サムネイルが選択される。また、ユーザによって選択指示される表示倍率の代わりに、サムネイルサイズを直接、ユーザが指示するように構成しても良い。
【００９２】
表示倍率に対応するサムネイルサイズが図９に示す値の間である場合には、予め定められた所定のルールでサムネイル種を選択すれば良い。例えば、最も近いサムネイルサイズのサムネイルを選択するか、もしくは、対応するサイズよりも小さいサムネイルサイズを選択（画像転送量が減少する効果がある）すれば良い。
【００９３】
ステップＳ２０３において、サムネイル一覧ビュー３０２の表示領域３１２内に含まれる画像データに対応するサムネイル種を選択、決定する。
【００９４】
ステップＳ２０４において、選択されたサムネイルについて、サムネイル一覧ビュー３０２の表示領域３１２内の画面を生成する。サムネイル一覧ビュー３０２内の画面データを、ビットマップデータとする方法があるが、ＨＴＭＬでは、画像の座標情報とリンク情報を構造化文書に記載する方法が一般的であるので、構造化文書と表示領域内の各サムネイル画像データをサーバ装置１１０からクライアント装置１００へ転送する必要がある。
【００９５】
図１０は、クライアント装置１００の表示デバイス１０１に表示される拡大表示の例を示す。ユーザは、多くのサムネイル画像から検索対象画像の候補画像をスライダ３０５、３０６を使用して画面中央へ表示させ（図１０（ａ））、徐々に拡大率を上げていく過程で、周囲画像と比較し、画像内容を確認しながら、検索対象画像か否かを確認する（図１０（ｂ）〜（ｃ））。検索対象画像ではないと確認できた場合は、表示倍率を縮小して候補の画像を探索する。一方、検索対象画像である場合には、サムネイル一覧ビューの画面の状態で、表示倍率を上げることにより画像内容を詳細に確認することができる（図１０（ｄ））。
【００９６】
例えば、単純に画像を拡大する方法として、従来の画像毎の単一のサムネイルを拡大する方法があるが、この方法では一度縮小した画像を拡大しても精細な画像が得られないので文字画像などの判読が困難となる。図１１（ａ）は従来方式の拡大画像を示し、（ｂ）は本発明の方式による画像を示す。なお、サムネイル画像を拡大していくと、表示されるサムネイル画像数が少なくなるため、ある程度のサイズで制限するという制約を持たせることも可能である。
【００９７】
このように本実施の形態によれば、サムネイル画像の表示倍率の指定を受け付け、指定された表示倍率に応じてサイズまたは解像度を変更してサムネイル画像を生成することにより、サムネイル画像の精細度を変更しているため、拡大率を上げても画質が低下することなく内容の確認が可能となる。
【００９８】
［第３の実施の形態］
次に、本発明の第３の実施の形態を図１２ないし図１４に基づいて説明する。なお、前述した第１の実施の形態または第２の実施の形態と同じ部分は同じ符号で示し説明も省略する。
【００９９】
第１の実施の形態においては、外部から与えられた画像の分類情報を用いるようにしたが、本実施の形態においては、画像分類処理を行って分類の態様を画面上で表現させるようにしたものである。
【０１００】
図１２は、本発明の第３の実施の形態にかかるクライアントサーバシステムの構成を示すブロック図である。図１２において、１１５は画像の特徴量を算出し所定のカテゴリに分類を行う分類処理部である。なお、他の構成要素は、第１の実施の形態と同様であるので説明は省略する。
【０１０１】
ここで、分類処理について説明する。文書画像に対するクラスタリングや分類処理は、数々の従来技術が存在し、ここでは分類処理の形態は問わないため、詳細な説明は割愛する。好適な例としては、本出願人による特願２００６−１１２９１２に記載された分類処理方式が挙げられる。この分類処理方式によれば、登録文書画像から複数の特徴量を算出し、以下に述べる複数のカテゴリ識別処理を行うものである。識別するカテゴリ種は、色カテゴリ識別、形状カテゴリ識別、レイアウトカテゴリ識別は、文書タイプ識別である。ここに、分類手段が実現されている。
【０１０２】
図１３は、画像登録時の処理の流れを示すフローチャートである。ステップＳ００１において、ユーザは、クライアント装置１００からアプリケーションプログラム１０２を介してサーバ装置１１０へ画像データの登録の指示と登録する登録画像データ１１２を指示する。
【０１０３】
ステップＳ００２において、登録画像データ１１２は、外部通信路１０４を介してサーバ装置１１０へ入力され、外部Ｉ／Ｆ１１１を経由して画像ＤＢ１１４へファイル名などの付随するメタ情報などと共にＩＤが付与されて登録される。同時に、サムネイル生成部１１３は登録画像１１２を縮小処理して所定サイズ以下のサイズの「サムネイル画像」を生成し、画像ＤＢ１１４へＩＤを付与して登録する。なお、登録画像データ１１２が複数ページの画像データの場合には、ページ単位でサムネイルを生成する。
【０１０４】
続くステップＳ００３においては、登録画像データ１１２に対して、「サムネイル画像」の生成と共に分類処理部１１５にて上記分類処理を行い、各カテゴリデータを画像ＤＢ１１４に他のメタ情報と共に登録する。
【０１０５】
このようにして画像登録時に設定された分類カテゴリは、サムネイル一覧ビュー３０２上での画像の配置に使用される。動作時のフローは、第１の実施の形態の場合と同様であるので説明は割愛する。以下、本実施の形態におけるサムネイル一覧ビュー３０２について説明する。
【０１０６】
図１４は、サムネイル一覧表示画面の一例を示す正面図である。図１４において、３０１はサムネイル一覧ビュー３０２の表示領域を規定するウィンドウ、３０２はサムネイルの表示フレームであるサムネイル一覧ビュー、３０３は個々のサムネイル（各矩形が一つのサムネイルを表している）、３０４はサムネイル一覧ビュー３０２の表示倍率を設定するスライダ、３０５はサムネイル一覧ビュー３０２を水平方向へスクロールするスライダ、３０６はサムネイル一覧ビュー３０２を垂直方向へスクロールするスライダ、３１１は選択画像表示ビュー、３０８は選択画像表示ビュー３１１を構成しており現在選択している画像を表示するウィンドウ、３０９は選択画像表示ビュー３１１を構成しており現在選択している画像のサムネイル一覧での直前の画像を表示するウィンドウ、３１０は選択画像表示ビュー３１１を構成しており現在選択している画像のサムネイル一覧での直後の画像を表示するウィンドウ、３０７は選択画像表示ビュー３１１への画像の表示移動を指定するスライダ、である。
【０１０７】
本実施の形態においては、サムネイル一覧ビュー３０２に表示されているサムネイル３０３が、画像登録時に文書分類処理がなされそのカテゴリ情報に基づき画像を分類された態様を示している。本実施の形態の場合は、文書のページタイプの分類が行われ、色や形状レイアウト等のカテゴリ分けが行われている。例えば、背景色から分類を行った色分類を使用すれば良い。さらに、レイアウト分類や形状分類を使用して細分化するようにしても良い。このようなサムネイル一覧ビュー３０２上の配置は、図４のフローチャートに示したようなステップＳ１０２における初期画面を生成する時に表示画面制御部１１８によって生成しても良いが、好適には画像登録時に分類を決定し、その配置情報（サムネイルの概観や色分けなど）を保持しておいた方が、表示までの処理時間を早くする事が可能である。
【０１０８】
また、このような分類の態様を多くのサムネイルで表現する場合、サムネイルのサイズが固定されている場合、画像数が多くなると一画面で表示しきれなくなる。このような場合は、初期画面で全面が表示できなくなるよりも、サムネイルの変わりに、点や色、画素の濃度等で擬似的に表現するように構成してもよい。
【０１０９】
さらに、選択画像表示ビュー３１１の中央にあるウィンドウ３０８における表示をスライダ３０４で次々に切り替え表示するブラウジング表示による検索が考えられる。このとき、この分類情報を用い、最初に選ばれた分類およびその分類に近いものを表示する際に表示時間を長く割り当てるようにすることもできる。このような表示時間は、手動によっても調節可能であり、スライダ３０４の端の部分にバーを位置させると画像の表示切り替えを速くすることができ、スライダ３０４のバーを中央に位置させるほどゆっくりと表示を切り替えることになる。
【０１１０】
さらにまた、上述のように表示時間の差がある画像に対して、表示時間が少ないものを荒い画像、たとえば、表示時間が長いものより低い解像度の画像を用いたり、表示時間が長いものより低い画質を用いたりすることにより、サーバ装置１１０とクライアント装置１００間で転送される画像データ量を表示時間が短いほどデータ量を少なくすることができ、データ転送の効率化やより高速でブラウジング表示をすることが可能となり、検索効率が向上して生産性が向上する。
【０１１１】
このように本実施の形態によれば、画像の特徴量に基づいて分類した分類情報を用いて複数のサムネイル画像を分類し、サムネイル画像の分類を識別可能な態様でサムネイル画像を表示することにより、サムネイル画像の数が非常に多い場合であっても、最初に拡大化するサンプル画像の特定が速くなるため、一般的に使用されるサイズよりも小さいサイズのサムネイル画像を使用することが可能になるので、そのような場合の転送時間が短縮可能であり、生産性の向上を図ることができる。
【０１１２】
また、分類情報を用い、指定を受け付けたサムネイル画像の分類と同じ分類および指定を受け付けたサムネイル画像の分類に近い分類の拡大画像を表示する際に表示時間を長く割り当てて、拡大画像の順序関係に従った順送りを指示することにより、指定を受け付けたサムネイル画像の分類と同じ分類および指定を受け付けたサムネイル画像の分類に近い分類の拡大画像の確認が容易になり、効率的に画像を絞り込むことができるので、生産性の向上を図ることができる
【０１１３】
さらに、分類情報を用い、指定を受け付けたサムネイル画像の分類と同じ分類および指定手段により指定を受け付けたサムネイル画像の分類に近い分類の拡大画像に比べ、他の拡大画像を低画質に生成（または、拡大画像の画像サイズを小さく生成）することにより、指定を受け付けたサムネイル画像の分類と異なる分類については転送される画像データ量を少なくすることができ、データ転送の効率化やより高速でブラウジング表示をすることが可能となるので、検索効率の向上および生産性の向上を図ることができる
【０１１４】
［第４の実施の形態］
次に、本発明の第４の実施の形態を図１５ないし図２２に基づいて説明する。なお、前述した第１の実施の形態ないし第３の実施の形態と同じ部分は同じ符号で示し説明も省略する。
【０１１５】
第１の実施の形態では、１種類のサイズからなるサムネイルを表示するようにし、第２の実施の形態では、表示倍率に応じてサムネイルサイズ（または解像度）を変更するようにした。本実施の形態においては、階層符号化により原画像の圧縮画像を保持しておくようにしたものである。
【０１１６】
図１５は、本発明の第４の実施の形態にかかるクライアントサーバシステムの構成を示すブロック図である。図１５において、１１６は入力された登録画像に対して階層符号へ変換を行う階層符号化変換処理部である。なお、他の構成要素は、第１の実施の形態と同様であるので説明は省略する。
【０１１７】
階層符号化変換処理部１１６は、入力された登録画像データ１１２を階層符号化する。通常、画像データは圧縮処理されているので、圧縮符号を復号し、解凍した上で、階層符号化する。
【０１１８】
階層符号化方式として、本発明では、例えばＪＰＥＧ２０００の基本方式（（ｐａｒｔ１）、ＩＳＯ、ＩＳ１５４４４−１）を用いる。以下、ＪＰＥＧ２０００ｐａｒｔ１（以下、ＪＰＥＧ２０００）の符号化方式とプログレッシブ順序の概要を説明する。
【０１１９】
図１６は、ＪＰＥＧ２０００の圧縮符号化処理のブロック図である。入力画像データがカラーのＲｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ（以下、ＲＧＢ）である画像データ例を説明する。入力されたＲＧＢの画像データは、タイリング処理部１でタイルと呼ばれる矩形のブロック単位に分割される。ラスタ形式の画像データが入力された場合は、タイリング処理部１においてラスタ／ブロック変換を行う。ＪＰＥＧ２０００におけるタイルは、タイル単位に独立して符号化、復号化が可能であり、ハードウェアにより符号化、復号化を行う上ではハード量が削減され、必要なタイルのみ復号して表示することが可能となる。ＪＰＥＧ２０００ではタイリングはオプションであり、タイリングを行うのは任意であるが、タイリングを行わない場合は、タイル数１として扱われる。
【０１２０】
次に、画像データは色変換処理部２で、輝度／色差系の信号に変換される。ＪＰＥＧ２０００では離散ウェーブレット変換（以下ＤＷＴ）に使用するフィルタの種類（５ｘ３と９ｘ７の２通り）によって２通りの色変換が定められている。例えば、可逆変換可能な５ｘ３フィルタを使用する場合は、下記に示す式１によって可逆の色変換を行う。
【数１】
0005194776.tif 000002
【０１２１】
なお、上記の色変換に先立ち、ＲＧＢ各々の信号毎にＤＣレベルシフトが行われる。ＤＣレベルシフトは、例えば入力ＲＧＢ信号が８ｂｉｔの場合は、下記に示す式２にて表される。
【０１２２】
Ｒ´＝Ｒ−１２８        ・・・式２
【０１２３】
色変換後の信号は、ＤＷＴ処理部３において各々のコンポーネント毎にＤＷＴが行われ、ウェーブレット係数が出力される。ＤＷＴは２次元で行われるが、通常はリフティング演算と呼ばれる演算方法により１次元フィルタ演算のコンボリューションで実施される。１次元の変換式を下記の式３に示す。
【数２】
0005194776.tif 000003
なお、ＤＷＴは、ダウンサンプリングを伴うため、上記Ｌ（ｋ）、Ｈ（ｋ）は入力画像と比較して１／２の解像度となる。
【０１２４】
図１７は、オクターブ分割されたウェーブレット係数を示す模式図である。ＤＷＴは、１デコンポジション（分解）レベル毎にＬＬ，ＨＬ，ＬＨ，ＨＨの４つのサブバンドと呼ばれる方向成分が出力され、ＬＬに対してＤＷＴを再帰的に行うことによって、より低解像度へとデコンポジションレベルをあげていく。解像度の最も高い１デコンポジションレベルの係数を１ＨＬ，１ＬＨ，１ＨＨと表し、以下２ＨＬ，２ＬＨ・・・ｎＨＨと表す。図１７は、３デコンポジションレベルに分割した例である。一方、解像度レベルは、デコンポジションレベルとは逆方向に解像度の低い係数から０，１，２，３というように呼ばれる。
【０１２５】
各デコンポジションレベルにおけるサブバンド内は、プレシンクトと呼ばれる領域に分割して符号の集合を形成することが可能である。また、符号化はコードブロックとよばれる所定のブロック単位で実施される。図１８は、タイル内ウェーブレット係数におけるタイル、プレシンクトおよびコードブロックの関係を示す模式図である。
【０１２６】
ＤＷＴ処理部３から出力されたウェーブレット係数は、量子化部４によってスカラー量子化が行われるが、可逆変換を実施する場合にはスカラー量子化は行わないか“１”により量子化する。また、後段のポスト量子化においても、量子化とほぼ同様な効果が得られる。スカラー量子化はタイル単位にパラメータを変更可能である。
【０１２７】
量子化処理部４から出力された量子化データは、エントロピー符号化部５でエントロピー符号化が行われる。ＪＰＥＧ２０００におけるエントロピー符号化方式は、サブバンド内をコードブロックと呼ばれる矩形領域に分割（但し、サブバンド領域のサイズがコードブロックサイズ以下の場合は分割しない）し、コードブロック単位に符号化される。
【０１２８】
また、コードブロック内のデータは、図１９に示すようにビットプレーンに分解された後、ビットプレーンを変換係数の画質への影響度を表す状態に従って３つのパス（Significance propagationパス，Magnitude refinementパス，Clean upパス）に分割し、各々でＭＱコーダと呼ばれる算術符号化方式により符号化される。ビットプレーンはＭＳＢ側、符号化パスはSignificance propagation、Magnitude refinement、Clean upの順に重要度（画質への寄与度）が高くなっている。また、各パスの終端は、切り捨て点（トランケーションポイント）とも呼ばれ、後段でのポスト量子化の符号の切り捨て可能な単位となっている。
【０１２９】
エントロピー符号化された符号データをポスト量子化部６で必要に応じて符号を切り捨てる。可逆の符号を出力する必要がある場合には、ポスト量子化は実行しない。ＪＰＥＧ２０００は、符号化後に符号量の切り捨てが可能であり、符号量の制御にフィードバックを必要としない構成（１パスの符号化）が特徴の１つである。ポスト量子化後の符号データは、符号ストリーム生成処理部７で、所定のプログレッシブ順序（符号データの復号順序）に従って符号の並べ替えとヘッダの付加を行い、当該タイル分の符号ストリームが完成する。
【０１３０】
図２０は、ＪＰＥＧ２０００におけるレイヤプログレッションによる符号ストリームの全体を示す模式図である。全体符号は、メインヘッダと画像を分割した複数のタイルで構成される。タイル符号は、タイルヘッダとタイル内符号をレイヤとよばれる符号単位（詳細は後述する）に区切った複数のレイヤにより構成されており、レイヤ０、レイヤ１・・・というように下位レイヤから順番に並んでいる。レイヤ符号の構成は、レイヤ用のタイルヘッダと複数のパケットにより構成されており、パケットはパケットヘッダと符号データから構成されている。パケットは、符号データの最小単位であり、１つのタイルコンポーネント内の１つの解像度レベル（デコンポジションレベル）における１つのプレシンクト内の１つのレイヤの符号データから成っている。
【０１３１】
次に、ＪＰＥＧ２０００におけるプログレッシブ順序について説明する。ＪＰＥＧ２０００では、画質（レイヤ（Ｌ））、解像度（Ｒ）、コンポーネント（Ｃ）、位置（プレシンクト（Ｐ））という４つの画像の要素の優先順位を変更することによって以下に示す５通りのプログレッションが定義されている。
【０１３２】
・ＬＲＣＰプログレッション
プレシンクト、コンポーネント、解像度レベル、レイヤの順序に復号されるため、レイヤのインデックスが進む毎に画像全面の画質が改善されることになり、画質のプログレッションが実現出来る。レイヤプログレッションとも呼ばれる。
【０１３３】
・ＲＬＣＰプログレッション
プレシンクト、コンポーネント、レイヤ、解像度レベルの順序に復号されるため、解像度のプログレッションが実現出来る。
【０１３４】
・ＲＰＣＬプログレッション
レイヤ、コンポーネント、プレシンクト、解像度レベルの順序に復号されるため、ＲＬＣＰ同様、解像度のプログレッションであるが、特定位置の優先度を高くすることが出来る。
【０１３５】
・ＰＣＲＬプログレッション
レイヤ、解像度レベル、コンポーネント、プレシンクトの順序に復号されるため、特定部分の復号が優先されるようになり空間位置のプログレッションが実現出来る。
【０１３６】
・ＣＰＲＬプログレッション
レイヤ、解像度レベル、プレシンクト、コンポーネントの順序に復号されるため、例えばカラー画像のプログレッシブ復号の際に最初にグレーの画像を再現するようなコンポーネントのプログレッションが実現出来る。
【０１３７】
図２１（ａ）は、ＬＲＣＰプログレッション（以下レイヤプログレッション）、（ｂ）は、ＲＬＣＰプログレッションまたはＲＰＣＬプログレッション（以下解像度プログレッション）のプログレッシブ順序を模式的に表した図である。図２１（ａ）、（ｂ）の横軸はデコンポジションレベル（数字が高いほど低解像度）、縦軸はレイヤ番号（数字が高いほど上位レイヤであり、下位レイヤに上位レイヤの符号を付加して復号することによってより高画質な再生が可能となる）である。図中、塗りつぶされた長方形の図形は、当該デコンポジションレベル、レイヤにおける符号を表し、その大きさは符号量の割合を模式的に表している。図中の点線の矢印は、符号順序を表している。
【０１３８】
図２１（ａ）は、レイヤプログレッションに復号する符号順序を表しており、同一レイヤ番号の全ての解像度の復号を行って、次段の上位レイヤの復号を行う。ウェーブレット係数レベルでみれば、係数の上位ｂｉｔから復号を行うことになり、徐々に画質が向上するプログレッションが実現可能となっている。図２１（ｂ）は、解像度プログレッションに復号する符号順序を表しており、同一デコンポジション（解像度）レベルの全てのレイヤの復号を行って次段のデコンポジション（解像度）レベルの復号を行うことになり、徐々に解像度が向上するプログレッションが実現可能となっている。
【０１３９】
ＪＰＥＧ２０００に代表される階層符号化によって画像ＤＢ１１４内に画像データを保持し、サムネイルサイズに適合する解像度レベルでサムネイル画像を生成することによって、原画像の符号データのみから解像度（サイズ）の異なる複数種類のサムネイルを生成可能となる。図２１は３階層の例を示しているが、実際にはさらに多くの階層数を持つことにより、表示領域３１２内に表示されるサムネイル数が多い場合のデータ転送量を削減することができる。階層数の決定方法としては、個々の画像サイズに対応して階層数（デコンポジションレベル数）を決定し、解像度レベル０を復号した場合の画像サイズが略同一となるようにすることが望ましい。
【０１４０】
図２２は、サムネイル一覧ビュー３０２の生成処理の流れを示すフローチャートである。ステップＳ３０１の処理は実施例１の図７のステップＳ２０１の処理と同様である。すなわち、ステップＳ３０１において、クライアント装置１００から画面制御データ１２０が入力されると、表示倍率とサムネイル一覧ビュー３０２の表示領域３１２を設定する。初期設定画面の場合は、サーバ装置１１０が所定値を設定する。
【０１４１】
ステップＳ３０２において、表示倍率に応じて表示に使用する解像度レベルを設定する。ステップＳ３０３において、サムネイル一覧ビュー３０２の表示領域３１２内に含まれる画像データに対応する画像を選択、決定する。ステップＳ３０４において、選択された画像データの解像度レベルに基づいてサムネイル画像を生成し、サムネイル一覧ビュー３０２の表示領域３１２内の画面を生成する。
【０１４２】
このように本実施の形態によれば、画像の画像フォーマットはＪＰＥＧ２０００であり、ＪＰＥＧ２０００の階層符号化機能を用いてサムネイル画像を生成することにより、サイズの異なる複数のサムネイルを生成する代わりに画像を階層符号へ変換し、解像度（サイズ）の異なるサムネイル画像を生成するように構成しているので、原画像の符号データ量のみで各種処理を実行することができるので、保存するデータ量を削減することができる。
【０１４３】
［第５の実施の形態］
次に、本発明の第５の実施の形態を図２３および図２４に基づいて説明する。なお、前述した第１の実施の形態ないし第４の実施の形態と同じ部分は同じ符号で示し説明も省略する。
【０１４４】
本実施の形態においては、符号データをクライアント装置１００側にキャッシュして処理を高速化する例を説明する。
【０１４５】
図２３は、本発明の第５の実施の形態にかかるサーバ装置１１０とクライアント装置１００との間の画像符号データの流れの詳細を示した模式図である。図２３に示すように、画像送信要求がクライアント装置１００からサーバ装置１１０へと送信されると、画像送信要求を受信したサーバ装置１１０は、サーバ装置１１０内のＨＤＤ２０３に保存されている符号データの態様を示す管理情報に応じてキャッシュ管理情報を生成し、クライアント装置１００へ送信する。クライアント装置１００は、サーバ装置１１０から受信したキャッシュ管理情報に応じて符号データのどの部分がキャッシュされ、どの部分がキャッシュされていないかを示すキャッシュ管理情報を生成し、クライアント装置１００のＨＤＤ２０３へ保存する。次に、サーバ装置１１０は、クライアント装置１００へ符号データを送信する。クライアント装置１００は受信した符号データをデコードして表示デバイス１０１へ表示するとともにキャッシュ管理情報に応じて、符号データをキャッシュする。
【０１４６】
図２４は、クライアント装置１００における符号データの受信時の処理の流れを示すフローチャートである。図２４に示すように、クライアント装置１００は、まず、受信画像がＨＤＤ２０３内のキャッシュ領域（以後便宜上キャッシュメモリとする）にキャッシュ（保存）されているかどうか確認する（ステップＳ４０１）。
【０１４７】
所望の画像データの符号データがキャッシュされている場合は（ステップＳ４０１のＹｅｓ）、ＨＤＤ２０３内に保存された対応する符号データのキャッシュ管理情報を読み込み、符号データのどの部分がキャッシュされ、どの部分がキャッシュされていないかを把握し（ステップＳ４０２）、キャッシュ済みの符号データをＨＤＤ２０３から読み出しメモリ２０２へ書き込み（ステップＳ４０３）、キャッシュ管理情報に基づいて、キャッシュされていない符号データの情報を生成する（ステップＳ４０４）。つまり、サーバ装置１１０から送信を希望する符号情報をセットする。ここで、受信画像の符号データが全くキャッシュされていない場合は、全ての符号データを（送信希望するごとくに）セットすることになる。
【０１４８】
続くステップＳ４０５では、ステップＳ４０４にて生成された符号情報とともに画像の送信要求をサーバ装置１１０へ送信する。
【０１４９】
その後、クライアント装置１００は、サーバ装置１１０から符号データ（パケット）を受信し、メモリ２０２に一時的に保存する（ステップＳ４０６）。
【０１５０】
ステップＳ４０５〜Ｓ４０６の処理は、全ての符号データの受信を完了するまで（ステップＳ４０７のＹｅｓ）、繰り返される。
【０１５１】
クライアント装置１００は、全ての符号データの受信を完了すると（ステップＳ４０７のＹｅｓ）、メモリ２０２に一時的に保存された符号データを順次デコードするとともに、表示画像データを作成し、表示デバイス１０１へ出力する（ステップＳ４０８）。
【０１５２】
クライアント装置１００は、全ての符号データのデコードが終了し、画像データの表示が完了した後、メモリ２０２内に存在する符号データをＨＤＤ２０３内のキャッシュメモリに書込み（ステップＳ４０９）、サーバ装置１１０から受信したキャッシュ制御情報とキャッシュ管理情報を照らし合わせ、必要な場合は、キャッシュ管理情報を更新してＨＤＤ２０３内へ保存し（ステップＳ４１０）、処理を終了する。
【０１５３】
このように本実施の形態によれば、画像の符号データをクライアント装置側で保存することによって、符号データの転送の重複を回避することが可能となり結果的に検索時のデータ転送量を削減することができるので、転送時間を短縮することができ、生産性の向上を図ることができる。
【０１５４】
なお、第４の実施の形態で説明したような階層符号化により原画像の圧縮画像を保持しておく場合においては、同一画像を徐々に拡大する場合に、階層毎にキャッシュを行う事によって追加符号を受信するのみで、サイズの異なるサムネイル画像の表示画面を生成可能となりさらに効率が向上する。そのような情報は、前記したキャッシュ管理情報のキャッシュの単位を符号の階層よりも小さくする事によって容易に実現可能である。
【図面の簡単な説明】
【０１５５】
【図１】本発明の第１の実施の形態にかかるクライアントサーバシステムの構成を示すブロック図である。
【図２】サーバ装置／クライアント装置の構成を示すブロック図である。
【図３】画像登録処理の流れを示すフローチャートである。
【図４】画像検索処理の流れを示すフローチャートである。
【図５】サムネイル一覧表示画面の一例を示す正面図である。
【図６】サムネイル一覧ビューを示す正面図である
【図７】表示画像の変化を示した正面図である。
【図８】本発明の第２の実施の形態にかかるサムネイル一覧ビューの生成処理の流れを示すフローチャートである。
【図９】サムネイルと長辺のサイズとの関係を示す説明図である。
【図１０】サムネイル一覧表示画面の一例を示す正面図である。
【図１１】（ａ）は従来方式の拡大画像を示し、（ｂ）は本発明の方式による画像を示す模式図である。
【図１２】本発明の第３の実施の形態にかかるクライアントサーバシステムの構成を示すブロック図である。
【図１３】画像登録時の処理の流れを示すフローチャートである。
【図１４】サムネイル一覧表示画面の一例を示す正面図である。
【図１５】本発明の第４の実施の形態にかかるクライアントサーバシステムの構成を示すブロック図である。
【図１６】ＪＰＥＧ２０００の圧縮符号化処理のブロック図である。
【図１７】オクターブ分割されたウェーブレット係数を示す模式図である。
【図１８】タイル内ウェーブレット係数におけるタイル、プレシンクトおよびコードブロックの関係を示す模式図である。
【図１９】ビットプレーンとサブビットプレーンとの関係を示す模式図である。
【図２０】符号ストリームの全体を示す模式図である。
【図２１】レイヤプログレッションと解像度プログレッションの符号順序を示す模式図である。
【図２２】サムネイル一覧ビューの生成処理の流れを示すフローチャートである。
【図２３】本発明の第５の実施の形態にかかるサーバ装置とクライアント装置との間の画像符号データの流れの詳細を示した模式図である。
【図２４】クライアント装置における符号データの受信時の処理の流れを示すフローチャートである。
【符号の説明】
【０１５６】
１００    クライアント装置
１１０    サーバ装置
１１３    サムネイル画像生成手段
【図１】
0005194776.tif 000004
【図２】
0005194776.tif 000005
【図３】
0005194776.tif 000006
【図４】
0005194776.tif 000007
【図５】
0005194776.tif 000008
【図６】
0005194776.tif 000009
【図７】
0005194776.tif 000010
【図８】
0005194776.tif 000011
【図９】
0005194776.tif 000012
【図１０】
0005194776.tif 000013
【図１１】
0005194776.tif 000014
【図１２】
0005194776.tif 000015
【図１３】
0005194776.tif 000016
【図１４】
0005194776.tif 000017
【図１５】
0005194776.tif 000018
【図１６】
0005194776.tif 000019
【図１７】
0005194776.tif 000020
【図１８】
0005194776.tif 000021
【図１９】
0005194776.tif 000022
【図２０】
0005194776.tif 000023
【図２１】
0005194776.tif 000024
【図２２】
0005194776.tif 000025
【図２３】
0005194776.tif 000026
【図２４】
0005194776.tif 000027