(57)【特許請求の範囲】
【請求項１】
通信ネットワークを介して、端末へ画像データを配信する画像データ取得システムにおけるサーバであって、
配信する前記画像データに関するレイアウト情報と、前記端末における当該画像データに対する操作内容と、人間が情報として内容を十分に認知できるための前記画像データに含まれる画像に対する知覚特性を示す知覚特性情報と、前記端末における表示性能に基づいて、配信する画像データの解像度を決定する有効解像度オブジェクト決定部と、
前記画像データに関するレイアウト情報と、前記有効解像度オブジェクト決定部からの解像度とに基づいて、前記操作内容によって要求されると予想される画像データを予め前記端末へ配信する先読み処理に必要な領域を示す画像領域を決定する受信範囲計算部とを備え、
前記端末から、当該端末において表示中の画像データの表示領域の位置、及び当該画像データの操作による変化の速度を示す表示領域速度、及び当該画像の表示画面中の１画素に対する当該画像の画像データの画素数を示す表示倍率の各データを前記操作内容として受信し、
前記有効解像度オブジェクト決定部は、前記端末において表示中の画像が変化すると予想される領域と変化前の表示領域との差分である先読み差分領域を計算し、前記知覚特性情報に基づいて、前記先読み差分領域内の画像構成要素が、前記操作内容に示される前記表示領域速度及び前記表示倍率により、人間に知覚されるために最低限必要な解像度を、当該画像の解像度として算出し、
前記受信範囲計算部は、前記有効解像度オブジェクト決定部が判定した前記先読み差分領域を覆う矩形領域の集合を、当該画像の画像領域として決定し、
解像度を決定した前記画像データを前記端末へ配信することを特徴とするサーバ。
【請求項２】
前記レイアウト情報が、少なくとも前記画像データに含まれる構成要素の種類、大きさ、位置及び向き、形状を含み、前記操作内容が、前記画像データの前記画像の表示領域の移動又は拡大縮小に関するものであることを特徴とする請求項１に記載のサーバ。
【請求項３】
前記受信範囲計算部が、前記操作内容を用いて前記先読み処理に必要な領域を一定時間内に受信するためのデータ通信量を計算し、
前記解像度による前記画像領域を前記データ通信量以下の通信量で通信するために、前記有効解像度オブジェクト決定部が決定した解像度と、前記受信範囲計算部が決定した前記画像領域と前記データ通信量とに基づいて、前記画像領域を加工して、加工画像データを生成する送信データ生成部を備え、
生成された前記加工画像データを前記端末に対し配信することを特徴とする請求項１または２に記載のサーバ。
【請求項４】
前記知覚特性情報を記憶し参照する知覚特性記憶部を備え、
前記有効解像度オブジェクト決定部が、前記知覚特性記憶部から前記知覚特性情報を取り出して、前記画像データの解像度を決定することを特徴とする請求項１から請求項３の何れか１つに記載のサーバ。
【請求項５】
通信ネットワークを介して、サーバから配信される画像データを取得する画像データ取得システムにおける端末において、
配信する前記画像データに関するレイアウト情報と、前記端末側における当該画像データに対する操作内容と、人間が情報として内容を十分に認知できるための前記画像データに含まれる画像に対する知覚特性を示す知覚特性情報と、前記端末における表示性能に基づいて、画像データの解像度を決定する有効解像度オブジェクト決定部と、
配信する前記画像データに関するレイアウト情報と、前記有効解像度オブジェクト決定部からの解像度とに基づいて、前記操作内容によって要求されると予想される画像データを予め取得する先読み処理に必要な領域を示す画像領域を決定する受信範囲計算部と、を備え、
表示中の画像データの表示領域の位置、及び当該画像データの操作による変化の速度を示す表示領域速度、及び当該画像の表示画面中の１画素に対する当該画像の画像データの画素数を示す表示倍率の各データを、前記操作内容として取得し、
前記有効解像度オブジェクト決定部は、前記端末において表示中の画像が変化すると予想される領域と変化前の表示領域との差分である先読み差分領域を計算し、前記知覚特性情報に基づいて、前記先読み差分領域内の画像構成要素が、前記操作内容に示される前記表示領域速度及び前記表示倍率により、人間に知覚されるために最低限必要な解像度を、当該画像の解像度として算出し、
前記受信範囲計算部は、前記有効解像度オブジェクト決定部が判定した前記先読み差分領域を覆う矩形領域の集合を、当該画像の前記画像領域として決定し、
解像度を決定した前記画像データの配信を前記サーバに要求することを特徴とする端末。
【請求項６】
前記レイアウト情報が、少なくとも前記画像データに含まれる構成要素の種類、大きさ、位置及び向き、形状を含み、前記操作内容が、前記画像データの前記画像の表示領域の移動又は拡大縮小に関するものであることを特徴とする請求項５に記載の端末。
【請求項７】
前記知覚特性情報を記憶し参照する知覚特性記憶部を備え、
前記有効解像度オブジェクト決定部が、前記知覚特性記憶部から前記知覚特性情報を取り出して、前記画像データの解像度を決定することを特徴とする請求項５または６に記載の端末。
【請求項８】
前記有効解像度オブジェクト決定部及び前記受信範囲計算部を、外部装置として備えることを特徴とする請求項５から請求項７のいずれか１つに記載の端末。
【請求項９】
通信ネットワークを介して、サーバから端末へ画像を配信する画像データ取得方法であって、
配信する前記画像データに関するレイアウト情報と、前記端末側における当該画像データに対する操作内容と、人間が情報として内容を十分に認知できるための前記画像データに含まれる画像に対する知覚特性を示す知覚特性情報と、前記端末における表示性能に基づいて、画像データの解像度を決定する有効解像度オブジェクト決定ステップと、
配信する前記画像データに関するレイアウト情報と、前記有効解像度オブジェクト決定ステップによる解像度とに基づいて、前記操作内容によって要求されると予想される画像データを予め取得する先読み処理に必要な領域を示す画像領域を決定する受信範囲計算ステップと、
前記端末が、当該端末において表示中の画像の表示領域の位置、及び当該画像を移動する操作の速度を示す表示領域速度、及び当該画像の表示画面中の１画素に対する当該画像の画像データの画素数を示す表示倍率の各データを、前記操作内容として取得して前記サーバに送信するステップと、
を有し、
前記有効解像度オブジェクト決定ステップにおいては、前記端末において表示中の画像が変化すると予想される領域と変化前の表示領域との差分である先読み差分領域を計算し、前記知覚特性情報に基づいて、前記先読み差分領域内の画像構成要素が、前記操作内容に示される前記表示領域速度及び前記表示倍率により、人間に知覚されるために最低限必要な解像度を、当該画像の解像度として算出し、
前記受信範囲計算ステップにおいては、前記有効解像度オブジェクト決定ステップで判定した前記先読み差分領域を覆う矩形領域の集合を、当該画像の前記画像領域として判定し、
解像度を決定した前記画像データを前記端末へ配信することを特徴とする画像データ取得方法。
【請求項１０】
前記有効解像度オブジェクト決定ステップにおいて、配信する前記画像データの必要最低限の解像度を決定することを特徴とする請求項９に記載の画像データ取得方法。
【請求項１１】
前記端末にて、
前記有効解像度オブジェクト決定ステップと、
前記受信範囲計算ステップを有し、
配信を受ける画像データの前記レイアウト情報を前記サーバから受信して、前記有効解像度オブジェクト決定ステップにより当該画像の解像度を決定し、
前記有効解像度オブジェクト決定ステップにおいて決定した解像度と、前記受信範囲計算ステップにおいて決定した前記画像領域とを、前記サーバに送信し、
前記サーバが、
前記端末から、配信する画像に対する前記解像度と前記画像領域の指定を受信し、前記送信データ生成ステップにより、指定された前記解像度と前記画像領域とに基づいて当該画像を示す画像データを生成し、生成された前記画像データを前記端末に対し配信することを特徴とする請求項９または１０に記載の画像データ取得方法。
【請求項１２】
前記端末が、前記画像データの前記操作内容を前記サーバに送信するステップを備え、
前記サーバが、前記有効解像度オブジェクト決定ステップと、前記受信範囲計算ステップを備え、
前記端末からの前記操作内容を受信して、前記有効解像度オブジェクト決定ステップにより当該画像の解像度を決定し、
前記有効解像度オブジェクト決定ステップにおいて決定した解像度と、前記受信範囲計算ステップにおいて決定した前記画像領域とに基づいて、前記送信データ生成ステップにより当該画像を示す画像データを生成し、生成された前記画像データを前記端末に対し配信することを特徴とする請求項９または１０に記載の画像データ取得方法。
【請求項１３】
コンピュータを制御することにより、サーバから端末へ通信ネットワークを介して画像を配信する画像データ取得プログラムであって、
前記サーバに、
配信する前記画像データに関するレイアウト情報と、前記端末側における当該画像データに対する操作内容と、人間が情報として内容を十分に認知できるための前記画像データに含まれる画像に対する知覚特性を示す知覚特性情報と、前記端末における表示性能に基づいて、画像データの解像度を決定する有効解像度オブジェクト決定機能と、
配信する前記画像データに関するレイアウト情報と、前記有効解像度オブジェクト決定機能により決定した解像度とに基づいて、前記操作内容によって要求されると予想される画像データを予め取得する先読み処理に必要な領域を示す画像領域を決定する受信範囲計算機能と、
解像度を決定した前記画像データを前記端末へ配信する機能と、を実現させ、
前記操作内容は、前記端末において表示中の画像データの表示領域の位置、及び当該画像データの操作による変化の速度を示す表示領域速度、及び当該画像の表示画面中の１画素に対する当該画像の画像データの画素数を示す表示倍率の各データを前記端末から受信するものであり、
前記有効解像度オブジェクト決定機能は、前記端末において表示中の画像が変化すると予想される領域と変化前の表示領域との差分である先読み差分領域を計算し、前記知覚特性情報に基づいて、前記先読み差分領域内の画像構成要素が、前記操作内容に示される前記表示領域速度及び前記表示倍率により、人間に知覚されるために最低限必要な解像度を、当該画像の解像度として算出し、
前記受信範囲計算機能は、前記有効解像度オブジェクト決定部が判定した前記先読み差分領域を覆う矩形領域の集合を、当該画像の画像領域として判定することを特徴とする画像データ取得プログラム。
【請求項１４】
前記レイアウト情報が、少なくとも前記画像データに含まれる構成要素の種類、大きさ、位置及び向き、形状を含み、
前記操作内容が、前記画像データの前記画像の表示領域の移動又は拡大縮小に関するものであることを特徴とする請求項１３に記載の画像データ取得プログラム。
【請求項１５】
前記受信範囲計算機能は、前記操作内容を用いて前記先読み処理に必要な領域を一定時間内に受信するためのデータ通信量を計算し、
前記サーバに、前記解像度による前記画像領域を前記データ通信量以下の通信量で通信するために、前記有効解像度オブジェクト決定機能が決定した解像度と、前記受信範囲計算機能が決定した前記画像領域と前記データ通信量とに基づいて、前記画像領域を加工して、加工画像データを生成する送信データ生成機能を実現させ、
生成された前記加工画像データを前記端末に対し配信することを特徴とする請求項１４に記載の画像データ取得プログラム。
【請求項１６】
コンピュータを制御することにより、サーバから端末へ通信ネットワークを介して画像を配信する画像データ取得プログラムであって、
前記端末に、
配信する前記画像データに関するレイアウト情報と、前記端末側における当該画像データに対する操作内容と、人間が情報として内容を十分に認知できるための前記画像データに含まれる画像に対する知覚特性を示す知覚特性情報と、前記端末における表示性能に基づいて、画像データの解像度を決定する有効解像度オブジェクト決定機能と、
解像度を決定した前記画像データの配信を前記サーバに要求する機能と、
配信する前記画像データに関するレイアウト情報と、前記有効解像度オブジェクト決定部からの解像度とに基づいて、前記操作内容によって要求されると予想される画像データを予め取得する先読み処理に必要な領域を示す画像領域を決定する受信範囲計算機能と、
を実現させ、
前記操作内容は、当該端末における表示中の画像データの表示領域の位置、及び当該画像データの操作による変化の速度を示す表示領域速度、及び当該画像の表示画面中の１画素に対する当該画像の画像データの画素数を示す表示倍率の各データを有し、
前記有効解像度オブジェクト決定機能は、前記端末において表示中の画像が変化すると予想される領域と変化前の表示領域との差分である先読み差分領域を計算し、前記知覚特性情報に基づいて、前記先読み差分領域内の画像構成要素が、前記操作内容に示される前記表示領域速度及び前記表示倍率により、人間に知覚されるために最低限必要な解像度を、当該画像の解像度として算出し、
前記受信範囲計算機能は、前記有効解像度オブジェクト決定部が判定した前記先読み差分領域を覆う矩形領域の集合を、当該画像の画像領域として判定することを特徴とする画像データ取得プログラム。
【請求項１７】
前記有効解像度オブジェクト決定機能において、配信する前記画像データの必要最低限の解像度を決定することを特徴とする請求項１６に記載の画像データ取得プログラム。
【請求項１８】
前記端末にて、
配信を受ける画像のレイアウト情報を前記サーバから受信して、前記有効解像度オブジェクト決定機能により当該画像データの解像度を決定し、
前記有効解像度オブジェクト決定機能が決定した解像度と、前記受信範囲計算機能が決定した前記画像領域とを前記サーバに送信し、
前記サーバから、前記解像度と前記画像領域とに基づく画像データの配信を受けることを特徴とする請求項１７に記載の画像データ取得プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、通信ネットワークを介した画像データの送受及び表示に関し、特に、画像データの内容に応じて解像度を変更させる画像データ取得システムにおけるサーバ及び端末とその画像データ取得方法、及び画像データ取得プログラムに関する。
【０００２】
【従来の技術】
従来、ビットマップ形式などのデジタル画像の表示は、一般的にラスタ走査順に行われていた。以下、この表示方法を「ラスタプログレッシブ方式」と呼ぶ。この画像伝送方式では、画像データを全て受信した後に、次の画像表示が可能となるので、高精細でデータサイズが大きい画像を伝送する際には、画像の概要を取得するためだけであっても全画像を受信する必要があり、通信時間が非常に長くかかる問題があった。
【０００３】
このラスタプログレッシブ方式の欠点を解消する方式には、プログレッシブＪＰＥＧやインタレースＧＩＦといった画像フォーマットに用いられている「解像度プログレッシブ方式」がある。この方式では、画像の表示順がラスタ走査順ではなく、最初に画像全体を粗く表示した後に徐々に精細に表示することが可能である。このため、全ての画像データを受信しなくても、画像の概要を得ることができる。このような表示方式は、画像表示に要する待ち時間に対するイライラ感、ストレスを軽減する効果がある。
【０００４】
しかし、上記のいずれの画像形式においても、結局は常に画像データ内の全ての画素情報を得る必要があり、任意の画素集合を通信時に選択することができなかった。
【０００５】
これに対して、更に改良を施した画像形式として、ＪＰＥＧ２０００（ISO/IEC WG1,SC29,15444）やＦｌａｓｈｐｉｘ（登録商標：Digital Imaging Group, Inc.）という画像フォーマットが提案されている。この画像形式では、図１０に示すように、いくつかの画素を集めたブロックを単位として任意の画素集合を選択することができ、かつ、画素ブロック毎に解像度プログレッシブ方式で表示することが可能である。
【０００６】
従来、上記の画像フォーマットで記録された画像データを取得し表示を行う装置では、画像の拡大縮小処理やスクロール表示処理に代表される表示更新処理に対して、その処理時間が長くかかり、適切な表示品質や操作性が得られないという問題があった。ここで、表示更新処理とは、例えば、対象画像の一部を表示処理中にその表示処理を完遂あるいは中断し、別の表示領域から画像データを取得し表示するという、一連の表示領域移動処理などを指す。
【０００７】
この表示更新処理時間を短縮するために、従来は特開平０７−００５３４６号公報や特開平１１−０８８８６６号公報に開示されるように、表示領域を移動する前に、現在表示中の表示領域の近隣画像を予め読み込む処理（先読み処理）を行い、表示領域の移動が円滑に行えるようにしていた。
【０００８】
更に、Ｆｌａｓｈｐｉｘを用いたシステムでは、先読み処理を行う画像を低解像度で取得しておき、表示領域の移動が停止した時点から段階的に解像度を上げる手法をとっており、画像が記憶されているサーバと端末間のデータ通信量を少なくし、表示更新処理速度を高めていた。
【０００９】
【発明が解決しようとする課題】
上述したように従来のシステムでは、以下に述べるような問題点があった。
【００１０】
一般的に、表示維持時間と表示倍率とが変化すると、表示対象が同じでも、人間の視覚系が認知する情報は変化することが知られている。例えば、１９７９年、サイエンス、２０６巻、４６８〜４６９頁（Rayner, K. Bertera, J. H. 1979 Reading without a fovea. Science, 206, 468-469）によると、人間が文字として認識するために必要な視角は８分から１度である。
【００１１】
また、別の例では、同じ文章が表示されていても、表示倍率の変化によって文字の視角が変化し、文字認知の容易さも変化する。
【００１２】
更に、１９８３年、ビジョンリサーチ、２３巻、５４１〜５４６頁（Morgan, M. J., Wat, R. J., McKee, S. P. 1983 Exposure duration affects the sensitivity of vernier acuity to target motion. Vision Research, 23, 541-546）によると、視覚刺激の運動速度増加と共に、視力の低下が起こることが示されており、表示領域の表示時間が短い場合には、認知能力が低下すると考えられる。
【００１３】
拡大・縮小処理や表示領域のスクロール動作といった表示更新処理を行う場合、利用者からみた画像の表示状態は、画像データ自身の属性（解像度やピクセル数、階調、圧縮率等）と、表示に対する状態（表示持続時間、フレームレート、表示倍率など）、通信回線や一連の処理を行うハードウェアの能力などの関係によって決まり、表示動作はこれら要因の何れかが可変である限り、一定とはならない。
【００１４】
従って、表示対象や操作の指定内容、端末などの違いによって、表示の様子がまちまちになるため、適切な表示が得られるように、それぞれの要素間のバランスをとりながらシステムを設計する必要がある。特に、スクロール動作を高速に行うような場合には、単位時間内に処理すべき対象画像領域が増えるため、操作性を低下させないように、画像を粗くしたり、処理する画素を間引いたりといった、単位時間あたりの処理データ量を抑制する方法、即ち、前記したプログレッシブ表示方式が有効となる。
【００１５】
しかし、従来の画像表示方式では、表示領域の移動速度及び表示領域内の画像の倍率と、先読み処理すべき画像の解像度との間に全く関係がなかった。このため、表示領域を移動中にプログレッシブ表示を行った場合、例えば、文字等が含まれる画像では、全体が一様に低解像度表示されるため、図１１に示すように、判読に必要な解像度に達する前に次の領域へ移る場合がある。
【００１６】
文書をスクロール表示する場合には、少なくとも、見出しのような、鍵となる箇所の文字が判別できなければ、移動先の指定は困難となるため、キーとなる文字が判別できない状態でのスクロール操作は、作業能率が著しく低下する。
【００１７】
以上のように、従来技術では、表示領域の移動に伴って更新すべき画像情報全てについて最高解像度をサーバに要求すると、対象の画像データが人間に提供できる最高の情報量を得ることができるが、データ通信量は最大となり、そのデータを通信及び処理するのに要する時間も最大となる。
【００１８】
一方、更新すべき画像情報全てについて解像度を下げてしまうと、データ通信量とデータの通信と処理に要する時間も短くなるが、表示領域の倍率及び更新速度によっては対象画像の中にある図や文字といった構成要素を端末利用者が認知することができないといった情報の欠落をまねく。
【００１９】
上記の問題点は、画像閲覧者の興味や人間の視覚的な認知特性等を考慮せずに、通信途中の画像の解像度を一様として扱っていたことに起因する。従って、ユーザインタフェースを向上させる観点からは、人間の視覚的な知覚特性に合わせて、通信するデータの量や内容、特性、端末側でのデータ管理や表示方法などを適切に制御する必要がある。
【００２０】
本発明の第１の目的は、上記従来技術の欠点を解決し、画像データを通信し端末上で閲覧する際に、データ通信量を変化させた場合でも、通信途中の画像データに対する認知的な情報量を維持できる、画像データ取得システムにおけるサーバ及び端末とその画像データ取得方法、及び画像データ取得プログラムを提供することにある。
【００２１】
本発明の第２の目的は、上記従来技術の欠点を解決し、これら画像データ取得システムの設計にあたって、コンテンツや通信回線、サーバや端末の処理能力や規模などを反映できるよう、例えば、処理能力の低い端末でも快適な画像閲覧が実現できるといった柔軟な設計が行えるようにするために、端末側の情報処理の一部をサーバ側でも行えるようにした画像データ取得システムにおけるサーバ及び端末とその画像データ取得方法、及び画像データ取得プログラムを提供することにある。
【００２２】
【課題を解決するための手段】
上記目的を達成するための本発明は、通信ネットワークを介して、端末へ画像データを配信する画像データ取得システムにおけるサーバであって、
配信する前記画像データに関するレイアウト情報と、前記端末における当該画像データに対する操作内容と、人間が情報として内容を十分に認知できるための前記画像データに含まれる画像に対する知覚特性を示す知覚特性情報と、前記端末における表示性能に基づいて、配信する画像データの解像度を決定する有効解像度オブジェクト決定部と、
前記画像データに関するレイアウト情報と、前記有効解像度オブジェクト決定部からの解像度とに基づいて、前記操作内容によって要求されると予想される画像データを予め前記端末へ配信する先読み処理に必要な領域を示す画像領域を決定する受信範囲計算部とを備え、
前記端末から、当該端末において表示中の画像データの表示領域の位置、及び当該画像データの操作による変化の速度を示す表示領域速度、及び当該画像の表示画面中の１画素に対する当該画像の画像データの画素数を示す表示倍率の各データを前記操作内容として受信し、
前記有効解像度オブジェクト決定部は、前記端末において表示中の画像が変化すると予想される領域と変化前の表示領域との差分である先読み差分領域を計算し、前記知覚特性情報に基づいて、前記先読み差分領域内の画像構成要素が、前記操作内容に示される前記表示領域速度及び前記表示倍率により、人間に知覚されるために最低限必要な解像度を、当該画像の解像度として算出し、
前記受信範囲計算部は、前記有効解像度オブジェクト決定部が判定した前記先読み差分領域を覆う矩形領域の集合を、当該画像の画像領域として決定し、
解像度を決定した前記画像データを前記端末へ配信することを特徴とする。
【００２３】
請求項２の本発明は、前記レイアウト情報が、少なくとも前記画像データに含まれる構成要素の種類、大きさ、位置及び向き、形状を含み、前記操作内容が、前記画像データの前記画像の表示領域の移動又は拡大縮小に関するものであることを特徴とする。
【００２４】
請求項３の本発明は、前記受信範囲計算部が、前記操作内容を用いて前記先読み処理に必要な領域を一定時間内に受信するためのデータ通信量を計算し、前記解像度による前記画像領域を前記データ通信量以下の通信量で通信するために、前記有効解像度オブジェクト決定部が決定した解像度と、前記受信範囲計算部が決定した前記画像領域と前記データ通信量とに基づいて、前記画像領域を加工して、加工画像データを生成する送信データ生成部を備え、生成された前記加工画像データを前記端末に対し配信することを特徴とする。
【００２５】
請求項４の本発明は、前記知覚特性情報を記憶し参照する知覚特性記憶部を備え、
前記有効解像度オブジェクト決定部が、前記知覚特性記憶部から前記知覚特性情報を取り出して、前記画像データの解像度を決定することを特徴とする。
【００２６】
請求項５の本発明は、通信ネットワークを介して、サーバから配信される画像データを取得する画像データ取得システムにおける端末において、
配信する前記画像データに関するレイアウト情報と、前記端末側における当該画像データに対する操作内容と、人間が情報として内容を十分に認知できるための前記画像データに含まれる画像に対する知覚特性を示す知覚特性情報と、前記端末における表示性能に基づいて、画像データの解像度を決定する有効解像度オブジェクト決定部と、
配信する前記画像データに関するレイアウト情報と、前記有効解像度オブジェクト決定部からの解像度とに基づいて、前記操作内容によって要求されると予想される画像データを予め取得する先読み処理に必要な領域を示す画像領域を決定する受信範囲計算部と、を備え、
表示中の画像データの表示領域の位置、及び当該画像データの操作による変化の速度を示す表示領域速度、及び当該画像の表示画面中の１画素に対する当該画像の画像データの画素数を示す表示倍率の各データを、前記操作内容として取得し、
前記有効解像度オブジェクト決定部は、前記端末において表示中の画像が変化すると予想される領域と変化前の表示領域との差分である先読み差分領域を計算し、前記知覚特性情報に基づいて、前記先読み差分領域内の画像構成要素が、前記操作内容に示される前記表示領域速度及び前記表示倍率により、人間に知覚されるために最低限必要な解像度を、当該画像の解像度として算出し、
前記受信範囲計算部は、前記有効解像度オブジェクト決定部が判定した前記先読み差分領域を覆う矩形領域の集合を、当該画像の前記画像領域として決定し、
解像度を決定した前記画像データの配信を前記サーバに要求することを特徴とする。
【００２７】
請求項６の本発明は、前記レイアウト情報が、少なくとも前記画像データに含まれる構成要素の種類、大きさ、位置及び向き、形状を含み、前記操作内容が、前記画像データの前記画像の表示領域の移動又は拡大縮小に関するものであることを特徴とする。
【００２８】
請求項７の本発明は、前記知覚特性情報を記憶し参照する知覚特性記憶部を備え、
前記有効解像度オブジェクト決定部が、前記知覚特性記憶部から前記知覚特性情報を取り出して、前記画像データの解像度を決定することを特徴とする。
【００２９】
請求項８の本発明は、前記有効解像度オブジェクト決定部及び前記受信範囲計算部を、外部装置として備えることを特徴とする。
【００３０】
請求項９の本発明は、通信ネットワークを介して、サーバから端末へ画像を配信する画像データ取得方法であって、
配信する前記画像データに関するレイアウト情報と、前記端末側における当該画像データに対する操作内容と、人間が情報として内容を十分に認知できるための前記画像データに含まれる画像に対する知覚特性を示す知覚特性情報と、前記端末における表示性能に基づいて、画像データの解像度を決定する有効解像度オブジェクト決定ステップと、
配信する前記画像データに関するレイアウト情報と、前記有効解像度オブジェクト決定ステップによる解像度とに基づいて、前記操作内容によって要求されると予想される画像データを予め取得する先読み処理に必要な領域を示す画像領域を決定する受信範囲計算ステップと、
前記端末が、当該端末において表示中の画像の表示領域の位置、及び当該画像を移動する操作の速度を示す表示領域速度、及び当該画像の表示画面中の１画素に対する当該画像の画像データの画素数を示す表示倍率の各データを、前記操作内容として取得して前記サーバに送信するステップと、
を有し、
前記有効解像度オブジェクト決定ステップにおいては、前記端末において表示中の画像が変化すると予想される領域と変化前の表示領域との差分である先読み差分領域を計算し、前記知覚特性情報に基づいて、前記先読み差分領域内の画像構成要素が、前記操作内容に示される前記表示領域速度及び前記表示倍率により、人間に知覚されるために最低限必要な解像度を、当該画像の解像度として算出し、
前記受信範囲計算ステップにおいては、前記有効解像度オブジェクト決定ステップで判定した前記先読み差分領域を覆う矩形領域の集合を、当該画像の前記画像領域として判定し、
解像度を決定した前記画像データを前記端末へ配信することを特徴とする。
【００３１】
請求項１０の本発明は、前記有効解像度オブジェクト決定ステップにおいて、配信する前記画像データの必要最低限の解像度を決定することを特徴とする。
【００３２】
請求項１１の本発明は、前記端末にて、
前記有効解像度オブジェクト決定ステップと、
前記受信範囲計算ステップを有し、
配信を受ける画像データの前記レイアウト情報を前記サーバから受信して、前記有効解像度オブジェクト決定ステップにより当該画像の解像度を決定し、
前記有効解像度オブジェクト決定ステップにおいて決定した解像度と、前記受信範囲計算ステップにおいて決定した前記画像領域とを、前記サーバに送信し、
前記サーバが、
前記端末から、配信する画像に対する前記解像度と前記画像領域の指定を受信し、前記送信データ生成ステップにより、指定された前記解像度と前記画像領域とに基づいて当該画像を示す画像データを生成し、生成された前記画像データを前記端末に対し配信することを特徴とする。
【００３３】
請求項１２の本発明は、前記端末が、前記画像データの前記操作内容を前記サーバに送信するステップを備え、
前記サーバが、前記有効解像度オブジェクト決定ステップと、前記受信範囲計算ステップを備え、
前記端末からの前記操作内容を受信して、前記有効解像度オブジェクト決定ステップにより当該画像の解像度を決定し、
前記有効解像度オブジェクト決定ステップにおいて決定した解像度と、前記受信範囲計算ステップにおいて決定した前記画像領域とに基づいて、前記送信データ生成ステップにより当該画像を示す画像データを生成し、生成された前記画像データを前記端末に対し配信することを特徴とする。
【００３４】
請求項１３の本発明は、コンピュータを制御することにより、サーバから端末へ通信ネットワークを介して画像を配信する画像データ取得プログラムであって、
前記サーバに、
配信する前記画像データに関するレイアウト情報と、前記端末側における当該画像データに対する操作内容と、人間が情報として内容を十分に認知できるための前記画像データに含まれる画像に対する知覚特性を示す知覚特性情報と、前記端末における表示性能に基づいて、画像データの解像度を決定する有効解像度オブジェクト決定機能と、
配信する前記画像データに関するレイアウト情報と、前記有効解像度オブジェクト決定機能により決定した解像度とに基づいて、前記操作内容によって要求されると予想される画像データを予め取得する先読み処理に必要な領域を示す画像領域を決定する受信範囲計算機能と、
解像度を決定した前記画像データを前記端末へ配信する機能と、を実現させ、
前記操作内容は、前記端末において表示中の画像データの表示領域の位置、及び当該画像データの操作による変化の速度を示す表示領域速度、及び当該画像の表示画面中の１画素に対する当該画像の画像データの画素数を示す表示倍率の各データを前記端末から受信するものであり、
前記有効解像度オブジェクト決定機能は、前記端末において表示中の画像が変化すると予想される領域と変化前の表示領域との差分である先読み差分領域を計算し、前記知覚特性情報に基づいて、前記先読み差分領域内の画像構成要素が、前記操作内容に示される前記表示領域速度及び前記表示倍率により、人間に知覚されるために最低限必要な解像度を、当該画像の解像度として算出し、
前記受信範囲計算機能は、前記有効解像度オブジェクト決定部が判定した前記先読み差分領域を覆う矩形領域の集合を、当該画像の画像領域として判定することを特徴とする。
【００３５】
請求項１４の本発明は、前記レイアウト情報が、少なくとも前記画像データに含まれる構成要素の種類、大きさ、位置及び向き、形状を含み、
前記操作内容が、前記画像データの前記画像の表示領域の移動又は拡大縮小に関するものであることを特徴とする。
【００３６】
請求項１５の本発明は、前記受信範囲計算機能は、前記操作内容を用いて前記先読み処理に必要な領域を一定時間内に受信するためのデータ通信量を計算し、
前記サーバに、前記解像度による前記画像領域を前記データ通信量以下の通信量で通信するために、前記有効解像度オブジェクト決定機能が決定した解像度と、前記受信範囲計算機能が決定した前記画像領域と前記データ通信量とに基づいて、前記画像領域を加工して、加工画像データを生成する送信データ生成機能を実現させ、
生成された前記加工画像データを前記端末に対し配信することを特徴とする。
【００３７】
請求項１６の本発明は、コンピュータを制御することにより、サーバから端末へ通信ネットワークを介して画像を配信する画像データ取得プログラムであって、
前記端末に、
配信する前記画像データに関するレイアウト情報と、前記端末側における当該画像データに対する操作内容と、人間が情報として内容を十分に認知できるための前記画像データに含まれる画像に対する知覚特性を示す知覚特性情報と、前記端末における表示性能に基づいて、画像データの解像度を決定する有効解像度オブジェクト決定機能と、
解像度を決定した前記画像データの配信を前記サーバに要求する機能と、
配信する前記画像データに関するレイアウト情報と、前記有効解像度オブジェクト決定部からの解像度とに基づいて、前記操作内容によって要求されると予想される画像データを予め取得する先読み処理に必要な領域を示す画像領域を決定する受信範囲計算機能と、
を実現させ、
前記操作内容は、当該端末における表示中の画像データの表示領域の位置、及び当該画像データの操作による変化の速度を示す表示領域速度、及び当該画像の表示画面中の１画素に対する当該画像の画像データの画素数を示す表示倍率の各データを有し、
前記有効解像度オブジェクト決定機能は、前記端末において表示中の画像が変化すると予想される領域と変化前の表示領域との差分である先読み差分領域を計算し、前記知覚特性情報に基づいて、前記先読み差分領域内の画像構成要素が、前記操作内容に示される前記表示領域速度及び前記表示倍率により、人間に知覚されるために最低限必要な解像度を、当該画像の解像度として算出し、
前記受信範囲計算機能は、前記有効解像度オブジェクト決定部が判定した前記先読み差分領域を覆う矩形領域の集合を、当該画像の画像領域として判定することを特徴とする。
【００３８】
請求項１７の本発明は、前記有効解像度オブジェクト決定機能において、配信する前記画像データの必要最低限の解像度を決定することを特徴とする。
【００３９】
請求項１８の本発明は、前記端末にて、
配信を受ける画像のレイアウト情報を前記サーバから受信して、前記有効解像度オブジェクト決定機能により当該画像データの解像度を決定し、
前記有効解像度オブジェクト決定機能が決定した解像度と、前記受信範囲計算機能が決定した前記画像領域とを前記サーバに送信し、
前記サーバから、前記解像度と前記画像領域とに基づく画像データの配信を受けることを特徴とする。
【００４０】
請求項１９の本発明は、配信する前記画像データに関するレイアウト情報と、前記有効解像度オブジェクト決定ステップによる解像度とに基づいて、前記操作内容によって要求されると予想される画像データを予め取得する先読み処理に必要な領域を示す画像領域を決定する受信範囲計算ステップを有することを特徴とする。
【００４１】
請求項２０の本発明は、前記サーバにて、配信する画像データに対する、前記有効解像度オブジェクト決定ステップにより決定した解像度と、前記受信範囲計算ステップにより決定した前記画像領域に基づいて、前記解像度による前記画像領域の部分を示す画像データを生成する送信データ生成ステップと、生成された前記画像データを前記端末に対し配信するステップを有することを特徴とする。
【００４２】
請求項２１の本発明は、前記端末にて、前記有効解像度オブジェクト決定ステップと、前記受信範囲計算ステップを有し、配信を受ける画像データの前記レイアウト情報を前記サーバから受信して、前記有効解像度オブジェクト決定ステップにより当該画像の解像度を決定し、前記有効解像度オブジェクト決定ステップにおいて決定した解像度と、前記受信範囲計算ステップにおいて決定した前記画像領域とを、前記サーバに送信し、前記サーバが、前記端末から、配信する画像に対する前記解像度と前記画像領域の指定を受信し、前記送信データ生成ステップにより、指定された前記解像度と前記画像領域とに基づいて当該画像を示す画像データを生成し、生成された前記画像データを前記端末に対し配信することを特徴とする。
【００４３】
請求項２２の本発明は、前記端末が、前記画像データの前記操作内容を前記サーバに送信するステップを備え、前記サーバが、前記有効解像度オブジェクト決定ステップと、前記受信範囲計算ステップを備え、前記端末からの前記操作内容を受信して、前記有効解像度オブジェクト決定ステップにより当該画像の解像度を決定し、前記有効解像度オブジェクト決定ステップにおいて決定した解像度と、前記受信範囲計算ステップにおいて決定した前記画像領域とに基づいて、前記送信データ生成ステップにより当該画像を示す画像データを生成し、生成された前記画像データを前記端末に対し配信することを特徴とする。
【００４４】
請求項２３の本発明は、前記端末が、当該端末において表示中の画像の表示領域の位置、及び当該画像を移動する操作の速度を示す表示領域速度、及び当該画像の表示画面中の１画素に対する当該画像の画像データの画素数を示す表示倍率の各データを、前記操作内容として取得するステップを備えることを特徴とする。
【００４５】
請求項２４の本発明は、前記有効解像度オブジェクト決定ステップにおいては、前記端末において表示中の画像が変化すると予想される領域と変化前の表示領域との差分である先読み差分領域を計算し、前記知覚特性情報に基づいて、前記先読み差分領域内の画像構成要素が、前記操作内容に示される前記表示領域速度及び前記表示倍率により、人間に知覚されるために最低限必要な解像度を、当該画像の解像度として算出するステップを備えることを特徴とする。
【００４６】
請求項２５の本発明は、前記受信範囲計算ステップにおいては、前記有効解像度オブジェクト決定ステップで判定した前記先読み差分領域を覆う矩形領域の集合を、当該画像の前記画像領域として判定するステップを備えることを特徴とする。
【００４７】
請求項２６の本発明は、コンピュータを制御することにより、サーバから端末へ通信ネットワークを介して画像を配信する画像データ取得プログラムであって、前記サーバにて、配信する前記画像データに関するレイアウト情報と、前記端末側における当該画像データに対する操作内容と、人間が情報として内容を十分に認知できるための前記画像データに含まれる画像に対する知覚特性を示す知覚特性情報と、前記端末における表示性能に基づいて、画像データの解像度を決定する有効解像度オブジェクト決定機能と、解像度を決定した前記画像データを前記端末へ配信する機能とを実行することを特徴とする。
【００４８】
請求項２７の本発明は、前記レイアウト情報が、少なくとも前記画像データに含まれる構成要素の種類、大きさ、位置及び向き、形状を含み、前記操作内容が、前記画像データの前記画像の表示領域の移動又は拡大縮小に関するものであることを特徴とする。
【００４９】
請求項２８の本発明は、前記サーバにて、配信する前記画像データに関するレイアウト情報と、前記有効解像度オブジェクト決定機能により決定した解像度とに基づいて、前記操作内容によって要求されると予想される画像データを予め取得する先読み処理に必要な領域を示す画像領域を決定する受信範囲計算機能を実行することを特徴とする。
【００５０】
請求項２９の本発明は、前記受信範囲計算機能にて、前記操作内容を用いて前記先読み処理に必要な領域を一定時間内に受信するためのデータ通信量を計算し、前記解像度による前記画像領域を前記データ通信量以下の通信量で通信するために、前記有効解像度オブジェクト決定機能が決定した解像度と、前記受信範囲計算機能が決定した前記画像領域と前記データ通信量とに基づいて、前記画像領域を加工して、加工画像データを生成する送信データ生成機能を備え、生成された前記加工画像データを前記端末に対し配信することを特徴とする。
【００５１】
請求項３０の本発明は、コンピュータを制御することにより、通信ネットワークを介してサーバから画像を配信される端末上で実行される端末用プログラムであって、前記サーバに、前記画像データに関するレイアウト情報と、当該画像データに対する操作内容と、人間が情報として内容を十分に認知できるための前記画像データに含まれる画像に対する知覚特性を示す知覚特性情報と、表示性能を送信し、前記サーバに、当該レイアウト情報、当該操作内容、当該知覚特性情報及び当該表示性能を受信させ、さらに、前記サーバの有効解像度オブジェクト決定部に対して受信した当該レイアウト情報、当該操作内容、当該知覚特性情報及び当該表示性能に基づいて、前記画像データの解像度を決定させて配信させ、当該解像度が変化された前記画像データを受信することを特徴とする。
【００５２】
請求項３１の本発明は、コンピュータを制御することにより、サーバから端末へ通信ネットワークを介して画像を配信する画像データ取得プログラムであって、前記端末にて、配信する前記画像データに関するレイアウト情報と、前記端末側における当該画像データに対する操作内容と、人間が情報として内容を十分に認知できるための前記画像データに含まれる画像に対する知覚特性を示す知覚特性情報と、前記端末における表示性能に基づいて、画像データの解像度を決定する有効解像度オブジェクト決定機能と、解像度を決定した前記画像データの配信を前記サーバに要求する機能を実行することを特徴とする。
【００５３】
請求項３２の本発明は、前記有効解像度オブジェクト決定機能において、配信する前記画像データの必要最低限の解像度を決定することを特徴とする。
【００５４】
請求項３３の本発明は、前記端末にて、配信する前記画像データに関するレイアウト情報と、前記有効解像度オブジェクト決定部からの解像度とに基づいて、前記操作内容によって要求されると予想される画像データを予め取得する先読み処理に必要な領域を示す画像領域を決定する受信範囲計算機能を実行することを特徴とする。
【００５５】
請求項３４の本発明は、前記端末にて、配信を受ける画像のレイアウト情報を前記サーバから受信して、前記有効解像度オブジェクト決定機能により当該画像データの解像度を決定し、前記有効解像度オブジェクト決定機能が決定した解像度と、前記受信範囲計算機能が決定した前記画像領域とを前記サーバに送信し、前記サーバから、前記解像度と前記画像領域とに基づく画像データの配信を受けることを特徴とする。
【００５６】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００５７】
図１は、本発明の第１の実施の形態による画像データ取得システムの構成を示すブロック図である。図１を参照すると、本発明の第１の実施の形態は、利用者による情報の閲覧や操作を行う端末である端末１と、画像データを蓄積して端末へと配信する計算機などのサーバ２と、サーバと端末の間で通信を行うためのネットワーク３とを含む。ここで、画像データとしては、静止画及び動画（ＭｏｔｉｏｎＪＰＥＧ２０００等）が含まれる。
【００５８】
端末１は、キーボードやマウスやタッチパネル等の入力装置１１と、プログラム制御により動作するデータ処理装置１２と、ディスプレイ装置などの表示装置１３を備えている。
【００５９】
データ処理装置１２は、表示装置情報記憶部２２と知覚特性記憶部２１、表示領域位置・速度測定部２３、表示倍率制御部２４、有効解像度オブジェクト決定部２５、受信範囲計算部２６、通信速度測定部２７、送受信部２８、そして画像データ生成部２９を備えている。
【００６０】
表示装置情報記憶部２２は、表示装置１３の表示性能に関する情報（以下、表示性能情報）を記憶する。表示性能情報には、表示装置１３の解像度を示す主走査数と副走査数といった情報や表示サイズに関する情報等が含まれる。
【００６１】
知覚特性記憶部２１には、画像に対する人間の視覚的な知覚特性の情報（以下、知覚特性情報）を格納する。
【００６２】
表示領域位置・速度測定部２３は、端末利用者によって操作（画像のスクロール表示操作（移動）や拡大縮小操作）された表示領域の表示位置及び表示領域速度を測定する。ここで表示領域２０２とは、図２に示したような、サーバ２にある表示対象画像データ２０１内で表示装置１３に表示されている領域を指し、端末１の画面のサイズと同じかそれよりも小さい任意の矩形領域を表す。表示位置とは、表示対象画像データ２０１の頂点、重心その他の幾何学的な点のいずれかを原点とした、表示領域２０２の頂点、重心その他の幾何学的な点の位置である。また、表示領域速度とは、表示対象画像データ内で表示領域２０２を移動又は拡大縮小させたときに、表示領域２０２内の画像を更新するのに必要な単位時間あたりのデータ量を表す。
【００６３】
表示倍率制御部２４は、上記表示領域の領域内で表示されている画像の１画素あたりに含まれる表示対象画像データの画素数を計算する。また、拡大縮小操作がなされた時には、その拡大及び縮小中心位置を上記表示対象画像データの画素数とともに記憶する。
【００６４】
有効解像度オブジェクト決定部２５は、表示領域位置・速度測定部２３及び表示倍率制御部２４から得られる表示領域に関する情報と、表示装置情報記憶部２２にある表示性能情報及び後述するサーバ２内のレイアウト情報記憶部６１にあるレイアウト情報を、ネットワーク２を経由して取得して、表示対象画像データに関するレイアウト情報を処理し、知覚特性記憶部２１に照らし合わせる。有効解像度オブジェクト決定部２５は、これにより、表示領域内の端末利用者に認知（知覚）できるであろう文字や図といった構成要素の判定と、認知されるのに必要な解像度の決定を行う。また、有効解像度オブジェクト決定部２５は、決定を行った解像度が送信する端末で表示可能な解像度であるか否かの判断を行うこともできる。
【００６５】
受信範囲計算部２６は、レイアウト情報記憶部６１からのレイアウト情報及び有効解像度オブジェクト決定部２５による処理結果をもとに、画像データ内で受信すべき領域を決定する。また、受信範囲計算部２６は、後述する通信速度測定部２７において測定された送受信速度と、表示領域位置・速度測定部２３によって得られた表示領域速度とを用いて、先読みに必要なデータ通信量の計算を行う。
【００６６】
送受信部２８は、モデムやネットワークカードなどの通信機器の送受信部及び制御ソフトウェアである。
【００６７】
通信速度測定部２７は、送受信部２８においてある一定量のデータを送受信するのにかかる時間を測定する部分で、ある一定時間内のデータ通信量を測定することで端末１及びサーバ２の間の送受信速度を測定する。
【００６８】
画像データ生成部２９は、送受信部２８から得られた画像データを表示装置１３で表示できるように加工するためのデコーダで構成される。本発明で用いる画像データの形式は、画像の任意の表示領域について任意の解像度が画像データ全体から切り出せるような形式を対象とする。このような特性を保持した画像フォーマットの代表例としては、ＪＰＥＧ２０００やＦｌａｓｈｐｉｘなどがあるが、これら以外の同様な特性を持つ画像フォーマット全てに対しても、本発明を適用することができる。
【００６９】
ネットワーク３は、インターネットなどのネットワーク網である。
【００７０】
サーバ２は、記憶装置５１と、プログラム制御により動作するデータ処理装置５２からなる。
【００７１】
記憶装置５１は、画像データ記憶部６２と、レイアウト情報記憶部６１を含む。
【００７２】
画像データ記憶部６２は、端末１に送信する画像データが記憶されている。
【００７３】
レイアウト情報記憶部６１は、端末１に送信する画像データに関するレイアウト情報が記憶されている。ここで、レイアウト情報には、表示対象画像データ内に含まれる構成要素の種類、大きさ、位置、及び構成要素の向きや形状などが含まれる。
【００７４】
データ処理装置５２は、端末１とネットワーク３を経由してデータの送受信を行う送受信部７２と、送信データ生成部７１からなる。
【００７５】
送受信部７２は、ネットワーク３を経由して端末１と通信するためのモデムやネットワークカードなどの通信機器の送受信部及び制御ソフトウェアである。
【００７６】
送信データ生成部７１は、受信範囲計算部２６により要求のあった受信すべき領域を受信範囲計算部２６により計算されたデータ通信量以下のサイズで端末１に送るために、受信すべき領域を整形又は加工して、加工画像データを生成する部分である。
【００７７】
図３は、本実施の形態の動作を説明するためのフローチャートである。図１及び図３を参照して、本実施の形態の動作について詳細に説明する。
【００７８】
まず、表示対象画像データに関するレイアウト情報を、サーバ２から取得する（ステップＡ１）。入力装置１１によって端末利用者が表示領域に対する所定操作を行う。ここで、所定操作とは、表示領域の移動（スクロール）操作、拡大縮小操作が含まれる。このとき、表示倍率制御部２４で、端末利用者の操作によって設定された表示領域の表示倍率を記録する。また、これと並行して表示領域位置・速度測定部２３において、操作された表示領域の位置及び速度の測定を行う（図３のステップＡ２、Ａ３）。
【００７９】
このようにして得られた表示領域の表示位置及び速度情報と、表示装置情報記憶部２２にある端末１の表示装置１３の表示性能情報と、知覚特性記憶部２１にある知覚特性情報と、表示倍率制御部２４からの表示領域の表示倍率と、レイアウト情報記憶部６１にある表示対象画像に関するレイアウト情報から、有効解像度オブジェクト決定部２５で、表示領域の先読み差分領域を計算し、その先読み差分領域内の画像の構成要素を判定すると共に、上記知覚特性情報を参照してその構成要素ごとに人間に認知されるために必要な有効解像度を求め、求めた有効解像度から端末の表示装置で表現可能な画像構成要素を選択する（ステップＡ４）。
【００８０】
なお、ここで、表示領域の構成要素の解像度（＝分解能）を求めるには、表示装置上での解像度として得るために表示領域の表示倍率が必要となる。
【００８１】
ここで、表示領域の先読み差分領域２０３について、表示領域の移動操作と拡大縮小操作のそれぞれについて説明する。
【００８２】
移動操作時の先読み差分領域２０３とは、図４で斜線部で示されるような、表示領域２０２が移動すると予想される領域と移動前の表示領域の差分領域である。
【００８３】
また、拡大縮小操作時の先読み差分領域２０４及び２０５とは、それぞれ図５及び図６の斜線部で示される領域である。表示倍率拡大時には、図５の領域２０４が、表示倍率縮小時には、図６の領域２０５が、先読み差分領域となる。このとき、先読み差分領域２０４及び２０５の大きさ及び拡大縮小中心位置は、操作履歴における表示領域倍率値及び拡大縮小中心位置から予測される。
【００８４】
また、画像構成要素の有効解像度とは、文字や図などの画像構成要素が測定した表示領域速度及び表示倍率で表示装置１３において人間に知覚されるために最低限必要な解像度である。
【００８５】
次に、ステップＡ４の結果を用いて、受信範囲計算部２６が、表示領域の先読み差分領域を覆う最小の部分画像を選択する（ステップＡ５）。ここで部分画像とは、図１０に示すように対象画像が複数の矩形領域に分割されているときの、任意の矩形領域集合である。
【００８６】
次に、通信速度測定部２７において測定されたデータ受信速度と、表示領域位置・速度測定部２３によって得られた表示領域速度から、受信範囲計算部２６において先読み差分領域を覆う最小の部分画像情報が表示装置１３上で表示され始めるまでの時間を計算し、その時間が経過する前にサーバからデータを受信するためのデータ通信量を計算する（ステップＡ６及びＡ７）。
【００８７】
ステップＡ５で得られた部分画像をサーバ２に要求し、同時にステップＡ７で得られたデータ通信量をサーバ２に送信する（ステップＡ８）。
【００８８】
サーバ２で、端末１から要求のあった部分画像データを端末１から指定されたデータ通信量以下におさまるように部分画像領域を送信データ生成部７１で整形又は加工し、加工画像データを生成して、端末１に送信する。送受信部２８で画像データを受信し、同時に通信速度測定部２７で通信速度情報を更新する（ステップＡ９）。次にステップＡ１０で受信した画像データの内、表示領域に入ったものから順に画像データ生成部２９及び表示装置１３にて表示する。一定時間表示領域の位置情報に変化がなければこのまま終了し、変化があればステップＡ３に戻る（ステップＡ１１）。
【００８９】
ここで、送信データ生成部７１にて部分画像領域が整形されたり、図１３の視覚特性情報において端末表示性能を超えたり認識されにくいと判断されて受信要求対象にならなかった画像構成要素は、その画像構成要素の表示位置に端末１側でダミー画像（画像構成要素が受信されていない旨を示すためのアイコン等）を表示するように、送信データ生成部７１がコンテンツを編集して端末１に送信するものとしてもよい。
【００９０】
次に、第１の実施の形態の効果について説明する。以上説明したように、第１の実施の形態では、端末利用者によって固有な情報及び処理を端末１側で全て行うので、サーバ２におけるデータ処理装置５２の処理において、端末利用者数が増加した際の負担増加を抑制することができる。
【００９１】
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。図７は、本発明の第２の実施の形態による画像データ取得システムの構成を示すブロック図である。
【００９２】
図７を参照すると、本発明の第２の実施の形態は、端末４においてデータ処理装置１４にデータ処理装置１２にある有効解像度オブジェクト決定部２５、受信範囲計算部２６、通信速度測定部２７がない点で異なっており、またサーバ５においてはデータ処理装置５３にはデータ処理装置５２の構成に通信速度測定部７３、有効解像度オブジェクト決定部７４、受信範囲計算部７５がある点で異なっている。
【００９３】
第２の実施の形態の動作を図面を参照して詳細に説明する。図８は、本実施の形態の動作を説明するためのフローチャートである。
【００９４】
図８のフローチャートのステップＡ１〜Ａ３、Ａ９〜Ａ１１で示される、本実施の形態における知覚特性記憶部２１、表示装置情報記憶部２２、表示領域位置・速度測定部２３、表示倍率制御部２４、画像データ生成部２９、送受信部２８、送受信部７２の動作は、第１の実施の形態のにおけるこれらの各部２１、２２、２３、２４、２９、２８及び７２の動作と同様である。
【００９５】
第１の実施の形態では、図３のステップＡ４の処理を行うためにはレイアウト情報記憶部６１にある情報をネットワーク３を経由して端末１側に通信する必要があった。本実施の形態では、図８のステップＢ２において、図３のステップＡ４と同様の処理を、図７のサーバ５にある有効解像度オブジェクト決定部７４で行うことを特徴とする。このため、レイアウト情報記憶部６１にある情報を、端末４に送信する必要がない。
【００９６】
また、第１の実施の形態において、図３のステップＡ６で通信速度測定部２７において行っていた処理を、本実施の形態では、図８のステップＢ４で通信速度測定部７３で行う。この通信速度測定部は、本実施の形態のようにサーバ側にあってもよいし、第１の実施の形態のように端末側にあってもよい。
【００９７】
一方、図８のステップＢ２〜Ｂ５の処理は、送信データ生成部７１、通信速度測定部７３、有効解像度オブジェクト決定部７４、及び受信範囲計算部７５で行われるが、この処理は図３のステップＡ４〜Ａ６において、送信データ生成部７１、通信速度測定部２７、有効解像度オブジェクト決定部２５、及び受信範囲計算部２６で行われる処理と同様である。
【００９８】
図３のステップＡ８では、端末１からサーバ２に送られる情報は、ステップＡ４で得られた部分画像をサーバ２に要求し、同時にステップＡ７で得られた端末へ送信するデータ通信量である。一方、図８のステップＢ１では端末４は知覚特性記憶部２１及び表示装置情報記憶部２２の知覚特性情報及び表示性能情報と表示領域の先読み差分領域の画像要求をサーバ５に送信する。ただし、知覚特性記憶部２１はサーバ側にあってもよく、その場合は表示装置情報記憶部２２の情報と表示領域の先読み差分領域の画像要求のみがサーバに送られる。
【００９９】
次に第２の実施の形態の効果について説明する。
【０１００】
第２の実施の形態は、第１の実施の形態では端末側で行っていた画像の受信範囲計算をサーバ側で行い、かつ、その計算で用いるレイアウト情報をサーバ側から端末側に通信せずに行えるため、端末からサーバへのデータ通信量と端末側の処理負担の軽減が期待できる。
【０１０１】
次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。
【０１０２】
図９を参照すると、本発明の第３の実施の形態は、本発明の第１及び第２の実施の形態と同様に、入力装置、データ処理装置、表示装置を備えた端末と、記憶装置データ処理装置を備えたサーバと、端末とサーバの通信を行うために必要なネットワークからなり、更に、端末とサーバにおいて、第１及び第２の実施の形態で取得する画像の範囲を計算する処理を行う画像データ取得プログラム１５及び５４を備える。この画像データ取得プログラム１５及び５４は、それぞれ記録媒体である磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ、磁気メモリであり、その他の記録媒体であってもよい。
【０１０３】
同様の機能を持つ画像データ取得プログラム１５は、端末１においては、記録媒体からデータ処理装置１６に読み込まれ、データ処理装置１６の動作を制御する。また、サーバ２においては、画像データ取得プログラム５４が記録媒体からデータ処理装置５５に読み込まれ、データ処理装置５５の動作を制御する。
【０１０４】
データ処理装置１６及び５５は、読み込まれたプログラムの制御により第１の実施の形態におけるデータ処理装置１２、５２及び第２の実施の形態におけるデータ処理装置１４及び５３による処理と同一の処理を実行する。
【０１０５】
次に、本発明の第１の実施例を、図面を参照して説明する。係る実施例は本発明の第１の実施の形態に対応するものである。
【０１０６】
本実施例は、入力装置としてキーボードを、データ処理装置としてパーソナル・コンピュータを、表示装置としてディスプレイを、送受信部としてモデムを備えた端末と、データ処理装置としてパーソナル・コンピュータを、記憶装置として磁気ディスク記憶装置を備えたサーバからなり、これらが通信を行うためのネットワークとしてインターネットを利用する。
【０１０７】
前記端末の記憶装置には、端末のディスプレイの表示性能に関する情報である表示性能情報と人間の視覚的な知覚特性を記録した知覚特性情報が記憶されている。記憶されているデータの例を図１２及び図１３に示す。
【０１０８】
表示装置情報記憶部２２に記憶された表示性能情報には、図１２に示すように、ディスプレイの主走査数、副走査数、及びディスプレイの対角線の長さが記憶されている。対角線以外にも、ディスプレイの縦横の長さでもよい。
【０１０９】
知覚特性記憶部２１に格納される人間の知覚特性情報には、図１３に示すように平均的な人間の視力において、文字や図などの対象物毎に、その対象物の大きさや空間周波数の代表値と観察者からの速度の大きさがある値のときに、文字や図として認識されるのに必要な解像度が記憶されている。
【０１１０】
図１３に示す知覚特性情報においては、例えば、解像度の値のうち、−１ｄｐｉが人間の視覚特性から人間には認識されないであろうと判断されることを、３００ｄｐｉが端末の表示装置上で表示不可能であると判断されることが例として考えられる。
【０１１１】
知覚特性記憶部２１に格納される、画像に対する人間の知覚特性について、更に詳しく説明する。格納される人間の知覚特性の情報としては、例えば、文字や線画図形の場合では、１９７９年、サイエンス、２０６巻、４６８〜４６９頁（Rayner, K. Bertera, J. H. 1979 Reading without a fovea. Science, 206, 468-469）に示されるような、文字として認識するための必要な視角８分から１度といった値や、１９７５年パーセプション・アンド・サイコフィジックス、１７巻、５７８〜５８６頁（McConkie, G. W. Rayner, K. 1975 The span of effective stimulus during a fixation in reading. Perception and Psychophysics, 17, 578-586）に示されるような、通常の読書に要する有効視野領域が１５文字スペースであるといった値などを用いることができる。
【０１１２】
更に、画像に表示されているオブジェクトを知覚し認知するために必要な特性としては、上記以外にも、オブジェクトの形状と必要解像度との対応関係、オブジェクト自体の明度や色調、周辺と対象との明度や色調・コントラストの差、必要なピクセル数や線幅、ポイント数や級数、オブジェクト個々に対する表示すべき領域範囲、許容される画像エフェクトの適応量、推奨される表示角度やサイズ、推奨されるフォントやプリミティブ、オブジェクトに対する参照ベクトル、オブジェクトの移動速度（絶対速度と相対速度）、複数のオブジェクトを組み合わせたり並立・重畳表示する際の推奨値などがあげられる。
【０１１３】
これらは、表示デバイスの実寸や表示デバイスの表示性能、閲覧者と表示デバイスとの位置関係などについても適切な値が可変となるため、必要に応じて、閲覧条件に適応するための情報を格納し利用する。
【０１１４】
本発明の第１の実施例の動作について、更に説明する。端末において、ある画像の一部又は全部を表示している表示領域に対して、移動処理を指示するコマンドがキーボードから入力された場合を考える。
【０１１５】
このとき、端末では、表示領域の画像中の位置と速度（pixel/sec）を測定し、同時に表示領域の倍率の値を取得する。そして、サーバから対象画像のレイアウト情報を取得する。このレイアウト情報は、ＯＣＲなどの解析によって得ることができ、画像中に含まれる構成要素の種類、大きさ、位置、及び構成要素の向きや形状などが記録されている。
【０１１６】
このレイアウト情報と、表示領域の位置及び速さと、図１２に示すような端末のディスプレイの情報である表示性能情報から、先読み差分領域を計算し、その先読み差分領域内で次に表示される画像としてどのような構成要素があり、かつ、それらがどのような大きさ及び速さで表示されるかを計算する。
【０１１７】
そして、図１３に示すような人間の知覚特性情報テーブルを参照し、表示されうる構成要素それぞれに対して、人間に認知されうるかどうかを判定し、認知されうると判定された画像構成要素に対して人間に認知されるのに必要な有効解像度を求める。
【０１１８】
求めた有効解像度が端末のディスプレイで表現可能な構成要素を選択し、これにより構成要素毎に画像データ中の位置情報と認知に必要な有効解像度情報を得る。次に、データ処理装置内のプログラムで定期的に通信速度を測定しておき、その速度情報と表示領域速度から求めた表示領域が新しく移動するまでの時間から、移動後の表示領域画像を所定の時間内に生成するのに必要なデータのサイズを決定する。これらの画像データ要求及び、画像構成要素に関する位置及び解像度情報、そしてデータ通信量を、サーバへネットワークを経由して送信する。
【０１１９】
サーバでは、端末から要求のあった画像データを磁気ディスク記憶装置から読み込む。読み込んだデータのサイズが、端末から要求のあったデータサイズ以上であれば、送信データ生成部にて、要求のあったデータサイズ以下になるように読み込んだ画像データを加工する。具体的には、以下のような画像データ加工方法がある。
【０１２０】
（１）画像領域を小さくする。
【０１２１】
（２）画像領域内の全体の解像度を下げる。
【０１２２】
（３）文字や図などの画像構成要素の内、認識される視角あるいは速度に遠いものから削除する。
【０１２３】
ここで、（１）の画像領域を小さくする加工方法として、例えば、画像の座標系において、現在の表示領域よりも遠くにある部分から順次送信対象外にする方法や、ラスタ順に要求のあったデータサイズ分だけ送信対象とするなどの方法が考えられる。また、画像構成要素に関係なく表示領域全体が一定の解像度で、ラスタ順に要求のあったデータサイズ分までのみ送信対象とするなどの方法を用いてもよい。
【０１２４】
このような加工を必要に応じて読み込んだ画像データに対して行った後、サーバは端末に画像データを送信する。端末では、サーバから受信した画像データを画像データの形式に対応したデコーダを用いてディスプレイに表示できる形式に変換し、変換したデータを先読み差分領域内にあるようにディスプレイ上に表示する。
【０１２５】
以上の説明において、端末においてある画像の一部又は全部を表示している表示領域に対する移動処理や拡大縮小処理を指示するコマンド入力手段としてキーボードを用いる例を示したが、移動の指示については、マウスなどのポインティングデバイスを用いて行ってもよい。その場合、移動方向や移動量はポインティングデバイスの単位時間内の移動量から判別することができ、より直感的な操作が提供できる。
【０１２６】
また、これらと同様の入力機能を有する操作手段ならばそのいずれに対しても本発明は実施でき、例えば、音声入力や画像入力手段、光学センサー、加速度センサー、温度センサー、各種スイッチなどを用いた入力手段を利用できる。
【０１２７】
また、データ処理装置や表示装置、通信装置、記憶装置などは、上記で説明に用いたパーソナル・コンピュータやモデムだけでなく、本発明の機能を実現できる機能を有する機器や装置ならば、その処理能力によらず、いずれの装置に対しても本発明を実施できる。
【０１２８】
以上好ましい実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。
【０１２９】
例えば、本発明の有効解像度と部分画像と先読みに必要なデータ通信量の判定処理は、第１の実施の形態の端末１内において備える知覚特性記憶部２１、有効解像度オブジェクト決定部２５、受信範囲計算部２６、通信速度測定部２７を、図１４に示されるように他の装置である判定装置８０に備えることにより、この判定装置８０において解像度と部分画像領域と先読みに必要なデータ通信量の判定処理を実行させる構成も可能である。
【０１３０】
つまり、図１４の例においては、まず端末１における画像の閲覧の状態を示す端末操作情報を取得して判定装置８０に通知する。つまり、表示領域位置・速度測定部２３による端末１において表示中の画像の表示領域の位置の情報及び当該画像を移動する操作の速度を示す表示領速度の情報と、表示倍率制御部２４による表示画面中の１画素に対する画像データの画素数を示す表示倍率の情報と、表示装置情報記憶部２２による表示性能情報とを、端末１から判定装置８０に送るものである。
【０１３１】
そして端末１は、サーバ２からネットワーク２を経由してレイアウト情報を取得し、通信速度測定部２７から得られた通信速度とともに判定装置８０に送る。
【０１３２】
判定装置７０は、知覚特性記憶部２１に記憶する知覚特性情報と、端末１から送られた端末操作情報と、サーバ２から端末１を介して取得した画像のレイアウト情報を用いて、第１の実施の形態の端末１の場合と同様の処理を実行することにより、解像度と部分画像領域を判定する。
【０１３３】
そして、判定装置８０は、解像度と部分画像領域と先読みに必要なデータ通信量との判定結果を、端末１を介してサーバ２に通知し、サーバ２は、この解像度と部分画像領域と先読みに必要なデータ通信量との指定を受け付けて、指定された画像データを生成し端末１に配信する。
【０１３４】
また、本発明の解像度と部分画像領域と先読みに必要なデータ通信量との判定処理は、第２の実施の形態のサーバ２内において備える通信速度測定部７３、有効解像度オブジェクト決定部７４、受信範囲計算部７５を、図１５に示されるように他の装置である判定装置９０に備えることにより、この判定装置９０において解像度と部分画像領域と先読みに必要なデータ通信量との判定処理を実行させる構成も可能である。
【０１３５】
つまり、図１５の例においては、まずサーバ２が、レイアウト情報記憶部６１内のレイアウト情報を、通信速度測定部７３から得られた通信速度とともに判定装置９０に送る。そして、サーバ２が、端末１から端末操作情報（表示中の画像の表示領域の位置の情報、当該画像を移動する操作の速度を示す表示領速度の情報、表示画面中の１画素に対する画像データの画素数を示す表示倍率の情報、表示画面の表示性能情報）と、知覚特性情報を取得し、判定装置９０に送る。
【０１３６】
そして、判定装置９０が、第２の実施の形態のサーバ２と同様にして、上述の各情報を用いて解像度と部分画像領域と先読みに必要なデータ通信量とを判定する。
【０１３７】
そして、判定装置９０は、解像度と部分画像領域と先読みに必要なデータ通信量との判定結果をサーバ２に通知し、サーバ２は、この解像度と部分画像領域の指定を受け付けて指定された画像データを生成し端末１に配信する。
【０１３８】
また、判定装置は、図１４や図１５の例に示されるように端末１やサーバ２に接続させる形態以外にも、ネットワークを介して端末１とサーバ２の双方と通信する形態も同様に実施することができる。
【０１３９】
【発明の効果】
以上説明したように本発明によれば、以下のような効果が達成される。
【０１４０】
第１に、本発明によれば、端末側でサーバから画像を取得する場合、端末利用者の興味のある表示領域を移動させたときに、表示領域情報の更新までの時間を抑えつつ、人間にとって認識しやすい画像品質を提供しながら表示領域画像情報を更新することができる。
【０１４１】
その理由は、画像の構造を記述したレイアウト情報と、表示領域の倍率及び更新速度といった端末利用者の情報を活用することにより、最高解像度の画像情報を通信するのではなく、利用者に認識されやすい画像データの構築及び通信を行うからである。
【０１４２】
第２に、本発明によれば、端末及びサーバにおける処理の負荷分担を、柔軟に設定することができる。その理由は、本発明の第１及び２実施の形態で示したように、画像の構造を記述したレイアウト情報及び表示領域の倍率及び更新速度といった端末利用者の情報の処理を、第１の実施の形態で示したように端末側で行うことができる一方、第２の実施の形態で示したようにサーバ側で行うことも可能なためである。
【図面の簡単な説明】
【図１】  本発明の第１の実施の形態による画像データ取得システムの構成を示すブロック図である。
【図２】  本発明の第１の実施の形態の表示領域の定義を説明するための図である。
【図３】  本発明の第１の実施の形態による画像データ取得の動作を説明するためのフローチャートである。
【図４】  本発明の第１の実施の形態の移動操作時の先読み差分領域の定義を説明するための図である。
【図５】  本発明の第１の実施の形態の拡大操作時の先読み差分領域の定義を説明するための図である。
【図６】  本発明の第１の実施の形態の縮小操作時の先読み差分領域の定義を説明するための図である。
【図７】  本発明の第２の実施の形態による画像データ取得システムの構成を示すブロック図である。
【図８】  本発明の第２の実施の形態による画像データ取得の動作を説明するためのフローチャートである。
【図９】  本発明の第３の実施の形態による画像データ取得システムの構成を示すブロック図である。
【図１０】  本発明の第３の実施の形態の部分画像の定義を説明するための図である。
【図１１】  本発明の一実施例を説明するための図である。
【図１２】  本発明の一実施例を説明するための図である。
【図１３】  本発明の一実施例を説明するための図である。
【図１４】  本発明の他の実施の形態による画像取得システムの構成を示すブロック図である。
【図１５】  本発明のさらに他の実施の形態による画像取得システムの構成を示すブロック図である。
【符号の説明】
１  端末
２  サーバ
３  ネットワーク
１１  入力装置
１２  データ処理装置
１３  表示装置
１４  データ処理装置
１５  画像データ取得プログラム
１６  データ処理装置
２１  知覚特性記憶部
２２  表示装置情報記憶部
２３  表示領域位置・速度測定部
２４  表示倍率制御部
２５  有効解像度オブジェクト決定部
２６  受信範囲計算部
２７  通信速度測定部
２８  送受信部
２９  画像データ生成部
５１  記憶装置
５２  データ処理装置
５３  データ処理装置
５４  画像データ取得プログラム
５５  データ処理装置
６１  レイアウト情報記憶部
６２  画像データ記憶部
７１  送信データ生成部
７２  送受信部
７３  通信速度測定部
７４  有効解像度オブジェクト決定部
７５  受信範囲計算部
８０，９０  判定装置
２０１  表示対象画像データ
２０２  表示領域
２０３  先読み差分領域
【図１】
0003951654.tif 000002
【図２】
0003951654.tif 000003
【図３】
0003951654.tif 000004
【図４】
0003951654.tif 000005
【図５】
0003951654.tif 000006
【図６】
0003951654.tif 000007
【図７】
0003951654.tif 000008
【図８】
0003951654.tif 000009
【図９】
0003951654.tif 000010
【図１０】
0003951654.tif 000011
【図１１】
0003951654.tif 000012
【図１２】
0003951654.tif 000013
【図１３】
0003951654.tif 000014
【図１４】
0003951654.tif 000015
【図１５】
0003951654.tif 000016