(57)【特許請求の範囲】
【請求項１】
ディスプレイ（１２）およびユーザ入力手段（１４）を備えるハンドヘルド電子デバイス（１０）によって、前記ディスプレイに提示されるデジタル画像のビューを変化させる方法であって、
閲覧するデジタル画像を選択すること（２００）と、
前記デジタル画像の一部分に相当する第１エリアを表わす（２６２）画像データを、前記デジタル画像のピクセル数に関する縮小サイズ版から取り出すことと、
前記取り出した第１エリアを表わす画像データを前記ディスプレイ表示することと、
前記閲覧するデジタル画像を選択することに応じて、前記デジタル画像のフルサイズ版（２６６）を分析することであって、前記分析することは前記デジタル画像のフルサイズ版のデータブロックの位置を示すことを含み、前記分析することが更に、
ａ）閲覧する画像が選択された後で、取り出した第１エリアを表わす画像データが表示されている間に行なわれ、且つ
ｂ）前記デジタル画像のフルサイズ版内にデータブロックを示す少なくとも一つの標識を生成することを含む、
前記分析することと、
表示されるズームイン画像エリアであって、画像全体の一部を表わし且つ第１エリアのズームイン画像を表わすズームイン画像エリアをリクエストするユーザ入力信号を受信すること（２０８）と、
前記ズームイン画像エリアに対応し、所定の閾値を超えるズーム倍率に応じて、前記デジタル画像のズームイン画像エリアを表わす画像データを前記デジタル画像のフルサイズ版から、前記フルサイズ版の分析から生成される前記少なくとも一の標識を利用して、選択エリアの画像データにアクセスすることにより取り出すこと（２３２）と、
前記デジタル画像のフルサイズ版から取り出した、前記ズームイン画像エリアを表わす画像データを前記ディスプレイに表示することと
を含む、方法。
【請求項２】
分析に基づく情報を保存することを更に含む、請求項１記載の方法。
【請求項３】
前記第１エリアが縮小サイズ画像全体の一部を表わす、請求項１又は２に記載の方法。
【請求項４】
前記デジタル画像の縮小サイズ版がディスプレイビューのサイズのｋ倍（ｋ≧１）のサイズである、請求項１ないし３のいずれか一項に記載の方法。
【請求項５】
データブロックの標識が最小符号化ユニット（ＭＣＵ）の第１データユニットを示す、請求項１記載の方法。
【請求項６】
前記画像データの分析に基づく情報が、各カラーコンポーネントの第１データブロックの絶対ＤＣ係数をＭＣＵに含む、請求項５記載の方法。
【請求項７】
各ＭＣＵスキャンラインに少なくとも一のデータブロックの標識が存在する、請求項５又は６に記載の方法。
【請求項８】
一のデータブロックがＪＰＥＧ符号化画像内の一のデータユニットである、請求項１ないし７のいずれか一項に記載の方法。
【請求項９】
表示される第１エリアとズームイン画像エリアの表示の間のアニメートされた移行部分を生成して表示することを更に含む、請求項１ないし８のいずれか一項に記載の方法。
【請求項１０】
前記デジタル画像のフルサイズ版及び前記デジタル画像の縮小サイズ版の両方を同じデバイスに保存する、請求項１ないし８のいずれか一項に記載の方法。
【請求項１１】
前記デジタル画像のフルサイズ版及び前記デジタル画像の縮小サイズ版の両方を、前記ディスプレイを含むデバイスに保存する、請求項１０記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイに送信されるデジタル画像のビューを変化させる方法、及びデジタル画像をハンドヘルドデバイスに保存するためのデータ構造に関する。
【背景技術】
【０００２】
写真、静止画像、グラフィックスなどの今日の画像は、ディスプレイを有するあらゆる電子デバイスで普通に閲覧される。しかしながら、ディスプレイで画像を閲覧できるだけでは十分ではない。画像をディスプレイに表示する電子デバイスのユーザは、ほとんどの場合、画像のビューを変化させることができることに関心を持つ。ユーザが要求する幾つかの共通の操作は、画像をズームインして画像の細部を閲覧すること、ズーム画像をパンして特徴を追跡するか、又は単に細部の概略図を入手し、画像を回転させてディスプレイでの閲覧を容易にすることなどである。更に、このような電子デバイスのユーザが処理する画像の解像度は高くなっており、即ち一の画像を定義するピクセルの数が増加している。
前記電子デバイスは、例えば携帯電話機、携帯情報端末、パームトップ、又は画像処理の点で処理能力が低い他のデバイスとすることができる。例えば、画像を閲覧するためのディスプレイを有する多数の前記電子デバイスは、連続して提示されるビューの間で頻繁に発生する悩ましい遅延を伴うことなく、ズーム、パンなどの操作を行なうために十分な処理能力を持っていない。この結果、画像の連続的なズームイン又はズームアウトは、長い画像間遅延を伴って提示される複数の画像と感じられる。従って、連続的にズームしているという実感が得られず、ユーザにイライラ感を生じさせる。この結果、ユーザによる処理間違い、又は入力間違いが発生する恐れもある。
【発明の概要】
【０００３】
本発明の目的は、画像の操作性を向上させ、画像を連続操作するユーザの体感を向上させることである。
この目的は、請求項１に従って、ディスプレイに送信されるデジタル画像のビューを変化させる方法と、請求項１０に従って、ハンドヘルドデバイスにデジタル画像を保存するためのデータ構造とにより達成される。本発明の更に別の実施形態は、従属請求項に開示される。
【０００４】
具体的には、本発明の第１の態様によれば、ディスプレイに送信されるデジタル画像のビューを変化させる方法が提供され、本方法は、
デジタル画像の第１エリアを表わす画像データを、ピクセル数に関する縮小サイズのデジタル画像から取り出すステップと、
取り出した第１エリアを表わす画像データをディスプレイに送信するステップと、
ディスプレイに送信される第２エリアをリクエストするユーザ入力信号を受信するステップと、
デジタル画像の第２エリアを表わす画像データを、縮小サイズのデジタル画像から取り出すステップと、
取り出した第２エリアを表わす画像データをディスプレイに送信するステップとを含む。
ディスプレイに表示される画像ビューを縮小サイズのデジタル画像内で操作することにより、操作に要する処理時間が短くなるので、当該操作を短時間で行なうことができる。この一の理由は、この実施形態では、フルサイズ画像全体を復号化して新規ビューを表示する必要がないことである。
【０００５】
別の実施形態では、本方法は更に、ディスプレイに送信される第３エリアをリクエストするユーザ入力信号を受信するステップと、選択した第３エリアが、縮小サイズ画像においてディスプレイビューのサイズよりも少ない数のピクセルを含むデジタル画像の一のエリアを表わす場合、デジタル画像のフルサイズ版からデジタル画像の第３エリアを表わす画像データを取り出すステップとを含む。
更に別の実施形態では、本方法は、デジタル画像の閲覧が選択された後且つディスプレイに送信される画像データがデジタル画像のフルサイズ版から取り出される前の一の時点で、デジタル画像のフルサイズ版の画像データの分析を開始する操作を含む。
【０００６】
別の実施形態では、本方法は、分析に基づく情報を保存するステップを含む。
別の実施形態では、本方法は、ディスプレイに送信される画像データを、デジタル画像のフルサイズ版から取り出すことを決定する場合、デジタル画像のフルサイズ版の画像データの分析に基づく情報を利用するステップを含む。
【０００７】
縮小サイズ画像の解像度が許容できる品質を提供するのに不十分である一の時点で、画像を操作する間に分析情報を利用することにより、画像データをフル解像度画像から取り出す必要がある場合でも画像の操作速度を十分速くすることができる。
【０００８】
本発明の別の態様によれば、ディスプレイに送信されるデジタル画像のビューを変化させる方法が提供され、本方法は、
デジタル画像の第１エリアを表わす画像データを、ピクセル数に関する縮小サイズのデジタル画像から取り出すステップと、
取り出した第１エリアを表わす画像データをディスプレイに送信するステップと、
ディスプレイに送信される第２エリアを表わすユーザ入力信号を受信するステップと、
フルサイズ画像の分析に基づく情報を利用することにより、デジタル画像のフルサイズ版からデジタル画像の第２エリアを表わす画像データを取り出すステップと、
取り出した第２エリアを表わす画像データをディスプレイに送信するステップとを含む。
一実施形態では、本方法は更に、デジタル画像のフルサイズ版の画像データを、閲覧されるデジタル画像が選択される前の一の時点で分析するステップを含む。
【０００９】
本方法の別の実施形態では、前記第１エリアは縮小サイズ画像全体の一部を表わす。
本方法の更に別の実施形態では、前記第２エリアは前記第１エリア内の拡大されたオブジェクトを表わす。
【００１０】
本方法の別の実施形態では、前記第２エリアは、デジタル画像内の、第１エリアとは異なる位置のエリアを表わす。
本方法の別の実施形態では、前記デジタル画像の縮小サイズ版は、ディスプレイビューのｋ倍（ｋ≧１）のサイズである。
【００１１】
本方法の別の実施形態では、前記デジタル画像のフルサイズ版は圧縮画像として保存され、前記デジタル画像のフルサイズ版の画像データの分析では、デジタル画像のフルサイズ版内の一のデータブロックを示す少なくとも一の標識を生成し、ディスプレイに送信される画像データを、デジタル画像のフルサイズ版から取り出すことが決定されたとき、前記生成した少なくとも一の標識を利用して選択したエリアの画像データにアクセスする。
本方法の別の実施形態では、データブロックの標識は、最小符号化ユニット（ＭＣＵ）の第１データユニットを示す。
【００１２】
本方法の別の実施形態では、前記画像データの分析に基づく情報は、各カラーコンポーネントの第１データブロックの絶対ＤＣ係数をＭＣＵ内に含む。
本方法の別の実施形態では、各ＭＣＵスキャンラインに少なくとも一のデータブロックの標識が存在する。
【００１３】
本方法の別の実施形態では、データブロックは、ＪＰＥＧ符号化画像内のデータユニットである。
本方法の別の実施形態では、本方法は、ハンドヘルドデバイスから離れて配置されるサーバにおいて行なわれ、取り出した表示されるエリアを表わす画像データはネットワークを介してディスプレイに送信される。
【００１４】
別の実施形態では、本方法は更に、表示される第１エリアと第２エリアの表示の間のアニメートされた移行部分を生成して表示するステップを含む。
【００１５】
本発明の更に別の態様によれば、電子デバイスにデジタル画像を保存するためのデータ構造が提供され、本データ構造は、
電子デバイスに保存される前記デジタル画像のフルサイズ画像を表わす画像データと、
電子デバイスに保存され、且つピクセルベースで、電子デバイスのディスプレイビューのサイズのｋ倍（ｋ≧１）のサイズを有する前記デジタル画像の縮小サイズ画像を表わす画像データと、
縮小サイズ画像に結び付けられるフルサイズ画像と
を含む。
データ構造の一実施形態では、縮小サイズ画像を表わす画像データは、デジタル画像に関する情報専用のデータエリアに格納される。
【００１６】
データ構造の別の実施形態では、デジタル画像に関する情報専用のデータエリアは、デジタル画像を含む画像ファイルのヘッダ部分である。
データ構造の更に別の実施形態では、縮小画像を表わす画像データは、フルサイズ画像の画像データを参照するデータベースエントリのデータエリアに配置される。
【００１７】
データ構造の別の実施形態では、縮小サイズ画像を表わす画像データは、フルサイズ画像を表わす圧縮画像データに有効な非差分ＤＣ係数を含む。
データ構造の別の実施形態では、フルサイズ画像を表わす前記画像データは、連続画像ブロックを表わすシーケンスとして表示される圧縮フォーマットで保存され、各ブロックは一つ以上のデータユニットを含み、各データユニットは基底関数の係数の可変長符号化シーケンスとして表わされる。
【００１８】
データ構造の別の実施形態では、データエリアは更に、シーケンス内の画像ブロックの位置を示す標識を含む。
データ構造の別の実施形態では、データエリアは更に、シーケンス内の少なくとも６４番目ごとの画像ブロックの位置を示す標識を含む。
【００１９】
データ構造の別の実施形態では、前記データエリアは更に、シーケンスの各画像ブロックの少なくとも一のＤＣ係数を示す標識を含む。
【００２０】
本発明の更に別の態様によれば、操作するデジタル画像を作成する方法が提供され、本方法は、
圧縮されたフルサイズ画像の分析を高速化する情報を取り出すステップと、
圧縮されたフルサイズ画像の分析を高速化する情報と、フルサイズ画像の圧縮された画像データとを利用して、フルサイズ画像を分析するステップと、
分析に基づく特徴を保存して、フルサイズ画像の高速操作を容易にするステップとを含む。
本方法の一実施形態では、前記圧縮されたフルサイズ画像は、連続画像ブロックを表わすシーケンスとして表示される圧縮フォーマットで保存され、各ブロックは一つ以上のデータユニットを含み、各データユニットは基底関数の係数の可変長符号化列として表わされ、前記圧縮されたフルサイズ画像の分析を高速化する情報は画像ブロックの標識を含む。
【００２１】
本方法の別の実施形態では、圧縮されたフルサイズ画像の少なくとも６４番目ごとの画像ブロックの標識は、圧縮されたフルサイズ画像の分析を高速化する情報に含まれる。
本方法の更に別の実施形態では、前記圧縮されたフルサイズ画像の分析を高速化する情報は、更にＤＣ係数を含む。
【００２２】
本発明の適用の更なる範囲は、後述の詳細な説明から明らかにする。しかしながら、この詳細な説明から本発明の思想及び範囲内には種々の変更及び変形が含まれることが当業者には明らかであるので、本発明の好適な実施形態を示しながら提示される詳細な説明及び特定の実施例は、説明のみを目的としていることを理解されたい。
【図面の簡単な説明】
【００２３】
次に、添付図面を参照し、例示を目的として本発明について更に詳細に説明する。
【図１】携帯電話機の外側ケースの模式図である。
【図２】携帯電話機の機能ブロックの模式図である。
【図３】画像ファイルを生成する方法のフローチャートである。
【図４】一実施形態による画像ファイルの構造を示している。
【図５ａ】本発明の一実施形態による画像ビューの操作方法のフローチャートである。
【図５ｂ】本発明の一実施形態による画像ビューの操作方法のフローチャートである。
【図５ｃ】本発明の一実施形態による画像ビューの操作方法のフローチャートである。
【図６ａ】縮小サイズ画像、フルサイズ画像、及びディスプレイビューの関係の模式図である。
【図６ｂ】縮小サイズ画像、フルサイズ画像、及びディスプレイビューの関係の模式図である。
【図６ｃ】縮小サイズ画像、フルサイズ画像、及びディスプレイビューの関係の模式図である。
【図６ｄ】縮小サイズ画像、フルサイズ画像、及びディスプレイビューの関係の模式図である。
【図６ｅ】縮小サイズ画像、フルサイズ画像、及びディスプレイビューの関係の模式図である。
【図６ｆ】縮小サイズ画像、フルサイズ画像、及びディスプレイビューの関係の模式図である。
【発明を実施するための形態】
【００２４】
後述では、本発明は、携帯電話機に使用されるものとして説明する。しかしながら、本発明は、携帯情報端末（ＰＤＡ）、パームトップなどの他のハンドヘルド電子デバイスによって表示されるか、又は画像のビューを操作する動作を行なうサーバであって、負荷の点で限られた処理リソースしか持たないサーバに接続されるパーソナルコンピュータ、端末などに表示される、画像の表示及び操作に使用することができる。画像のビューの操作には、画像のズームイン及びズームアウト、画像のパン、及び回転が含まれる。
図１には、本発明の一実施形態により、本発明を実施する携帯電話機１０が示されており、この形態電話機は、ディスプレイビュー１２を表示するディスプレイと、ユーザ入力手段１４とを含むことができる。
【００２５】
ディスプレイビュー１２は、ｘ方向にｒｘの解像度を、ｙ方向にｒｙの解像度を持つように構成されており、即ちディスプレイは、マトリクス状の画像ピクセルを表示し、各行がｒｘピクセルの長さを有し、各列がｒｙピクセルの長さを有する。後述の説明において、画像又は画像データをディスプレイ又はディスプレイビューに表示するという表現が使用される場合、ディスプレイ又はディスプレイビューは、画像又は画像データを表示するように構成されたディスプレイのエリアを意味する。
ユーザ入力手段１４は、電話機を制御するために使用される任意の公知の手段とすることができる。例えば、当該手段は、電話機のキー、タッチスクリーン、即ちディスプレイ、タッチパッド、外部マウス又はジョイスティックなどを介した入力とすることができる。本発明に関し、画像のビューの操作を制御するために入力手段が使用される。
更に、携帯電話機は、光を捕捉して静止画像又は動画像を生成するレンズのような光入力部１６を含むことができる。
【００２６】
次に、図２に示すように、一実施形態によれば、携帯電話機は、例えばマイクロプロセッサ、ＣＰＵなどのプロセッサ１８と、メモリ２０と、ディスプレイドライバ２２と、通信手段２４と、カメラ回路２６とを含む。プロセッサ１８は、本発明の少なくとも一部分を実行するソフトウェアを実行し、当然ながら、ソフトウェアで実行される方法は、他の手段、例えば電子回路によって実行することができる。
メモリ２０は揮発性メモリ、例えばランダムアクセスメモリ（ＲＡＭ）、不揮発性メモリ、例えばリードオンリーメモリ（ＲＯＭ）、フラッシュメモリなどとすることができるか、又はメモリ２０は一の揮発性メモリと一の不揮発性メモリとすることができる。本発明によれば、メモリ２０は、本発明の少なくとも一部分を実行するソフトウェアを格納し、処理される画像データを格納するように構成される。
【００２７】
ディスプレイドライバ２２は、プロセッサからの表示命令に応じてディスプレイ１２のピクセルを制御する。ディスプレイドライバ２２は、特定ディスプレイ１２と互換性のあるあらゆるディスプレイドライバとすることができる。
通信手段２４は通信を可能にする。通信手段は、一部をソフトウェアとして、一部をハードウェアとして形成することができる。
【００２８】
カメラ回路２６は、イメージセンサと、イメージセンサに基づいて画像を生成するために必要なハードウェア及びソフトウェアとを含む。
携帯電話機は更に、それを動作させる手段及びデバイスを含む。しかしながら、本発明の理解を容易にするために、本発明の理解に役立つことがない手段又はデバイスについては説明しない。
【００２９】
携帯電話機１０で閲覧される画像は、携帯電話機１０のメモリ２０に画像ファイルとして保存することができる。画像ファイルによって表示される画像は、光入力部１６及びカメラ回路２６を介して取得することができる。画像は画像ファイルにフルサイズ画像として保存され、フルサイズ画像は、携帯電話機１０のディスプレイ１２が表示できるピクセルよりもずっと多くのピクセルを表わす。図３には、画像ファイルを生成する方法の一実施例を模式的に示す。
まず、ステップ１００でフルサイズ画像を取得する。ステップ１０２では、フルサイズ画像から、幅ｗピクセル及び高さｈピクセルの縮小サイズ画像を作成する。縮小画像の幅ｗ及び高さｈの各々は、それぞれディスプレイ１２の対応する幅ｒｘ及び高さｒｙのｋ倍である。倍率ｋは、本発明の一実施形態によれば、１〜２とすることができる。一実施形態によれば、倍率ｋは、縮小サイズ画像の高さ及び幅のそれぞれが、フルサイズ画像の２のｎ乗分の１となるように選択され、この場合、ｎは、縮小サイズ画像の幅及び高さのそれぞれが、ディスプレイのビューエリアの幅及び高さのそれぞれと同じ大きさか又は幅及び高さのそれぞれよりも大きくなるような、任意の整数とすることができる。
【００３０】
フルサイズ画像に、普通行なわれる符号化及び／又は圧縮が未だ行われていない場合、ステップ１０４で当該フルサイズ画像を符号化及び／又は圧縮し、所定のフォーマット、例えばｊｐｅｇ、ｔｉｆｆ、ｇｉｆ、ｂｉｔ  ｍａｐフォーマット、専用フォーマットなどにする。縮小サイズ画像もステップ１０６で符号化及び／又は圧縮し、所定のフォーマット、例えばｊｐｅｇ、ｔｉｆｆ、ｇｉｆ、ｂｉｔ  ｍａｐフォーマット、専用フォーマットなどにする。次に、フルサイズ画像を画像ファイルとしてステップ１０８で保存し、縮小サイズ画像を当該画像ファイルに関連するファイル情報としてステップ１１０で保存する。縮小サイズ画像は、画像ファイルのヘッダ又はデータベースに保存することができる。縮小サイズ画像がデータベースに保存される場合、縮小サイズ画像を画像ファイルに関連付ける情報をデータベースに保存することができるか、画像ファイルを縮小サイズ画像にデータベースにおいて関連付ける情報を画像ファイルのヘッダに格納することができるか、又は画像ファイルと縮小サイズ画像を互いに対して関連付ける情報をデータベース及び画像ファイルのヘッダの両方に格納することができる。更に別の方法では、フルサイズ画像のファイルを認識することにより、縮小サイズ画像をデータベースにおいてフルサイズ画像に関連付ける。この方法は、例えば、フルサイズ画像のファイル名に基づいて計算されるハッシュコードを使用することにより、及び／又は撮影日を使用することにより行なうことができる。次に、縮小サイズ画像は、ハッシュコードとともにそのファイル名の一部としてファイルシステムに保存することができる。
【００３１】
本発明の一実施形態による画像ファイル１２０の構造を図４に示す。フルサイズ画像は、符号化又は圧縮された画像データ１２２として保存される。更に、画像ファイル１２０はヘッダ１２４を含む。ヘッダ１２４は、画像及び／又はファイル情報をセクション１２６に含む。画像情報及びファイル情報は、画像の作成の日時、画像を撮影したときのカメラの設定、カメラモデル及びタイプ、ファイルを最後に変更したときの日時、画像ファイルのサイズなどに関する情報とすることができる。更に、ヘッダは、フルサイズ画像の閲覧、ズーム、及びパンの高速化を可能にする画像情報を含むことができるか、又はフルサイズ画像の分析を高速化する画像情報を含むことができる。ヘッダ１２４のセクション１２８には、縮小サイズ画像を画像データとして格納することができる。縮小サイズ画像は符号化又は圧縮することができる。
更に、縮小サイズ画像はいずれかの既知の手法で生成することができる。例えば、縮小サイズ画像を非圧縮画像又は解凍画像から生成しようとする場合、最近傍リサンプリング、バイリニアリサンプリング、又はバイキュービックリサンプリングを使用してもよい。しかしながら、ＪＰＥＧを使用して画像を圧縮すると、縮小サイズ画像は、ＤＣ係数及び／又は制限された数のＡＣ係数のみを復号化することにより生成することができ、この場合、所望の解像度／スケールに復号化する処理は、所望の解像度／スケールに必要な周波数のみを利用して行なわれる。
【００３２】
ディスプレイのサイズのｋ倍のサイズを有する縮小画像を前述のように保存することにより、ズーム及びパンのような画像の初期操作を、プロセッサが画像を復号化又は解凍するのを待つ必要なく行なうことができる。従って、ユーザによる操作命令への応答がほぼ即座に行なわれ、待たされているという実感を伴うことがほとんどない。
フルサイズ画像の操作とも呼ばれる閲覧、ズーム、パン、及び回転の高速化を可能にする画像情報は、ＪＰＥＧ又は同様の圧縮方式により画像が圧縮されている場合、一又は複数の個別最小符号化ユニット（ＭＣＵ）へ直接アクセスするための標識を、ＭＣＵのカラーコンポーネント又はチャネルの各第１データユニットの絶対ＤＣ係数とともに含むことができる。別の実施形態によれば、フルサイズ画像の操作の高速化を可能にする画像情報は、ＭＣＵの他のデータユニットの各データユニットの標識も含むことができる。
標識は、特に指定されない場合は、データストリーム内のビット又はビットストリーム内のマーカを示す絶対アドレス又は相対アドレスを意味する。
【００３３】
本発明の一実施形態による操作の実行方法を図５ａ〜ｃにおいて説明する。ユーザはまず、携帯電話機の入力手段を操作することにより、ディスプレイに表示される画像を選択する。次に、ステップ２００で、指定画像を表示するという命令を携帯電話機で受信する。ステップ２０２ではこの命令に応じて携帯電話機が指定画像に関連する縮小サイズ画像を取り出し、ステップ２０４で携帯電話機のディスプレイに合わせて当該画像のスケールを縮小し、その後ステップ２０６において、選択された画像を携帯電話機のディスプレイ上に表示する。
この時点で、選択された画像はディスプレイで見ることができ、ユーザは画像の特定細部を閲覧することに関心を示す。従って、ユーザは、画像をズームインしたいという希望を示す。ステップ２０８では携帯電話機がズームイン命令を受信し、ステップ２１０で、プロセッサはズーム命令に従って縮小サイズ画像を切り取り、スケーリングして、ディスプレイビューに合わせる。縮小サイズ画像を使用してズームインすることができ、このズームインは、実施形態によって、ディスプレイサイズよりも大きい縮小サイズ画像を使用することにより、又は１対１のスケール限界を超える縮小サイズ画像の拡大を可能にすることにより行なわれ、例えば幾つかのアプリケーションにおいては、最大２５％〜３０％の拡大が許容される。従って、ズーム操作は、考慮すべきピクセルの数が非常に少なく、且つ縮小サイズ画像を解凍する必要がないので高速になる。次に、ステップ２１２で、ステップ２１０のスケーリング操作から得られる画像をディスプレイに表示する。この時点で、画像は１回だけズームされているので、画像のパンを行なうこともできる。この時点で、ユーザは更に、ズームイン、ズームアウト、又はパンすることができる。ユーザが更にズームインすると仮定する。ステップ２１４で携帯電話機は命令を受信し、ステップ２１６で命令をズームイン命令と認識する。次に、結果として得られるズーム倍率ｚをステップ２１８でチェックする。ズーム倍率ｚがｐよりも大きい値である場合、期待されるビューは、縮小サイズ画像を使用して許容できる品質又は必要な品質を実現することが不可能な倍率を必要とするので、プロセスはステップ２１９に進み、代わりにフルサイズ画像の使用を開始する。ズーム倍率ｚがｐ以下の値である場合、縮小サイズ画像をそのまま使用し、プロセスはステップ２２０に進む。ズーム倍率ｚは、ユーザが要求する画像を表示するのに必要な、縮小サイズ画像のスケーリングの度合いを示す値とすることができる。例えば、縮小サイズ画像のサイズ、即ちｗピクセル又はｈピクセルが、ディスプレイビューのサイズの２倍、即ちｒｘピクセル又はｒｙピクセルである場合、ズーム倍率ｚは最初、画像全体を表示するときは１／２である。従って、このような実施形態では、ズーム倍率は、ユーザが要求する大きさにズームして画像を表示するために縮小サイズ画像に適用されるスケーリング倍率に対応する。即ち、縮小サイズ画像がディスプレイのサイズの２倍であり、ズームが要求されない実施例では、ｗ／２＝ｒｘ且つｈ／２＝ｒｙ、即ちｗ・ｚ＝ｒｘ、ｈ・ｚ＝ｒｙ、且つｚ＝１／２が成り立つ。更に、要求されるズームが、縮小サイズ画像の１ピクセルがディスプレイの１ピクセルに対応するような値である場合、ｚ＝１が成り立つ。縮小サイズ画像の使用の限界を規定するｐの値は１とすることができ、即ちｐ＝１とすることができる。しかしながら、幾つかのアプリケーションでは、縮小サイズ画像を、顕著な影響を伴なうことなく、ズーム倍率ｚ＝１を超えて拡大することが可能であり、このような場合、ｐは値１．２５に設定することができ、即ちディスプレイに表示される画像を、縮小サイズ画像の２５％拡大画像とすることができる。縮小サイズ画像の拡大は、高さ及び幅のそれぞれについて、スケーリング前のサイズの約１．５倍の大きさを上限として許容することができる。
【００３４】
次に、図５ｂに戻って、ズーム倍率ｚをｐ以下であると仮定すると、ステップ２２０で、ズーム命令に従って縮小サイズ画像をもう一度切り取ってスケーリングし、次に結果として得られた画像をステップ２２２でディスプレイに表示する。プロセスは次にステップ２１４に戻り、新規命令を受信する状態になる。ズーム倍率ｚがｐよりも大きい場合、プロセスはフルサイズ画像に切り替わる。これについては、図５ｃを参照しながら以下に説明する。
ステップ２２４では、受信した命令が画像ビューのパン操作に関する場合、当該命令に関連して画像内に画像ビューの新規位置、即ち画像全体のうち表示される部分に対応するビューエリアが提供され、ステップ２２６でビューエリアを表わす画像データが縮小サイズ画像から取り出される。次に、ステップ２２８で、本ズーム選択に従って画像を切り取ってスケーリングし、ステップ２３０でディスプレイに表示する。プロセスは次にステップ２１４に戻り、新規命令を受信する状態になる。
【００３５】
図５ｃには、縮小サイズ画像に基づいて表示される画像ビューの生成からフルサイズ画像に基づいて表示される画像ビューの生成への切り替え限界を超えて画像がズームインされている場合の画像ビューの操作方法が示される。つまり、ステップ２１８において、画像へのズームインが、図５ｂで与えられる限界を超えている場合、ステップ２３２でズーム命令に従ってフルサイズ画像を取り出し、切り取ってスケーリングする。次に、スケーリングされたフルサイズ画像をステップ２３４でディスプレイに表示する。プロセスは次に、ステップ２３６で更に別の画像閲覧操作命令を受信する状態になる。ステップ２３８において、次に受信される命令がズームイン命令である場合、ステップ２４０でズーム命令に従ってフルサイズ画像を切り取ってスケーリングし、フルサイズ画像をステップ２４２で表示する。携帯電話機は次に、ステップ２３６で次の命令を受信する状態になる。
ステップ２３５で受信した命令が、ステップ２４４においてパン命令であるとされる場合、画像ビューの新規位置、即ち画像全体のうちの表示される部分に対応するビューエリアが、当該命令に関連して画像内に提供され、ステップ２４６でビューエリアを表わす画像データがフルサイズ画像から取り出される。次に、ステップ２４８で、本ズーム選択に従って画像を切り取ってスケーリングし、ステップ２５０でディスプレイに表示する。プロセスは次にステップ２３６に戻り、新規命令を受信する状態になる。
【００３６】
図６ａ〜ｆは、ディスプレイ上における縮小サイズ画像、フルサイズ画像、及び画像ビューの関係の概要を模式的に示す。この概要は、図５ａ〜ｃで説明した本発明の一実施形態による操作を実行する方法にも関連している。図６ａは、ディスプレイに表示される画像ビュー２６０と縮小サイズ画像２６２との関係を示す。画像ビュー２６０は、幅ｒｘピクセル、及び高さｒｙピクセルであり、縮小サイズ画像２６２は、幅ｗピクセル、及び高さｈピクセルである。前述のように、縮小サイズ画像２６２の幅ｗは、画像ビューの幅ｒｘに倍率ｋを乗じた値であり、縮小サイズ画像２６２の高さｈは、画像ビューの高さｒｙに倍率ｋを乗じた値である。従って、画像全体を表示する初期画像ビュー２６０は、縮小サイズ画像２６２をスケールダウンし、ディスプレイ、即ち画像ビューのサイズに合わせることにより生成される。
図６ｂは、画像をズームインし、画像ビュー２６０に表示される画像データをそのまま縮小サイズ画像２６２から取り出す状況を描いている。図６ｂに示すように、一又は複数のズームイン命令に従ってズームインすると、縮小サイズ画像２６２全体よりも少ないピクセルを含むエリア２６４が得られる。従って、画像ビュー２６０の生成は、エリア２６４内の画像をスケールダウンしてディスプレイに合わせる。
【００３７】
図６ｃは、ズーム画像をパンする、即ちディスプレイに表示するためのエリア２６４を画像のエリア内で移動させる状況を描いている。
図６ｄは、ズームインによって、画像エリア２６４が、高さ及び幅のピクセル数においてディスプレイと同じサイズとなった状況を示す。この状況では、表示されるエリアのスケーリングは行なわれない。
【００３８】
図６ｅは、ズームインによって縮小画像内の画像エリアが画像ビューよりも小さくなったので、縮小サイズ画像の画像エリア２６４のスケールを画像ビュー２６０のサイズにスケールアップしなければならない状況を示す。これにより、画像ビューでの表示にディスプレイの解像度の全てを活かすことができない。しかしながら、これは、実感される品質の低下が小さい状況においては許容される。
図６ｆは、ズーム操作により縮小サイズ画像が許容される品質を提供することができないレベルに達したことにより、表示される画像情報が縮小サイズ画像からではなくフルサイズ画像２６６から取り出される状況を示す。フルサイズ画像２６６に切り替えた結果、ここで画像エリアを再度スケールダウンすることによりディスプレイに合わせる必要がある。
【００３９】
縮小サイズ画像を利用することにより、特定画像に関連する画像ビューの操作が高速化され、ユーザが操作を指示した時点から当該操作が行なわれるまでの応答時間は、圧縮されたフルサイズ画像を使用する必要がある場合と比べて短くなる。この一の理由は、今日のシステムでは、圧縮されたフルサイズ画像を使用する場合、画像ビューの操作を行なおうとするたびに画像を表わす画像データ集合全体を復号化する必要があるからである。これには非常に長い時間を要する。画像データが解凍され、操作の全てが解凍画像データに対して行なわれた後は、時間がこれほど大きな問題となることはないが、解凍画像は大きなメモリエリア、即ち圧縮画像が占有するメモリエリアの約６〜２０倍のメモリエリアを占有することになる。更に、フルサイズ画像の初期復号化には、幾つかの選択エリアの分析及び復号化の合計時間よりもずっと長い時間が必要となる。
しかしながら、上のプロセスにおいて説明されているように、縮小サイズ画像の画像データを使用して所望の品質の画像ビューを生成することができないほど、表示される画像ビューをズームインする場合、縮小サイズ画像の画像データを処理して表示するのは満足の行くものではない。この時点で、代わりにフルサイズ画像の画像データの処理を開始することが提案される。従って、圧縮画像の処理が遅くなるという問題が、画像を細部まで大きくズームインする場合に生じる。
【００４０】
遅延の問題、即ち圧縮されたフルサイズ画像の処理に非常に長い時間を要するという問題と、記憶容量の問題、即ち未圧縮画像が大きな画像エリアを占有するという問題とを解決するために、フルサイズ画像を分析し、画像の高速操作を容易にする特徴を画像ファイルに記録し、図４に示すように、本操作に対応してメモリに一時的に保存するか、又は画像ファイルを参照できるエントリとしてデータベースに保存することができる。画像に関連するこのような特徴を分析、抽出、及び保存する一連の方法は、本出願人による国際公開第２００５／０５０５６７号に記載されている。
画像の高速操作を容易にする前記特徴を抽出するために、前記特徴は、画像の圧縮中又は圧縮画像の圧縮後分析中に抽出することができる。ＪＰＥＧ圧縮又は類似の圧縮方法を使用してフルサイズ画像を圧縮する場合、取り出されて保存された画像の高速操作を容易にする特徴は、各々が画像の小さな画像ブロック群である複数のＭＣＵを示す標識、各々がＭＣＵの一のチャネル又はカラーコンポーネントを表わす一又は複数のデータユニットの標識、取り出されたＭＣＵ及び／又は取り出されたデータユニットの、一又は複数のカラーコンポーネントの、一又は複数の絶対又は相対ＤＣ係数、或いは、データユニット間又はデータユニットの特定の係数間の多数のビットのうちの、いずれか一つ又はこれらのいずれかの組み合わせとすることができる。このような特徴を利用して画像の高速操作を実現する方法は、上掲の出願、即ち本出願人による国際公開第２００５／０５０５６７号に記載されている。
【００４１】
一実施形態では、前述のように、フルサイズ画像の分析を高速化する情報を、例えばファイルに情報を格納することにより、又は特定の画像に関連する前記情報を格納する位置を参照することにより、画像に結び付けることができる。
分析を高速化する情報の一例は、ＪＰＥＧ圧縮又は類似の圧縮方法を使用して圧縮された画像のデータユニットである。圧縮されたフルサイズ画像の少なくとも一部のデータユニットを示す標識を格納することにより、圧縮されたフルサイズ画像の分析中にデータユニットの可変長符号化部分を復号化する必要がなくなる。可変長符号化部分は、例えばハフマン符号、算術符号などのいずれかの可変長符号に従って符号化及び復号化することができる。従って、分析プロセスが高速化される。特定の一実施形態では、圧縮されたフルサイズ画像の各データユニットの標識を格納する。これにより、可変長符号化部分を復号化してデータユニットの位置を特定する必要がない。
【００４２】
データユニット群の位置が判明することにより、ＤＣ係数が一のデータユニットの最初の係数であるので差分ＤＣ係数を迅速に復号化することができ、これにより絶対ＤＣ値のテーブル又はリストの作成が可能になる。これにより、画像内のデータユニットのいずれにもランダムにアクセスすることができ、画像の復号化中に非常に長い時間を要する可変長符号をスキップし、詳細度を低下させて画像を表示することができる。
分析を高速化する情報の別の例は、上述のようにデータユニットの標識を格納すること、及びＤＣ係数の少なくとも一部、好ましくは格納された標識によって示されるデータユニットに関連するＤＣ係数を格納することの組み合わせである。これらの特徴を格納することにより、分析を高速化する情報から分析特徴を直接生成することが可能になる。フルサイズ画像のデータユニット及びＤＣ係数の全てを、分析を高速化する情報として格納する実施形態では、復号化を全く行なうことなく、又は最小限の作業でテーブルを作成することができる。
【００４３】
更に別の例では、フルサイズ画像のＤＣ係数を、縮小サイズ画像の画像データ又は画像データの一部として格納する。従って、ＤＣ係数は、必要に応じて縮小サイズ画像を表わすデータから取り出される。
データユニットの標識は絶対標識とすることができ、即ちファイル内の絶対位置が与えられるか、又は相対標識とすることができ、即ち画像ファイル内のデータユニットの位置が、前のデータユニット又は他の何らかの位置標識に対して与えられる。絶対標識は、各データユニットに個別に且つ直接的にアクセスできるという点で有利である。相対標識は、各標識を記述するメモリ容量が小さくて済むという点で有利である。
【００４４】
上述のように、前記フルサイズ画像の高速操作を容易にする特徴は、当該画像の閲覧が選択された後から始まる期間中に抽出して、閲覧が選択された画像ファイル、即ち図５ａのステップ２００において指定される画像に結び付けることができ、次に、前記縮小サイズ画像を使用して、画像を操作するプロセスの間に圧縮画像を分析することができる。前記特徴を取り出すために、圧縮されたフルサイズ画像を図５ａのステップ２５２において解凍及び／又は分析することは、閲覧する画像が選択された直後又は画像に関連する最初のズーム命令が受信された直後に開始することができる。最初のズーム命令を待つことは、ユーザが画像の操作に関心を示すまで大きなサイズの画像の処理が開始されることがないので、画像をブラウジングしている間に閲覧される画像に処理容量を使うリスクが小さくなるという点で有利である。操作と並行して分析を行なうことにより、フルサイズ画像を操作に使用しなければならなくなる前に分析が終了する場合には、縮小サイズ画像の操作からフルサイズ画像の操作へ遅延なく移行させることができ、次に、分析結果から取り出される特徴を利用して、画像の高速操作を継続することができる。更に、一実施形態によれば、分析実行時又は分析実行の合間に、操作のアニメーションを表示することができる。例えば、アニメートされたズームイン効果をズームイン操作に関連付けて表示することができ、アニメートされた回転効果を回転操作に関連付けて表示することができ、アニメートされたスライディング効果をパン操作に関連付けて表示することができる。これにより、ユーザが遅延を実感するリスクが最小になる。
別の実施形態では、一又は複数のＭＣＵの標識、及びＭＣＵのカラーコンポーネントの各々に関連する少なくとも一の絶対ＤＣ係数を、フルサイズ画像の分析を高速化する画像情報に取り込むことができる。これらの特徴を取り込むことにより、ズームインされた画像エリアに対してのみ初期分析を行なうことができる。従って、画像の一部のみを分析するだけで済むので、分析が高速に行なわれる。２００％ズームでは、これにより、フル画像を分析する必要がある場合の約４倍の速度で分析が行なわれる。画像ビューをパンする場合、新規ビューの画像データの一部だけが分析されず、従って新規ビューの画像データの残りを極めて迅速に分析することができる。
【００４５】
本発明の別の実施形態によれば、フル画像の分析を高速化する画像情報は、フルサイズ圧縮画像のデータユニットの標識である。
本発明の更に別の実施形態によれば、フルサイズ圧縮画像の分析を高速化する画像情報は、フルサイズ圧縮画像のデータユニットの標識、及び標識されるデータユニットに関連する絶対ＤＣ係数である。
【００４６】
画像の分析を高速化する画像情報として格納される複数の異なるＭＣＵの標識の数は、各ＭＣＵ、２つごとのＭＣＵ、４つごとのＭＣＵ、８つごとのＭＣＵなどに対応するように変えることができる。一実施形態では、画像内のＭＣＵの各行の少なくとも一のＭＣＵの標識は、画像の分析を高速化する画像情報として格納される。
上述の画像の分析を高速化する画像情報を保存する方法のいずれかを実行する一実施形態では、縮小サイズ画像のサイズは、ディスプレイと同じサイズに設定することができる。
【００４７】
別の実施形態によれば、上述の画像ファイルは、画像を表示するデバイスのメモリから取り出す必要はなく、通信手段、例えば図２の携帯電話機の通信手段２４を介してダウンロードしてもよい。更に、画像ファイルは、外部サーバに保存し、ハンドヘルドデバイスにおいて、ハンドヘルドデバイスに保存された参照を使って参照することができる。更に、画像の操作を高速化する情報は外部サーバに保存してもよい。
画像の操作、即ちズーム又はパン、或いは上述のようなチルト操作を行なう方法は、ディスプレイを含むデバイスで全て実行することができる。このデバイスは、例えば画像を表示するように構成されたハンドヘルド電子デバイス、例えば携帯電話機とすることができる。一実施形態では、操作は更に、デジタル画像のフルサイズ版の高速操作を容易にする特徴を抽出するプロセスを含む。
【００４８】
別の実施形態によれば、画像を操作する方法は、外部サーバで全て実行することができ、結果として得られるビューをハンドヘルドデバイスに転送することができる。このように、必要なエリアのみを処理するだけで済むので、一定の期間中に外部サーバが処理できる画像操作が増大する。結果として得られるビューの転送は、いずれかのネットワーク、又はネットワークの組み合わせ、例えばインターネット、ＬＡＮ、ＷＡＮ、携帯電話ネットワーク、ＷＩＦＩ、地上電話網などを介して行なうことができる。
【図１】
0005468389.tif 000002
【図２】
0005468389.tif 000003
【図３】
0005468389.tif 000004
【図４】
0005468389.tif 000005
【図５ａ】
0005468389.tif 000006
【図５ｂ】
0005468389.tif 000007
【図５ｃ】
0005468389.tif 000008
【図６ａ】
0005468389.tif 000009
【図６ｂ】
0005468389.tif 000010
【図６ｃ】
0005468389.tif 000011
【図６ｄ】
0005468389.tif 000012
【図６ｅ】
0005468389.tif 000013
【図６ｆ】
0005468389.tif 000014