(57)【要約】      （修正有）【課題】Ｚスタック顕微鏡画像を圧縮するための装置及び方法を提供する。【解決手段】Ｚスタック顕微鏡画像を圧縮するための方法及び装置が、画像の元々のＺスタックの全焦点画像及び深度マップ表現を圧縮するステップ５０４と、この全焦点画像及び深度マップから生成したシミュレートしたＺスタックと元々のＺスタックとの間の差分である予測残差を計算するステップ５０６と、圧縮した全焦点画像及び深度マップに予測残差を連結して最終的な圧縮ファイルを生成するステップ５０８とを含む。【選択図】図５
2014029528.tif 000002
【特許請求の範囲】
【請求項１】
Ｚスタック顕微鏡画像を圧縮する方法であって、
画像の元々のＺスタックの全焦点画像及び深度マップ表現を圧縮するステップと、
前記全焦点画像及び前記深度マップから生成したシミュレートしたＺスタックと前記元々のＺスタックとの間の差分である予測残差を計算するステップと、
前記圧縮した全焦点画像及び前記深度マップに前記予測残差を連結して最終的な圧縮ファイルを生成するステップと、
を含むことを特徴とする方法。
【請求項２】
前記元々のＺスタックの圧縮表現を復号するステップをさらに含む、
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記復号するステップが、前記圧縮した全焦点画像及び対応する深度マップを取り出し、該圧縮した全焦点画像及び対応する深度マップを展開して、展開した全焦点画像及び対応する深度マップを生じるステップをさらに含む、
ことを特徴とする請求項２に記載の方法。
【請求項４】
前記圧縮が、ＪＰＥＧ、ＪＰＥＧ−ＬＳ及びＪＰＥＧ  ２０００のうちの１つを使用して行われる、
ことを特徴とする請求項１に記載の方法。
【請求項５】
前記元々のＺスタックの近似を生成するために、前記展開した全焦点画像及び対応する深度マップを用いてＺスタックをシミュレートするステップをさらに含む、
ことを特徴とする請求項３に記載の方法。
【請求項６】
前記予測残差に前記シミュレートしたＺスタックを追加して最終的なＺスタックを形成するステップをさらに含む、
ことを特徴とする請求項５に記載の方法。
【請求項７】
前記シミュレートしたＺスタックを形成するための情報を遠隔クライアントに送信するステップをさらに含む、
ことを特徴とする請求項１に記載の方法。
【請求項８】
前記シミュレートしたＺスタックを前記遠隔クライアント上でユーザが観察している間に、前記予測残差をバックグラウンド処理として送信するステップをさらに含む、
ことを特徴とする請求項７に記載の方法。
【請求項９】
前記シミュレートしたＺスタックが、該シミュレートしたＺスタック内の前記画像の各画素におけるボケの強度と深度との相関関係を含むパラメータを使用して形成される、
ことを特徴とする請求項１に記載の方法。
【請求項１０】
前記パラメータを前記最終的な圧縮ファイルに記憶するステップをさらに含む、
ことを特徴とする請求項９に記載の方法。
【請求項１１】
Ｚスタック顕微鏡画像を圧縮するための装置であって、
元々のＺスタックを形成する異なる焦点深度において一連の標本画像をキャプチャするためのデジタル顕微鏡と、
前記Ｚスタックの圧縮を管理するための画像処理モジュールと、
を備え、前記画像処理モジュールが、
前記元々のＺスタックに基づいて、シミュレートしたＺスタックを生成するための被写界深度（ＤＯＦ）シミュレーションモジュールと、
前記元々のＺスタックの全焦点画像を生成するための全焦点画像生成器と、
前記全焦点画像に対応する深度マップを生成するための深度マップ生成器と、
前記元々のＺスタックを圧縮し、前記シミュレートしたＺスタックと前記元々のＺスタックの差分である予測残差を計算し、前記圧縮した全焦点画像及び前記深度マップに前記予測残差を連結して最終的な圧縮ファイルを生成するためのコーデックと、
を含む、
ことを特徴とする装置。
【請求項１２】
前記コーデックがさらに、前記元々のＺスタックの圧縮表現を復号する、
ことを特徴とする請求項１１記載の装置。
【請求項１３】
前記コーデックがさらに、前記圧縮した全焦点画像及び対応する深度マップを取り出し、該圧縮した全焦点画像及び対応する深度マップを展開して、展開した全焦点画像及び対応する深度マップを生じる、
ことを特徴とする請求項１２に記載の装置。
【請求項１４】
前記圧縮が、ＪＰＥＧ、ＪＰＥＧ−ＬＳ及びＪＰＥＧ  ２０００のうちの１つを使用して行われる、
ことを特徴とする請求項１１に記載の装置。
【請求項１５】
前記コーデックがさらに、前記元々のＺスタックの近似を生成するために、前記展開した全焦点画像及び対応する深度マップを用いてＺスタックをシミュレートする、
ことを特徴とする請求項１３に記載の装置。
【請求項１６】
前記コーデックがさらに、前記予測残差に前記シミュレートしたＺスタックを追加して最終的なＺスタックを形成する、
ことを特徴とする請求項１５に記載の装置。
【請求項１７】
前記画像処理モジュールがさらに、前記シミュレートしたＺスタックを形成するための情報を遠隔クライアントに送信する、
ことを特徴とする請求項１１に記載の装置。
【請求項１８】
前記画像処理モジュールがさらに、前記シミュレートしたＺスタックを前記遠隔クライアント上でユーザが観察している間に、前記予測残差をバックグラウンド処理として送信する、
ことを特徴とする請求項１７に記載の装置。
【請求項１９】
前記ＤＯＦシミュレーションモジュールがさらに、前記シミュレートしたＺスタック内の前記画像の各画素におけるボケの強度と深度との相関関係を含むパラメータを使用して前記Ｚスタックをシミュレートする、
ことを特徴とする請求項１１に記載の装置。
【請求項２０】
前記ＤＯＦシミュレーションモジュールがさらに、前記パラメータを前記最終的な圧縮ファイルに記憶する、
ことを特徴とする請求項１９に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、一般に、デジタル顕微鏡法に関し、より具体的には、Ｚスタックデジタル顕微鏡画像を圧縮するための方法及び装置に関する。
【背景技術】
【０００２】
デジタル顕微鏡は、標本を異なる深度で撮像して一連のデジタル画像を作成するものである。各画像は、特定の焦点深度における標本の部分を表す。従って、ある深度では、標本全体の一部にしか焦点が合ってない。この一連のデジタル画像は、深度に対応するＺ次元に沿ってスタックされたものであり、これをＺスタックと呼ぶ。Ｚスタック内の各画像は、キャプチャする標本の異なる深度に合焦したものである。デジタル顕微鏡の光学系が設定する被写界深度は非常に狭く、標本全体に焦点を合わせて単一の写真でキャプチャするには狭すぎる。従って、Ｚスタック内の全ての画像は、同じ標本のものではあるが、画像毎に焦点が異なる。
【０００３】
一般に、Ｚスタックは、解像度の高い大型のデータセットであり、これによりＺスタックの記憶又は送信には高帯域幅要件が課される。例えば、いくつかの用途では、各々が約１００，０００画素×１００，０００画素の空間分解能を有する画像が１５枚、３０枚又は５０枚になり、これによりＺスタックの記憶又は送信に高帯域幅要件が課される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願代理人整理番号２０１００３８３２
【特許文献２】米国特許出願代理人整理番号２０１００３５１３．０１
【発明の概要】
【発明が解決しようとする課題】
【０００５】
Ｚスタックを圧縮するためのいくつかの従来の方法によれば、Ｚスタック内のデジタル画像が個別に圧縮される。Ｚスタックを圧縮するためのこのような方法は、単純に実施できる反面、データファイルが大量になる。データファイルのサイズが大きいので、帯域幅制約のある（又は帯域幅制限のある）チャネルを介してＺスタックを観察する際に遅延が生じる。当分野では、ビデオ圧縮技術も利用されているが、ビデオ圧縮では、Ｚスタック画像がフレーム単位で表示されるため、データの観察が遅延する。
【０００６】
従って、顕微鏡画像のＺスタックを圧縮するための方法及び装置が必要とされている。
【課題を解決するための手段】
【０００７】
実質的に図の少なくとも１つに示し及び／又はこれに関連して説明し、特許請求の範囲により完全に記載する、Ｚスタック顕微鏡画像を圧縮するための装置及び／又は方法を提供する。
【０００８】
以下の説明及び図面から、本開示の様々な利点、態様及び新規の特徴、並びにこれらを示す実施形態の詳細がより完全に理解されるであろう。
【０００９】
上述した本発明の特徴を詳細に理解できるように、いくつかを添付図面に示す実施形態を参照しながら、上記で簡単に要約した本発明のより詳細な説明を行うことができる。しかしながら、添付図面には、本発明の典型的な実施形態しか示しておらず、従って本発明は他の等しく効果的な実施形態も認めることができるので、これらの図面が本発明の範囲を限定すると見なすべきではない。
【図面の簡単な説明】
【００１０】
【図１】本発明の例示的な実施形態による、デジタル顕微鏡を使用して顕微鏡画像を処理するための装置のブロック図である。
【図２】本発明の例示的な実施形態によるＺスタックの例を示す図である。
【図３】本発明の例示的な実施形態による、図２の５つの個々のデジタルスライス画像を示す図である。
【図４】図２及び図３に示すスナップショットの全焦点画像及び深度マップの例を示す図である。
【図５】本発明の例示的な実施形態による、Ｚスタック顕微鏡画像を圧縮する方法５００のフロー図である。
【図６】本発明の例示的な実施形態による、Ｚスタック内の３枚の画像（上）、及び対応する３枚のシミュレートしたＺスタックの画像を示す図である。
【図７】本発明の例示的な実施形態による、Ｚスタックのエンコーダ及びデコーダの構成を示す図である。
【図８】本発明の例示的な実施形態による、段階的に圧縮したＺスタックのレイアウト表現を示す図である。
【図９】本発明の例示的な実施形態による、全焦点画像を観察する際の遅延を示すタイミング図である。
【図１０】本発明の例示的な実施形態による、完全にダウンロードしたＺスタックが存在しない時にＺスタックを観察する可用性を示す図である。
【発明を実施するための形態】
【００１１】
本明細書では、実質的に図の少なくとも１つに示し及び／又はこれに関連して説明し、特許請求の範囲により完全に記載する、顕微鏡法におけるＺスタック画像を圧縮するための装置及び／又は方法を開示する。本発明の実施形態によれば、標本の全焦点画像及び深度マップが、ＪＰＥＧ、ＪＰＥＧ−ＬＳ及びＪＰＥＧ  ２０００などの当業者に周知の方法によって圧縮されるが、他の数多くの可能性も同様に十分に機能する。同一出願人による、＿＿＿＿＿＿＿＿に出願された関連する係属中の米国特許出願第＿＿＿＿＿＿＿＿号、代理人整理番号２０１００３８３２（「３８３２」）に記載されるように、Ｚスタックから被写界深度をシミュレートして、シミュレートしたＺスタックを生成する。元々のＺスタックから、近似／シミュレートしたＺスタックを減算して予測残差を取得し、その後に全焦点画像と同様に圧縮する。この圧縮した予測残差を全焦点画像及び深度マップにファイルとして連結して、最終的な圧縮結果を生成する。
【００１２】
図１は、本発明の例示的な実施形態による、デジタル顕微鏡１０２を使用してＺスタック顕微鏡画像を圧縮するための装置１００のブロック図である。
【００１３】
デジタル顕微鏡１０２は、標本のデジタル画像を異なる深度でキャプチャして、一連の画像を作成する。デジタル顕微鏡１０２は、標本を異なる深度で撮像して、一連のデジタル画像を作成する。例示を目的として、この一連のデジタル画像を、式Ａ：Ｉ（ｘ，ｙ，ｚ）によって表し、式中、（ｘ，ｙ）は、ｘ＝０〜Ｘ−１、ｙ＝０〜Ｙ−１とする空間指数であり、ｚは、ｚ＝０〜Ｚ−１とする深度指数である［式Ａ］。
【００１４】
いくつかの実施形態では、デジタル顕微鏡１０２が、コンピュータ装置１０４に結合される。他の実施形態では、顕微鏡１０２が画像スタックを作成し、メモリスティック、コンパクトディスク、ネットワーク接続などを介してコンピュータ装置１０４に転送される。
【００１５】
コンピュータ装置１０４は、中央処理装置（すなわちＣＰＵ）１０６、サポート回路１０８、メモリ１１０及びＩ／Ｏ装置１１２を含む。ＣＰＵ１０６は、データの処理及び記憶を容易にする１又はそれ以上の市販のマイクロプロセッサ又はマイクロコントローラを含むことができる。様々なサポート回路１０８は、ＣＰＵ１０６の動作を容易にし、１又はそれ以上のクロック回路、電源、キャッシュ、入力／出力回路などを含む。メモリ１１０は、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ディスクドライブ型記憶装置、光学記憶装置、取り外し可能記憶装置及び／又は同様のもの、のうちの少なくとも１つを含む。
【００１６】
メモリ１１０は、オペレーティングシステム（ＯＳ）１１４、及び画像処理モジュール１１６を含む。画像処理モジュール１１６は、デジタル顕微鏡１０２を使用してキャプチャした一連の標本画像の圧縮及び段階的送信を容易にする。画像処理モジュール１１６は、被写界深度（ＤＯＦ）シミュレーションモジュール１１８、全焦点画像生成器１２０、深度マップ生成器１２２、及びコーデック（又はコーダ・デコーダモジュール）１２４を含む。
【００１７】
ＤＯＦシミュレーションモジュール１１８は、デジタル顕微鏡１０２を使用してキャプチャした一連の標本画像をシミュレートする。ＤＯＦシミュレーションモジュール１１８は、全焦点画像の各画素に点広がり関数（ＰＳＦ）演算を適用するとともに、深度マップによって示される画素の深度に従って各画素にボケ関数を適用することにより、一連の画像の低帯域近似を生成する。具体的には、ＤＯＦシミュレーションモジュール１１８は、深度に依存する焦点ずれしたボケを全焦点画像に適用することによって一連の画像を近似し、これによりこれらの一連の画像を閲覧する際にユーザに標本の深度を知覚させて、実際には一連の画像全体をＺスタックに記憶することなく画像のＺスタックをスクロールする機能をシミュレートする。
【００１８】
全焦点画像生成器１２０は、本発明の原理による全焦点画像を生成する。深度マップ生成器１２２は、深度マップを生成する。コーデック１２４は、近似した一連の画像からの予測に基づいて残差符号化を適用することにより圧縮を容易にする。
【００１９】
本明細書では「全焦点画像」という用語を使用しているが、これは、スライド上の一連の標本画像のＺスタックを３次元から２次元に縮小して、焦点が合った全体的な標本が得られるようにし、すなわち焦点ずれした情報が除去されるようにすることを意味する。_______に出願された、同一出願人による米国特許第_______号、出願代理人整理番号２０１００３５１３．０１（「３５１３」）に記載されるように、全焦点画像は、特定の手段に従って各画像に重み付けし、これに応じて重み付けした画像を組み合わせることにより形成され、この特許出願はその全体が引用により本明細書に組み入れられる。
【００２０】
全焦点画像は、焦点ずれしたボケを含まない、Ｚスタック内の各焦点深度に焦点が合った画像部分の合成画像である。全焦点画像は、式Ｂ：Ｉ∞（ｘ，ｙ）［式Ｂ］によって表される。全焦点画像を求めるために、深度マップ生成器１２０は、その画素においてＺスタックのどの画像が最も焦点が合っているかを示すように各画素における深度を生成し、各画素の深度により深度マップを形成する。深度マップは、式Ｃ：ｄ（ｘ，ｙ）［式Ｃ］によって表される。
【００２１】
図２に、デジタル顕微鏡１０２によって生成されたＺスタック２００の例を示す。Ｚスタック内の各画像は、標本内の異なる深度に焦点を合わせたものである。デジタル顕微鏡１０２は、標本のデジタル画像を異なる焦点深度でキャプチャして一連の画像を作成する。従って、標本の深度全体を通じて焦点深度を増分して、デジタル画像の少なくとも１つに合焦した全体的標本をキャプチャする。この一連のデジタル画像を、深度に対応するＺ次元に沿ってスタックする。
【００２２】
図３に、本発明の例示的な実施形態による、図２に示すＺスタック２００の５つの個々の画像を示す。図３には、画像３０２、３０４、３０６、３０８及び３１０を示しており、これらの各々は異なるＺ深度におけるものである。例えば、デジタル顕微鏡のユーザが最初に標本スライドを観察した時には画像３０２が現れる。ユーザが異なるＺ深度に焦点を調整したいと望む場合、図２に示すＺスタック２００を形成する画像３０４などが現れる。
【００２３】
いくつかの用途では、例えば１５枚、３０枚又は５０枚などの数多くの画像がＺスタック内に存在する。このため、Ｚスタックの記憶又は送信には高帯域幅要件が課される。図４に、本発明のいくつかの実施形態による、深度マップを生成する処理の結果例を示す。元々のデータセット、すなわちＺスタックは、例えば５０枚の画像を含み、そのうちのいくつかを図２及び図３に示している。図４では、画像４００は全焦点画像であり、画像４０２は、その画素においてＺスタックのどの画像が最も焦点が合っているかを示すように各画素において計算された深度マップである。この深度マップにより、ＤＯＦシミュレーションモジュール１１６は、標本画像の特定の画素又は領域に関してどのＺスタック画像を表示すべきかを決定できるようになる。
【００２４】
いくつかの実施形態では、全焦点画像が、元々Ｚスタックデータの好適な代用になる。しかしながら、多くのシナリオでは、ユーザが、焦点ずれして深度に依存するボケに基づいてＺスタックデータを解釈する必要がある。しかしながら、Ｚスタックの記憶及び送信には依然として問題がある。大型のＺスタックデータは、記憶システム内で過剰なディスクスペースを占有し、帯域幅制約を課すことが多い。大型のＺスタックデータ及び帯域幅制約は、Ｚスタックデータを観察する際に、顕著な好ましくない遅延を引き起こす。
【００２５】
図５は、本発明の例示的な実施形態による、Ｚスタック顕微鏡画像を圧縮する方法５００のフロー図である。
【００２６】
方法５００は、ＣＰＵ１０６が実行する画像処理モジュール１１６の例示的な実施である。画像処理モジュール１１６は、ＤＯＦシミュレーションモジュール１１８、全焦点画像生成器１２０、深度マップ生成器１２２、及びコーデック（又はコーダ・デコーダモジュール）１２４を含む。
【００２７】
方法５００は、ステップ５０２から開始してステップ５０４に進む。ステップ５０４において、方法５００は、顕微鏡１０２を使用してキャプチャした全焦点画像及びＺスタック内の画像の深度マップを圧縮する。これらの全焦点画像及び深度マップは、Ｚスタック画像に基づいて、相関性のある同時係属中の３５１３出願に従って生成される。
【００２８】
次に、この方法はステップ５０６に進み、コーデック１２４が予測残差を計算する。予測残差は、元々のＺスタック画像からＺスタックのシミュレーションを減算することにより計算される。上述したように、Ｚスタックのシミュレーションすなわち近似については、３８３２出願に記載されている。元々のＺスタックからＺスタックのシミュレーションを減算した後には予測残差が残る。例示的な実施形態によれば、画素ごとの差分に基づいて減算が行われる。
【００２９】
ステップ５０８において、画像処理モジュール１１６は、圧縮した全焦点画像、深度マップ及び予測残差を組み合わせて最終的な圧縮結果にする。この最終的な圧縮結果を遠隔コンピュータシステムなどに送信すると、この結果は、元々のＺスタックを再現するのに必要なデータを含むようになる。方法は、ステップ５１０において終了する。
【００３０】
図６に、Ｚスタック内の３枚の画像、及び対応する３枚のシミュレートしたＺスタックの画像を示す。図６に示すように、スナップショットの行列の１行目は、元々のＺスタックからの複数の画像を含み、２行目には、３８３２出願の顕微鏡におけるＤＯＦのシミュレート方法を使用した対応するシミュレートした画像を示す。このＤＯＦのシミュレート方法は、ＤＯＦシミュレーションモジュール１１８により実施される。このＤＯＦのシミュレート方法は、深度マップ生成器１２２により生成された深度マップ、及び全焦点画像生成器１２０により生成された全焦点画像を用いて、顕微鏡１０２によりキャプチャされた一連の画像を近似するステップを含む。
【００３１】
図６に示すように、元々のＺスタックとシミュレートした画像は視覚的に類似する。左右の列は、２つの両極端なデータセットであり、かなり大きく焦点ずれしたボケを示している。右の列には、焦点が合った小さな円形のオブジェクトが存在する。中央の列には、複数の焦点が合った領域、及びその他の焦点ずれした領域が存在する。これら全ての場合において、シミュレートしたＺスタックは、焦点が合った領域及び焦点ずれしてボケた領域の両方に関して、元々のＺスタックとの良好な一致を実現する。図６から明らかなように、このシミュレートしたＺスタックと元々のＺスタックの類似性は、顕微鏡画像を圧縮して送信する基礎を成す。
【００３２】
画像及び一連の画像を圧縮するための一般的方法によれば、元々のデータ、すなわち一連の画像を近似する効率的な予測が生成される。元々のデータから予測を減算した後には、この差分（すなわち予測残差）のエントロピーが低く、より少ないビットで圧縮される。低帯域幅の全焦点画像及び深度マップを使用してＺスタックを近似するいくつかのシナリオでは、近似したＺスタックと元々のＺスタックの間の残差が、元々のＺスタックよりも低いエントロピーを有し、従ってより少ないビットで表現される。いくつかの他のシナリオでは、予測残差のためのデータが遠隔クライアントにバックグラウンド処理として送信されている間、この遠隔クライアント上でＺスタックを観察する際に、近似したＺスタックを即座に利用してこれにアクセスできるので、遅延の減少が知覚される。
【００３３】
図７に、Ｚスタックのエンコーダ７００及びデコーダ７０２の両方の構成を示す。いくつかの実施形態では、式Ａ：Ｉ（ｘ，ｙ，ｚ）［式Ａ］によって表される入力Ｚスタック７０４を、画像のＤＯＦを改善する方法、すなわち拡張被写界深度（ＥＤＯＦ）７０６により分析して全焦点画像及び深度マップを生成する。本発明の原理に基づけば、このＤＯＦを改善する方法が、異なる焦点距離からキャプチャした一連の画像を組み合わせて単一の全焦点画像を形成するステップを含む。
【００３４】
いくつかの実施形態では、本発明の態様が、３８３２出願に記載されるようなＤＯＦシミュレーションを使用する。顕微鏡撮像におけるＤＯＦをシミュレートする方法は、顕微鏡によりキャプチャした一連の画像を、深度マップ及び全焦点画像を使用して近似するステップを含む。ＤＯＦシミュレーションモジュール１１８は、全焦点画像及び対応する深度マップを入力として受け取り、元々のＺスタックの外観を近似して送信データファイルのサイズを減少させたシミュレートした被写界深度の画像を生成する。ＤＯＦシミュレーションモジュール１１８の出力、すなわちシミュレートしたＺスタックは、エンコーダを使用してＺスタックを符号化するための予測として使用される。シミュレートしたＺスタックは、ユーザが知覚する遅延が最小になるようにＺスタックを段階的に送信するために使用できる元々のＺスタックの低帯域幅近似としての役割を果たす。
【００３５】
異なる焦点距離からキャプチャした一連の画像を組み合わせて単一の全焦点画像を形成するステップは、全ての画素における合焦度を計算するステップと、この合焦度に基づいて全焦点画素のための複数の候補値を検出するステップと、合焦度に従って候補値を混合し、最終的な全焦点画像を決定するステップとを含む。各画素の合焦度を組み合わせて深度マップを形成する。
【００３６】
ブロック７０８において、全焦点画像及び深度マップを、例えば、ＪＰＥＧ、ＪＰＥＧ−ＬＳ及びＪＰＥＧ  ２０００などの一般に当業者に知られている方法に従って圧縮するが、他の数多くの可能性も同様に十分に機能する。ブロック７１０において、式Ｄ及びＥ：Ｉ∞（ｘ，ｙ）［式Ｄ］及びｄ（ｘ，ｙ）［式Ｅ］によって表される全焦点画像及び深度マップの圧縮バージョンを、予測として使用するために展開する。図７に示すように、全焦点画像及び深度マップの展開バージョンは、式Ｆ及びＧ：Ｉ’∞（ｘ，ｙ）［式Ｆ］、及びｄ’（ｘ，ｙ）［式Ｇ］によって表される。ここでの、及びその他の箇所でのダッシュ記号（’）は、上付き文字としてダッシュ記号を付けた量が、不可逆圧縮によって元々の量と異なる場合があることを示す。図７に示すように、ブロック７１２の「Ｚスタックをシミュレート」により、式Ｈ：Ｉ’Z（ｘ，ｙ）［式Ｈ］によって表されるシミュレートしたＺスタックが生成される。
【００３７】
Ｚスタックのシミュレーションは、ＤＯＦシミュレーションモジュール１１８により実行される。ブロック７１４において、シミュレートしたＺスタック７１４を入力Ｚスタック７０４から減算し、式Ｉ：ｒ（ｘ，ｙ、ｚ）［式Ｉ］によって表される予測残差を形成する。次にブロック７１６において、この予測残差を圧縮し、ブロック７１８において、式Ｄ及びＥによって表される圧縮した全焦点画像及び深度マップと組み合わせて最終的なＺスタックの圧縮表現を形成する。例示的な実施形態によれば、圧縮法として、とりわけ、ＪＰＥＧ、ＪＰＥＧ２０００、ロスレスＪＰＥＧ（ＪＰＥＧ−ＬＳ）、Ｈ．２６４、ＭＰＥＧ−４、ＭＰＥＧ−２、及び３−Ｄ  ＳＰＩＨＴウェーブレットベース符号化などの３−Ｄ画像符号化法が挙げられる。圧縮したＺスタックを復号するために、まずブロック７２０において、Ｉ∞（ｘ，ｙ）及びｄ（ｘ，ｙ）の圧縮バージョンを分割し、ブロック７２２及びブロック７２４において展開してＩ’∞（ｘ，ｙ）及びｄ’（ｘ，ｙ）を生じ、シミュレートブロック７２５がこれらを使用して、Ｚスタックの近似Ｉ’Z（ｘ，ｙ）を形成する。ブロック７２６において、展開したＺスタックの残差ｒ’（ｘ，ｙ、ｚ）にこの近似を加算して、最終的な復号ＺスタックＩ’（ｘ，ｙ、ｚ）７２８を形成する。
【００３８】
図７には明確に示していないが、Ｚスタックのシミュレーションを行うには追加情報が必要である。具体的には、エンコーダが、焦点ずれしたボケがどれほど深度に依存しているかを記述するパラメータを示し、圧縮したビットストリームにこれらのパラメータを記憶することが必要である。これらのパラメータは、ＥＤＯＦブロック７０６により決定される。
【００３９】
図６に示すように、シミュレートしたＺスタックは、元々のＺスタックの視覚的に類似した近似を提供する。いくつかの実施形態では、元々のＺスタックの段階的表現のために、このシミュレートしたＺスタックデータが効果的に使用される。プログレッシブ・グラフィック・ファイル（ＰＧＦ）、インターネット上のプログレッシブＪＰＥＧ画像などの段階的表現の有用性は周知である。使用時には、画像が行単位で現れるのではなく、画像全体の近似が即座に現れて画像全体の概観を観察者に素早く与え、その後ファイルの残り部分がダウンロードされるにつれて近似の質が向上する。この効果は、たとえ画像をダウンロードするのに必要な合計時間が行単位の表示の場合と同じであっても、観察者にロード時間が速いという印象を与える点である。Ｚスタックの段階的符号化も同様に作用する。
【００４０】
図８に、段階的に圧縮したＺスタックの高水準レイアウト表現８００を示す。図８に示すように、Ｚスタックの近似に必要な表現、すなわち式Ｄ及び式Ｅ：Ｉ∞（ｘ，ｙ）［式Ｄ］及びｄ（ｘ，ｙ）［式Ｅ］によって表される全合焦画像及び深度マップの圧縮バージョンは、完全なＺスタックに必要なビットよりも大幅に少ないビットしか必要としない。表現８００は、記憶したファイル情報に関連するメタデータ又はデータを記憶するためのヘッダ８０２、圧縮した全焦点画像及び深度マップを記憶するための部分８０４、及び圧縮した予測残差を記憶するための部分８０６を含む。
【００４１】
いくつかの実施形態では、デジタル病理画像は非常に大きな場合が多く、従ってこれらの圧縮バージョンは、階層的表現及び／又はタイルベース表現などの方法を使用する。階層的表現及び／又はタイルベース表現では、高水準レイアウトが、特定の表現を含むように全体的表現を複数の部分に分割するという点で図８の表現とは異なる。とは言うものの、基本パターンは図８のパターンに従う。Ｚスタック近似には少ないビット数しか必要とされないが、Ｚスタックデータの残り部分にはかなり多くのビット数が必要である。ヘッダ８０２は、フォーマット、フィールド長、ファイルの記憶に使用するフォーマットの指示、次元、Ｚスタックの画像数、色空間指示などの色情報、又はより一般的なスペクトル特性に関する情報、各色サンプルを表現するのに使用するビット数、ＥＤＯＦシミュレーション、すなわち段落００３９において上述したシミュレーションを行うのに必要なパラメータ、及び画素のアスペクト比などのデータをデコーダが理解するために必要な補助的情報を含む。
【００４２】
いくつかの実施形態では、Ｚスタックの観察者が開始するイベントのタイミングを考慮すると、図８の表現８００の重要性が明らかになる。一般的シナリオでは、観察者が、ソースデータから遠く離れており、所望のＺスタックのネットワーク送信に依存する。帯域幅制約に起因して、ファイルの送信には遅延が伴う。
【００４３】
図９に、全焦点画像を観察する際の遅延をタイミング図によって示す。全焦点画像の低帯域幅要件に起因して、ユーザは、Ｚスタックを観察する要求を開始した後、全焦点画像を観察するために短時間待つ必要がある。全焦点画像の圧縮表現Ｉ’∞（ｘ，ｙ）の方が、Ｚスタックの表現よりも小さいという点に留意しなければならない。観察者が、時刻ｔ＝０にＺスタックを観察することを要求した場合、観察者に全焦点画像を送信している間にわずかなネットワーク遅延が発生する。最終的に、Ｚスタックは時刻ｔ0に配信される。
【００４４】
多くの場合、観察者は全焦点画像以外のものを要求することはなく、この場合、圧縮したＺスタックの他の部分を送信する必要はない。しかしながら、観察者が全焦点画像ではなく実際のＺスタックの閲覧を選択することもあり、このような場合、観察者は、長い遅延を伴わずにＺ次元を素早くスクロールすることを期待する。このタイミングは、以下の図１０に示す通りである。
【００４５】
図１０には、完全にダウンロードされたＺスタックが存在しない場合のＺスタックの可用性を示している。これが可能になるのは、低帯域のＺスタック近似を使用すると、追加のビットを送信する必要なく画像が素早く近似するからである。この近似したＺスタックを閲覧している間、画像処理モジュール１１６は、バックグラウンドで完全なＺスタックをダウンロードしている。いくつかのシナリオでは、ユーザが１つの画像を分析すると決めた場合、画像処理モジュール１１６がこの画像に求められる画像データのダウンロードを完了するには、わずかな遅延が必要になる。
【００４６】
いくつかの実施形態では、ユーザが、式Ｊ：ｔ＝ｔ1＞ｔ0［式Ｊ］によって表される時刻に、Ｚスタックのスクロール又は閲覧を開始する。圧縮の段階的性質により、ユーザは、近似したＺスタックを直ぐに見ることができる。この素早い可用性は、いずれの追加情報の送信も必要とせずに近似したＺスタックを提供するという、ＤＯＦシミュレーションモジュール１１８の計算効率の良さによるものである。ユーザは、Ｚスタックを閲覧する際に、事実上全く遅延に気付かない。ユーザが閲覧を行っている間、画像処理モジュール１１６は、バックグラウンドでＺスタックの完全な展開表現のダウンロードを開始する。Ｚスタックの完全な展開表現画像が利用可能になると、これらを観察者への表示に使用して閲覧できるようにする。いくつかのシナリオでは、観察者が、詳細な分析のために特定の画像を選択し、この特定の画像を含むＺスタックの展開表現がバックグラウンドで完全にダウンロードされている場合、これを観察に利用することができる。いくつかの他のシナリオでは、特定の画像を含むＺスタックの展開表現のダウンロードが完了するまでさらなる観察遅延が存在し、この時間中ユーザは、この特定の画像を求めて、展開された近似する全焦点画像にアクセスすることができる。
【００４７】
以上、特定の実施形態を参照しながら説明目的で上述の説明を行った。しかしながら、上記の例示的な説明は網羅的であることを意図するものではなく、或いは開示する正確な形に本発明を限定するものでもない。上述の教示に照らして多くの修正及び変形が可能である。実施形態は、本開示の原理及びその実施可能な応用について最も良く説明するために、及びこれにより当業者が本発明及び様々な実施形態を、企図される特定の用途に適するような様々な修正を加えて最も良く利用できるようにするために選択し説明したものである。
【００４８】
上述した内容は、本発明の実施形態を対象とするものであるが、本発明の基本的な範囲から逸脱することなく、本発明の他の及びさらなる実施形態を考案することができ、その範囲は特許請求の範囲により決定される。
【図１】
2014029528.tif 000003
【図５】
2014029528.tif 000004
【図７】
2014029528.tif 000005
【図８】
2014029528.tif 000006
【図９】
2014029528.tif 000007
【図１０】
2014029528.tif 000008
【図２】
2014029528.tif 000009
【図３】
2014029528.tif 000010
【図４】
2014029528.tif 000011
【図６】
2014029528.tif 000012
【外国語明細書】
2014029528000001.pdf