(57)【特許請求の範囲】
【請求項１】
複数のフォーカス位置で被写体を撮像して得られた複数のフォーカス面画像の基準となる複数の基準フォーカス面画像を縮小し、
前記縮小された複数の基準フォーカス面画像に基づいて倍率間ボケ補償予測を行い、倍率間ボケ補償予測画像を前記フォーカス位置毎に生成し、
前記生成された倍率間ボケ補償予測画像と前記フォーカス面画像との差分データを、前記フォーカス位置毎に生成し、
前記縮小基準フォーカス面画像と前記差分データとを符号化する画像処理方法。
【請求項２】
複数のフォーカス位置で被写体を撮像して得られた複数のフォーカス面画像の基準となる複数の基準フォーカス面画像を縮小する縮小部と、
前記縮小された複数の基準フォーカス面画像に基づいて倍率間ボケ補償予測を行い、倍率間ボケ補償予測画像を前記フォーカス位置毎に生成する予測部と、
前記予測部により生成された前記フォーカス位置毎の倍率間ボケ補償予測画像と前記フォーカス位置毎の前記フォーカス面画像との差分データを、前記フォーカス位置毎に生成する差分データ生成部と、
前記縮小された複数の基準フォーカス面画像と前記差分データ生成部により生成されたフォーカス位置毎の各差分データを符号化する出力符号化部と
を具備する画像処理装置。
【請求項３】
複数のフォーカス位置で被写体を撮像して得られた複数のフォーカス面画像の基準となる複数の基準フォーカス面画像を縮小する縮小部と、
前記縮小された複数の基準フォーカス面画像に基づいて倍率間ボケ補償予測を行い、倍率間ボケ補償予測画像を前記フォーカス位置毎に生成する予測部と、
前記予測部により生成された前記フォーカス位置毎の倍率間ボケ補償予測画像と前記フォーカス位置毎の前記フォーカス面画像との差分データを、前記フォーカス位置毎に生成する差分データ生成部と、
前記縮小された複数の基準フォーカス面画像と前記差分データ生成部により生成されたフォーカス位置毎の各差分データを符号化する出力符号化部
としてコンピュータを動作させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの圧縮符号化、復号を行う画像処理方法、画像処理装置、プログラムに関する。
【背景技術】
【０００２】
画像データを取得することの可能な顕微鏡装置と、その画像データを処理するコンピュータとを備えたバーチャル顕微鏡システムにより、標本が載っているスライドガラス全体を撮影し、デジタル画像として保存・表示することが行われる。このバーチャル顕微鏡システムにおいて、実際の顕微鏡と同等以上の操作性を実現することが期待されている。
【０００３】
その期待される操作の一つとしては、実際の顕微鏡のように、微動焦点ねじを回してフォーカスの位置を変えることによって、任意のフォーカス面を観察することを可能にする操作である。これは、被写界深度の非常に浅い顕微鏡光学系を用いて厚みのある試料を観察するのに必要な操作である。特に、病理診断の分野において、診断医がフォーカスを変えて観察することによって細胞の立体感を把握するのに役立つ。
【０００４】
バーチャル顕微鏡システムでは、その操作を実現するためには、試料を複数のフォーカス位置で撮像することによって得られた画像（以下「フォーカス面画像」と呼ぶ。）のデータが必要となる（図１参照）。このため、１つの試料から得られた画像データの全体の容量が大きくなる。そこでバーチャル顕微鏡システムでは、画像データを圧縮することが行われる。
【０００５】
例えば、特許文献１では、複数のフォーカス面画像に対して、隣接し合うフレーム間の差分をとるフレーム間符号化を用いた圧縮方法が示されている。さらに、基準となるフォーカス面を決め、光学パラメータと基準フォーカス面からのZ座標変位で決まるボケ変化を利用したボケ補償予測を用いて圧縮することについても触れられている。
【０００６】
また、バーチャル顕微鏡システムにおいて実現が期待されるもう１つの操作として、観察像の倍率の高速な切り替えがある。実際の顕微鏡では，まず低倍率のレンズでスライドガラス全体を見渡し，順次高倍率のレンズに切り替えて観察の詳細度を上げていくことが一般である。典型的なバーチャル顕微鏡システムでは、撮像された元の画像データから解像度を段階的に下げた複数の異なる解像度の画像データ（図２参照）を生成してこれらを保存しておき、ユーザからの任意の解像度と画像の表示範囲の指定に従って該当する画像データを読み出して表示することとしていることが一般である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−１１９７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に開示されるようなフレーム間符号化方式では、符号化／復号の処理量、特に参照画像の符号化／復号の処理量が膨大となり、画像の観察による診断の効率に響くおそれがある。さらに、符号化／復号時に参照画像を保持しておくための大量のメモリを必要とし、コストの増加を招く。また、上記の典型的なバーチャル顕微鏡システムのように、解像度の異なる画像がフォーカス面毎に必要となると、やはり全体の画像データ量が膨大なものとなる。
【０００９】
また、特許文献１のフレーム間符号化方式解像度毎の画像データ圧縮に採用された場合、任意の解像度及びフォーカス位置のフォーカス面画像を復号するためには、その前に、同じ解像度で、かつフォーカス方向で隣接するフォーカス面画像を復号する必要がある。このため、任意のフォーカス面画像の復号が完了するまでに時間がかかり、実用性に欠く。
【００１０】
さらに、解像度の異なる画像間で予測符号化を行う方式も考えられる。しかしこの場合、任意の解像度及びフォーカス位置のフォーカス面画像を復号するためには、その前に、そのフォーカス位置において参照面とされた解像度のフォーカス面画像を復号する必要がある。したがって、この場合も、任意のフォーカス面画像の復号が完了するまでに時間がかかる、という課題がある。以上のことから、より効率の良い圧縮方式が求められている。
【００１１】
本発明は、上記課題に鑑みて、複数のフォーカス位置毎の複数の解像度の画像データを高い圧縮率で符号化することのできる画像処理方法、画像処理装置、プログラムを提供することを目的とするものである。
また、本発明の別の目的は、複数のフォーカス位置毎の複数の解像度の画像データを効率的に復号することのできる画像処理方法、画像処理装置、プログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、本発明の一形態に係る情報処理方法は、異なる複数のフォーカス位置で被写体を撮像して得られた複数のフォーカス面画像のうちの少なくとも１つを基準フォーカス面画像として、これを縮小し、前記縮小された基準フォーカス面画像から倍率間ボケ補償予測により、前記基準フォーカス面画像より高倍率の、複数の前記フォーカス位置のフォーカス面画像の倍率間ボケ補償予測画像をそれぞれ生成し、前記生成された前記フォーカス位置毎の倍率間ボケ補償予測画像と前記フォーカス位置毎の前記フォーカス面画像との差分データを生成し、前記縮小された基準フォーカス面画像と前記フォーカス位置毎の各差分データを符号化結果として出力する。
【００１３】
本発明では、縮小された基準フォーカス面画像とフォーカス位置毎の差分データを圧縮符号化の結果として得ることができる。したがって、各フォーカス位置のフォーカス面画像毎に圧縮する一般的な圧縮方式に比べ、圧縮率が向上する。さらに、参照画像に低倍率の画像を用いたことで、メモリの消費量および全体的な処理量のさらなる低減が可能になる。
【００１４】
前記倍率間ボケ補償予測は、拡大フィルタとボケ補償フィルタを用いて行われる。
【００１５】
前記倍率間ボケ補償予測は、複数の基準フォーカス面画像から行われることとしてもよい。これにより、倍率間ボケ補償予測の精度を向上することができ、圧縮効率を高められる。また、ピントの合うフォーカス面が複数あった場合でも高精度に予測を行うことができる。
【００１６】
本発明の別の形態に係る情報処理方法は、異なる複数のフォーカス位置で被写体をステレオ撮像して得られた複数のフォーカス面画像ステレオ対の一方を基準フォーカス面画像として、これを縮小し、前記縮小された基準フォーカス面画像から第１の倍率間ボケ補償予測により、前記基準フォーカス面画像より高倍率の、前記複数の前記フォーカス位置のフォーカス面画像ステレオ対の一方の倍率間ボケ補償予測画像をそれぞれ生成し、前記生成された前記フォーカス位置毎のフォーカス面画像ステレオ対の一方の倍率間ボケ補償予測画像と前記フォーカス位置毎の前記フォーカス面画像ステレオ対の一方との差分データを生成し、前記縮小された基準フォーカス面画像から第２の倍率間ボケ補償予測により、前記複数の前記フォーカス位置のフォーカス面画像ステレオ対の他方の倍率間ボケ補償予測画像をそれぞれ生成し、前記生成された前記フォーカス位置毎のフォーカス面画像ステレオ対の他方の倍率間ボケ補償予測画像と前記フォーカス位置毎の前記フォーカス面画像ステレオ対の他方との差分データを生成し、前記縮小された基準フォーカス面画像と前記フォーカス位置毎の前記フォーカス面画像ステレオ対の差分データを符号化結果として出力する。
【００１７】
本発明では、フォーカス面画像ステレオ対の一方の縮小基準フォーカス面画像と、フォーカス位置毎のフォーカス面画像ステレオ対の差分データを圧縮符号化の結果として得ることができる。したがって、各フォーカス位置のフォーカス面画像毎に圧縮する一般的な圧縮方式に比べ、圧縮率が向上する。さらに、参照画像に低倍率の画像を用いたことで、メモリの消費量および全体的な処理量のさらなる低減が可能になる。
【００１８】
本発明の別の形態に係る情報処理方法は、異なる複数のフォーカス位置で被写体を撮像して得られた複数のフォーカス面画像のうちの少なくとも１つを基準フォーカス面画像として、これを縮小し、前記縮小された基準フォーカス面画像から倍率間ボケ補償予測により、前記基準フォーカス面画像より高倍率の、複数の前記フォーカス位置のフォーカス面画像の倍率間ボケ補償予測画像をそれぞれ生成し、前記生成された前記フォーカス位置毎の倍率間ボケ補償予測画像と前記フォーカス位置毎の前記フォーカス面画像との差分データを生成し、前記縮小された基準フォーカス面画像と前記フォーカス位置毎の各差分データを符号化結果として出力する方法によって得られた前記符号化結果を取得し、前記取得した符号化結果の中の前記縮小された基準フォーカス面画像を復号し、前記復号された基準フォーカス面画像から倍率間ボケ補償予測により、前記基準フォーカス面画像より高倍率の、複数の前記フォーカス位置の倍率間ボケ補償予測画像をそれぞれ生成し、前記生成された倍率間ボケ補償予測画像と前記符号化結果の中の前記フォーカス位置毎の各差分データとを足し合わせて前記フォーカス位置毎のフォーカス面画像を復元する。
【００１９】
各フォーカス位置のフォーカス面画像の復元に必要な参照画像の復号が一回で済むことから、復号時の処理量が低減し、高速化が可能になるとともに、メモリの消費量も低減できる。
【００２０】
本発明の別の形態に係る情報処理方法は、異なる複数のフォーカス位置で被写体をステレオ撮像して得られた複数のフォーカス面画像ステレオ対の一方を基準フォーカス面画像として、これを縮小し、前記縮小された基準フォーカス面画像から第１の倍率間ボケ補償予測により、前記基準フォーカス面画像より高倍率の、前記複数の前記フォーカス位置のフォーカス面画像ステレオ対の一方の倍率間ボケ補償予測画像をそれぞれ生成し、前記生成された前記フォーカス位置毎のフォーカス面画像ステレオ対の一方の倍率間ボケ補償予測画像と前記フォーカス位置毎の前記フォーカス面画像ステレオ対の一方との差分データを生成し、前記縮小された基準フォーカス面画像から第２の倍率間ボケ補償予測により、前記複数の前記フォーカス位置のフォーカス面画像ステレオ対の他方の倍率間ボケ補償予測画像をそれぞれ生成し、前記生成された前記フォーカス位置毎のフォーカス面画像ステレオ対の他方の倍率間ボケ補償予測画像と前記フォーカス位置毎の前記フォーカス面画像ステレオ対の他方との差分データを生成し、前記縮小された基準フォーカス面画像と前記フォーカス位置毎の前記フォーカス面画像ステレオ対の差分データを符号化結果として出力する方法によって得られた前記符号化結果を取得し、前記取得した符号化結果の中の前記縮小された基準フォーカス面画像を復号し、前記復号された基準フォーカス面画像から倍率間ボケ補償予測により、前記基準フォーカス面画像より高倍率の、複数の前記フォーカス位置の前記フォーカス面画像ステレオ対の一方の第１の倍率間ボケ補償予測画像をそれぞれ生成し、前記生成された第１の倍率間ボケ補償予測画像と前記符号化結果の中の前記フォーカス面画像ステレオ対の一方とを足し合わせて、前記フォーカス位置毎の前記フォーカス面画像ステレオ対の一方のフォーカス面画像を復元し、前記生成された前記フォーカス位置毎の前記フォーカス面画像ステレオ対の一方の倍率間ボケ補償予測画像から、倍率間ボケ補償予測により、前記フォーカス位置毎の前記フォーカス面画像ステレオ対の他方の第２の倍率間ボケ補償予測画像を生成し、前記生成された第２の倍率間ボケ補償予測画像と前記符号化結果の中の前記フォーカス面画像ステレオ対の他方とを足し合わせて、前記フォーカス位置毎の前記フォーカス面画像ステレオ対の他方のフォーカス面画像を復元する。
【００２１】
各フォーカス位置のフォーカス面画像ステレオ対の復元に必要な参照画像の復号が一回で済むことから、復号時の処理量が低減し、高速化が可能になるとともに、メモリの消費量も低減できる。
【００２２】
本発明の別の形態に係る情報処理装置は、異なる複数のフォーカス位置で被写体を撮像して得られた複数のフォーカス面画像のうちの少なくとも１つを基準フォーカス面画像として、これを縮小する縮小部と、前記縮小された基準フォーカス面画像から倍率間ボケ補償予測により、前記基準フォーカス面画像より高倍率の、複数の前記フォーカス位置のフォーカス面画像の倍率間ボケ補償予測画像をそれぞれ生成する第１の倍率間ボケ補償予測部と、前記生成された前記フォーカス位置毎の倍率間ボケ補償予測画像と前記フォーカス位置毎の前記フォーカス面画像との差分データを生成する差分データ生成部と、前記縮小された基準フォーカス面画像と前記フォーカス位置毎の各差分データを符号化結果として出力する出力部とを具備する。
【００２３】
本発明の別の形態に係る情報処理装置は、異なる複数のフォーカス位置で被写体を撮像して得られた複数のフォーカス面画像のうちの少なくとも１つを基準フォーカス面画像として、これを縮小し、前記縮小された基準フォーカス面画像から倍率間ボケ補償予測により、前記基準フォーカス面画像より高倍率の、複数の前記フォーカス位置のフォーカス面画像の倍率間ボケ補償予測画像をそれぞれ生成し、前記生成された前記フォーカス位置毎の倍率間ボケ補償予測画像と前記フォーカス位置毎の前記フォーカス面画像との差分データを生成し、前記縮小された基準フォーカス面画像と前記フォーカス位置毎の各差分データを符号化結果として出力する方法によって得られた前記符号化結果を取得する取得部と、
前記取得した符号化結果の中の前記縮小された基準フォーカス面画像を復号する基準フォーカス面画像復号部と、前記復号された基準フォーカス面画像から倍率間ボケ補償予測により、前記基準フォーカス面画像より高倍率の、複数の前記フォーカス位置の倍率間ボケ補償予測画像をそれぞれ生成する第２の倍率間ボケ補償予測部と、前記生成された倍率間ボケ補償予測画像と前記符号化結果の中の前記フォーカス位置毎の各差分データとを足し合わせて前記フォーカス位置毎のフォーカス面画像を復元する復元部とを具備する。
【００２４】
本発明の別の形態に係るプログラムは、異なる複数のフォーカス位置で被写体を撮像して得られた複数のフォーカス面画像のうちの少なくとも１つを基準フォーカス面画像として、これを縮小する縮小部と、前記縮小された基準フォーカス面画像から倍率間ボケ補償予測により、前記基準フォーカス面画像より高倍率の、複数の前記フォーカス位置のフォーカス面画像の倍率間ボケ補償予測画像をそれぞれ生成する第１の倍率間ボケ補償予測部と、前記生成された前記フォーカス位置毎の倍率間ボケ補償予測画像と前記フォーカス位置毎の前記フォーカス面画像との差分データを生成する差分データ生成部と、前記縮小された基準フォーカス面画像と前記フォーカス位置毎の各差分データを符号化結果として出力する出力部としてコンピュータを動作させる。
【００２５】
本発明の別の形態に係るプログラムは、異なる複数のフォーカス位置で被写体を撮像して得られた複数のフォーカス面画像のうちの少なくとも１つを基準フォーカス面画像として、これを縮小し、前記縮小された基準フォーカス面画像から倍率間ボケ補償予測により、前記基準フォーカス面画像より高倍率の、複数の前記フォーカス位置のフォーカス面画像の倍率間ボケ補償予測画像をそれぞれ生成し、前記生成された前記フォーカス位置毎の倍率間ボケ補償予測画像と前記フォーカス位置毎の前記フォーカス面画像との差分データを生成し、前記縮小された基準フォーカス面画像と前記フォーカス位置毎の各差分データを符号化結果として出力する方法によって得られた前記符号化結果を取得する取得部と、
前記取得した符号化結果の中の前記縮小された基準フォーカス面画像を復号する基準フォーカス面画像復号部と、前記復号された基準フォーカス面画像から倍率間ボケ補償予測により、前記基準フォーカス面画像より高倍率の、複数の前記フォーカス位置の倍率間ボケ補償予測画像をそれぞれ生成する第２の倍率間ボケ補償予測部と、前記生成された倍率間ボケ補償予測画像と前記符号化結果の中の前記フォーカス位置毎の各差分データとを足し合わせて前記フォーカス位置毎のフォーカス面画像を復元する復元部としてコンピュータを動作させる。
【発明の効果】
【００２６】
本発明によれば、複数のフォーカス位置毎の複数の解像度の画像データを高い圧縮率で符号化することができる。また、複数のフォーカス位置毎の複数の解像度の画像データを効率的に復号することができる。
【図面の簡単な説明】
【００２７】
【図１】フォーカス面画像について説明する図である。
【図２】フォーカス面画像のピラミッド構造について説明する図である。
【図３】本発明の第１の実施形態の符号化方式を説明するための図である。
【図４】本発明の第１の実施形態の符号化の手順を示す図である。
【図５】本発明の第１の実施形態の復号の手順を示す図である。
【図６】本発明の第３の実施形態の符号化方式を説明するための図である。
【図７】本発明の第４の実施形態を説明する図である。
【図８】本発明の第５の実施形態を説明する図である。
【図９】本発明の実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照しながら、本発明の実施形態を説明する。
＜第１の実施形態＞
【００２９】
［１．画像データについて］
はじめに、画像データについて説明する。
図１は、フォーカス面画像について説明する図である。
図示しない顕微鏡に設けられた撮像手段によって、例えば、２枚のスライドガラス１，１の間に保持された試料（被写体）２に対して、光学系のフォーカスの位置を図中Ｚ軸方向に例えば一定距離ずつずらしてゆき、その都度、所定の解像度で撮像されたそれぞれの被写界深度毎の画像Ｉを「フォーカス面画像Ｉ」と呼ぶこととする。このような処理は「バーチャルスライド化」と呼ばれる。
【００３０】
図２は上記の方法で撮像されたフォーカス面画像のピラミッド構造について説明する図である。同図において、横軸はフォーカス方向軸（以下「Ｚ軸」と記述する。）、縦軸は倍率（解像度）方向軸（以下「Ｍ軸」と記述する。）である。図２において、Ｉ（ｚ，ｍ）はＺ軸方向においてｚ，Ｍ軸方向においてｍで特定される画像を表す。一般的には、それぞれのフォーカス面画像Ｉ（ｚ，ｍ）は、撮像された最大解像度の画像データＩ（ｚ，０）から解像度を段階的に下げた様々な解像度の画像データＩ（ｚ，１）、Ｉ（ｚ，２）、Ｉ（ｚ，３）を生成し、これらを階層状に設定したピラミッド構造を有する。
【００３１】
［２．本実施形態の符号化方式］
図３は、本実施形態の符号化方式の概要を説明するための図である。同図において、横軸はＺ軸，縦軸はＭ軸である。ここでは、説明の簡単のため、フォーカス面画像Ｉ（ｚ，ｍ）が２階層で構成され、下の階層を高倍率のフォーカス面画像Ｉ（ｚ，０）、上の階層を低倍率のフォーカス面画像Ｉ（ｚ，１）とする。
【００３２】
高倍率のフォーカス面画像Ｉ（ｚ，０）は、実際の撮影画像である。この場合、例えば60480×40320[pixel]という非常に高解像度の画像である。高倍率のフォーカス面画像Ｉ（ｚ，０）の数は数十枚程度である。低倍率のフォーカス面画像Ｉ（ｚ，１）は、上記の高倍率のフォーカス面画像Ｉ（ｚ，０）の中から所定の基準に従って選択された１つのフォーカス面画像を、例えばLanczosなどの周知のフィルタを用いて縮小したものである。任意のｍにおける画像の縮小率は以下にように表わすものとする。
縮小率：Mag=2
任意のｍにおける画像の縮小サイズ：(1/Mag)^M
【００３３】
縮小率は予測精度とコンピュータによる計算という両面から考えると１／２が望ましいが、１／４や１／８、それ以上の縮小率を選んでもよい。
【００３４】
フォーカス面画像群において同じ倍率の複数のフォーカス面画像は、同じ観察ポイントの画像であるため互いに一定の相関を有する。例えば、ピントの合うフォーカス面が一枚（一平面）だとした場合、そのフォーカス面を基準に式（３）で表現される点広がり関数を用いてボケ変化をモデル化できる。また、倍率の異なるフォーカス面画像間にも一定の相関があり、高倍率のフォーカス面画像Ｉ（ｚ，０）と、低倍率のフォーカス面画像Ｉ（ｚ，１）を式（１）で表現される例えばLanczosなどの周知のフィルタで拡大した画像とは互いに相関を有する。本実施形態の符号化方式は、これらフォーカス面画像間の相関性と倍率の異なるフォーカス面画像間の相関性を利用して、高い圧縮率でのデータ圧縮を実現するものである。
【００３５】
［３．符号化方式の詳細］
次に、本実施形態の符号化方式の詳細を説明する。
本実施形態では、上記のフォーカス面画像間の相関性と倍率の異なるフォーカス面画像間の相関性を利用した符号化処理を、図９に示す典型的な構成を有するコンピュータ１００上で、ＣＰＵ１０１がメインメモリであるＲＡＭ１０２にロードされたプログラムに従って実行する。
【００３６】
プログラムは、異なる複数のフォーカス位置で被写体を撮像して得られた複数のフォーカス面画像のうちの少なくとも１つを基準フォーカス面画像として、これを縮小するモジュール（縮小部）と、縮小された基準フォーカス面画像から倍率間ボケ補償予測により、基準フォーカス面画像より高倍率の、複数のフォーカス位置のフォーカス面画像の倍率間ボケ補償予測画像をそれぞれ生成するモジュール（予測部）と、生成されたフォーカス位置毎の倍率間ボケ補償予測画像とフォーカス位置毎のフォーカス面画像との差分データを生成するモジュール（差分データ生成部）と、縮小された基準フォーカス面画像とフォーカス位置毎の各差分データを符号化結果として出力するモジュール（出力符号化部）としてコンピュータ１００を動作させる。
【００３７】
図４は、符号化の手順を示す図である。
はじめに、ＣＰＵ１０１は、高倍率のフォーカス面画像Ｉ（ｚ，０）の中から、ピントが最も合っているフォーカス面画像を基準フォーカス面画像として選ぶ（ステップＳ１０１）。ここでは基準フォーカス面画像をＩ（０，０）とする。ピントが最も合っているフォーカス面画像を判定する方法としては、例えば、撮影したすべてのフォーカス面画像のエッジ周辺のコントラスト強度を調べ、その中で最もコントラスト強度の高いフォーカス面画像を基準フォーカス面画像として判定する、という方法が挙げられる。これ以外にも、既知の焦点フレーム検出技術を用いて基準フォーカス面画像を判定するようにしてもよい。
【００３８】
次に、ＣＰＵ１０１は、基準フォーカス面画像Ｉ（０，０）を例えばLanczosなどの周知のフィルタを用いて縮小し、縮小基準フォーカス面画像Ｉ（０，１）を生成する（ステップＳ１０２）。このときの縮小率が大きいほど、参照画像を復号するときの処理量およびそれを保持するメモリサイズを少なくすることができる。
【００３９】
次に、ＣＰＵ１０１は、縮小基準フォーカス面画像Ｉ（０，１）から倍率間ボケ補償予測を行い、高倍率の任意Ｚ位置の倍率間ボケ補償予測画像Ｉpred（ｚ，０）を生成する（ステップＳ１０３）。
【００４０】
倍率間ボケ補償予測は、周知の様々な拡大フィルタと、下記のボケを考慮した点広がり関数（Point Spread Function:PSF）で表わされるボケ補償フィルタを、縮小基準フォーカス面画像Ｉ（０，１）に畳み込むことによって行われる。
【００４１】
例えば、拡大フィルタに以下で定義されるLanczosを用いるとする。
【００４２】
【数１】
0005625342.tif 000002
ここで、nは正の整数であり、一般的にはｎ＝２またはｎ＝３である。
【００４３】
ボケ補償フィルタは、予め測定しておいた顕微鏡の光学パラメータと縮小基準フォーカス面画像からのＺ位置変位で決まる許容錯乱円半径Ｒを用いて、以下の点広がり関数（Point Spread Function:PSF）で表わされる。
【００４４】
【数２】
0005625342.tif 000003
ここで、Z_pitchはフォーカス方向における撮影間隔であり、数um程度である。また、ｚ0は基準フォーカス面のＺ位置であり、図３の例では、ｚ0＝０である。そして、α、βは光学系と撮像素子の関係から定まる係数である。
【００４５】
【数３】
0005625342.tif 000004
ここで、πは円周率、（ｘ，ｙ）はフィルタの座標、（ｘ０，ｙ０）はフィルタの中心座標である。
【００４６】
したがって、任意のＺ位置フォーカス面の倍率間ボケ補償予測画像Ｉpred（ｚ，０）は、以下のように表わされる。
【００４７】
【数４】
0005625342.tif 000005
【００４８】
最後に、ＣＰＵ１０１が、式（５）に示されるように、倍率間ボケ補償予測画像Ｉpred（ｚ，０）と圧縮したいフォーカス面画像Ｉ（ｚ，０）との差分をとり、差分データΔ（ｚ，０）を生成する（ステップＳ１０４）。
【００４９】
【数５】
0005625342.tif 000006
【００５０】
図３では、差分データを白抜きの四角形で表わし、画像データを塗りつぶしの四角形で表わした。
【００５１】
また、この差分データに対し、周波数変換および可逆圧縮技術などの周知の様々な符号化方式を適用することによって、さらなる高圧縮が可能となる。
【００５２】
ＣＰＵ１０１は、縮小基準フォーカス面画像Ｉ（０，１）と差分データΔ（ｚ，０）を画像の圧縮符号化の結果として、記憶部１０８（図９）に保存したり、通信部１０９（図９）を通じて外部に通信するなど、出力する。
【００５３】
［４．復号方式の詳細］
次に、本実施形態の復号方式の詳細を説明する。
本実施形態では、上記のフォーカス面画像間の相関性と倍率の異なるフォーカス面画像間の相関性を利用して符号化された画像データを復号する処理を、図９に示す典型的な構成を有するコンピュータ１００上で、ＣＰＵ１０１がメインメモリであるＲＡＭ１０２にロードされたプログラムに従って実行する。
【００５４】
プログラムは、符号化結果の中の前記縮小された基準フォーカス面画像を復号するモジュール（基準フォーカス面画像復号部）と、復号された基準フォーカス面画像から倍率間ボケ補償予測により、基準フォーカス面画像より高倍率の、複数の前記フォーカス位置の倍率間ボケ補償予測画像をそれぞれ生成するモジュール（第２の倍率間ボケ補償予測部）と、生成された倍率間ボケ補償予測画像と符号化結果の中のフォーカス位置毎の各差分データとを足し合わせてフォーカス位置毎のフォーカス面画像を復元するモジュール（復元部）としてコンピュータ１００を動作させる。
【００５５】
図５は、復号の手順を示す図である。
任意のＺ位置のフォーカス面画像を復号するためには、まずＣＰＵ１０１が、参照画像である縮小基準フォーカス面画像Ｉ（０，１）を復号する（ステップＳ２０１）。
【００５６】
次に、ＣＰＵ１０１は、縮小基準フォーカス面画像Ｉ（０，１）に対し、式（１）で示したLanczosなどの周知の拡大フィルタと、式（３）で示したボケ補償フィルタを畳み込むことによって倍率間ボケ補償予測画像Ｉpred（ｚ，０）を生成する（ステップＳ２０２）。そして、ＣＰＵ１０１は、倍率間ボケ補償予測画像Ｉpred（ｚ，０）に差分データΔ（ｚ，０）を足し込むことで任意のフォーカス面画像Ｉ（ｚ，０）を復元する（ステップＳ２０３）。
【００５７】
以上のように、本実施形態によれば、符号化されたデータは、参照画像としての１つの低倍率のフォーカス面画像と、それより高い倍率の各Ｚ位置のフォーカス面画像についての差分データだけとなる。したがって、各Ｚ位置のフォーカス面画像毎に圧縮する一般的な圧縮方式に比べ、圧縮率が向上する。
また、本実施形態によれば、各Ｚ位置のフォーカス面画像の復元に必要な参照画像の復号および倍率間ボケ補償予測がそれぞれ一回で済むことから、復号時の処理量が低減し、高速化が可能になるとともに、メモリの消費量も低減できる。
さらに、参照画像に、低倍率の画像を用いたことで、メモリの消費量および全体的な処理量のさらなる低減が可能になる。
【００５８】
＜第２の実施形態＞
次に、本発明の第２の実施形態を説明する。
第１の実施形態では、倍率間ボケ補償予測を行うとき、縮小基準フォーカス面画像Ｉ（０，１）に、式（１）で示したLanczosなどのような拡大フィルタの畳み込みと式（３）で示したボケ補償フィルタの畳み込みを個別に行うこととした。これに限らず、以下の式（６）（７）のように、あらかじめ拡大フィルタとボケ補償フィルタを足し合わせたフィルタ（ＭＰＳＦ）を用意しておき、これを縮小基準フォーカス面画像Ｉ（０，１）に畳み込むようにしてもよい。この方式によれば、倍率間ボケ補償予測を行うときの計算処理量を削減することができる。
【００５９】
【数６】
0005625342.tif 000007
【００６０】
【数７】
0005625342.tif 000008
【００６１】
このとき、1/Magに縮小された画像の許容錯乱円半径はMag倍になる。このことを考慮すると、点広がり関数（PSF）に用いる許容錯乱円半径を1/Mag倍にしておく必要がある。
【００６２】
このように倍率間ボケ補償予測を行うことにより、予測処理に必要な計算量の削減が期待できる。
【００６３】
＜第３の実施形態＞
次に、本発明の第３の実施形態を説明する。
明視野顕微鏡などの観察像は、一般的に被検物が透けて見えるため、複数の被検物が重なりあったり、被検物の構造によってはピントの合う位置が一つのフォーカス面上にあるとは限らなかったり、あるいは複数の被検物が点在していてそれぞれピントの合うフォーカス面が異なったりする場合がある。
【００６４】
そこで、第３の実施形態では、ＣＰＵ１０１が、複数の縮小基準フォーカス面画像から倍率間ボケ補償予測を行い、高倍率の任意Ｚ位置のフォーカス面画像Ｉ（ｚ，０）を予測する。これにより、倍率間ボケ補償予測の精度を向上することができ、圧縮効率を高められる。
【００６５】
次に、この複数の縮小基準フォーカス面画像からの倍率間ボケ補償予測の詳細を説明する。図６は、本実施形態の符号化方式の概要を説明するための図である。
【００６６】
まず、ＣＰＵ１０１が、ピントがより合っている複数の高倍率フォーカス面画像を基準フォーカス面画像として選ぶ。図６の例では、Ｚ＝−３、０、３の３つのフォーカス面画像が基準フォーカス面画像Ｉ（−３，０）、Ｉ（０，０）、Ｉ（０，３）として選ばれたこととする。
【００６７】
次に、ＣＰＵ１０１は、複数の基準フォーカス面画像（−３，０），Ｉ（０，０），Ｉ（０，３）を例えばLanczosなどの周知のフィルタを用いて縮小し、縮小基準フォーカス面画像Ｉ（−３，１），Ｉ（０，１），Ｉ（３，１）を生成する。
【００６８】
次に、ＣＰＵ１０１は、複数の縮小基準フォーカス面画像Ｉ（−３，１）、Ｉ（０，１）、Ｉ（３，１）から倍率間ボケ補償予測を行い、倍率間ボケ補償予測画像Ｉpred（ｚ，０）を生成する。ここで、複数の縮小基準フォーカス面画像Ｉ（−３，１）、Ｉ（０，１）、Ｉ（３，１）から倍率間ボケ補償予測は、具体的には次のようにして行われる。
【００６９】
Ｉ（１，０）のフォーカス面画像を予測する場合を考える。この場合、ＣＰＵ１０１は、その予測対象であるフォーカス面画像Ｉ（１，０）の近傍２枚の縮小基準フォーカス面画像Ｉ（０，１）、Ｉ（３，１）に拡大フィルタとボケ補償フィルタを畳み込む。あるいは、第２の実施形態で説明したフィルタ（ＭＰＳＦ）を畳み込む。このとき、それぞれの縮小基準フォーカス面画像からの予測値を、式（８）のように距離比に応じて足し合わせる。このようにしてフォーカス面画像Ｉ（１，０）の最終的な倍率間ボケ補償予測画像Ｉpred（１，０）が生成される。
【００７０】
【数８】
0005625342.tif 000009
【００７１】
以上のように、本実施形態によれば、複数の縮小基準フォーカス面画像から予測することで、ピントの合うフォーカス面が複数あった場合でも高精度に予測を行うことができる。
【００７２】
＜第４の実施形態＞
次に、本発明の第４の実施形態を説明する。
実際の顕微鏡のように、表示画像の倍率（解像度）のスムーズな変更操作を実現するためには、図２に示したように、様々な倍率の画像データをあらかじめ保存しておき、その中から、ユーザにより指定された倍率の画像データを読み込むことが普通である。しかしこの場合、倍率の種類が多くなればなるほど全体としての画像データ量が膨大となり、これらを保存するために大容量の記憶部を要することとなる。
【００７３】
以上説明した実施形態を応用すれば、図７に示すように、一枚の最低倍率の画像と、それより高い様々な倍率のフォーカス面画像に対する差分データを保存するだけで済む。
【００７４】
そこで次に、本発明の第４の実施形態として、上記の一枚の最低倍率の画像と、それより高い様々な倍率のフォーカス面画像に対する差分データを作成する動作を説明する。
【００７５】
図７において、横軸はＺ軸，縦軸はＭ軸である。Ｉ（ｚ，ｍ）はＺ軸方向においてｚ、Ｍ軸方向においてｍで特定される画像を表す。最低倍率の画像は、ＣＰＵ１０１が最高倍率のフォーカス面画像の中から最もピントが合っている基準フォーカス面画像を選択し、この基準フォーカス面画像を最低倍率（例えば１／８）まで縮小することによって得られたものである。
【００７６】
ＣＰＵ１０１は、最低倍率画像Ｉ（０，３）から、次に低い倍率（例えば１／４）の任意Ｚ位置の倍率間ボケ補償予測画像を倍率間ボケ補償予測により予測し、それぞれの倍率間ボケ補償予測画像と、圧縮したいフォーカス面画像Ｉ（−１，２）、Ｉ（０，２）、Ｉ（１，２）との差分をそれぞれとって、差分データΔ（−１，２）、Δ（０，２）、Δ（１，２）を生成する。
【００７７】
続いて、ＣＰＵ１０１は、最低倍率の画像Ｉ（０，３）の倍率間ボケ補償予測画像と差分データΔ（０，２）とからフォーカス面画像Ｉ（０，２）を復元する。ＣＰＵ１０１は、復元したフォーカス面画像Ｉ（０，２）から、次に低い倍率（例えば１／２）の任意Ｚ位置の倍率間ボケ補償予測画像を倍率間ボケ補償予測により予測し、それぞれの倍率間ボケ補償予測画像と、圧縮したいフォーカス面画像Ｉ（−２，１）、Ｉ（−１，１）、Ｉ（０，１）、Ｉ（１，１）、Ｉ（２，１）との差分をそれぞれとって、差分データΔ（−２，１）、Δ（−１，１）、Δ（０，１）、Δ（１，１）、Δ（２，１）を生成する。
【００７８】
続いて、ＣＰＵ１０１は、フォーカス面画像Ｉ（０，２）の倍率間ボケ補償予測画像と差分データΔ（０，１）とからフォーカス面画像Ｉ（０，１）を復元する。ＣＰＵ１０１は、復元したフォーカス面画像Ｉ（０，１）から、次に低い倍率（最高倍率）の任意Ｚ位置の倍率間ボケ補償予測画像を倍率間ボケ補償予測により予測し、それぞれの倍率間ボケ補償予測画像と、圧縮したいフォーカス面画像Ｉ（−３，０）、Ｉ（−２，０）、Ｉ（−１，０）、Ｉ（０，０）、Ｉ（１，０）、Ｉ（２，０）、Ｉ（３，０）との差分をそれぞれとって、差分データΔ（−３，０）、Δ（−２，０）、Δ（１，０）、Δ（０，０）、Δ（１，０）、Δ（２，０）、Δ（３，０）を生成する。
【００７９】
以上のようにして、一枚の最低倍率の画像から、各倍率のフォーカス面画像の差分データが得られ、記憶部に保存される。これにより、各倍率の画像データがＪＰＥＧなどの一般的な圧縮方式で圧縮して保存される場合に比べ、保存される画像データ量を大幅に低減できる。
【００８０】
また，画像を縮小することで焦点深度が深くなり、ピントの合う範囲（被写界深度）が広くなる。例えば、画像を1/ Magに縮小した場合には焦点深度がMag倍になる。そのため、低倍率の階層において隣接するフォーカス面画像同士はほぼ同じとなるので、すべての倍率のすべてのＺ位置のフォーカス面画像について差分データを作成し保存する必要はない。
【００８１】
図７では、このような観点から一部のフォーカス面画像の保存が省かれた場合を示している。ここで点線で示される四角は、差分データが保存されていないフォーカス面画像を示している。その中で、Ｉ（−３，３）、Ｉ（−２，３）、Ｉ（−１，３）、Ｉ（１，３）、Ｉ（２，３）、Ｉ（３，３）の画像の表示にはＩ（０，３）の画像が代用される。同様に、Ｉ（−３，２）、Ｉ（−２，２）の画像の表示にはＩ（−１，２）の画像が、Ｉ（２，２）、Ｉ（３，２）の画像の表示にはＩ（１，２）の画像が、Ｉ（−３，１）の画像としてＩ（−２，１）の画像が、そしてＩ（３，１）の画像の表示にはＩ（２，１）の画像がそれぞれ代用される。このことによって、保存される全体の画像データ量をより一層低減できる。
【００８２】
＜第５の実施形態＞
次に、本発明の第５の実施形態を説明する。
本実施形態は、Ｚ軸方向でのフォーカス面画像間での相関および倍率の異なるフォーカス面画像間での相関に加え、ステレオ画像（視差画像）間の相関を利用して、ステレオカメラやマルチアレイカメラなどで撮像されたステレオ画像データを効率的に圧縮する技術に関するものである。かかる技術は、例えば、顕微鏡に取り付けられた１眼カメラで、ＸＹ座標をずらしながら撮影したステレオ対のフォーカス面画像や、２眼カメラで撮影したステレオ対のフォーカス面画像を圧縮する場面で有効に用いられる。
【００８３】
以下、本実施形態においてステレオ画像データを圧縮する動作を説明する。
図８は、本実施形態の動作を説明するための図である。同図において、横軸は視差方向の軸Ｄ、奥行き方向はＺ軸，縦軸はＭ軸である。座標中の任意の位置における画像I（ｄ、ｚ，ｍ）は、視差方向においてｄ、Ｚ軸方向においてｚ，Ｍ軸方向においてｍで特定される画像を表す。なお、ステレオ画像データの場合、ｄの値は０または１である。したがって、左目用の各画像はＩ（０，ｚ，ｍ）、右目用の各画像はＩ（１，ｚ，ｍ）で表される。
【００８４】
まず、ＣＰＵ１０１が、ピントがより合っている、左右どちらか一方の基準フォーカス面画像を選ぶ。ここでは、仮に、左目用（ｄ＝０）で、ｚ＝１である画像Ｉ（０，１，１）が基準フォーカス面画像として選ばれたこととする。
【００８５】
次に、ＣＰＵ１０１は、その左目用の基準フォーカス面画像Ｉ（０，１，１）を、例えばLanczosなどの周知のフィルタを用いて縮小し、縮小基準フォーカス面画像Ｉ（０，１，１）を生成する。
【００８６】
次に、ＣＰＵ１０１は、左目用の縮小基準フォーカス面画像Ｉ（０，１，１）から倍率間ボケ補償予測を行い、左目用の任意Ｚ位置の倍率間ボケ補償予測画像Ｉpred（０，ｚ，０）を生成する。
【００８７】
次に、右目用のフォーカス面画像の予測方法を説明する。
視差間の予測を行う際には、参照画像の空間位置をシフトさせる操作が用いられる（文献：ITU-T H.264 Annex H Multiview video coding等）。
【００８８】
式（９）に、画像Ｔを空間ｘｙ方向に（ａ，ｂ）だけシフトさせた画像Ｔ’を得る操作を表す。
T’= Shift(T,a,b)          式（９）
ＣＰＵ１０１は、この操作を用いて、左目用の縮小基準フォーカス面画像Ｉ（０，１，１）から、任意の右目用のフォーカス面画像Ｉ（１，ｚ，０）の倍率間ボケ補償予測画像Ｉpred（１，ｚ，０）を生成する。この予測の操作を式（１０）に表す。
【００８９】
【数９】
0005625342.tif 000010
【００９０】
なお、Ｉ（１，１，１）の右目用の基準フォーカス面画像については，上記の文献に記載される技術により左目用の基準フォーカス面画像Ｉ（０，１，１）から予測により得てもよいが、基準フォーカス面画像Ｉ（０，１，１）と同じ倍率のＩ（０，１，２）やＩ（０，１，３）など、他の左目用のフォーカス面画像から予測されてもよい。
【００９１】
次に、ＣＰＵ１０１が、左右のフォーカス面画像（ｄ，ｚ，０）について、倍率間ボケ補償予測画像Ｉpred（０，ｚ，０）との差分をとり、差分データΔ（ｄ，ｚ，０）を生成する。
【００９２】
ＣＰＵ１０１は、左目用の縮小基準フォーカス面画像Ｉ（０，１，１）と差分データΔ（ｄ，ｚ，０）を画像の圧縮符号化の結果として、記憶部１０８（図９）に保存したり、通信部１０９（図９）を通じて外部に通信するなど、出力する。
【００９３】
次に、本実施形態の復号化装置により復号された画像データの復号方法について説明する。
はじめに、ＣＰＵ１０１が、参照画像である基準フォーカス面画像Ｉ（０，１，１）を復号する。
【００９４】
次に、ＣＰＵ１０１は、左目用の縮小基準フォーカス面画像Ｉ（０，１，１）に対し、式（１）で示したLanczosなどの周知の拡大フィルタと、式（３）で示したボケ補償フィルタを畳み込むことによって倍率間ボケ補償予測画像Ｉpred（０，ｚ，０）を生成する。そして、ＣＰＵ１０１は、倍率間ボケ補償予測画像Ｉpred（０，ｚ，０）に差分データΔ（０，ｚ，０）を足し込むことで、左目用の任意Ｚ位置のフォーカス面画像Ｉ（０，ｚ，０）を復元する。
【００９５】
続いて、ＣＰＵ１０１は、左目用の倍率間ボケ補償予測画像Ｉpred（０，ｚ，０）から、式（１０）を用いて右目用の倍率間ボケ補償予測画像Ｉpred（１，ｚ，０）を生成する。そして、ＣＰＵ１０１は、この右目用の倍率間ボケ補償予測画像Ｉpred（１，ｚ，０）に差分データΔ（１，ｚ，０）を足し込むことで、右目用の任意Ｚ位置のフォーカス面画像Ｉ（１，ｚ，０）を復元する。
【００９６】
以上のように、本実施形態によれば、符号化されたデータは、参照画像としての左右いずれか一方の低倍率のフォーカス面画像と、それより高い倍率の左右の各Ｚ位置のフォーカス面画像についての差分データだけとなる。したがって、左右の各Ｚ位置のフォーカス面画像毎に圧縮する一般的な圧縮方式に比べ、圧縮率が向上する。
また、本実施形態によれば、左右の各Ｚ位置のフォーカス面画像の復元に必要な参照画像の復号および倍率間ボケ補償予測がそれぞれ一回で済むことから、復号時の処理量が低減し、高速化が可能になるとともに、メモリの消費量も低減できる。
さらに、参照画像に、低倍率の画像を用いたことで、メモリの消費量および全体的な処理量のさらなる低減が可能になる。
【００９７】
なお、マルチアレイカメラ画像の場合は、dの範囲に制約はないが、同等の処理で実現可能である。
【００９８】
［情報処理装置のハードウェア構成］
図９は、本発明の実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。情報処理装置として、例えばＰＣ（Personal Computer）１００が用いられる。
【００９９】
ＰＣ１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ１０２（Read Only Memory）、ＲＡＭ（Random Access Memory）１０３、入出力インターフェース１０５、及び、これらを互いに接続するバス１０４を備える。
【０１００】
入出力インターフェース１０５には、表示部１０６、入力部１０７、記憶部１０８、通信部１０９、ドライブ部１１０等が接続される。
【０１０１】
表示部１０６は、例えば液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。
【０１０２】
入力部１０７は、例えばポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部１０７がタッチパネルを含む場合、そのタッチパネルは表示部１０６と一体となり得る。
【０１０３】
記憶部１０８は、不揮発性メモリであり、例えばＨＤＤ（Hard Disk Drive）、フラッシュメモリ、その他の固体メモリである。
【０１０４】
ドライブ部１１０は、例えば光学記録媒体、フロッピー（登録商標）ディスク、磁気記録テープ、フラッシュメモリ等、リムーバブルの記録媒体１１１を駆動することが可能なデバイスである。これに対し上記記憶部１０８は、主にリムーバブルでない記録媒体を駆動する、ＰＣ１００に予め搭載されたデバイスとして使用される場合が多い。
【０１０５】
通信部１０９は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部１０９は、有線及び無線のどちらを利用して通信するものであってもよい。通信部１０９は、ＰＣ１００とは別体で使用される場合が多い。
【０１０６】
なお、本発明は、上記した実施形態に限定されず、発明の要旨を逸脱しない範囲で種々
の変更が可能である。
【符号の説明】
【０１０７】
１００    コンピュータ
１０１    ＣＰＵ
１０２    ＲＡＭ
１０８    記憶部
【図１】
0005625342.tif 000011
【図２】
0005625342.tif 000012
【図３】
0005625342.tif 000013
【図４】
0005625342.tif 000014
【図５】
0005625342.tif 000015
【図６】
0005625342.tif 000016
【図７】
0005625342.tif 000017
【図８】
0005625342.tif 000018
【図９】
0005625342.tif 000019