(57)【要約】  従来よりも計算処理負担を軽減し、ホログラム画像データから被写体の像を再生する際の時間を短縮できる像再生装置、像再生方法、およびデジタルホログラフィ装置を提案する。像再生装置（17）では、従来のような2次元フーリエ変換や2次元逆フーリエ変換を行うことなく、ホログラム画像データから被写体の像や位相像を再生できるので、2次元フーリエ変換や2次元逆フーリエ変換を行わない分、従来よりも計算処理負担を軽減でき、ホログラム画像データから被写体の像を再生する際の時間を短縮できる。
2017065130.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの物体光と、前記物体光に対して所定角度で照射される参照光とにより形成されたホログラム画像データを再生する像再生装置であって、
前記参照光の位相分布により発生し、かつ前記物体光を位相変調させている空間キャリア成分を、演算によって、前記ホログラム画像データから除去し、空間キャリア除去画像データを生成する演算部と、
前記空間キャリア除去画像データを構成する1以上の注目画素を、所定数の画素で平均値化または重み付けした高周波成分除去画素に置き換えてホログラム再生画像データを生成する再生像生成部と
を備えることを特徴とする像再生装置。
【請求項２】
前記演算部は、
前記参照光の波長および角度により予め定まる前記参照光の位相分布により生じる成分を、前記ホログラム画像データの光強度成分に乗算することで、前記ホログラム画像データから前記空間キャリア成分を除去する
ことを特徴とする請求項1に記載の像再生装置。
【請求項３】
前記演算部は、
前記参照光の波長および角度により予め定まる前記参照光の位相分布により生じる成分の逆数で、前記ホログラム画像データの光強度成分を除算することで、前記ホログラム画像データから前記空間キャリア成分を除去する
ことを特徴とする請求項1に記載の像再生装置。
【請求項４】
前記再生像生成部は、
前記高周波成分除去画素を生成した後に、さらに前記高周波成分除去画素を、所定数の画素で平均値化または重み付けした新たな高周波成分除去画素に置き換える
ことを特徴とする請求項1〜3のいずれか1項に記載の像再生装置。
【請求項５】
前記再生像生成部は、
前記空間キャリア除去画像データのうち周辺が画素に囲まれた画素を前記注目画素として特定し、前記注目画素の周辺にある画素で平均値化または重み付けして前記高周波成分除去画素を生成する
ことを特徴とする請求項1〜4のいずれか1項に記載の像再生装置。
【請求項６】
前記ホログラム画像データに対してフーリエ変換処理を実行して空間周波数分布画像データを生成し、前記空間周波数分布画像データから前記物体光の空間スペクトルの大きさを特定するフーリエ変換処理部を備え、
前記再生像生成部は、
前記フーリエ変換処理部により特定した前記物体光の空間スペクトルの大きさに応じて前記高周波成分除去画素を生成する画素数を決定する
ことを特徴とする請求項1〜5のいずれか1項に記載の像再生装置。
【請求項７】
前記物体光と前記参照光は、複数種類からなり、
前記演算部は、前記空間キャリア成分を、演算によって、各種類毎に、前記ホログラム画像データから除去し、前記空間キャリア除去画像データを生成する
ことを特徴とする請求項1〜6のいずれか1項に記載の像再生装置。
【請求項８】
被写体からの物体光と、前記物体光に対して所定角度で照射される参照光とにより形成されたホログラム画像データを再生する像再生方法であって、
前記参照光の位相分布により発生し、かつ前記物体光を位相変調させている空間キャリア成分を、演算部による演算によって、前記ホログラム画像データから除去し、空間キャリア除去画像データを生成する演算ステップと、
再生像生成部によって、前記空間キャリア除去画像データを構成する1以上の注目画素を、所定数の画素で平均値化または重み付けした高周波成分除去画素に置き換えてホログラム再生画像データを生成する再生像生成ステップと
を備えることを特徴とする像再生方法。
【請求項９】
被写体からの物体光と、前記物体光に対して所定角度で照射される参照光とを撮像素子の撮像面に照射させ、前記物体光と前記参照光とにより生成された干渉パターンを前記撮像素子でホログラム画像データとして記録するデジタルホログラフィ装置であって、
前記撮像素子は、前記ホログラム画像データを請求項1〜7のいずれか1項に記載の像再生装置に送出する
ことを特徴とするデジタルホログラフィ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、像再生装置、像再生方法、およびデジタルホログラフィ装置に関する。
【背景技術】
【０００２】
近年、3次元物体への光照射によって得られる干渉パターンから、コンピュータを用いて3次元物体の像を再生するデジタルホログラフィ技術が注目されている。実際上、デジタルホログラフィ技術を利用したデジタルホログラフィ装置は、例えば被写体からの物体光と、参照光とで生成された干渉パターン（干渉縞）をCCD（Charge-Coupled Device）等の撮像素子により撮像し、これをホログラム画像データとして記録し得る。【０００３】
ここで、図１３に示すように、ホログラム画像データを基に得られるホログラム画像100は、所定の干渉パターンでなり、像再生処理が行われることにより被写体の像を再生し得る（例えば、特許文献1参照）。この場合、デジタルホログラフィ装置は、像再生処理として先ず始めに、ホログラム画像データを2次元フーリエ変換することにより空間周波数分布データを得る。ここで、空間周波数分布データを基に得られる空間周波数分布画像101には、干渉縞の間隔に応じて、波長（例えば波長λ101、波長λ102、波長λ103）や、撮像素子に対する参照光の照射角度に応じて物体光の空間スペクトルER101，ER102，ER103等が現れる。なお、空間周波数分布画像101では、横軸の空間周波数をVxで示し、縦軸の空間周波数をVyで示している。    【０００４】
デジタルホログラフィ装置は、空間周波数分布データの中から空間スペクトルER101，ER102，ER103を抽出し、例えば抽出した空間スペクトルER101，ER102，ER103を各波長λ101,λ102,λ103毎に2次元逆フーリエ変換することにより、各波長λ101,λ102,λ103毎にホログラム再生画像データを生成し得る。ここで、デジタルホログラフィ装置は、各波長λ101,λ102,λ103毎に得られたホログラム再生画像データに基づいてそれぞれホログラム再生画像111,112,113が得られるが、これらホログラム再生画像111,112,113に対してスムージング処理を行うことにより、スペックルと呼ばれる再生像にかかるノイズを抑制し、各波長λ101,λ102,λ103毎に補正を行ったホログラム再生画像121,122,123を得ることができる。また、デジタルホログラフィ装置は、ホログラム再生画像データに基づいて、被写体の高さ（奥行き寸法）の分布（明るい箇所が高く（手前側にあり）、暗い箇所が低い（奥側にある））を示す位相像131,132,133も得ることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2015-064565号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、このような従来のデジタルホログラフィ装置では、ホログラム画像データを再生する際、ホログラム画像データに対して、１回の2次元フーリエ変換と、抽出した波長数に応じた回数の2次元逆フーリエ変換とを行っているため計算処理負担が大きく、その分、ホログラム画像データから被写体の像を再生する際に時間がかかってしまうという問題があった。【０００７】
そこで、本発明は以上の点を考慮してなされたもので、従来よりも計算処理負担を軽減し、ホログラム画像データから被写体の像を再生する際の時間を短縮できる像再生装置、像再生方法、およびデジタルホログラフィ装置を提案することを目的とする。
【課題を解決するための手段】
【０００８】
かかる課題を解決するため本発明による像再生装置は、被写体からの物体光と、前記物体光に対して所定角度で照射される参照光とにより形成されたホログラム画像データを再生する像再生装置であって、前記参照光の位相分布により発生し、かつ前記物体光を位相変調させている空間キャリア成分を、演算によって、前記ホログラム画像データから除去し、空間キャリア除去画像データを生成する演算部と、前記空間キャリア除去画像データを構成する1以上の注目画素を、所定数の画素で平均値化または重み付けした高周波成分除去画素に置き換えてホログラム再生画像データを生成する再生像生成部とを備えることを特徴とする。【０００９】
また、本発明による像再生方法は、被写体からの物体光と、前記物体光に対して所定角度で照射される参照光とにより形成されたホログラム画像データを再生する像再生方法であって、前記参照光の位相分布により発生し、かつ前記物体光を位相変調させている空間キャリア成分を、演算部による演算によって、前記ホログラム画像データから除去し、空間キャリア除去画像データを生成する演算ステップと、再生像生成部によって、前記空間キャリア除去画像データを構成する1以上の注目画素を、所定数の画素で平均値化または重み付けした高周波成分除去画素に置き換えてホログラム再生画像データを生成する再生像生成ステップとを備えることを特徴とする。【００１０】
また、本発明によるデジタルホログラフィ装置は、被写体からの物体光と、前記物体光に対して所定角度で照射される参照光とを撮像素子の撮像面に照射させ、前記物体光と前記参照光とにより生成された干渉パターンを前記撮像素子でホログラム画像データとして記録するデジタルホログラフィ装置であって、前記撮像素子は、前記ホログラム画像データを上述した像再生装置に送出することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、少なくとも従来のような2次元逆フーリエ変換を行うことなく、ホログラム画像データから被写体の像や位相像を再生できるので、2次元逆フーリエ変換を行わない分、従来よりも計算処理負担を軽減でき、ホログラム画像データから被写体の像を再生する際の時間を短縮できる。
【図面の簡単な説明】
【００１２】
【図１】本発明による像再生装置を備えたデジタルホログラフィ装置の構成を示す概略図である。
【図２】像再生装置の回路構成を示す概略図である。
【図３】像再生処理手順を示すフローチャートである。
【図４】図４Ａは、ホログラム画像の一例を示し、図４Ｂは、図４Ａに示したホログラム画像における被写体の高さ分布を示す画像である。
【図５】図５Ａは、ホログラム画像データから空間キャリアを除去する前の空間周波数分布画像であり、図５Ｂは、ホログラム画像データから空間キャリアを除去した後の空間周波数分布画像である。
【図６】図６Ａは、空間キャリア除去画像の構成を示す概略図であり、図６Ｂは、図６Ａの空間キャリア除去画像から平均値処理により生成されたホログラム再生画像の構成を示す概略図であり、図６Ｃは、図６Ｂのホログラム再生画像からさらに平均値処理により生成された他のホログラム再生画像の構成を示す概略図である。
【図７】図７Ａは、シミュレーションに用いた被写体の赤色像を示すシミュレーション画像であり、図７Ｂは、シミュレーションに用いた被写体の緑色像を示すシミュレーション画像であり、図７Ｃは、シミュレーションに用いた被写体の青色像を示すシミュレーション画像であり、図７Ｄは、シミュレーションに用いた被写体の高さ分布を示す画像である。
【図８】図８Ａは、平均値処理を5回行ったときの赤色像を示す画像であり、図８Ｂは、平均値処理を5回行ったときの緑色像を示す画像であり、図８Ｃは、平均値処理を5回行ったときの青色像を示す画像であり、図８Ｄは、図８Ａにおける被写体の像の高さ分布を示す画像であり、図８Ｅは、図８Ｂにおける被写体の像の高さ分布を示す画像であり、図８Ｆは、図８Ｃにおける被写体の像の高さ分布を示す画像である。
【図９】図９Ａは、平均値処理を10回行ったときの赤色像を示す画像であり、図９Ｂは、平均値処理を10回行ったときの緑色像を示す画像であり、図９Ｃは、平均値処理を10回行ったときの青色像を示す画像であり、図９Ｄは、図９Ａにおける被写体の像の高さ分布を示す画像であり、図９Ｅは、図９Ｂにおける被写体の像の高さ分布を示す画像であり、図９Ｆは、図９Ｃにおける被写体の像の高さ分布を示す画像である。
【図１０】図１０Ａは、図７Ａ〜図７Ｃを合成したシミュレーション画像であり、図１０Ｂは、図８Ａ〜図８Ｃを合成した画像であり、図１０Ｃは、図９Ａ〜図９Ｃを合成した画像である。
【図１１】図１１Ａは、平均値処理を5回行ったときの空間周波数分布画像であり、図１１Ｂは、平均値処理を5回行ったときのRGBからなる画像であり、図１１Ｃは、図１１Ｂにおける被写体の像の高さ分布を示す画像であり、図１１Ｄは、平均値処理を7回行ったときの空間周波数分布画像であり、図１１Ｅは、平均値処理を7回行ったときのRGBからなる画像であり、図１１Ｆは、図１１Ｅにおける被写体の像の高さ分布を示す画像であり、図１１Ｇは、平均値処理を10回行ったときの空間周波数分布画像であり、図１１Ｈは、平均値処理を10回行ったときのRGBからなる画像であり、図１１Ｉは、図１１Ｈにおける被写体の像の高さ分布を示す画像である。
【図１２】他の実施の形態による像再生装置の回路構成を示す概略図である。
【図１３】従来のホログラム画像データの像再生処理についての説明に供する概略図である。
【発明を実施するための形態】
【００１３】
以下図面に基づいて本発明の実施の形態を詳述する。
【００１４】
（１）デジタルホログラフィ装置の構成
図１は、本発明による像再生装置17を備えたデジタルホログラフィ装置1の構成の一例を示す。因みに、この実施の形態の場合においては、各光源4a,4b,4cから波長が異なるレーザ光L1λ1，L1λ2，L1λ3が出射され、3波長のレーザ光L1λ1，L1λ2，L1λ3を用いるデジタルホログラフィ装置1について説明するが、本発明はこれに限らず、4波長以上や1波長または2波長のレーザ光を出射するデジタルホログラフィ装置としてもよい。
【００１５】
この場合、デジタルホログラフィ装置1は、光源4a,4bから出射されたレーザ光L1λ1，L1λ2がミラー5a,5bにより反射されてビーム結合素子6に照射されるとともに、光源4cから出射されたレーザ光L1λ3が当該ビーム結合素子6に照射される。レーザ光L1λ1，L1λ2，L1λ3は、ビーム結合素子6からビーム分割素子7に照射され、当該ビーム分割素子7によって参照光L2λ1，L2λ2，L2λ3と物体照射光L3λ1，L3λ2，L3λ3とに分離される。
【００１６】
ビーム分割素子7を透過した物体照射光L3λ1，L3λ2，L3λ3は、ビームエキスパンダ9aおよびコリメータレンズ10aを順次透過してミラー8aで反射され被写体15に照射される。物体照射光L3λ1，L3λ2，L3λ3が照射されることで被写体15から得られる物体光L4λ1，L4λ2，L4λ3は、ビーム結合素子11を通り、撮像素子12の撮像面に到達する。
【００１７】
一方、ビーム分割素子7により反射された参照光L2λ1，L2λ2，L2λ3は、ミラー8bで反射され、ビームエキスパンダ9bおよびコリメータレンズ10bを順次透過してビーム結合素子11に照射される。参照光L2λ1，L2λ2，L2λ3は、ビーム結合素子11により撮像素子12へ向けて反射され、撮像素子12の撮像面へ到達する。撮像素子12は、複数波長λ1，λ2，λ3の物体光L4λ1，L4λ2，L4λ3と、物体光L4λ1，L4λ2，L4λ3に対し所定角度で照射される複数波長λ1，λ2，λ3の参照光L2λ1，L2λ2，L2λ3とが干渉して撮像面上に干渉パターンが形成され、この干渉パターンを撮像して得られたホログラム画像データを記録し、これを像再生装置17へ送出する。
【００１８】
像再生装置17は、撮像素子12からホログラム画像データを取得すると、当該ホログラム画像データに対して後述する像再生処理を行うことにより、従来のような2次元フーリエ変換や2次元逆フーリエ変換を行うことなく、当該ホログラム画像データに基づいて被写体の像や、被写体の高さ分布を示す位相像を再生し得る。
【００１９】
（２）本発明による像再生装置
ここで、本発明による像再生装置17は、図２に示すように、図示しないCPU（Central Processing Unit）、ROM（Read Only Memory）およびRAM（Random Access Memory）等からなるマイクロコンピュータ構成の制御部22と、撮像素子からホログラム画像データを取得するデータ取得部23と、各種操作命令が入力される操作部24と、各種画像を表示する表示部25と、像再生処理のうち空間キャリア除去処理（後述する）を実行する演算部26と、同じく像再生処理のうち平均値処理（後述する）を実行する再生像生成部27とが、バスBを介して接続された構成を有する。
【００２０】
制御部22は、ROMに予め格納されている像再生処理プログラムをRAMにロードして立ち上げることにより、像再生装置17における各種機能を統括的に制御し、データ取得部23で取得したホログラム画像データを用いて、演算部26および再生像生成部27によりホログラム再生画像データを生成し、当該ホログラム再生画像データを基に生成された被写体の像や、被写体の高さ分布を示す位相像を、表示部25に表示させ得るようになされている。この場合、制御部22は、操作部24により像再生操作が行われたことを検知すると、像再生処理プログラムに従い、図３に示す像再生処理手順RT1を開始する。
【００２１】
制御部22は、像再生処理手順RT1を開始すると、ステップSP1において、撮像素子12からのホログラム画像データをデータ取得部23により取得し、次のステップSP2に移る。ここで、ホログラム画像データは、例えば3波長情報が単板単色の撮像素子12に多重記録されたものであり、図４Ａに示すように、干渉パターンにより表されるホログラム画像1Imとして表示されるものである。なお、図４Ｂは、図４Ａに示したホログラム画像1Imにおいて、物体光の位相分布を示す画像2Imであり、レーザ光の１波長分の高さ毎に明暗のグラデーションで被写体の高さを示したものである。
【００２２】
次に、図３に示したように、ステップSP2において演算部26は、空間キャリア除去処理を実行することにより、演算によって、ホログラム画像データから波長毎に空間キャリアを除去し、空間キャリア除去画像データを生成する。ここで、空間キャリア除去処理について詳細に説明する。この場合、撮像素子12の撮像面上における（x,y）の位置での物体光の複素振幅分布Uo（x,y）は、下記の数1により表され、撮像素子12の撮像面上における（x,y）の位置での参照光の複素振幅分布Ur（x,y）は、下記の数2により表される。なお、Aoは物体光の振幅、φoは物体光の位相、Arは参照光の振幅、φrは参照光の位相、iは虚数単位、（x,y）は撮像面であるx-y面上での位置を示す。
【００２３】
【数１】
2017065130.tif 000003
【００２４】
【数２】
2017065130.tif 000004
【００２５】
また、ホログラム画像データをH（x,y）とし、各波長λにおける光強度分布をI（x,y）とすると、下記の数3および数4のように表すことができる。なお、Iλ（x,y）は、波長λにおける光強度分布を示し、＊は複素共役である。
【００２６】
【数３】
2017065130.tif 000005
【００２７】
【数４】
2017065130.tif 000006
【００２８】
数4のうち、下段のAo(x,y)2＋Ar(x,y)2＋2Ao(x,y)Ar(x,y)cos｛φo(x,y)−φr(x,y)｝の式（以下、第2式とも呼ぶ）より、x-y面上での参照光の位相変化の緩急に合わせて縞の細かさも変わることが示される。
【００２９】
また、数4のうち、上段の|Uo(x,y)|2＋|Ur(x,y)|2＋Uo(x,y)Ur(x,y)＊＋Uo(x,y)＊Ur(x,y)の式（以下、第1式とも呼ぶ）における右辺第3項のUo(x,y)Ur(x,y)＊が、所望の情報となる被写体の像を示すが、Ur＊の項により変調を受けていることが示されている。言い換えれば、Ur＊の位相項による空間的なキャリア（空間キャリア成分）がUo(x,y)を変調させていると見ることができる。ここで、空間キャリア成分とは、Ur(x,y)＊の位相分布（位相項とも呼ぶ）に基づいて発生するものであり、Ur(x,y)＊＝Ar(x,y)exp｛-ｉφr(x,y)｝であることから、exp｛-ｉφr(x,y)｝が相当する。
【００３０】
位相分布変化の緩急は主に参照光の傾け角度によって決まることになるが、この参照光の傾け角度は、デジタルホログラフィ装置1の光学系（光源4a,4b,4cからビーム結合素子11までの構成）を設計する段階で調整したり、或いは、その後の光学系の調整により、所望する値に設定できることから、既知の情報と言える。そこで、像再生装置17は、参照光の位相分布（すなわち、φr（x，y））を既知として、演算部26に予め参照光の位相分布に基づいて生じる成分（exp｛iφr（x，y）｝）を記憶しておき、UrUr＊=|Ur|2となることから、演算部26によって、上記第2式の両辺に参照光の位相項に基づいて生じる成分（exp｛iφr（x，y）｝）を乗算することで、空間キャリア成分（exp｛-ｉφr(x,y)｝）を除去した空間キャリア除去画像データを生成し得るようになされている。
【００３１】
なお、上述した実施の形態においては、演算部26に予め記憶しておく参照光情報として、参照光の位相分布（φr（x，y））により生じる成分（exp｛iφr（x，y）｝）を適用し、これを演算部26に予め記憶しておくようにした場合について述べたが、本発明はこれに限らず、演算部26に予め記憶しておく参照光情報は、上記第2式の両辺に参照光の位相分布により生じる成分（exp｛iφr（x，y）｝）を乗算できれば、種々の参照光情報であってもよく、例えば参照光の位相分布（φr（x，y））や、その逆数等を参照光情報として演算部26に予め記憶しておくようにしてよい。この場合、演算部26は、予め記憶した参照光情報を基に、参照光の位相分布により生じる成分（exp｛iφr（x，y）｝）を求め、これを上記第2式の両辺に乗算する。
【００３２】
具体的には、上述した第1式の両辺に、参照光により生じる成分（exp｛iφr（x，y）｝）を乗算すると、I（x,y）（exp｛iφr（x，y）｝）＝（|Uo(x,y)|2＋|Ur(x,y)|2）（exp｛iφr（x，y）｝）＋Uo(x,y)Ar(x,y)＋Uo(x,y)＊Ar(x,y)（exp｛2iφr（x，y）｝）となり、これが空間キャリア除去画像データとなる。
【００３３】
因みに、例えば波長λ1,λ2,λ3毎にそれぞれ参照光の傾け角度が異なり、波長λ1,λ2,λ3毎に参照光の位相分布により生じる成分（exp｛iφr（x，y）｝）が異なるホログラム画像データでも、抽出したい波長における物体光成分に含まれる空間キャリア成分（exp｛-ｉφr(x,y)｝）を除去することで、所望の波長における物体光のみを、参照光による位相分布により変調を受けていない状態にできる。
【００３４】
かくして、演算部26は、参照光の波長および角度により予め定めた参照光の位相分布により生じる成分（exp｛iφr（x，y）｝）を、各波長λ毎に、ホログラム画像データの光強度成分Iλ（x,y）に乗算して、物体光を位相変調させている空間キャリア成分（exp｛-ｉφr(x,y)｝）を、各波長毎にホログラム画像データから除去した空間キャリア除去画像データを生成し、次のステップSP3に移る（図３）。
【００３５】
ここで、補足説明として、ホログラム画像データが空間キャリア成分による変調を受けているか否かで、物体光の空間周波数成分がどの様に変化しているかについて、図５Ａおよび図５Ｂに示す空間周波数分布画像を用いて説明する。図５Ａは、空間キャリア成分（exp｛-ｉφr(x,y)｝）を除去する前のホログラム画像データに対して2次元フーリエ変換を行うことにより得られた空間周波数分布画像を示しており、明るい円形状領域が各波長における物体光や共役像の情報を示している。なお、ホログラム画像データは、各波長の参照光の傾け角度・方向を変えることで、各波長における物体光の空間スペクトルを空間周波数分布画像面で分離できるように画像記録できる。この場合、図５Ａに示す空間周波数分布画像では、例えば領域ER1内に物体光の空間スペクトルが表れており、当該物体光の空間スペクトルが高空間周波数領域に位置している。
【００３６】
これに対して、図５Ｂは、ホログラム画像データから空間キャリア成分を除去した後に2次元フーリエ変換を行うことにより得られた空間周波数分布画像を示しており、図５Ａにて高空間周波数領域に位置していた領域ER1内の物体光の空間スペクトルがシフトして、原点(νx,νy)=(0,0)を中心に分布するようになる。そして、空間キャリア成分を除去したときの空間周波数分布画像では、その他の不要光成分の空間スペクトルがシフトしながらも高空間周波数領域に分布している。
【００３７】
このように、所望の波長に対応する空間キャリア成分をホログラム画像データから除去した場合には、所望の物体光の空間スペクトルが低空間周波数領域、すなわち原点(νx,νy)=(0,0)付近にシフトし、その他の不要光成分の空間スペクトルが高空間周波数領域に分布している。ここで、平均値処理を空間面の画像に施すような平滑化フィルタを考えると、ローパスフィルタと似た作用を及ぼすため、所望の物体光の空間スペクトルを抽出できると考えられる。そこで、次に、図３に示すように、ステップSP3およびステップSP4において、再生像生成部27は、演算部26で生成された空間キャリア除去画像データに対して、後述する平均値処理を所定回数実行することで、所望の物体光の空間スペクトルを抽出したホログラム再生画像データを生成する。
【００３８】
ここで、図６Ａに示すように、例えば縦3画素および横4画素が配置された合計12画素で構成されている空間キャリア除去画像データに対する平均値処理について説明する。この場合、再生像生成部27は、空間キャリア除去画像データから生成される空間キャリア除去画像内において、周辺が画素で囲まれた中心画素F,Gを特定し、この中心画素F,Gに対して平均値処理を実行する。具体的には、再生像生成部27は、平均値処理として、中心画素Fと、当該中心画素Fと隣接した周辺の画素A,B,C,E,G,I,J,Kとを全て合算した後、合算した画素数「9」で除算することにより平均値画素a1（a1=（A+B+C+E+F+G+I+J+K）/9）を生成し、図６Ｂに示すように、中心画素Fを平均値画素a1に変更する。
【００３９】
同様にして、再生像生成部27は、平均値処理として、他の中心画像Gについても、中心画素Gと、当該中心画素Gと隣接した周辺の画素B,C,D,F,H,J,K,Lとを全て合算した後、合算した画素数「9」で除算することにより平均値画素b1（b1=（B+C+D+F+G+H+J+K+L）/9）を生成し、図６Ｂに示すように、中心画素Gを平均値画素b1に変更する。このようにして、再生像生成部27は、平均値処理を実行することにより、中心画素F,Gを平均値化して高周波成分を除去した平均値画素（高周波成分除去画素とも呼ぶ）a1,b1に置き換えてゆき、ホログラム再生画像データを生成する。そして、再生像生成部27は、中心画素F,Gを平均値画素a1,b1に置き換えたホログラム再生画像データを生成すると、さらに、ホログラム再生画像データに対して平均値処理を実行する。
【００４０】
すなわち、再生像生成部27は、平均値処理として、平均値画素a1と、当該平均値画素a1と隣接した周辺の画素A,B,C,E,G,I,J,Kとを全て合算した後、合算した画素数「9」で除算することにより平均値画素a2（a2=（A+B+C+E+a1+G+I+J+K）/9）を生成し、図６Ｃに示すように、平均値画素a1を新たな平均値画素a2に変更する。
【００４１】
同様にして、再生像生成部27は、平均値処理として、他の平均値画素b1についても、平均値画素b1と、当該平均値画素b1と隣接した周辺の画素B,C,D,F,H,J,K,Lとを全て合算した後、合算した画素数「9」で除算することにより平均値画素b2（b2=（B+C+D+F+b1+H+J+K+L）/9）を生成し、図６Ｃに示すように、平均値画素b1を新たな平均値画素b2に変更する。そして、再生像生成部27は、予め設定された回数まで平均値処理を繰り返し実行し（ステップSP3、ステップSP4）、最終的なホログラム再生画像データを生成する。このような平均値処理の回数は、画素数を9とし相加平均値を採用する際には、1以上10以下であることが望ましい。
【００４２】
制御部22は、ステップSP5に移り（図３）、最終的に生成されたホログラム再生画像データに基づいて、被写体の像や、被写体の高さ分布を示す位相像を生成し、これを表示部25に表示して再生処理を終了する（ステップSP6）。
【００４３】
ここで、ステップSP2では、空間キャリア除去画像データとして、上述したように、I（x,y）（exp｛iφr（x，y）｝）＝（|Uo(x,y)|2＋|Ur(x,y)|2）（exp｛iφr（x，y）｝）＋Uo(x,y)Ar(x,y)＋Uo(x,y)＊Ar(x,y)（exp｛2iφr（x，y）｝）が得られるが、ステップSP3にて、この関数の実部および虚部に対して上述した平均値処理を施すと、f（Re［I（x,y）（exp｛iφr（x，y）｝］）＝Re［Uo(x,y) Ar(x,y)］と、f（Im［I（x,y）（exp｛iφr（x，y）｝］）＝Im［Uo(x,y) Ar(x,y)］とが得られる。なお、f（ ）は平均値処理を示し、Reは実部を示し、Imは虚部を示す。
【００４４】
なお、Ar（x,y）は定数項としてそのまま使用してもよく、また、被写体を計測する前に振幅の2乗項である光強度を記録しておくことで、予めAr（x,y）を求めておいてもよい。そして、再生像生成部27は、このようにして得られたRe［Uo(x,y) Ar(x,y)］と、Im［Uo(x,y) Ar(x,y)］とから、物体光の振幅を求め、例えば後述する図８Ａ〜図８Ｃに示すような被写体の像（振幅像）を再生できる。また、再生像生成部27は、Re［Uo(x,y) Ar(x,y)］とIm［Uo(x,y) Ar(x,y)］とから、被写体の位相分布も求めることができ、例えば後述する図８Ｄ〜図８Ｆに示すような被写体の位相分布を示した位相像も再生できる。
【００４５】
このように、像再生装置17は、従来のような2次元フーリエ変換や、2次元逆フーリエ変換の演算処理を一切行わずに、空間キャリア除去処理および平均値処理によって、ホログラム画像データから被写体の像や位相像を再生させることができる。
【００４６】
（３）シミュレーション
次に、本発明による像再生装置17による像再生処理のシミュレーション結果について説明する。ここでは、図２に示す像再生装置17を使用すると仮定する。先ず始めに平均値処理による特定空間周波数帯域の選択的抽出についてシミュレーションを行った。また、撮像素子の画素数512×512、画素間隔5［μm］とし、波長640nm,532nm,473nmの3波長の光を発振する3台のレーザを用いて、波長多重されたイメージホログラムを得ると仮定した。図７Ａ〜図７Ｃに示すシミュレーション画像を計算機内で生成し、これを用いて本発明による像再生処理を行った。
【００４７】
図７Ａは、赤色（波長640［nm］）で被写体の明暗を表した振幅分布を示すシミュレーション画像である。図７Ｂは、緑色（波長532［nm］）で被写体の明暗を表した振幅分布を示すシミュレーション画像である。図７Ｃは、青色（波長473［nm］）で被写体の明暗を表した振幅分布を示すシミュレーション画像である。なお、被写体には女性の人物像を用いた。また、図７Ｄは、RGBの3色を合成した被写体の高さ（奥行き寸法）の分布を示す画像であり、被写体の高さを明暗のグラデーションで示し、明るい箇所が高く（手前側にあり）、暗い箇所が低い（奥行き側にある）ことを示す。
【００４８】
そして、図６Ａ〜図６Ｃに示したように、9画素の平均値を演算して出力するMean filterを、図７Ａ〜図７Ｃのシミュレーション画像に対して5回または10回繰り返して計算し、5回および10回の平均値処理を行ったときの結果について調べたところ、図８Ａ〜図８Ｃに示すような結果と、図９Ａ〜図９Ｃに示すような結果とが得られた。図８Ａは、図７Ａのシミュレーション画像に対して9画素の平均値を演算して出力するMean filterを5回行ったときの画像であり、図８Ｂは、図７Ｂのシミュレーション画像に対して9画素の平均値を演算して出力するMean filterを5回行ったときの画像であり、図８Ｃは、図７Ｃのシミュレーション画像に対して9画素の平均値を演算して出力するMean filterを5回行ったときの画像である。
【００４９】
図８Ａ〜図８Ｃの結果から、図７Ａ〜図７Ｃのシミュレーション画像内にある被写体の像と同じ被写体の像を各波長で明確に視認できたことから、Mean filterを5回行っても、図７Ａ〜図７Ｃのシミュレーション画像内にある被写体の像を再生できることが確認できた。また、Mean filterを5回行ったときの被写体の高さ（奥行き寸法）の分布を示す画像についても調べたところ、図８Ｄ〜図８Ｆに示すような結果が得られ、位相像が再生できることが確認できた。なお、図８Ｄは、図８Ａの位相像であり、図８Ｅは、図８Ｂの位相像であり、図８Ｆは、図８Ｃの位相像である。
【００５０】
また、図９Ａは、図７Ａのシミュレーション画像に対して9画素の平均値を演算して出力するMean filterを10回行ったときの画像であり、図９Ｂは、図７Ｂのシミュレーション画像に対して9画素の平均値を演算して出力するMean filterを10回行ったときの画像であり、図９Ｃは、図７Ｃのシミュレーション画像に対して9画素の平均値を演算して出力するMean filterを10回行ったときの画像である。
【００５１】
図９Ａ〜図９Ｃの結果から、Mean filterを10回行った場合でも、図７Ａ〜図７Ｃのシミュレーション画像内にある被写体の像と同じ被写体の像を各波長で明確に視認できたことから、Mean filterを10回行っても、図７Ａ〜図７Ｃのシミュレーション画像内にある被写体の像を再生できることが確認できた。また、Mean filterを10回行ったときの被写体の高さ（奥行き寸法）の分布を示す画像についても調べたところ、図９Ｄ〜図９Ｆに示すような結果が得られ、位相像についても再生できることが確認できた。なお、図９Ｄは、図９Ａの位相像であり、図９Ｅは、図９Ｂの位相像であり、図９Ｆは、図９Ｃの位相像である。
【００５２】
ここで、図１０Ａは、図７Ａ〜図７Ｃのシミュレーション画像を合成し、色合成を行ったシミュレーション画像である。一方、図１０Ｂは、図８Ａ〜図８Ｃの画像を合成し、色合成を行った合成画像であり、図１０Ｃは、図９Ａ〜図９Ｃの画像を合成し、色合成を行った合成画像である。図１０Ｂの結果から、Mean filterを5回行っても、図１０Ａのシミュレーション画像とよく似たカラー画像を再現できることが確認できた。また、図１０Ｃの結果から、Mean filterを10回行っても、図１０Ａのシミュレーション画像とよく似たカラー画像を再現できることが確認できた。
【００５３】
次に、シミュレーション画像に対して、9画素の平均値を演算して出力するMean filterを7回行ったときのシミュレーション結果について、上述したMean filterを5回行ったときのシミュレーション結果と、Mean filterを10回行ったときのシミュレーション結果と並べて対比した。ここで、図１１Ａは、Mean filterを5回行った図１１Ｂの画像をフーリエ変換して得られた空間周波数分布画像であり、図１１Ｄは、Mean filterを7回行った図１１Ｅの画像をフーリエ変換して得られた空間周波数分布画像であり、図１１Ｇは、Mean filterを10回行った図１１Ｈの画像をフーリエ変換して得られた空間周波数分布画像である。図１１Ａ、図１１Ｄおよび図１１Ｇから、平均値処理後の各画像をフーリエ変換すると、所望の物体光波の空間スペクトル以外の成分が除去されていることが確認できた。
【００５４】
また、図１１Ｂは、Mean filterを5回行ったときの色合成した合成画像であり、図１１Ｅは、Mean filterを7回行ったときの色合成した合成画像であり、図１１Ｈは、Mean filterを10回行ったときの色合成した合成画像である。図１１Ｅの結果から、Mean filterを7回行っても、シミュレーション画像（図１０Ａ）とよく似たカラー画像を再現できることが確認できた。また、図１１Ｂ、図１１Ｅ、および図１１Ｈの結果から、いずれもシミュレーション画像と同じ被写体の像を再生できるものの、Mean filterの回数が増えるに従って被写体の像の輪郭がぼやけてゆくことが確認できた。
【００５５】
なお、Mean filterを5回、7回、および10回行ったときの各被写体の高さ（奥行き寸法）の分布を示す画像についても調べたところ、図１１Ｃ、図１１Ｆ、および図１１Ｉに示すような結果が得られ、再生された位相像については大きな違いは生じないことが確認できた。なお、図１１Ｃは、図１１Ｂの位相像であり、図１１Ｆは、図１１Ｅの位相像であり、図１１Ｉは、図１１Ｈの位相像である。
【００５６】
以上より、本発明による像再生装置17は、従来のような2次元フーリエ変換や2次元逆フーリエ変換を用いることなく、シミュレーション画像と同じ被写体の像や、位相像を再生できることが確認できた。また、2波長の光を用いて波長多重されたホログラムに対して、Mean filterを1回だけかけても所望の2種物体光を抽出できることも確認できている。具体的な計算機シミュレーション手続きとしては、ホログラムの空間周波数面において、画素間隔をdとして、2種類の物体光、2種類の共役像、そして0次回折光の空間スペクトルがそれぞれ、垂直方向または水平方向に±1/（4d）、±1/（2d）のいずれかだけ離れている記録条件を想定した。このとき、本発明で４×４画素のMean filterを適用すると、所望の物体光以外の光波成分が効果的に除去された。同様の考えとして、P×P画素（Pは自然数）の各種フィルタを用いればゼロ点（ゼロ点とは、周波数面において、スペクトル値が0となる点を指す。例えば、P画素のMean filterを用いると、周波数1/Pの整数倍におけるスペクトル値が0となるため、周波数1/Pの整数倍にゼロ点が現れる）を利用し、Qを0以外の整数として、±Q/（Pd）だけ離れた光波成分を効果的に除去できる。P≠R（Rは自然数）としてP×R画素またはR×P画素の各種フィルタを用いてもよい。
【００５７】
（４）作用および効果
以上の構成において、像再生装置17は、被写体からの複数の波長の物体光と、物体光に対して所定角度で照射される各波長の参照光とにより形成されたホログラム画像データをデータ取得部23により取得する。像再生装置17では、参照光の波長と、参照光の角度とにより予め定まる参照光の位相分布により生じる成分（exp｛iφr（x，y）｝）を、演算部26により予め記憶しておき、演算部26によって、各波長毎に、ホログラム画像データの光強度成分に対し参照光の位相分布により生じる成分を乗算する。これにより、像再生装置17では、参照光の位相分布により発生し、かつ物体光を位相変調させている空間キャリア成分を、各波長毎にホログラム画像データから除去し、空間キャリア除去画像データを生成する。
【００５８】
また、像再生装置17では、再生像生成部27によって、空間キャリア除去画像データを構成する画素を、当該画素の周辺にある所定数の画素から平均値を求めて生成した平均値画像（高周波成分除去画素）に置き換える平均値処理を実行することにより、ホログラム再生画像データを生成する。このようにして空間キャリア除去画像データの関数の実部および虚部に対して平均値処理を施して得られるホログラム再生画像データは、その関数の実部（Re［Uo(x,y) Ar(x,y)］）や虚部（Im［Uo(x,y) Ar(x,y)］）から、物体光の振幅像（被写体の像）や、被写体の位相像を再生させることができる。
【００５９】
このように像再生装置17では、従来のような2次元フーリエ変換や2次元逆フーリエ変換を行うことなく、ホログラム画像データから被写体の像や位相像を再生できるので、2次元フーリエ変換や2次元逆フーリエ変換を行わない分、従来よりも計算処理負担を軽減でき、ホログラム画像データから被写体の像を再生する際の時間を短縮できる。今回、イメージホログラムを用いた計算機シミュレーションを行なったが、結像レンズの無い光学システムに対しても適用可能である。本発明は例えば、波長多重ホログラムから物体の３次元像を光学再生するホログラフィックディスプレイへの応用において、カラーホログラフィック画像表示のリアルタイム化を強力に推し進めるものと期待される。
【００６０】
（５）他の実施の形態
（５−１）平均値処理の他の実施の形態
なお、本発明は前記実施例に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。例えば、上述した実施の形態においては、注目画素を平均値化する平均値処理として、注目画素Fと、当該注目画素Fを取り囲む8つの画素A,B,C,E,G,I,J,Kとの合計9画素の平均値（例えば、a1=（A+B+C+E+F+G+I+J+K）/9）を求め、これを平均値画像（高周波除去画素）a1とし、注目画素Fと置き換える平均値処理を適用した場合について述べたが、本発明はこれに限らず、例えば注目画素と、注目画素周辺にある1つ以上の画素との合計2画素で平均値を求め、これを平均値画素として注目画素と置き換える平均値処理を適用してもよい。
【００６１】
また、例えば他の実施の形態による平均値処理としては、図６Ａにおいて、注目画素Fと、当該注目画素Fを中心に十字状に配置された4つの画素B,J,E,Gとの合計5画素の平均値（例えば、a1=（F+B+J+E+G）/5）や、注目画素Fと、当該注目画素Fを中心に×状に配置された4つの画素A,K,C,Iとの合計5画素の平均値（例えば、a1=（F+A+K+C+I）/5）を求め、これを高周波除去画素a1として注目画素Fと置き換える平均値処理としてもよい。
【００６２】
また、他の平均値処理としては、注目画素Fと、当該注目画素Fに隣接する2つの画素（例えば画素A,K、画素A,B、画素I,G等）との平均値（例えば、a1=（F+A+K）/3）や、３つの画素（例えば画素A,K,G、画素A,B,C、画素I,G,A等）との平均値（例えば、a1=（F+A+K+G）/4）を求め、これを高周波除去画素a1として注目画素Fと置き換える平均値処理としてもよい。また、注目画素Fの平均値を求める画素は、全てが注目画素Fに隣接していなくてもよく、注目画素Fの周辺に配置された画素であればよい。このような平均値処理としては、例えば、注目画素Fと、当該注目画素Fの周辺に配置された4つの画素A,D,I,Lとの合計5画素の平均値（例えば、a1=（F+A+D+I+L）/5）を求め、これを高周波除去画素a1として注目画素Fと置き換える平均値処理としてもよい。
【００６３】
さらに、高周波除去画素を生成する処理としては、平均値処理である必要はなく、例えば、sinc関数を用いた重み付け処理であってもよい。この場合、注目画素Fを取り囲む8つの画素A,B,C,E,G,I,J,Kよりも中心の注目画素Fに重み付けをしたsinc関数を用いて高周波除去画素を生成する。具体的には、a1 = {Fsinc(0)+(B+E+G+J)sinc(mπ)+(A+C+I+K)sinc(nπ)}/9とし、m = 1/2、n = (2)1/2/2、またはa1 = {Fsinc(0)+(B+E+G+J)sinc(mπ)+(A+C+I+K)sinc2(mπ)}/9とし、m = 1/3、またはa1 = {Fsinc(0)+(B+E+G+J)sinc(1)+(A+C+I+K)sinc2(1)}/9などとしても良い。このように、重み付け処理としては、sinc関数を用い、注目画素との距離に応じて、重みを変えて平滑化処理を施すことが具体例として挙げられる。また、m、nの値は上記以外の実数でもよく、各画素に対する重みは注目画素までの距離に基づいてつけても良く、sinc関数の代わりに2次関数、4次関数などの高次関数、ベッセル関数を用いても良い。
【００６４】
（５−２）フーリエ変換処理を含む再生処理
上述した実施の形態においては、空間キャリア除去画像データに対して、予め設定した画素数で平均値化処理や重み付け処理を行うようにした場合について述べたが、本発明はこれに限らず、ホログラム画像データにフーリエ変換処理を実行して空間周波数分布画像データを得、この空間周波数分布画像データに基づく空間周波数分布画像内に表れる物体光の空間スペクトルの大きさを特定し、当該空間スペクトルの大きさに応じて平均値化処理や重み付け処理に用いる画素数を決定してもよい。
【００６５】
この場合、図１２に示すように、デジタルホログラフィ装置1（図１）に設けられる像再生装置37は、フーリエ変換処理部38がバスBを介して制御部22等に接続されており、データ取得部23により取得したホログラム画像データをフーリエ変換処理部38に送出する。フーリエ変換処理部38は、ホログラム画像データに対して2次元フーリエ変換処理を実行することにより、空間周波数分布画像データを生成する。フーリエ変換処理部38は、例えば、空間周波数分布画像データに基づく空間周波数分布画像を表示部25に表示させ、当該空間周波数分布画像内にある物体光の空間スペクトルを画像処理により特定し、当該空間スペクトルの大きさを計測し得る。また、フーリエ変換処理部38は、空間周波数分布画像上での物体光の空間スペクトルの大きさの逆数と同じサイズとなる画素数を特定し、これら画素数を1つの演算用画素として決定して、これを演算用画素数データとして再生像生成部27に送出する。
【００６６】
ここで、画素間隔をdとしたとき、撮像素子の記録可能な空間スペクトルの幅は、画素間隔dの逆数（1/d）で表される。よって、空間周波数分布画像上での物体光の空間スペクトルの幅が、例えば互いに隣接する4画素分の大きさの逆数（1/(4d)）に相当するとき、フーリエ変換処理部38は、その幅を有する方向に対して、互いに隣接する4つの画素を1つの演算用画素として決定して、これを演算用画素数データとして再生像生成部27に送出する。
【００６７】
その後、再生像生成部27は、演算部26によって生成された空間キャリア除去画像データを受け取ると、演算用画素数データを基に演算用画素単位で空間キャリア除去画像データに対し平均値処理または重み付け処理を実行する。ここで、例えば互いに隣接する4つの画素を1つの演算用画素として決定した演算用画素数データを、再生像生成部27がフーリエ変換処理部38から受け取っているときには、再生像生成部27において、互いに隣接する4つの画素を1つの演算用画素として平均値処理を実行する。
【００６８】
そして、再生像生成部27は、平均値処理や重み付け処理により得られた関数の実部と虚部とから、物体光の振幅を求めて被写体の像を再生できるとともに、被写体の位相分布も求めて被写体の位相像も再生できる。
【００６９】
以上の構成において、この像再生装置37は、像再生処理の際、ホログラム画像データに対してフーリエ変換処理を行うものの、従来のような波長数に応じた回数の2次元逆フーリエ変換を行わない分、従来よりも計算処理負担を軽減でき、ホログラム画像データから被写体の像を再生する際の時間を短縮できる。
【００７０】
（５−３）その他の実施の形態
上述した実施の形態においては、複数種類でなる物体光および参照光として、複数の波長でなる物体光および参照光を用いて生成されたホログラム画像データを適用した場合について述べたが、本発明はこれに限らず、例えば複数の偏光状態の物体光および参照光を用いたり、撮像素子12の撮像面への複数の到達時刻をもつ物体光および参照光を用いたり、複数の照明角度により複数の高さ感度を有する物体光および参照光を用いて生成されたホログラム画像データを適用してもよい。
【００７１】
また、上述した実施の形態においては、演算部として、参照光の波長および角度により予め定まる参照光の位相分布により生じる成分（exp｛iφr（x，y）｝）を記憶しておき、ホログラム画像データの光強度成分に参照光の位相分布により生じる成分（exp｛iφr（x，y）｝）を乗算することで、ホログラム画像データから空間キャリア成分を除去する演算部を設けるようにした場合について述べたが、本発明はこれに限らず、例えば、参照光の波長および角度により予め定まる参照光の位相分布により生じる成分の逆数（1／（exp｛iφr（x，y）｝））を参照光情報として記憶しておき、ホログラム画像データの光強度成分を参照光の位相分布により生じる成分の逆数（1／（exp｛iφr（x，y）｝））で除算することで、ホログラム画像データから空間キャリア成分を除去する演算部を適用してもよい。
【００７２】
なお、この場合であっても、演算部26に予め記憶しておく参照光情報としては、上記第2式の両辺に参照光の位相分布により生じる成分の逆数（1／（exp｛iφr（x，y）｝））を除算できれば、種々の参照光情報であってもよく、例えば参照光の位相分布（φr（x，y））、参照光の位相分布により生じる成分（exp｛iφr（x，y）｝）等を参照光情報として演算部26に予め記憶しておくようにしてよい。この場合、演算部26は、予め記憶した参照光情報を基に、参照光の位相分布により生じる成分の逆数を求め、これを上記第2式の両辺に除算することで、上述した実施の形態と同様の効果を得ることができる。
【符号の説明】
【００７３】
1  デジタルホログラフィ装置
17、37  像再生装置
23  データ取得部
26  演算部
27  再生像生成部
38  フーリエ変換処理部
【図１】
2017065130.tif 000007
【図２】
2017065130.tif 000008
【図３】
2017065130.tif 000009
【図４】
2017065130.tif 000010
【図５】
2017065130.tif 000011
【図６】
2017065130.tif 000012
【図７】
2017065130.tif 000013
【図８】
2017065130.tif 000014
【図９】
2017065130.tif 000015
【図１０】
2017065130.tif 000016
【図１１】
2017065130.tif 000017
【図１２】
2017065130.tif 000018
【図１３】
2017065130.tif 000019
【国際調査報告】
2017065130.tif 000020
2017065130.tif 000021
2017065130.tif 000022