(57)【要約】【課題】簡易な構成で多視点の画像を再構成すること。【解決手段】立体画像生成システム１は、対象物Ｔの像の２次元画像データを出力する撮像素子７と、撮像素子７と対象物Ｔとの間に配置され、撮像素子７に入射する像を２次元的に走査可能な可動ミラー３と、撮像素子７と可動ミラー３との間に配置された結像光学系５と、撮像素子７から出力された要素画像を基に、対象物Ｔの像を表す再構成画像を生成する演算処理装置１１とを備え、演算処理装置１１は、可動ミラー３の反射面３ａに関する撮像素子７の検出面７ａと結像光学系５との鏡像の位置から逆光線ベクトルを計算し、逆光線ベクトルを用いて、注目画素の２次元位置を予め設定された再構成面上の再構成点にマッピングし、注目画素を該再構成点に対応する画素の輝度値に反映することによって、再構成面上に焦点が設定された再構成画像を生成する。【選択図】図１
2020048064.tif 000002
【特許請求の範囲】
【請求項１】
対象物の像を２次元位置毎に検出し、前記像の２次元位置を特定可能な信号を出力する検出装置と、
前記検出装置と前記対象物との間に配置され、検出装置に入射する前記像を２次元的に走査可能な可動ミラーと、
前記検出装置と前記可動ミラーとの間に配置され、前記像を前記検出装置に導く光学系と、
前記検出装置から出力された前記信号を基に、前記対象物の像を表す画像データを生成する演算装置とを備え、
前記演算装置は、前記可動ミラーの反射面に関する前記検出装置の検出面と前記光学系との鏡像の位置を計算し、
前記検出面の鏡像の位置と前記光学系の鏡像の位置とから逆光線ベクトルを計算し、
前記逆光線ベクトルを用いて、前記像の２次元位置を予め設定された再構成面上の再構成点にマッピングし、前記像を該再構成点に対応する画素の輝度値に反映することによって、前記再構成面上に焦点が設定された前記画像データを生成する、
再構成画像生成装置。
【請求項２】
前記可動ミラーは、二軸を中心に回転可能なミラーであり、
前記演算装置は、前記可動ミラーの二軸を中心としたそれぞれの回転角を基に、前記検出装置の検出面と前記光学系との鏡像の位置を計算する、
請求項１に記載の再構成画像生成装置。
【請求項３】
前記演算装置は、前記可動ミラーの二軸を中心としたそれぞれの回転角を基に、前記検出装置の検出面あるいは前記光学系の位置を、初期位置から前記二軸のそれぞれを中心に前記回転角の２倍ほど回転移動させることにより、前記検出装置の検出面と前記光学系との鏡像の位置を計算する、
請求項２に記載の再構成画像生成装置。
【請求項４】
前記演算装置は、前記鏡像の位置と前記再構成点との距離を計算し、
前記距離に応じた重み付けで該再構成点に対応する画素の輝度値に反映する、
請求項１〜３のいずれか１項に記載の再構成画像生成装置。
【請求項５】
前記検出装置は、前記対象物の前記像の２次元画像データを出力する撮像装置であり、
前記演算装置は、前記２次元画像データの画素を前記再構成点にマッピングし、当該画素の輝度値を、該再構成点に対応する画素の輝度値に加算する、
請求項１〜４のいずれか１項に記載の再構成画像生成装置。
【請求項６】
前記検出装置は、前記対象物からの光子の入射位置を前記信号として出力する光子計数装置であり、
前記演算装置は、前記光子の入射位置を前記再構成点にマッピングする、
請求項１〜４のいずれか１項に記載の再構成画像生成装置。
【請求項７】
検出装置を用いて、対象物の像を２次元位置毎に検出し、前記像の２次元位置を特定可能な信号を出力する検出ステップと、
検出装置に入射する前記像を可動ミラーを用いて２次元的に走査し、前記像を光学系を経由して前記検出装置に導く走査ステップと、
前記検出装置から出力された前記信号を基に、演算装置を用いて、前記対象物の像を表す画像データを生成する演算ステップとを備え、
前記演算ステップでは、前記可動ミラーの反射面に関する前記検出装置の検出面と前記光学系との鏡像の位置を計算し、
前記検出面の鏡像の位置と前記光学系の鏡像の位置とから逆光線ベクトルを計算し、
前記逆光線ベクトルを用いて、前記像の２次元位置を予め設定された再構成面上の再構成点にマッピングし、前記像を該再構成点に対応する画素の輝度値に反映することによって、前記再構成面上に焦点が設定された前記画像データを生成する、
再構成画像生成方法。
【請求項８】
前記可動ミラーは、二軸を中心に回転可能なミラーであり、
前記演算ステップでは、前記可動ミラーの二軸を中心としたそれぞれの回転角を基に、前記検出装置の検出面と前記光学系との鏡像の位置を計算する、
請求項７に記載の再構成画像生成方法。
【請求項９】
前記演算ステップでは、前記可動ミラーの二軸を中心としたそれぞれの回転角を基に、前記検出装置の検出面あるいは前記光学系の位置を、初期位置から前記二軸のそれぞれを中心に前記回転角の２倍ほど回転移動させることにより、前記検出装置の検出面と前記光学系との鏡像の位置を計算する、
請求項８に記載の再構成画像生成方法。
【請求項１０】
前記演算ステップでは、前記鏡像の位置と前記再構成点との距離を計算し、
前記距離に応じた重み付けで該再構成点に対応する画素の輝度値に反映する、
請求項７〜９のいずれか１項に記載の再構成画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一側面は、多視点の画像を再構成する再構成画像生成装置及び再構成画像生成方法に関する。
【背景技術】
【０００２】
従来から、立体画像等の複数の方向の画像を作成する装置が知られている（例えば、下記特許文献１参照）。この装置は、結像光学系の光軸上に移動可能な走査ミラーを有し、走査ミラーが回転することにより、被写体からの光を結像光学系に向けることができ、互いに視差のある複数の画像を時系列に結像光学系に送り、それらの画像を基に立体画像を形成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−３２８１７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したような従来の装置では、走査ミラーを結像光学系の光軸上に移動させる機構、及び走査ミラーを回転させる機構が必要になるために構成が複雑化しがちである。また、一次元的に変化した方向から観察した画像しか形成できないため、多視点の画像を再構成することは困難である。
【０００５】
そこで、本発明の一側面は、かかる課題に鑑みてなされたものであり、簡易な構成で多視点の画像を再構成することが可能な再構成画像生成装置及び再構成画像生成方法を提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明の一形態は、対象物の像を２次元位置毎に検出し、像の２次元位置を特定可能な信号を出力する検出装置と、検出装置と対象物との間に配置され、検出装置に入射する像を２次元的に走査可能な可動ミラーと、検出装置と可動ミラーとの間に配置され、像を検出装置に導く光学系と、検出装置から出力された信号を基に、対象物の像を表す画像データを生成する演算装置とを備え、演算装置は、可動ミラーの反射面に関する検出装置の検出面と光学系との鏡像の位置を計算し、検出面の鏡像の位置と光学系の鏡像の位置とから逆光線ベクトルを計算し、逆光線ベクトルを用いて、像の２次元位置を予め設定された再構成面上の再構成点にマッピングし、像を該再構成点に対応する画素の輝度値に反映することによって、再構成面上に焦点が設定された画像データを生成する、再構成画像生成装置である。
【０００７】
あるいは、本発明の他の形態は、検出装置を用いて、対象物の像を２次元位置毎に検出し、像の２次元位置を特定可能な信号を出力する検出ステップと、検出装置に入射する像を可動ミラーを用いて２次元的に走査し、像を光学系を経由して検出装置に導く走査ステップと、検出装置から出力された信号を基に、演算装置を用いて、対象物の像を表す画像データを生成する演算ステップとを備え、演算ステップでは、可動ミラーの反射面に関する検出装置の検出面と光学系との鏡像の位置を計算し、検出面の鏡像の位置と光学系の鏡像の位置とから逆光線ベクトルを計算し、逆光線ベクトルを用いて、像の２次元位置を予め設定された再構成面上の再構成点にマッピングし、像を該再構成点に対応する画素の輝度値に反映することによって、再構成面上に焦点が設定された画像データを生成する、再構成画像生成方法である。
【０００８】
上記いずれかの形態によれば、可動ミラーを用いて２次元的に走査された像が検出装置によって検出されて像の２次元位置を特定可能な信号が出力され、その信号を基に演算装置によって対象物の像を表す画像データが生成される。画像データの生成は、検出装置の検出面の鏡像の位置と光学系の鏡像の位置とから計算した逆光線ベクトルを用いて像の２次元位置を再構成点にマッピングし、像を再構成点に対応する画素の輝度値に反映することによって実行される。これにより、可動ミラーの構成を複雑化させることなしに、所望の再構成面上に焦点が設定された画像データを簡易な演算で再構成することができる。
【０００９】
上記一形態においては、可動ミラーは、二軸を中心に回転可能なミラーであり、演算装置は、可動ミラーの二軸を中心としたそれぞれの回転角を基に、検出装置の検出面と光学系との鏡像の位置を計算する、ことも好適である。また、上記他の形態においては、可動ミラーは、二軸を中心に回転可能なミラーであり、演算ステップでは、可動ミラーの二軸を中心としたそれぞれの回転角を基に、検出装置の検出面と光学系との鏡像の位置を計算する、ことも好適である。この場合、可動ミラーの小型化が容易となり、画像の再構成の演算を単純化することが可能となる。その結果、装置の小型化および演算時間の短縮化が可能となる。
【００１０】
また、上記一形態においては、演算装置は、可動ミラーの二軸を中心としたそれぞれの回転角を基に、検出装置の検出面あるいは光学系の位置を、初期位置から二軸のそれぞれを中心に回転角の２倍ほど回転移動させることにより、検出装置の検出面と光学系との鏡像の位置を計算する、ことも好適である。また、上記他に形態においては、演算ステップでは、可動ミラーの二軸を中心としたそれぞれの回転角を基に、検出装置の検出面あるいは光学系の位置を、初期位置から二軸のそれぞれを中心に回転角の２倍ほど回転移動させることにより、検出装置の検出面と光学系との鏡像の位置を計算する、ことも好適である。この場合、検出面と光学系との鏡像の位置を適切に計算することができ、再現性の高い画像データを再構成することができる。
【００１１】
さらに、上記一形態においては、演算装置は、鏡像の位置と再構成点との距離を計算し、距離に応じた重み付けで該再構成点に対応する画素の輝度値に反映する、ことも好適である。さらに、上記他の形態においては、演算ステップでは、鏡像の位置と再構成点との距離を計算し、距離に応じた重み付けで該再構成点に対応する画素の輝度値に反映する、ことも好適である。こうすれば、より再現性の高い画像データを再構成することができる。
【００１２】
またさらに、検出装置は、対象物の像の２次元画像データを出力する撮像装置であり、演算装置は、２次元画像データの画素を再構成点にマッピングし、当該画素の輝度値を、該再構成点に対応する画素の輝度値に加算する、ことも好適である。かかる構成を採れば、２次元画像データを基に所望の再構成面上に焦点が設定された画像データを簡易な演算で再構成することができる。
【００１３】
さらにまた、検出装置は、対象物からの光子の入射位置を信号として出力する光子計数装置であり、演算装置は、光子の入射位置を再構成点にマッピングする、ことが好適である。かかる構成を採れば、光子の入射位置の検出信号を基に所望の再構成面上に焦点が設定された光子像に関する画像データを簡易な演算で再構成することができる。
【発明の効果】
【００１４】
本発明の一側面によれば、簡易な構成で多視点の画像を再構成することができる。
【図面の簡単な説明】
【００１５】
【図１】実施形態にかかる再構成画像生成装置である立体画像生成システム１の概略構成図である。
【図２】図１の撮像素子７の詳細な構成を示す平面図である。
【図３】図１の可動ミラー３の構造を結像光学系５の光軸Ｌ１に垂直な方向から見た図である。
【図４】図１の情報記録装置９及び演算処理装置１１のハードウェア構成を示す図である。
【図５】図１の光学系に対する等価光学系を示す図である。
【図６】図１の光学系に対する等価光学系を示す図である。
【図７】図１の演算処理装置１１による逆光線追跡による再構成画像の生成処理の手順を示すフローチャートである。
【図８】図１の演算処理装置１１によって設定される再構成面のイメージを示す図である。
【図９】変形例にかかる再構成画像生成装置である立体画像生成システム１Ａの概略構成図である。
【図１０】図９の演算処理装置１１Ａによる逆光線追跡による再構成画像の生成処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、添付図面を参照して、本発明の実施形態について詳細に説明する。なお、説明において、同一要素又は同一機能を有する要素には、同一符号を用いることとし、重複する説明は省略する。
【００１７】
図１は、実施形態にかかる再構成画像生成装置である立体画像生成システム１の概略構成図である。図１に示す立体画像生成システム１は、対象物Ｔを撮像し対象物Ｔに関する多視点の画像を再構成するための装置である。すなわち、立体画像生成システム１は、多視点の画像を基に任意の焦点位置での画像を得るインテグラルイメージング（Integral  Imaging）を実行する。この立体画像生成システム１は、可動ミラー３、結像光学系５、撮像素子（検出装置）７、情報記録装置９、及び演算処理装置（演算装置）１１を含んでいる。
【００１８】
結像光学系５は、対象物Ｔの像を撮像素子７に結像する（導く）ためのレンズ又はピンホール等の光学素子である。図１には、結像光学系５としてピンホールを用いた例を示している。
【００１９】
撮像素子７は、対象物Ｔの像を２次元位置毎に検出し、その像の２次元位置を特定可能な信号を出力する検出装置であり、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（ComplementaryMetal Oxide Semiconductor）イメージセンサ等の対象物Ｔの像を２次元の画素信号として出力可能な撮像装置である。図２には、撮像素子７の詳細な構成を示している。撮像素子７の検出面７ａ上には、２次元的に複数の有限な大きさの画素７ｂが配列されている。例えば、画素７ｂは、一の方向Ｄｉに沿ってＮｉ個、一の方向Ｄｉに垂直な他の方向Ｄｊに沿ってＮｊ個で２次元的に配列され、それぞれの画素７ｂは、一の方向Ｄｉに沿った幅がｄｉ、他の方向Ｄｊに沿った幅がｄｊとなるような矩形状の形状を有する。このような構成の撮像素子７は、複数の画素７ｂごとに入射光線の輝度を検出し、入射光線の結像位置である画素７ｂの位置に関する位置情報と輝度の値の情報（輝度値）とを、２次元画像データに含めて出力する。以下の説明では、一の方向Ｄｉにおいてｉ番目、他の方向Ｄｊにおいてｊ番目の画素７ｂの位置を“（ｉ，ｊ）”と表す。
【００２０】
図１に戻って、可動ミラー３は、結像光学系５の光軸Ｌ１上において、撮像素子７及び結像光学系５と対象物Ｔとの間に配置されている。可動ミラー３は、撮像素子７の検出面７ａに入射する対象物Ｔの像（入射光線）を２次元的に走査可能に構成される。図３は、可動ミラー３の構造を結像光学系５の光軸Ｌ１に垂直な方向から見た図である。この可動ミラー３は、結像光学系５の光軸Ｌ１上にその反射面３ａの中心Ｃ１が位置するように配置され、図示しない駆動装置によって、反射面３ａ上で中心Ｃ１を通る互いに直交する２つの回転軸ＬＡ，ＬＢを中心に回転駆動される。このような可動ミラー３の回転駆動は、情報記録装置９によって制御され、情報記録装置９により可動ミラーの回転角が様々な角度に設定されることにより、結像光学系５に視点の異なる対象物Ｔの像が導かれる。
【００２１】
再び図１に戻って、情報記録装置９は、可動ミラー３の駆動装置及び撮像素子７と電気的に接続され、可動ミラー３の回転軸ＬＡ，ＬＢを中心とした回転角θ，φと、その回転角θ，φに設定した際に撮像素子７から出力された２次元画像データとを対応付けて記録する装置である。演算処理装置１１は、情報記録装置９からデータを読み出し可能に構成され、情報記録装置９から読み出した複数の回転角θ，φ毎の２次元画像データを基に、画像を再構成して再構成画像を生成する装置である。
【００２２】
図４は、情報記録装置９及び演算処理装置１１のハードウェア構成を示している。図４に示すように、情報記録装置９及び演算処理装置１１は、物理的には、プロセッサであるＣＰＵ（Central  Processing  Unit）３０１、記録媒体であるＲＡＭ（Random  Access  Memory）３０２又はＲＯＭ（Read Only Memory）３０３、通信モジュール３０４、及び入出力モジュール３０６等を含んだコンピュータ等であり、各々は電気的に接続されている。情報記録装置９及び演算処理装置１１の各機能は、ＣＰＵ３０１及びＲＡＭ３０２等のハードウェア上にプログラム等を読み込ませることにより、ＣＰＵ３０１の制御のもとで、通信モジュール３０４、及び入出力モジュール３０６等を動作させるとともに、ＲＡＭ３０２におけるデータの読み出し及び書き込みを行うことで実現される。なお、情報記録装置９及び演算処理装置１１は、入出力デバイスとして、ディスプレイ、キーボード、マウス、タッチパネルディスプレイ等を含んでいてもよいし、ハードディスクドライブ、半導体メモリ等のデータ記録装置を含んでいてもよい。また、情報記録装置９及び演算処理装置１１は、別々のコンピュータ等の装置であってもよいし、一体化された装置であってもよい。
【００２３】
以下、演算処理装置１１による画像の再構成処理機能の詳細を説明する。演算処理装置１１による再構成処理機能は、情報記録装置９に記録した２次元画像データである要素画像のそれぞれの画素を、予め指定された再構成面上に逆光線追跡を行うことによって実現される。
【００２４】
図５及び図６は、図１の光学系に対する等価光学系を示している。図５及び図６においては、結像光学系５の光軸Ｌ１に沿った方向にｘ軸が定義され、ｘ軸に垂直な方向にｙ軸及びｚ軸が定義されている。このような等価光学系の座標系において、可動ミラー３の回転軸ＬＡ，ＬＢは、ｙ軸及びｚ軸に沿った方向に設定されている。また、撮像素子７の検出面７ａは、画素７ｂの配列方向である一の方向Ｄｉがｚ軸方向にほぼ一致し、他の方向Ｄｊがｙ軸方向にほぼ一致するように配置されている。また、可動ミラー３の中心Ｃ１と結像光学系５の距離がＬ、結像光学系５と撮像素子７の検出面７ａとの距離がｇに設定されているものとする。
【００２５】
上記のような等価光学系を用いて、演算処理装置１１は、予め設定された再構成面Ｓ１上で画素の逆光線追跡を行う。すなわち、等価光学系において、可動ミラー３の鏡像の位置に、結像光学系５の鏡像５ｘ及び撮像素子７の鏡像７ｘが存在するとして逆光線追跡を行う。ここで、図７を参照して、演算処理装置１１による逆光線追跡による再構成画像の生成処理の手順を説明する。図７は、再構成画像の生成処理の手順を示すフローチャートである。
【００２６】
まず、演算処理装置１１は、可動ミラー３の回転軸ＬＡ，ＬＢを中心にした基準回転角“θ１，φ１”、及び再構成面Ｓ１の位置に関するデータを取得する（ステップＳ１０１）。これらのデータは、演算処理装置１１に予め設定されてもよいし、ユーザからの入力に基づいて設定されてもよい。この基準回転角は、情報記録装置９に記録されている回転角の中から選択されることが好適である。例えば、再構成面Ｓ１の位置は、可動ミラー３の中心Ｃ１からの距離がＲであって、その面が、可動ミラー３の回転角が基準回転角のときの鏡像７ｘの検出面７ａｘと平行になるように設定される。
【００２７】
図８は、演算処理装置１１によって設定される再構成面Ｓ１のイメージを示す図である。再構成面Ｓ１は、再構成画像の焦点位置に対応する面であり、複数の有限な大きさの画素ｐ１によって２次元的に区切られている。演算処理装置１１は、この再構成面Ｓ１の画素ｐ１毎に計算した輝度値を再構成画像に反映して出力する。例えば、再構成面Ｓ１は、ｘ軸に沿った方向にＮｕ個、ｙ軸に沿った方向にＮｖ個で並んだ画素ｐ１によって２次元的に分割され、それぞれの画素ｐ１は、ｘ軸に沿った幅がｄｕ、ｙ軸に沿った幅がｄｖとなるような矩形状の形状を有する。以下の説明では、再構成面Ｓ１上でｘ軸方向においてｕ番目、ｙ軸方向においてｖ番目の画素ｐ１の位置を“（ｕ，ｖ）”と表す。ここで、再構成面Ｓ１における画素数及び画素ｐ１の大きさは、撮像素子７の検出面７ａの画素数、サイズ、及び結像光学系５の倍率を基に、次のように設定される。
Ｎｕ＝Ｎｉ，  Ｎｖ＝Ｎｊ，
ｄｕ＝Ｍ×ｄｉ，ｄｖ＝Ｍ×ｄｊ
上記式中、Ｍは結像光学系５の倍率を表し、
Ｍ＝（Ｌ＋Ｒ）／ｇ
である。
【００２８】
次に、演算処理装置１１は、情報記録装置９から複数の回転角“θ，φ”毎の２次元画像データを１つずつ読み出し、それを要素画像とする。さらに、読み出した要素画像に対応する回転角“θ，φ”を取得し、取得した回転角“θ，φ”と基準回転角“θ１，φ１”との差を差分回転角“Δθ，Δφ”として求める（ステップＳ１０２）。
【００２９】
その後、演算処理装置１１は、要素画像に対応する回転角“θ，φ”における結像光学系５の鏡像５ｘの位置を計算する（ステップＳ１０３）。詳細には、演算処理装置１１は、基準回転角“θ１，φ１”における鏡像５ｘの初期位置を計算し、その初期位置を、ｘ軸及びｙ軸のそれぞれを中心に差分回転角“Δθ，Δφ”の２倍の角度で回転移動させることにより回転角“θ，φ”における鏡像５ｘの位置を計算する。図５及び図６の例によれば、基準回転角“θ１，φ１”における鏡像５ｘの位置は、（ｘ，ｙ，ｚ）＝（０，０、Ｌ）であるので、下記式（１）；
【数１】
2020048064.tif 000003
によって、鏡像５ｘの位置座標（ｘｐ，ｙｐ，ｚｐ）が計算される。上記式（１）中、Ｒｙ（２Δφ）は、ｙ軸周りの回転行列を示し、Ｒｚ’（２Δθ）は、ｚ軸をｙ軸周りに２Δφの角度で回転させたｚ’軸周りの回転行列を表し、それぞれ、下記式（２）、（３）で表される。
【数２】
2020048064.tif 000004
【数３】
2020048064.tif 000005
【００３０】
そして、演算処理装置１１は、要素画像の画素７ｂの中から注目画素を選択し、その注目画素の位置（ｉ，ｊ）と注目画素の輝度値を取得する。例えば、図５及び図６に従うと、取得した注目画素の位置（ｉ，ｊ）を、鏡像７ｘの検出面７ａｘ上の座標（ｘｔ，ｙｔ）に、下記式（４）を用いて変換する（ステップＳ１０４）。このようにして、注目画素の初期位置を取得する。
ｘｔ＝（ｉ−Ｎｉ／２）・ｄｉ，  ｙｔ＝（ｊ−Ｎｊ／２）・ｄｊ    (4)
【００３１】
次に、演算処理装置１１は、要素画像に対応する回転角“θ，φ”における撮像素子７の鏡像７ｘの検出面７ａｘ上の注目画素の位置を計算する（ステップＳ１０５）。詳細には、注目画素の初期座標（ｘｔ，ｙｔ）を、ｘ軸及びｙ軸のそれぞれを中心に差分回転角“Δθ，Δφ”の２倍の角度で回転移動させることにより、回転角“θ，φ”における検出面７ａｘ上の注目画素の位置座標を計算する。例えば、基準回転角“θ１，φ１”における注目画素の初期位置は、（ｘ，ｙ，ｚ）＝（ｘｔ，ｙｔ，Ｌ＋ｇ）であるので、下記式（５）；
【数４】
2020048064.tif 000006
により、検出面７ａｘ上の注目画素の位置座標（ｘ’，ｙ’，ｚ’）が計算される。
【００３２】
その後、演算処理装置１１は、回転角“θ，φ”における鏡像５ｘの位置と、回転角“θ，φ”における検出面７ａｘ上の注目画素の位置とを基に逆光線ベクトルを計算する（ステップＳ１０６）。すなわち、演算処理装置１１は、鏡像５ｘの位置座標（ｘｐ，ｙｐ，ｚｐ）と、注目画素の位置座標（ｘ’，ｙ’，ｚ’）とから、下記式（６）；
【数５】
2020048064.tif 000007
を用いて、逆光線ベクトルｖｒ＝（ｘｒ，ｙｒ，ｚｒ）を計算する。
【００３３】
そして、演算処理装置１１は、逆光線ベクトルｖｒを用いて、要素画像における注目画素を再構成面Ｓ１上の再構成点にマッピングする（ステップＳ１０７）。この再構成点へのマッピングは、逆光線ベクトルｖｒを含む直線と再構成面Ｓ１との交点座標を求めることにより行われる。例えば、再構成面Ｓ１が、点Ｐ（ｘ０，ｙ０，ｚ０）を通り、法線ベクトルｖｎ＝（ｎｘ，ｎｙ，ｎｚ）と垂直な面の場合には、再構成面Ｓ１の平面の方程式は、下記式（７）；
ｎｘ・（ｘ−ｘ０）＋ｎｙ・（ｙ−ｙ０）＋ｎｚ・（ｚ−ｚ０）＝０      (7)
で表される。一方で、検出面７ａｘ上の注目画素を起点とした逆光線ベクトルに沿った任意の位置（ｘｒ’，ｙｒ’，ｚｒ’）は、変数ｋを用いて、下記式（８）；
【数６】
2020048064.tif 000008
で表される。そこで、演算処理装置１１は、式（８）の各成分を式（７）に代入することにより、変数ｋの値を求め、その値を式（８）に適用することによって再構成面Ｓ１上の再構成点の座標を計算する。なお、図５及び図６の例によれば、再構成面Ｓ１の平面の方程式は、下記式（９）；
ｚ＋Ｒ＝０    (9)
で表され、計算が簡素化される。
【００３４】
さらに、演算処理装置１１は、結像光学系５の鏡像５ｘとステップＳ１０７で計算した再構成点の座標との距離に応じた重み付けの値ｗを計算する。すなわち、重み付けの値ｗを下記式（１０）；
【数７】
2020048064.tif 000009
によって計算する。その後、演算処理装置１１は、計算した値ｗで重み付けした注目画素の輝度値を再構成点に対応する再構成面Ｓ１上の位置（ｕ，ｖ）の画素の輝度値に加算（反映）する（ステップＳ１０８）。このとき、再構成面Ｓ１上の画素の位置（ｕ，ｖ）は、下記式の条件式（１１）を満たすように特定される。
【数８】
2020048064.tif 000010
【００３５】
演算処理装置１１は、上記のステップＳ１０４〜Ｓ１０８の処理を、要素画像のすべての注目画素について繰り返し（ステップＳ１０９）、さらに、処理対象のすべての要素画像についてステップＳ１０２〜ステップＳ１０９の処理を繰り返す（ステップＳ１１０）。このようにすることで、処理対象の要素画像が再構成された再構成画像が再構成面Ｓ１上の２次元画像データとして生成される。最後に、演算処理装置１１は、生成した再構成画像を出力する（ステップＳ１１１）。
【００３６】
以上説明した立体画像生成システム１によれば、可動ミラー３を用いて２次元的に走査された対象物Ｔの像が撮像素子７によって検出されて像の２次元位置を特定可能な２次元画像データである要素画像が出力され、その要素画像を基に演算処理装置１１によって対象物Ｔの所望の焦点位置の像を表す再構成画像が生成される。再構成画像の生成は、撮像素子７の検出面７ａの鏡像７ａｘの位置と結像光学系５の鏡像５ｘの位置とから計算した逆光線ベクトルを用いて要素画像の画素の２次元位置を再構成点にマッピングし、その画素を再構成点に対応する画素の輝度値に反映することによって実行される。これにより、可動ミラー３の構成を複雑化させることなしに、所望の再構成面上に焦点が設定された再構成画像を簡易な演算で再構成することができる。
【００３７】
本実施形態においては、可動ミラー３は、二軸ＬＡ，ＬＢを中心に回転可能なミラーであり、演算処理装置１１は、可動ミラー３の二軸ＬＡ，ＬＢを中心としたそれぞれの回転角θ，φを基に、撮像素子７の検出面７ａと結像光学系５との鏡像の位置を計算する。この場合、可動ミラー３の小型化が容易となり、回転駆動により駆動に要する時間も短縮化される。さらに、画像再構成の演算を単純化することが可能となる。その結果、装置の小型化が可能となり、撮像時間および演算時間を含んだ処理時間の短縮化も可能となる。
【００３８】
また、本実施形態においては、演算処理装置１１は、可動ミラー３の二軸ＬＡ，ＬＢを中心としたそれぞれの差分回転角Δθ，Δφを基に、撮像素子７の検出面７ａあるいは結像光学系５の位置を、初期位置から二軸ＬＡ，ＬＢのそれぞれを中心に差分回転角Δθ，Δφの２倍ほど回転移動させることにより、撮像素子７の検出面７ａと結像光学系５との鏡像の位置を計算する。この場合、検出面７ａと結像光学系５との鏡像の位置を適切に計算することができ、再現性の高い画像データを再構成することができる。
【００３９】
さらに、本実施形態においては、演算処理装置１１は、鏡像５ｘの位置と再構成点との距離を計算し、距離に応じた重み付けで該再構成点に対応する画素の輝度値に反映している。こうすれば、距離に応じた画像の明暗を反映することにより、より再現性の高い画像データを再構成することができる。
【００４０】
また、本実施形態では、対象物Ｔの像の２次元画像データを出力する撮像素子７を用い、演算処理装置１１は、２次元画像データの画素を再構成点にマッピングし、当該画素の輝度値を、該再構成点に対応する画素の輝度値に加算している。このような構成を採れば、２次元画像データを基に所望の再構成面上に焦点が設定された画像データを簡易な演算で再構成することができる。
【００４１】
以上、本発明の種々の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、各請求項に記載した要旨を変更しない範囲で変形し、又は他のものに適用したものであってもよい。
【００４２】
例えば、上記実施形態は、図９に示すような構成に変更されてもよい。図９には、変形例にかかる立体画像生成システム１Ａの構成を示している。
【００４３】
立体画像生成システム１Ａは、撮像素子７に代えて、対象物Ｔからの光子の２次元的な入射位置を示す検出信号を出力する光子計数システム１３を備える。光子計数システム１３は、例えば、特開２００３−２７９４１１号公報に記載された構成を有し、入射光子の２次元位置を示す２次元画像データを出力する２次元光子計数装置１３ａと、２次元画像データから光子の入射位置に関するデータを抽出して出力する画像処理装置１３ｂとを備える。情報記録装置９は、複数の回転角θ，φ毎の要素画像における入射光子の位置（ｉ，ｊ）の組み合わせのみを記録する。演算処理装置１１Ａは、複数の要素画像毎の入射光子の位置（ｉ，ｊ）を再構成面Ｓ１上の再構成点にマッピングすることにより、再構成画像を生成する。
【００４４】
図１０は、演算処理装置１１Ａによる逆光線追跡による再構成画像の生成処理の手順を示すフローチャートである。この手順におけるステップＳ２０１〜ステップＳ２１１の処理は、図７のステップＳ１０１〜Ｓ１１１の処理と同様であり、マッピングの処理を要素画像の画素ごとではなく、入射光子の位置毎に行う点が異なっている。
【００４５】
このような変形例によれば、対象物Ｔからの光子の入射位置を信号として出力する光子計数システム１３を用い、演算処理装置１１Ａは、光子の入射位置を再構成点にマッピングする。このような構成によれば、光子の入射位置の検出信号を基に所望の再構成面上に焦点が設定された光子像に関する再構成画像を簡易な演算で再構成することができる。特に、この変形例では、入射光子の位置情報のみを記録すればよいので、記録データの容量が削減でき、装置間のデータ転送処理の負荷も軽減され、その結果、処理時間の短縮化が可能となる。また、演算処理装置１１Ａにおけるマッピング処理も検出した入射光子数の分だけ実行すればよいため、演算処理の負荷も軽減され、さらなる処理時間の短縮化が可能となる。
【符号の説明】
【００４６】
１，１Ａ…立体画像生成システム、３…可動ミラー、３ａ…反射面、５…結像光学系、５ｘ…鏡像、７…撮像素子（検出装置）、７ａ…検出面、７ａｘ，７ｘ…鏡像、７ｂ…画素、９…情報記録装置、１１，１１Ａ…演算処理装置（演算装置）、１３…光子計数システム（検出装置）、ＬＡ，ＬＢ…回転軸、Ｓ１…再構成面、Ｔ…対象物、θ，φ…回転角。
【図１】
2020048064.tif 000011
【図２】
2020048064.tif 000012
【図３】
2020048064.tif 000013
【図４】
2020048064.tif 000014
【図５】
2020048064.tif 000015
【図６】
2020048064.tif 000016
【図７】
2020048064.tif 000017
【図８】
2020048064.tif 000018
【図９】
2020048064.tif 000019
【図１０】
2020048064.tif 000020