(57)【特許請求の範囲】
【請求項１】
結像光学系により形成された像を符号化パターンにより符号化して符号化像を生成する符号化手段と、
該符号化像を撮像する撮像素子と、
前記符号化手段および前記撮像素子を制御するコントローラと、を有し、
前記コントローラは、露光中に、互いに異なる符号化パターンで符号化された複数の符号化像が生成されるように前記符号化手段を制御し、前記撮像素子により撮像された前記複数の符号化像のそれぞれに対応する複数の画像成分が重畳した第１の画像を取得し、
前記符号化パターンは、前記結像光学系から前記撮像素子に向かう光に対する透過率または反射率の分布であり、
前記符号化パターンにおける前記透過率または前記反射率が最小および最大となる部分に対応する前記撮像素子の画素の数をそれぞれＰｍｉｎおよびＰｍａｘとするとき、
【数１】
0006521612.tif 000012
なる条件を満足することを特徴とする撮像装置。
【請求項２】
前記第１の画像から前記複数の画像成分を分離して複数の第２の画像を生成する画像分離手段を有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記符号化パターンを保持する記憶手段を有し、
前記画像分離手段は、前記記憶手段に保持された前記符号化パターンを用いて、前記第１の画像から前記複数の画像成分を分離して前記複数の第２の画像を生成することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記第２の画像は、前記第１の画像と同じ画素数を有することを特徴とする請求項２または３に記載の撮像装置
【請求項５】
前記画像分離手段は、前記第２の画像を生成する際に、前記符号化手段による符号化によって欠落した画素情報を補間する処理を行うことを特徴とする請求項２乃至４のいずれか一項に記載の撮像装置。
【請求項６】
前記補間処理は、Total Variation を用いることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記撮像素子の画素数をＭ×Ｎとし、前記第１の画像を取得する際の露光時間をＬ個に分割した分割露光時間をＴｋ（ｋ＝１，２，…，Ｌ）とし、各分割露光時間Ｔｋにおける前記符号化パターンをｆｋ（ｉ，ｊ）（ｉ＝１，２，…，Ｍ、ｊ＝１，２，…，Ｎ）とするとき、
【数２】
0006521612.tif 000013
なる条件を満足することを特徴とする請求項１乃至６のいずれか一項に記載の撮影装置。
【請求項８】
前記撮像素子の画素数をＭ×Ｎとし、前記第１の画像を取得する際の露光時間をＬ個に分割した分割露光時間をＴｋ（ｋ＝１，２，…，Ｌ）とし、各分割露光時間Ｔｋにおける前記符号化パターンをｆｋ（ｉ，ｊ）（ｉ＝１，２，…，Ｍ、ｊ＝１，２，…，Ｎ）とするとき、互いに隣り合う前記分割露光時間Ｔｋ１，Ｔｋ２における前記符号化パターンｆｋ１（ｉ，ｊ），ｆｋ２（ｉ，ｊ）は、Ｒｋ１，ｋ２を、
【数３】
0006521612.tif 000014
とするとき、
【数４】
0006521612.tif 000015
なる条件を満足することを特徴とする請求項１乃至７のいずれか一項に記載の撮像装置。
【請求項９】
結像光学系により形成された像を符号化パターンにより符号化して符号化像を生成する符号化手段と、
該符号化像を撮像する撮像素子と、
前記符号化手段および前記撮像素子を制御するコントローラと、を有し、
前記コントローラは、露光中に、互いに異なる符号化パターンで符号化された複数の符号化像が生成されるように前記符号化手段を制御し、前記撮像素子により撮像された前記複数の符号化像のそれぞれに対応する複数の画像成分が重畳した第１の画像を取得し、
前記撮像素子の画素数をＭ×Ｎとし、前記第１の画像を取得する際の露光時間をＬ個に分割した分割露光時間をＴｋ（ｋ＝１，２，…，Ｌ）とし、各分割露光時間Ｔｋにおける前記符号化パターンをｆｋ（ｉ，ｊ）（ｉ＝１，２，…，Ｍ、ｊ＝１，２，…，Ｎ）とするとき、互いに隣り合う前記分割露光時間Ｔｋ１，Ｔｋ２における前記符号化パターンｆｋ１（ｉ，ｊ），ｆｋ２（ｉ，ｊ）は、Ｒｋ１，ｋ２を、
【数５】
0006521612.tif 000016
とするとき、
【数６】
0006521612.tif 000017
なる条件を満足することを特徴とする撮像装置。
【請求項１０】
前記符号化パターンは、前記結像光学系から前記撮像素子に向かう光に対する透過率または反射率の分布であり、
前記撮像素子の画素数をＭ×Ｎとし、前記第１の画像を取得する際の露光時間をＬ個に分割した分割露光時間をＴｋ（ｋ＝１，２，…，Ｌ）とし、該分割露光時間Ｔｋのそれぞれにおける前記符号化パターンｆｋ（ｉ，ｊ）（ｉ＝１，２，…，Ｍ、ｊ＝１，２，…，Ｎ）のうち前記透過率または前記反射率が最小および最大である符号化パターンの透過率または反射率をそれぞれｍｉｎ（ｆｋ（ｉ，ｊ））およびｍａｘ（ｆｋ（ｉ，ｊ））とするとき、
【数７】
0006521612.tif 000018
なる条件を満足することを特徴とする請求項１乃至８のいずれか一項に記載の撮像装置。
【請求項１１】
前記分割露光時間は、前記第１の画像を取得する際の露光時間を等分割した時間であることを特徴とする請求項７乃至１０のいずれか一項に記載の撮像装置。
【請求項１２】
前記符号化手段は、前記撮像素子の複数の画素に対応する複数の光変調部を有し、前記符号化手段は、前記複数の光変調部を駆動し前記符号化パターンを異ならせることを特徴とする請求項１乃至１１のいずれか一項に記載の撮像装置。
【請求項１３】
前記符号化手段は、符号化マスクを有し、
前記符号化手段は、前記符号化マスクを前記撮像素子に対して変位させることで前記符号化パターンを異ならせることを特徴とする請求項１乃至１２のいずれか一項に記載の撮像装置。
【請求項１４】
前記符号化手段は、符号化マスクを有し、
前記符号化手段は、前記符号化マスクおよび前記撮像素子に対して前記結像光学系の全体または一部を変位させることにより前記複数の符号化像を形成することを特徴とする請求項１乃至１３のいずれか一項に記載の撮像装置。
【請求項１５】
結像光学系により形成された像を符号化パターンで符号化して符号化像を生成し、該符号化像を撮像素子により撮像して画像を生成する撮像方法であって、
露光中に順次生成された互いに異なる符号化パターンで符号化された複数の符号化像を、前記撮像素子により撮像するステップと、
前記撮像によって得た前記複数の符号化像のそれぞれに対応する複数の画像成分が重畳した第１の画像を取得するステップと、
を含み、
前記符号化パターンは、前記結像光学系から前記撮像素子に向かう光に対する透過率または反射率の分布であり、
前記符号化パターンにおける前記透過率または前記反射率が最小および最大となる部分に対応する前記撮像素子の画素の数をそれぞれＰｍｉｎおよびＰｍａｘとするとき、
【数８】
0006521612.tif 000019
なる条件を満足することを特徴とする撮像方法。
【請求項１６】
結像光学系により形成された像を符号化パターンで符号化して符号化像を生成し、該符号化像を撮像素子により撮像して画像を生成する撮像方法であって、
露光中に順次生成された互いに異なる符号化パターンで符号化された複数の符号化像を、前記撮像素子により撮像するステップと、
前記撮像によって得た前記複数の符号化像のそれぞれに対応する複数の画像成分が重畳した第１の画像を取得するステップと、
を含み、
前記撮像素子の画素数をＭ×Ｎとし、前記第１の画像を取得する際の露光時間をＬ個に分割した分割露光時間をＴｋ（ｋ＝１，２，…，Ｌ）とし、各分割露光時間Ｔｋにおける前記符号化パターンをｆｋ（ｉ，ｊ）（ｉ＝１，２，…，Ｍ、ｊ＝１，２，…，Ｎ）とするとき、互いに隣り合う前記分割露光時間Ｔｋ１，Ｔｋ２における前記符号化パターンｆｋ１（ｉ，ｊ），ｆｋ２（ｉ，ｊ）は、Ｒｋ１，ｋ２を、
【数９】
0006521612.tif 000020
とするとき、
【数１０】
0006521612.tif 000021
なる条件を満足することを特徴とする撮像方法。
【請求項１７】
前記第１の画像から前記複数の画像成分を分離して複数の第２の画像を生成することを特徴とする請求項１５または１６に記載の撮像方法。
【請求項１８】
撮像装置のコンピュータに、請求項１５乃至１７のいずれか一項に記載の撮像方法を実行させることを特徴とする撮像プログラム。
【請求項１９】
請求項１または９に記載の撮像装置により生成された前記第１の画像から前記複数の画像成分を分離して複数の第２の画像を生成する処理を行うことを特徴とする画像処理装置。
【請求項２０】
請求項１または９に記載の撮像装置により生成された前記第１の画像から前記複数の画像成分を分離して複数の第２の画像を生成する処理を行うことを特徴とする画像処理方法。
【請求項２１】
コンピュータプログラムであって、コンピュータに、請求項１または９に記載の撮像装置により生成された前記第１の画像から前記複数の画像成分を分離して複数の第２の画像を生成する処理を行わせることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高速度撮像に好適な撮像技術に関する。
【背景技術】
【０００２】
高速移動する被写体や高速変化する現象を連続的に撮像するために行われる高速度撮像では、１秒間あたりの連続撮像回数が露光時間と撮像素子の全画素の画素情報（電荷）の読み出し時間によって決まる。このうち、全画素の画素情報の読み出し時間が１秒間あたりの連続撮像回数を制限する。
【０００３】
全画素の画素情報の読み出し時間を短くするための手法として、画素数自体を少なくする手法や、特許文献１および特許文献２にて開示されているように高速度撮像時に画素情報を読み出す画素を間引く手法が知られている。また、特許文献１には、高速度撮像時に各単位画素における露光時間が短縮されて単位画素の実効的な感度が低減するのを回避するために、複数の画素の画素情報を加算してから読み出す手法も開示されている。一方、特許文献２には、画素情報を読み出す画素を間引くことで出力画像の画素数が減少するのを回避するために、画素ライン単位で間引いて画素情報を読み出した後に、間引いた画素ラインの画素情報を復元する方法も開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２７８１３５号公報
【特許文献２】特開２００８−１４７９０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１にて開示された手法では、画素情報が読み出される画素数が少なくなるために、撮像により得られる画像の画素数も減少する。また、特許文献２にて開示された手法では、間引いた画素ラインの画素情報を復元するために得られる画像の画素数が減少することを防ぐことはできる。しかし、画素ライン単位で画素情報を間引くことによる実質的なサンプリング周波数の低下により、間引いた画素情報を復元しても高解像度な画像を得ることができない。したがって、これら特許文献１，２に開示された手法では、高画素かつ高解像度の画像を速い撮像速度で取得することが難しい。
【０００６】
本発明は、高画素かつ高解像度の画像を速い撮像速度で取得することができるようにした撮像装置および撮像方法を提供する。
【課題を解決するための手段】
【０００７】
本発明の一側面としての撮像装置は、結像光学系により形成された像を符号化パターンにより符号化して符号化像を生成する符号化手段と、該符号化像を撮像する撮像素子と、符号化手段および撮像素子を制御するコントローラと、を有し、該コントローラは、露光中に、互いに異なる符号化パターンで符号化された複数の符号化像が生成されるように符号化手段を制御し、撮像素子により撮像された複数の符号化像のそれぞれに対応する複数の画像成分が重畳した第１の画像を取得し、符号化パターンは、結像光学系から撮像素子に向かう光に対する透過率または反射率の分布であり、符号化パターンにおける透過率または反射率が最小および最大となる部分に対応する撮像素子の画素の数は所定の条件を満足することを特徴とする。
【０００８】
また、本発明の他の一側面としての撮像方法は、結像光学系により形成された像を符号化パターンで符号化して符号化像を生成し、該符号化像を撮像素子により撮像して画像を生成する撮像方法であって、露光中に順次生成された互いに異なる符号化パターンで符号化された複数の符号化像を、撮像素子により撮像するステップと、該撮像によって得た複数の符号化像のそれぞれに対応する複数の画像成分が重畳した第１の画像を取得するステップと、を含み、符号化パターンは、結像光学系から撮像素子に向かう光に対する透過率または反射率の分布であり、符号化パターンにおける透過率または反射率が最小および最大となる部分に対応する撮像素子の画素の数は所定の条件を満足することを特徴とする。
【０００９】
さらに、本発明の他の一側面としての撮像プログラムは、撮像装置のコンピュータに、上記撮像方法を実行させることを特徴とする。
【００１０】
なお、上記第１の画像から複数の画像成分を分離して複数の第２の画像を生成する処理を行う画像処理装置および画像処理方法や、該処理をコンピュータに行わせる画像処理プログラムも本発明の他の一側面を構成する。
【発明の効果】
【００１１】
本発明によれば、互いに異なる符号化パターンによって符号化された複数の符号化像を１回の露光時間内で撮像して第１の画像を生成するので、該第１の画像から高画素かつ高解像度の複数の連続した画像（第２の画像）を分離することができる。すなわち、速い撮像速度で高画素かつ高解像度の複数の連続画像を取得することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例１である高速度撮像装置の構成を示すブロック図。
【図２】実施例１における高速度撮像方法によるシミュレーション結果と高速度撮像方法の工程を説明する図。
【図３】実施例１における高速度撮像方法における露光および読み出しスケジュールを説明する図。
【図４】実施例１における分離画像生成工程を説明する図。
【図５】実施例１における符号化パターンの例を示す図。
【図６】実施例１における符号化パターンの別の例を示す図。
【図７】実施例１における符号化パターンのさらに別の例を示す図。
【図８】本発明の実施例２である高速度撮像装置の構成を示すブロック図。
【図９】本発明の実施例３である高速度撮影装置の構成を示すブロック図。
【図１０】実施例１における高速度撮像方法による別のシミュレーション結果を示す図。
【図１１】本発明の実施例４である高速度撮像装置の構成を示すブロック図。
【図１２】本発明の実施例５である高速度撮影装置の構成を示すブロック図。
【発明を実施するための形態】
【００１３】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１４】
図１には、本発明の実施例１である高速度撮像装置（以下、高速度カメラという）１００の構成を示す。高速度カメラ１００は、画像を取得するための画像取得部１１０を有する。画像取得部１１０は、結像光学系１１１と、開口絞り１１２と、撮像素子１１３と、空間光変調器１１４とを有する。画像取得部１１０の各要素は、駆動制御部１８０、状態検知部１９０およびシステムコントローラ１７０により制御される。
【００１５】
結像光学系１１１は、不図示の被写体からの光を結像させて被写体像（光学像）を形成する。符号化手段としての空間光変調器１１４は、結像光学系１１１と撮像素子１１３と間（撮像素子１１３の前側）に配置され、被写体像を符号化する。空間光変調器１１４は、撮像素子１１３の複数の画素と同じ数の複数の光変調部を有する透過型液晶パネルにより構成され、光変調部ごとに光の透過率を変化させるように駆動することができる。なお、空間光変調器１１４として、透過型液晶パネル以外のものを用いてもよい。
【００１６】
撮像素子１１３は、複数の画素を有し、空間光変調器１１４により符号された被写体像（以下、符号化像という）の光電変換、すなわち撮像を行う。撮像素子１１３としては、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子を用いることができる。
【００１７】
画像生成手段としてのシステムコントローラ１７０は、画像取得工程として、単一の第１の画像としての撮影画像を生成するための撮像素子１１３の露光時間内に空間光変調器１１４の符号化パターンを順次変更する。これにより、該露光時間内において互いに異なる符号化パターンに対応する複数の符号化像が撮像素子１１３上に順次形成される。撮像素子１１３は、このようにして順次形成される複数の符号化像を露光時間内で続けて撮像することで、複数の符号化像に対応する画像成分が重畳された撮影画像のアナログ画像信号を出力する。
【００１８】
撮像素子１１３から出力された撮影画像のアナログ画像信号は、Ａ／Ｄコンバータ１２０によりデジタル画像信号に変換される。画像分離手段としての画像処理部１３０は、デジタル画像信号に変換された撮影画像（第１の画像）から、重畳された複数の符号化像に対応する画像成分を分離して複数の静止画像（第２の画像：以下、分離画像という）を生成する。この分離画像生成工程では、画像取得工程（撮像時）における符号化パターンの情報を必要とするが、この情報は予め記憶部（記憶手段）１４０に保持（記憶）されている。生成された複数の分離画像は半導体メモリ等の記憶媒体１５０に記憶され、またＬＣＤ等の表示部１６０を通して確認することができる。
【００１９】
本実施例では、上述のように画像取得工程と分離画像生成工程の２つの工程を有している。図２を用いてこれらの工程をより具体的に説明する。図２には、被写体である車が高速に移動（走行）するシーンを高速度撮像する場合のシミュレーション結果を示している。
【００２０】
図２において、ｏｋ（ｉ，ｊ）は、第１の画像である撮影画像を取得するための撮像素子１１３の露光時間（以下、全露光時間という）ＴｅｘｐｏをＬ個に均等に分割したときの時間Ｔｅｘｐｏ／Ｌに相当する分割露光時間Ｔｋにおける符号化前の被写体像を示している。ｉ＝１，２，…，Ｍ、ｊ＝１，２，…，Ｎ、ｋ＝１，２，…，Ｌである。ＭおよびＮは撮像素子１１３の縦横の画素数であり、図２の例では、Ｍ×Ｎ＝１０２４×１０２４である。Ｌは重畳する被写体像（符号化像）の数であり、図２ではＬ＝４である。
【００２１】
本実施例では、各分割露光時間Ｔｋにおける被写体像ｏｋ（ｉ，ｊ）を符号化パターンｆｋ（ｉ，ｊ）で符号化して符号化像を形成する。ここで、符号化パターンｆｋ（ｉ，ｊ）は透過率分布であり、符号化像はｆｋ（ｉ，ｊ）．＊ｏｋ（ｉ，ｊ）と表される。「．＊」は、配列の要素ごとの積を行うことを意味する演算子である。画像取得工程で取得される第１の画像としての撮影画像ｇ（ｉ，ｊ）は、全てのｆｋ（ｉ，ｊ）．＊ｏｋ（ｉ，ｊ）の和で表される。
【００２２】
次に、分離画像生成工程について説明する。分離画像生成工程では、撮影画像ｇ（ｉ，ｊ）からＬ個の分離画像ｐｋ（ｉ，ｊ）を生成する。このとき、画像取得工程における符号化パターンの情報を用いた画像推定処理を行うことにより、被写体像Ｏｋ（ｉ，ｊ）に近い分離画像ｐｋ（ｉ，ｊ）を得る。本実施例では、分離画像ｐｋ（ｉ，ｊ）が撮影画像ｇ（ｉ，ｊ）と同じ画素数を有するという特徴を有する。
【００２３】
次に、本実施例の高速度カメラと従来の高速度カメラにおける露光および読み出しスケジュールを比較しながら説明する。図３（ａ）には、従来の高速度カメラにおける露光および読み出しスケジュールを示している。従来の高速度カメラでは、被写体像による撮像素子の露光が行われた後、該撮像素子からの画像信号の読み出しが行われる。露光時間をＴｅｘｐｏとし、読み出し時間をＴｒｅａｄとすると、１つの撮影画像を得るための撮像に要する時間（以下、全撮像時間という）はＴ=（Ｔｅｘｐｏ＋Ｔｒｅａｄ）となる。したがって、１秒間で撮像により取得できる撮影画像の画像数は１／Ｔ画像となる。
【００２４】
従来の高速度カメラでは、読み出し時間Ｔｒｅａｄがボトルネックとなり、高速度撮像に限界がある。また、連続した２つの撮影画像を取得するための２回の撮像間の時間間隔（以下、撮像時間間隔という）Ｔｉｎｔが全撮像時間Ｔと等しいために、被写体が高速移動する場合には連続撮像により取得された撮影画像間での被写体の動きが滑らかにならない。
【００２５】
図３（ｂ）には、本実施例の高速度カメラにおける露光および読み出しスケジュールを示している。ここでは、図２に示したように１つの撮影画像に４つの符号化像（画像成分）が重畳される場合のスケジュールを示している。各分割露光期間Ｔｋ（ｋ＝１，２，３，４）では、図２に示した被写体像ｏｋ（ｉ，ｊ）をｆｋ（ｉ，ｊ）で示した符号化パターンで符号化された符号化像による撮像素子１１３の露光が行われる。全ての符号化像による露光が終わった後、撮像素子１１３からの画像信号の読み出しが行われる。
【００２６】
本実施例では、１つの撮影画像を取得するための露光中に撮像素子１１３上に複数の被写体像（符号化像）を順次形成し、これら複数の符号化像に対応する画像成分が重畳された後に撮像素子１１３からの画像信号の読み出しを行う。このため、読み出し時間Ｔｒｅａｄにかかわらず、連続した２つの被写体像（符号化像）のうち一方による露光と他方による露光の間の時間間隔としての撮像時間間隔Ｔｉｎｔ（＝Ｔｉｎｔ＿ｍｉｎ）を短く、望ましくは最小にすることができる。したがって、撮影画像をそれぞれの符号化像に対応する複数の分離画像に分離することで、高速移動する被写体の動きが滑らかな複数の画像（分離画像）を取得することができる。なお、本実施例において、撮像時間間隔Ｔｉｎｔ＿ｍｉｎは符号化の切り替え速度に応じて変更される。
【００２７】
また、分離画像生成工程で撮影画像から分離される分離画像は、前述したように撮影画像と同じ画素数を有するため、高画素かつ高解像度の画像である。したがって、本実施例によれば、速い撮像速度で高画素かつ高解像度の複数の連続画像（分離画像）を取得することができる。
【００２８】
なお、図３（ｂ）に示した露光および読み出しスケジュールは例にすぎず、他のスケジュール、例えば分割露光期間ＴｋとＴｋ＋１と間に露光しない時間を設けてもよい。また、各分割露光期間Ｔｋは全露光時間Ｔｅｘｐｏを等分割した時間でなくてもよい。ただし、各分割露光期間Ｔｋを同じとすることで、分離画像ｐｋ（ｉ，ｊ）に対する露光条件を均一にすることができる。
【００２９】
次に、分離画像生成工程において、撮影画像ｇ（ｉ，ｊ）から分離画像ｐｋ（ｉ，ｊ）を画像推定処理により生成（出力）する方法について説明する。撮影画像ｇ（ｉ，ｊ）は、被写体像をｏｋ（ｉ，ｊ）とし、符号化パターンをｆｋ（ｉ，ｊ）とするととき、以下の式（１）のように表すことができる。
【００３０】
【数１】
0006521612.tif 000002
【００３１】
ここで、η（ｉ，ｊ）はノイズである。本実施例では、以下の式（２）で示す評価関数を最小にする推定分離画像ｐｋ（ｉ，ｊ）を、分離画像ｐｋ（ｉ，ｊ）として出力する。
【００３２】
【数２】
0006521612.tif 000003
【００３３】
ただし、φｐｋは正則化項である。また、γは正則化項の効果を調整するパラメータであり、符号化により間引きされたｐｋ（ｉ，ｊ）の画素を補間する効果を有する。
【００３４】
なお、式（２）の第一項はＬ２−ノルムに限らず、撮像時の符号化パターンｆｋ（ｉ，ｊ）を用いていれば、Ｌ１?ノルムでも構わない。また、式（２）の第二項の正則化項φ（ｐｋ）としては、例えば以下の式（３）に示すＴＶ（Total Variation：全変動）ノルム正則化項が挙げられる。
【００３５】
【数３】
0006521612.tif 000004
【００３６】
ただし、これ以外の正則化項φｐｋを用いてもよい。
【００３７】
次に、図４のフローチャートを用いて、画像取得工程（画像取得方法）と分離画像生成工程（画像処理方法）を含む撮像工程（撮像方法）の流れを詳細に説明する。画像取得工程は、コンピュータとしてのシステムコントローラ１７０によってコンピュータプログラムとしての画像取得プログラムに従って行われる。また、分離画像生成工程は、コンピュータとしての画像処理部１３０によってコンピュータプログラムとしての画像処理プログラムに従って行われる。画像取得プログラムと画像処理プログラムとにより撮像プログラムが構成される。
【００３８】
まず、ステップｓ１０１では、システムコントローラ１７０は、画像取得工程を行う。すなわち、図３（ｂ）にて説明したスケジュールにて複数の符号化像を撮像素子１１３上に順次形成しながら撮像を行い、複数の符号化像に対応する画像成分が重畳された撮影画像ｇを取得する。
【００３９】
次に、ステップｓ１０２では、画像処理部１３０は、推定分離画像ｐｋの初期値を与える。その後、ステップｓ１０３では、画像処理部１３０は、推定分離画像ｐｋについて、式（２）で与えられる評価関数の値を計算する。この際、撮像時の符号化パターンｆｋは記憶部１４０に予め記憶されており、画像処理部１３０は、記憶部１４０から該符号化パターンｆｋを読み出す。
【００４０】
次に、ステップｓ１０４では、画像処理部１３０は、ステップｓ１０３で計算した評価関数値が予め設定された閾値よりも小さいか否かを判断する。評価関数値が閾値より小さい場合は、画像処理部１３０は、推定分離画像ｐｋが確からしいと見なして該推定分離画像ｐｋを仮の出力用の分離画像とする。ただし、この仮の出力用分離画像には、被写体像の符号化により画素情報が欠落した画素が含まれる。このため、画像処理部１３０は、仮の出力用分離画像において欠落した画素情報を補間する補間処理を行って最終的な出力用の分離画像を生成し、これを出力する。
【００４１】
一方、評価関数値が閾値より大きい場合は、画像処理部１３０は、推定分離画像ｐｋの推定が不十分と見なしてステップｓ１０５に進む。
【００４２】
ステップｓ１０５では、画像処理部１３０は推定処理のループ数をカウントし、カウントしたループ数が予め設定されたループ数に達した場合は、推定処理を終了する。ループ数が設定ループ数に達しない場合はステップｓ１０６に進む。
【００４３】
ステップｓ１０６では、画像処理部１３０は、推定分離画像ｐｋを更新する。これ以降、最終的に処理が終了するまで、ステップｓ１０３〜ステップｓ１０６を繰り返し、全ステップが終了した時点での推定分離画像ｐｋを仮の出力用の分離画像とし、上述した補間処理を行ってから最終的な出力用の分離画像として出力する。全ステップが終了した時点で評価関数値が閾値より小さくならなかった場合は、分離画像ｐｋを出力しないように設定してもよい。
【００４４】
なお、図４に示す一連の画像推定処理を行うに際して、ＴｗＩＳＴアルゴリズム（参考文献１参照）等、高速な画像推定処理アルゴリズムを用いてもよい。図２および図１０に示すシミュレーションでは同手法を用いている。
【００４５】
参考文献１  J. M. Bioucas-Dias and M. A. T. Figueiredo, “A new TwIST: two-stepiterative shrinkage/thresholding algorithms for image restoration,” IEEE Trans. on Image Processing, vol. 16, Dec. 2007.
図４を用いて説明した撮影画像ｇから分離画像ｐｋを生成する工程では、撮像時の符号化パターンｆｋが既知であることを利用して被写体像ｏｋを推定する。この場合、高画質な画像を精度良く推定するために、符号化パターンｆｋは以下の式（４），（５），（７），（８）で示す条件のうち少なくとも１つを満足することが望ましい。
【００４６】
式（４）は、ｋ番目（ｋ＝１，２，…，Ｌ）の分割露光時間Ｔｋにおける符号化パターンをｆｋとしたときの条件を示す。この条件を満足することにより、高解像度かつ高フレームレートでありながら、撮像素子１１３の露光量（受光量）を増やすことができ、ノイズの少ない画像を取得することができる。
【００４７】
【数４】
0006521612.tif 000005
【００４８】
式（４）の下限値を下回ると、露光量が低下して画像中のノイズが増加する。一方、式（４）の上限値を超えると、露光量は増加するものの、生成された分離画像ｐｋは被写体像ｏｋからかけ離れた画像となる。したかって、十分な露光量を確保しつつ、分離画像の推定を正しく行うためには、式（４）の条件を満足することが望ましい。
【００４９】
なお、さらに好ましくは、式（４）の範囲を以下の範囲とするとよい。
【００５０】
【数５】
0006521612.tif 000006
【００５１】
以下の式（５）は、ｋ番目（ｋ＝１，２，…，Ｌ）の分割露光時間Ｔｋにおける符号化パターンをｆｋとしたときの条件を表している。ただし、Ｒｋ１,ｋ２は式（６）にて表されるように、互いに隣り合う分割露光時間Ｔｋ１，Ｔｋ２での符号化パターンｆｋ１，ｆｋ２の相互相関を表す。
【００５２】
【数６】
0006521612.tif 000007
【００５３】
【数７】
0006521612.tif 000008
【００５４】
式（５）は、符号化パターンｆｋ１，ｆｋ２間の相互相関の平均値を表しており、Ｒｋ１,ｋ２の相互相関が全く無いときには０．５の値をとり、正の相関が強いほど１．０に近づき、負の相関が強いほど０．０に近づく。
【００５５】
式（５）の下限値を下回ると、分離画像ｐｋの生成は容易になるが、生成された分離画像の解像度が低下する。一方、式（５）の上限値を超えると、生成された分離画像ｐｋは被写体像ｏｋからかけ離れた画像となるため好ましくない。
【００５６】
なお、さらに好ましくは、式（５）の条件の範囲を以下の範囲とするとよい。
【００５７】
【数８】
0006521612.tif 000009
【００５８】
図５には、画素数がＭ×Ｎ＝６４×６４で、重畳される符号化像（画像成分）の数がＬ＝４である場合の符号化パターンの例を示す。図５に示した符号化パターンにおいて、黒い部分が、空間光変調器１１４において透過率が最小の光変調部に対応する部分（以下、最小透過率部という）である。また、符号化パターンにおいて、白い部分が、空間光変調器１１４において透過率が最大の光変調部に対応する部分（以下、最大透過率部という）を示している。図５では、符号化パターンｆｋを乱数により決定している。このときの式（５）の値は０．５０１１となり、符号化パターン間に相互相関はほとんど見られない。
【００５９】
本実施例では、図５に示すような周期性が無い符号化パターンで被写体像を符合化するため、符合化による実質的なサンプリング周波数の低下を抑制することができ、この結果、図４にて説明した分離画像生成工程により高解像度の分離画像を得ることができる。したがって、本実施例によれば、高画素かつ高解像度の複数の連続画像を速い撮像速度で取得することができる高速度カメラおよび高速度撮像方法を実現することができる。
【００６０】
図６には、画素数がＭ×Ｎ＝６４×６４で、重畳される符号化像の数がＬ＝４である場合の符号化パターンの別の例を示す。図６の左側には符号化パターンを、右側には左側の符号化パターン中に示した水平方向に延びる直線上での透過率（０〜１）のプロファイルを示している。図６の符号化パターンのうち黒い部分が最小透過率部（透過率は０）を、グレーの部分が透過率が最大と最小の間の値である中間透過率部（透過率は０．６）を、白い部分が最大透過率部（透過率は１）を示している。
【００６１】
符号化パターンｆｋにおける最小透過率部の透過率は、図６（ａ）に示すように０に限られず、図６（ｂ）や図６（ｃ）に示すように０より高い透過率であってもよい。また、符号化パターンｆｋは、図６（ｄ）に示すように多諧調の透過率分布を持っていてもよい。
【００６２】
図６（ｂ），（ｃ）に示すような透過率分布を与えることにより、撮像素子１１３の露光量をより多くすることが可能になる。ただし、あまり露光量を多くすると、生成される分離画像ｐｋが被写体像ｏｋからかけ離れた画像となるために好ましくない。
【００６３】
したがって、ここでは複数（Ｌ個）の符号化パターンｆｋのうち符号化パターン全体としての透過率が最小および最大である符号化パターンの該透過率をそれぞれｍｉｎ（ｆｋ（ｉ，ｊ））およびｍａｘ（ｆｋ（ｉ，ｊ））とする。このとき、ｍｉｎ（ｆｋ（ｉ，ｊ））とｍａｘ（ｆｋ（ｉ，ｊ））との比が、以下の式（７）で示す条件を満足することが望ましい。
【００６４】
【数９】
0006521612.tif 000010
【００６５】
図７には、画素数がＭ×Ｎ＝６４×６４で、重畳される符号化像の数がＬ＝４である場合の符号化パターンのさらに別の例を示す。図５と同様に、図７に示した符号化パターンにおいても、黒い部分が最小透過率部であり、白い部分が最大透過率部である。
【００６６】
ここで、符号化パターンにおける最小透過率部（つまりは撮像素子１１３上において受光量が最小となる画素）の数をＰｍｉｎとし、最大透過率部（撮像素子１１３上において受光量が最大となる画素）の数をＰｍａｘとする。このとき、図７（ａ）はＰｍａｘ／Ｐｍｉｎ＝０．２５の符号化パターンｆｋを、図７（ｂ）はＰｍａｘ／Ｐｍｉｎ＝１の符号化パターンｆｋを、図７（ｃ）はＰｍａｘ／Ｐｍｉｎ＝４の符号化パターンｆｋをそれぞれ示している。Ｐｍａｘ／Ｐｍｉｎを大きくするとより多くの露光量が得られるが、あまり露光量が多すぎると、生成される分離画像ｐｋが被写体像ｏｋからかけ離れた画像となるために好ましくない。したがって、Ｐｍａｘ／Ｐｍｉｎは、以下の式（８）で示す条件を満足することが望ましい。
【００６７】
【数１０】
0006521612.tif 000011
【００６８】
ただし、本実施例にいう符号化パターンにおける透過率は、被写体像の符合化を行う際の誤差を考慮して±１０％の公差を含む。
【００６９】
図１０には、本実施例の高速度カメラによる高速度撮像の別のシミュレーション結果を示している。この図では、被写体であるサッカーボールが回転しながら移動するシーンを高速度撮像するシミュレーション例を示す。このように、本実施例によれば、被写体の移動軌跡や該移動軌跡の周期性にかかわらず、高速度撮像を行うことができる。
【００７０】
なお、図１０および図２には分離画像としてモノクロ画像を取得する場合のシミュレーション例を示しているが、本実施例で説明した高速度カメラ（高速度撮像方法）によってカラー画像を取得することもできる。このことは、後述する他の実施例についても同じである。
【実施例２】
【００７１】
図８には、本発明の実施例２である高速度カメラ２００の構成を示している。実施例１の高速度カメラ１００と同じ構成要素には、実施例１と同符号を付して説明に代える。実施例１では、符号化パターンを生成するために撮像素子１１３の前側に空間光変調器１１４を用いたが、本実施例では、撮像素子１１３の前側に符号化マスク１１５を配置している。
【００７２】
符号化マスク１１５は、例えば図７（ｂ）に示すような透過率分布を有する。符号化マスク１１５が符号化マスク駆動部１１６によって分割露光時間Ｔｋごとに結像光学系１１１の光軸に直交する方向に変位（移動）されることにより、実施例１と同様に、被写体像を符号化するための符号化パターンを順次変更することができる。これにより、分割露光時間Ｔｋごとに、互いに異なる符号化パターンに対応する符号化像が撮像素子１１３上に順次形成され、撮像素子１１３はこれら符号化像を重畳させながら撮像を行う。
【実施例３】
【００７３】
図９には、本発明の実施例３である高速度カメラ３００の構成を示している。実施例１，２の高速度カメラ１００と同じ構成要素には、実施例１と同符号を付して説明に代える。
【００７４】
本実施例では、実施例２と同じ符号化マスク１１５を撮像素子１１３の前側に配置するが、さらに結像光学系１１１の一部に偏心ユニット１１７を設けている。本実施例では、実施例２のように符号化マスク１１５を光軸に直交する方向に変位させず、分割露光時間Ｔｋごとに偏心ユニット１１７を偏心ユニット駆動部１１８を通じて光軸に直交する方向に変位させる。これにより、実施例１，２と同様に、被写体像を符号化するための符号化パターンを順次変更することができ、この結果、分割露光時間Ｔｋごとに互いに異なる符号化パターンに対応する符号化像が撮像素子１１３上に順次形成される。撮像素子１１３はこれら符号化像を重畳させながら撮像を行う。
【００７５】
なお、本実施例では、結像光学系１１１の一部として設けた偏心ユニット１１７を光軸に直交する方向に変位させる場合について説明したが、結像光学系の全体を光軸に直交する方向に変位させて符号化パターンを順次異ならせるようにしてもよい。
【００７６】
また、上記各実施例では、空間光変調器１１４や符号化マスク１１５を結像光学系１１１からの光を撮像素子１１３に向けて透過させる部材とし、符号化パターンを透過率分布とした場合について説明した。しかし、空間光変調器や符号化マスクを結像光学系１１１からの光を撮像素子１１３に向けて反射する部材とし、符号化パターンを反射率分布としてもよい。この場合も、前述した式（４），（５），（７），（８）の条件のうち少なくとも１つを満足することが望ましい（式（７）や式（８）では透過率を反射率と読み替える）。
【実施例４】
【００７７】
図１１には、本発明の実施例４である高速度カメラ４００の外観を示している。実施例１〜３にて説明した構成を、コンパクトデジタルカメラのように小型の高速度カメラ４００の内部に収めることができる。
【実施例５】
【００７８】
図１２には、本発明の実施例５である高速度撮像装置（高速度撮像システム）５００の構成を示している。本実施例では、実施例１〜３で説明した画像取得部１１０としてのカメラ５１０と、画像処理部１３０としてのパーソナルコンピュータ（画像処理装置）１３１とが別々の装置として構成されている。
【００７９】
カメラ５１０は、その内部に撮像素子（図１等における１１３）を有し、分割露光時間Ｔｋごとに異なる符号化パターンで符号化した被写体像（符号化像）を重畳させながら撮像を行う。カメラ５１０は、ケーブルまたは半導体メモリ等の記憶媒体１５１を介してパーソナルコンピュータ１３１に撮影画像のデータを送信する。パーソナルコンピュータ１３１は、これにインストールされたコンピュータプログラムである画像処理プログラムによって、図４に示した分離画像生成処理を行い、複数の分離画像を生成（出力）する。分離画像は、モニタ１６１上に表示されたりプリンタ等の画像出力装置１７１により印刷されたりする。
【００８０】
このように分離画像生成処理を処理能力が高いパーソナルコンピュータ１３１で行ったり、クラウドコンピューティングを用いて行ったりすることで、カメラ５１０に高性能なＣＰＵを用いた画像処理部を設けることなく、手軽に高速度撮像を行うことができる。
【００８１】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【符号の説明】
【００８２】
１００，２００，３００，４００  高速度カメラ
１１１  結像光学系
１１３  撮像素子
１１４  空間光変調器
１１５  符号化マスク
１１７  偏心ユニット
１３０  画像処理部
【図１】
0006521612.tif 000022
【図２】
0006521612.tif 000023
【図３】
0006521612.tif 000024
【図４】
0006521612.tif 000025
【図５】
0006521612.tif 000026
【図６】
0006521612.tif 000027
【図７】
0006521612.tif 000028
【図８】
0006521612.tif 000029
【図９】
0006521612.tif 000030
【図１０】
0006521612.tif 000031
【図１１】
0006521612.tif 000032
【図１２】
0006521612.tif 000033