(57)【要約】【課題】複数のシングルピクセルカメラを用いた圧縮センシング方式の映像撮影装置および映像撮影方法おいて、固定値のフィルタを用いた場合でも各シングルピクセルカメラの観測範囲の補正を可能とすること。【解決手段】観測対象からの観測光を受光する単一受光素子、および単一受光素子の受光面上の観測光の空間的な分布パターンを制御するフィルタを各々備えた複数の撮像部と、複数の撮像部により撮像された複数の撮像画像から観測対象の画像を復元する復元部と、を含み、復元部は、複数の撮像部のうちの一の撮像部の観測範囲を基準観測範囲とし、一の撮像部以外の補正対象撮像部の観測範囲である補正対象観測範囲が基準観測範囲と重複する重複観測範囲から構成されるように補正して観測対象の画像を復元する。【選択図】図２
2018121273.tif 000002
【特許請求の範囲】
【請求項１】
観測対象からの観測光を受光する単一受光素子、および前記単一受光素子の受光面上の前記観測光の空間的な分布パターンを制御するフィルタを各々備えた複数の撮像部と、
前記複数の撮像部により撮像された複数の撮像画像から前記観測対象の画像を復元する復元部と、を含み、
前記復元部は、前記複数の撮像部のうちの一の撮像部の観測範囲を基準観測範囲とし、前記一の撮像部以外の補正対象撮像部の観測範囲である補正対象観測範囲が前記基準観測範囲と重複する重複観測範囲から構成されるように補正して前記観測対象の画像を復元する
映像撮影装置。
【請求項２】
前記フィルタの分布パターンが固定されたパターンでありかつ前記複数の撮像部ごとに異なる
請求項１に記載の映像撮影装置。
【請求項３】
前記復元部は、前記補正対象観測範囲と前記基準観測範囲とのずれ量に応じて予め定められた補正行列を生成するとともに、前記補正対象撮像部による撮像画像であるずれ画像を前記撮像画像の画素単位でベクトル化してずれ画像ベクトルを生成し、前記補正行列と前記ずれ画像ベクトルとを乗算して前記重複観測範囲を求める
請求項１または請求項２に記載の映像撮影装置。
【請求項４】
前記撮像画像の画素数をｎとし、前記画素単位で表した縦方向の前記ずれ量をＺｖ、横方向の前記ずれ量をＺｈとした場合、前記復元部は、式
2018121273.tif 000056
からシフト量を算出し、ｎ×ｎの単位行列を前記シフト量だけ行方向に巡回シフトし、その後第１行目から前記シフト量で示される行までをゼロとし、さらに、
2018121273.tif 000057
の倍数番目の行から前記Ｚｈ分の行数の要素をゼロとして前記補正行列を生成する
請求項３に記載の映像撮影装置。
【請求項５】
前記分布パターンは、前記撮像画像の画素に対応させた前記観測光に対する透過率の違いによる透過パターンを示すフィルタ行列で構成され、
前記復元部は、前記ずれ画像と前記フィルタ行列との積であるずれ観測値に対し、前記フィルタ行列と前記補正行列とを乗算した補正フィルタ行列を用いた演算を行って補正観測値を生成し、前記補正観測値に対し予め定められた演算を行って前記重複観測範囲を含む前記観測対象の画像の全体を復元画像として復元する
請求項３または請求項４に記載の映像撮影装置。
【請求項６】
前記復元部は、前記補正観測値の生成に際し、前記ずれ観測値として前記ずれ画像ベクトルの平均値を用いて算出した推定ずれ観測値を用いる
請求項５に記載の映像撮影装置。
【請求項７】
前記復元画像を
2018121273.tif 000058
前記復元画像のスパース表現を
2018121273.tif 000059
前記補正観測値を
2018121273.tif 000060
前記補正フィルタ行列を
2018121273.tif 000061
とした場合、前記あらかじめ定められた演算が以下の式で示される
請求項５または請求項６に記載の映像撮影装置。
2018121273.tif 000062
ただし、
2018121273.tif 000063
は、
2018121273.tif 000064
のＬ１ノルムを表す。
【請求項８】
観測対象からの観測光を受光する単一受光素子、および前記単一受光素子の受光面上の前記観測光の空間的な分布パターンを制御するフィルタを各々備えた複数の撮像部を含む映像撮影装置を用いた映像撮影方法であって、
前記複数の撮像部により撮像された複数の撮像画像から前記観測対象の画像を復元する復元部により、前記複数の撮像部のうちの一の撮像部の観測範囲を基準観測範囲とし、前記一の撮像部以外の補正対象撮像部の観測範囲である補正対象観測範囲が前記基準観測範囲と重複する重複観測範囲から構成されるように補正して前記観測対象の画像を復元する
映像撮影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像撮影装置および映像撮影方法、特に複数のシングルピクセルカメラを用いた圧縮センシング方式の映像撮影装置および映像撮影方法に関する。
【背景技術】
【０００２】
シングルピクセルカメラとは１つの受光素子（フォトダイオード）を備えたカメラである。シングルピクセルカメラでは、まず元の画像である２次元輝度パターンＸを２次元のランダムマスクでフィルタリングする。フィルタリングされた光をレンズで集約して１点に集め、その輝度をシングルピクセルカメラで計測する。マスクパターンを次々に変化させ、各マスクパターンが提示された時点での輝度をそれぞれ記録する。こうして得られた輝度の時系列をＹ、各時点でのパターンが入った行列をΦとすると、ＹおよびΦと、元の画像Ｘとの関係は、Ｙ＝ΦＸと表せる。これをＸについて解く（近似する）ことにより元の画像Ｘが復元されるという原理を用いている。
【０００３】
一方、圧縮センシングとは、観測対象のデータが、ある表現空間ではスパース（疎）であると仮定し、本来必要とする未知数の数よりも少ない観測データから、ある条件の下で観測対象を復元する手法をいう。この復元処理においては、例えばＬｐノルム（ｐは整数０、１、２・・・）の最適化等の公知の手法が用いられる。
【０００４】
シングルピクセルカメラを用いた圧縮センシング方式の映像撮影装置の従来技術として、非特許文献１に開示されたものが知られている。非特許文献１に開示された映像撮影装置は２つのシングルピクセルカメラ、観測対象と各々のシングルピクセルカメラとの間に配置した液晶の窓によるランダムフィルタを備えている。そして、２つのシングルピクセルカメラの観測範囲のずれを解析し、各々のシングルピクセルカメラの観測画像のオーバーラップ（重複）する部分を観測している。非特許文献１によれば、このような構成により、同時に２枚の画像を復元し、観測時間を短縮し、さらに高解像度化が可能であるとしている。
【０００５】
非特許文献１に開示された映像撮影装置および復元方法について、図６を参照し、より詳細に説明する。図６（ａ）は２つのシングルピクセルカメラの観測範囲（画像）を示している。すなわち、観測範囲Ｇ１は一方のシングルピクセルカメラの観測範囲であり、観測範囲Ｇ２は他方のシングルピクセルカメラの観測範囲である。そして、観測範囲Ｇ１と観測範囲Ｇ２とが重複した観測範囲Ｇ３が目的とする観測範囲である。
【０００６】
図６（ｂ）および（ｃ）は、画像にずれがない場合、すなわち通常のシングルピクセルカメラによる観測処理、および復元処理の手順を示している。図６（ｂ）に示すように、各シングルピクセルカメラの観測値ｙは、画像ｘにフィルタの空間パターンを示すフィルタ行列（ランダム行列）Ａを乗算することによって得られる。また、図６（ｃ）に示すように、観測値ｙについてフィルタ行列Ａを用いたＬ１最適化を行うことによって画像ｘ（観測範囲Ｇ３）が復元される。シングルピクセルカメラが複数（非特許文献１では２台）ある場合は、観測値ｙはシングルピクセルカメラの台数分取得された観測値群となっている。ただし、上記のｙ、ｘは、各々図６中のベクトル
2018121273.tif 000003
を、またＡは、図６中の行列
2018121273.tif 000004
を表す。
【０００７】
一方、画像にずれがある場合の観測処理、復元処理は各々図６（ｄ）、（ｅ）のようになる。すなわち、観測におけるフィルタ行列としてフィルタ行列Ａを補正した補正フィルタ行列
2018121273.tif 000005
を生成し、ずれた画像
2018121273.tif 000006
に対して該補正フィルタ行列を乗算して観測値ｙを算出する。非特許文献１では、この補正フィルタ行列を液晶の窓を動的に変えることによって生成している。また、図６（ｅ）に示すように、観測値ｙについて補正フィルタ行列
2018121273.tif 000007
を用いたＬ１最適化を行うことによって画像（観測範囲Ｇ３）
2018121273.tif 000008
が復元される。つまり、非特許文献１においては、測定段階の補正により、観測値ｙにずれの影響は含まれないため、復元処理に関しては基本的にずれがない場合と同様である。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】Hong Jiang et.al, "Multi-view in lensless compressive imaging", SIP,2014,vol.3, e15, p1-p10
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、上記のような映像撮影装置に限らず、撮影装置は取り扱いの容易さ等から一般に小型であることが要求される。また、非特許文献１では、ランダムフィルタとして液晶の窓による可変フィルタを用いているが、可変フィルタは光の透過パターンを制御するための制御部等が必要になり、装置の複雑化、コスト上昇等を招く。そこで、可変フィルタではなく、パターンが固定のフィルタを用いれば、構造が簡素かされ小型化が可能となる。ただしこの場合、撮像装置ごとに固有のランダムなフィルタパターンを設定し、かつ必要数の撮影装置を用意する必要がある。
【００１０】
しかしながら、この場合、非特許文献１の観測処理、復元処理では重複した観測範囲を切り出すことができない。つまり、非特許文献１のように観測の段階でフィルタ行列を補正することができない（図６（ｄ）参照）。この理由は、ランダムフィルタの値が製造時に決めた固定の値となっており変更できないことによる。つまり、ここでは、撮像時においてハードウエア的な補正ができない映像撮像装置を想定している。従って、観測後（撮像後）にソフトウエア的に重複した観測範囲を切り出す方法が求められている。
【００１１】
本発明は、上記問題に鑑みてなされたものであり、複数のシングルピクセルカメラを用いた圧縮センシング方式の映像撮影装置および映像撮影方法おいて、固定値のフィルタを用いた場合でも各シングルピクセルカメラの観測範囲の補正を可能とすることを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、請求項１に記載の映像撮影装置は、観測対象からの観測光を受光する単一受光素子、および前記単一受光素子の受光面上の前記観測光の空間的な分布パターンを制御するフィルタを各々備えた複数の撮像部と、前記複数の撮像部により撮像された複数の撮像画像から前記観測対象の画像を復元する復元部と、を含み、前記復元部は、前記複数の撮像部のうちの一の撮像部の観測範囲を基準観測範囲とし、前記一の撮像部以外の補正対象撮像部の観測範囲である補正対象観測範囲が前記基準観測範囲と重複する重複観測範囲から構成されるように補正して前記観測対象の画像を復元するものである。
【００１３】
また、請求項２に記載の発明は、請求項１に記載の発明において、前記フィルタの分布パターンが固定されたパターンでありかつ前記複数の撮像部ごとに異なるものである。
【００１４】
また、請求項３に記載の発明は、請求項１または請求項２に記載の発明において、前記復元部は、前記補正対象観測範囲と前記基準観測範囲とのずれ量に応じて予め定められた補正行列を生成するとともに、前記補正対象撮像部による撮像画像であるずれ画像を前記撮像画像の画素単位でベクトル化してずれ画像ベクトルを生成し、前記補正行列と前記ずれ画像ベクトルとを乗算して前記重複観測範囲を求めるものである。
【００１５】
また、請求項４に記載の発明は、請求項３に記載の発明において、前記撮像画像の画素数をｎとし、前記画素単位で表した縦方向の前記ずれ量をＺｖ、横方向の前記ずれ量をＺｈとした場合、前記復元部は、式
2018121273.tif 000009
からシフト量を算出し、ｎ×ｎの単位行列を前記シフト量だけ行方向に巡回シフトし、その後第１行目から前記シフト量で示される行までをゼロとし、さらに、
2018121273.tif 000010
の倍数番目の行から前記Ｚｈ分の行数の要素をゼロとして前記補正行列を生成するものである。なお、本発明において行方向の巡回シフトとは、単位行列の行方向の値を順に下方にシフトすることをいう。
【００１６】
また、請求項５に記載の発明は、請求項３または請求項４に記載の発明において、前記分布パターンは、前記撮像画像の画素に対応させた前記観測光に対する透過率の違いによる透過パターンを示すフィルタ行列で構成され、前記復元部は、前記ずれ画像と前記フィルタ行列との積であるずれ観測値に対し、前記フィルタ行列と前記補正行列とを乗算した補正フィルタ行列を用いた演算を行って補正観測値を生成し、前記補正観測値に対し予め定められた演算を行って前記重複観測範囲を含む前記観測対象の画像の全体を復元画像として復元するものである。
【００１７】
また、請求項６に記載の発明は、請求項５に記載の発明において、前記復元部は、前記補正観測値の生成に際し、前記ずれ観測値として前記ずれ画像ベクトルの平均値を用いて算出した推定ずれ観測値を用いるものである。ただし、本発明に係る「画像ベクトルの平均値」には、要素のうちのいくつかを標本としたサンプル平均値を含む。
【００１８】
また、請求項７に記載の発明は、前記復元画像を
2018121273.tif 000011
前記復元画像のスパース表現を
2018121273.tif 000012
前記補正観測値を
2018121273.tif 000013
前記補正フィルタ行列を
2018121273.tif 000014
とした場合、前記あらかじめ定められた演算が以下の式で示される請求項５または請求項６に記載のものである。
2018121273.tif 000015
ただし、
2018121273.tif 000016
は、
2018121273.tif 000017
のＬ１ノルムを表す。
【００１９】
上記目的を達成するために、請求項８に記載の映像撮影方法は、観測対象からの観測光を受光する単一受光素子、および前記単一受光素子の受光面上に設けられるとともに前記観測光の空間的な分布パターンを制御するフィルタを各々備えた複数の撮像部を含む映像撮影装置を用いた映像撮影方法であって、前記複数の撮像部により撮像された複数の撮像画像から前記観測対象の画像を復元する復元部により、前記複数の撮像部のうちの一の撮像部の観測範囲を基準観測範囲とし、前記一の撮像部以外の補正対象撮像部の観測範囲である補正対象観測範囲が前記基準観測範囲と重複する重複観測範囲から構成されるように補正して前記観測対象の画像を復元するものである。
【発明の効果】
【００２０】
本発明によれば、複数のシングルピクセルカメラを用いた圧縮センシング方式の映像撮影装置および映像撮影方法おいて、固定値のフィルタを用いた場合でも各シングルピクセルカメラの観測範囲の補正が可能となるという効果を奏する。
【図面の簡単な説明】
【００２１】
【図１】（ａ）は実施の形態に係る映像撮影装置の構成の一例を示すブロック図、（ｂ）は実施の形態に係るシングルピクセルカメラの構成の一例を示すブロック図、（ｃ）は本実施の形態に係るフィルタを示す図である。
【図２】実施の形態に係る映像撮影装置の、（ａ）観測処理を示すブロック図、（ｂ）は復元処理を示すブロック図である。
【図３】（ａ）は、基準画像およびずれ画像のベクトル化を説明する図、（ｂ）は、フィルタ行列およびずれ画像の復元を説明する図である。
【図４】基準画像と補正画像との関係を説明する図である。
【図５】実施の形態に係る映像撮影装置における復元処理の効果を説明する図である。
【図６】（ａ）は、従来技術に係る映像撮影装置の測定範囲のずれを説明する図、（ｂ）、（ｃ）は従来技術に係る映像撮影装置において測定範囲にずれがない場合の観測処理、復元処理を示すブロック図、（ｄ）、（ｅ）は従来技術に係る映像撮影装置において測定範囲にずれがある場合の観測処理、復元処理を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、図１ないし図５を参照して本発明の実施の形態について詳細に説明する。なお、以下の説明で用いる表記は、各図における表記と以下のように対応している。
2018121273.tif 000018
【００２３】
図１（ａ）は本実施の形態に係る映像撮影装置１０の全体構成の一例を示すブロック図、図１（ｂ）は本実施の形態に係るシングルピクセルカメラ１４の構成の一例を示すブロック図、図１（ｃ）は本実施の形態に係るフィルタ１８の一例を示す図である。
【００２４】
図１（ａ）に示すように、映像撮影装置１０は、複数（本実施の形態ではｍ）台のシングルピクセルカメラ１４−１、１４−２、・・・、１４−ｍ（以下、総称する場合は「シングルピクセルカメラ１４」）、画像復元システム１２を備えて構成されている。シングルピクセルカメラ１４は対象物ＯＢを撮像するための、単一受光素子（シングルピクセル）を有するカメラである。また、画像復元システム１２は、シングルピクセルカメラ１４−１〜１４−ｍで撮像された画像を集約し、対象物ＯＢの画像を復元するシステムであり、具体的にはＣＰＵ、ＲＯＭ、ＲＡＭ等を備えるコンピュータである。シングルピクセルカメラ１４の台数ｍに特に制限はないが、本実施の形態では一例として８１９２台としている。
【００２５】
本実施の形態に係るシングルピクセルカメラ１４および画像復元システム１２の各々はアンテナＡＴを備え、無線通信によって画像データ、あるいは制御データのやり取りを行っている。しかしながら、これに限られず、シングルピクセルカメラ１４と画像復元システム１２との間を有線で接続する形態、あるいは、シングルピクセルカメラ１４および画像復元システム１２を一体型とした形態としてもよい。
【００２６】
図１（ｂ）に示すように、シングルピクセルカメラ１４は、集光レンズ２２、フィルタ１８、フォトディテクタ１６、ＡＤ変換器２０、およびアンテナＡＴを含んで構成されている。
【００２７】
集光レンズ２２は、対象物ＯＢからの光である観測光Ｌをフォトディテクタ１６に向けて集光するレンズである。フィルタ１８は、観測光Ｌの空間的な透過パターン（一様分布パターン）を制御するランダムな係数（本実施の形態では、データ「０」、「１」の平面的な分布。ただし、「０」非透過を表し、「１」は透過を表す）を有する空間フィルタである。図１（ｃ）にフィルタ１８の透過パターンの一例を示す。図１（ｃ）に示すように、フィルタ１８は、光を透過させる複数の透過領域Ｔおよび光を遮断する複数の非透過領域Ｒ、つまり観測光Ｌに対する透過率の異なる２つの領域から構成されている。この透過領域Ｔと非透過領域Ｒの配置をさまざまに変えることによって、フィルタ１８のフィルタ係数が変えられる。本実施の形態では、シングルピクセルカメラ１４−ｉ（ｉ＝１〜ｍ）ごとに異なる係数のフィルタ１８−ｉ（ｉ＝１〜ｍ）を備えているが、個々のシングルピクセルカメラ１４−ｉのフィルタ１８−ｉの係数は固定値とされている。なお、図１（ｃ）では、一例として分割された領域のサイズが４×４であるフィルタを示しているが、このサイズは復元画像の精細度等に応じて適宜に選択してよい。また、本実施の形態では光透過型のフィルタ１８により観測光Ｌの分布パターンを変える形態を例示して説明するが、これに限られず、反射型のフィルタ１８によって観測光Ｌの分布パターンを変える形態としてもよい。さらに、本実施の形態では、「透過」、「非透過」の２値のフィルタ係数を用いた形態を例示して説明するが、これに限られず、段階的な透過率により３値以上の多値のフィルタ係数を用いた形態としてもよい。
【００２８】
フォトディテクタ１６は、単一受光素子による撮像部である。ＡＤ変換器２０は、フォトディテクタ１６で取得された対象物ＯＢのアナログ画像データを、ディジタル画像データに変換する。ディジタル画像データは、例えば８ビット（２５６階調）の輝度値で表されている。
【００２９】
次に、図２ないし図５を参照し、本実施の形態に係る映像撮影装置１０における観測処理、および復元処理について説明する。本実施の形態では、各シングルピクセルカメラ１４の座標と角度から平面的なずれ量（後述のずれ量Ｚｖ、Ｚｈ）を算出し、各シングルピクセルカメラ１４で観測される画像（観測範囲）のオーバーラップする部分を一致させるように画像の位置を補正する。またこれにともない、オーバーラップしなかった画素値を捨て、各シングルピクセルカメラ１４の観測値も補正する。この際、圧縮センシングの原理上、捨てるべき画素値が、シングルピクセルカメラ１４の観測値である画素値の総和の一部を構成する要素として観測値に含まれている上に、捨てるべき画素の値も不明ある。このため、捨てるべき画素値を推測する必要がある。そこで、本実施の形態では、観測値をフィルタの係数の総和で除することにより画素の平均値が近似的に求められることを考慮し、これを捨てるべき画素値とする。このように補正した位置と観測値で復元を行うことにより、ずれた画像を精度よく復元することができる。
【００３０】
より具体的には、本実施の形態では、ｍ台のシングルピクセルカメラ１４−１、・・・、１４−ｍのうちの１台（以下、「基準カメラ」）によって撮像された画像（以下、「基準画像」）を基準とし、基準カメラ以外のシングルピクセルカメラ１４（以下、「補正対象カメラ」）によって撮像された画像（以下、「補正対象画像」）の基準画像とオーバーラップ（重複）する範囲を抽出する。換言すれば、補正対象画像の観測範囲のうち、基準画像の観測範囲と重複する観測範囲を抽出して補正対象画像を復元する。その際、本実施の形態では、各補正対象カメラの基準カメラに対するずれの方向、およびずれの大きさが予め分かっているものとする。
【００３１】
図２（ａ）は、本実施の形態に係る観測処理を示している。図２（ａ）において、
2018121273.tif 000019
はずれを含む画像（以下、「ずれ画像」）、すなわち補正対象カメラによって撮像された画像を示している。また、
2018121273.tif 000020
は、各補正対象カメラによる観測値の集合である観測値群（以下、「ずれ観測値」）を示している。また、図２（ａ）に示すＡは、フィルタ１８を表現したランダムな係数を有するフィルタ行列であり、例えば透過領域Ｔを「１」とし、非透過領域Ｒを「０」とした係数の集合として表現されている。上述したように、本実施の形態では、各シングルピクセルカメラ１４についてフィルタ１８の係数は固定されている。ただし、個々のシングルピクセルカメラ１４同士については、フィルタ１８の係数が異なっている。
図２（ａ）は、以上の定義のもと、ずれ観測画値は、ずれ画像にフィルタ行列Ａを乗算して求められることを示している。すなわち、
2018121273.tif 000021
である。ただし、（式１）の右辺は内積を表している。
【００３２】
一方、図２（ｂ）は、本実施の形態に係る復元処理を示している。図２（ｂ）に示すように、本実施の形態に係る復元処理では補正行列Ｃを用い、この補正行列Ｃをフィルタ行列Ａに乗算して補正フィルタ行列Ａ’を生成し、この補正フィルタ行列Ａ’を用いて復元を行っている。ずなわち、ずれ観測値
2018121273.tif 000022
に対してフィルタ行列Ａおよび補正フィルタ行列Ａ’を適用した演算を行うことにより、真の観測値ｙ’（補正観測値）を推定する。観測値ｙ’の推定方法の詳細については後述する。そして、推定した観測値ｙ’に対し補正フィルタ行列Ａ’を適用したＬ１最適化を行ってベクトルａを算出する。その後ベクトルａに行列
2018121273.tif 000023
を乗算して、補正後の画像（以下、「復元画像」）
2018121273.tif 000024
を復元するが、本処理の詳細については後述する。
【００３３】
以下、図２（ｂ）に示す本実施の形態に係る復元処理の詳細について説明するが、まず復元処理の基本的な原理について説明する。本実施の形態では、シングルピクセルカメラ１４によって撮像された画像のサイズ、すなわち観測範囲を
2018121273.tif 000025
とした場合を例示して説明する。ただし、ｎは撮像画像の総画素数であり、４以上の整数である。また、以下で説明する本実施の形態に係る復元処理においては、各記号を以下のように定義する。なお、以下の説明ではフィルタ１８の分割領域の各々に対応すシングルピクセルカメラの撮像面の領域を「画素」とよぶことにする。
2018121273.tif 000026
【００３４】
上記定義に従って、シングルピクセルカメラ１４−ｋの観測値は以下に示す（式４）で与えられる。
2018121273.tif 000027
ただし、
2018121273.tif 000028
は、行列Ａの転置行列を表し、（式４）の右辺は内積を表している。
また、（式４）を行列形式で表記すると以下に示す（式５）にように表現される。
2018121273.tif 000029
【００３５】
（式５）において、Ａはフィルタ１８のフィルタ係数で固定値であり、ｙは観測値である。従って、（式５）を用いて観測値ｙから撮像画像ｘを復元する（推定する）ことができる。本実施の形態に係る映像撮影装置１０では、ｍ＜ｎなので、（式５）は劣決定系の連立１次方程式となる。劣決定系の連立１次方程式では、一般に解が一意に求まらないが、ｘのスパース表現をａとしたとき、以下に示す（式６）に従って求めることができる。
2018121273.tif 000030
ここで、ｘのスパース表現とは、信号ｘについて、基底を変更することにより、ほとんどの成分の大きさがゼロ、またはゼロとみなせるほど小さくなる（スパースになる）ように表現することをいう。また、
2018121273.tif 000031
は、ａのＬ１ノルムを表している。ノルムとは一般にベクトルの長さを意味し、Ｌ１ノルムとは、具体的にはベクトルａの各成分の絶対値の和、すなわちマンハッタン距離である。従って、（式６）は、
2018121273.tif 000032
なる条件に従ってａのＬ１ノルムを最小とするようにして（式６）に従った演算を行うことにより、画像ｘが復元されることを意味している。以上が、画像ｘの復元の原理である。
【００３６】
ところで、本実施の形態に係る映像撮影装置１０では、多数（ｍ台）のシングルピクセルカメラ１４を用いた映像撮影システムとなっている。そのため、各シングルピクセルカメラの設置位置が必然的に異なっているので、各シングルピクセルカメラ１４−１〜１４−ｍの対象物ＯＢの観測範囲（撮像範囲）が必ずしも一致せず、程度の差はあるがずれていると考えられる。つまり、各シングルピクセルカメラ１４−１〜１４−ｍの画像ｘ１〜ｘｍは観測範囲がずれており、この観測範囲のずれの影響は観測値ｙに伝わる。映像撮影装置１０は、ある観測範囲において対象物ＯＢの複数の画像を取得することを目的としているので、シングルピクセルカメラ１４−１〜１４−ｍにおける観測範囲のずれを補正して各画像ｘ１〜ｘｍを復元する必要がある。本実施の形態に係る映像撮影装置および映像撮影方法では、このずれの補正をハードウエアを用いず、上述の復元原理に則ったソフトウエア処理によって行っている。
【００３７】
以下、上述の復元方法に従った本実施の形態に係る復元方法について説明するが、まず、説明上の記号を以下のように定義する。
2018121273.tif 000033
【００３８】
上記において、基準画像ｘは、観測範囲の基準とする基準シングルピクセルカメラ１４（基準カメラ）の撮像画像であり、ずれ画像は、基準カメラ以外のシングルピクセルカメラ１４（補正対象カメラ）による撮像画像、つまり、基準画像に対してずれを含んだ画像である。本実施の形態では、ずれ画像の観測範囲のうち、この基準画像ｘの観測範囲と重複する観測範囲を抽出して補正対象カメラの画像を復元する。補正観測値は、本実施の形態に係る補正処理を実行した後の観測値であり、補正画像は、本補正実施の形態に係る補正処理を実行した後の画像である。
【００３９】
上記の定義に従って、図２（ｂ）に示すように、各補正値は以下のように求めることができる。
2018121273.tif 000034
ここで、本実施の形態では、補正観測値（観測値の推定値）
2018121273.tif 000035
【００４０】
ここで、補正フィルタ行列、補正観測値を以下のように表す。
2018121273.tif 000036
【００４１】
このとき、画像
2018121273.tif 000037
の復元は、（式６）より、ａを
2018121273.tif 000038
のスパース表現とした場合、以下に示す（式１３）を用いて行うことができる。
2018121273.tif 000039
。すなわち、
2018121273.tif 000040
なる条件に従ってａのＬ１ノルムを最小とするようにして（式１３）に従った演算を行うことにより、画像
2018121273.tif 000041
が復元される。
【００４２】
図３を参照し、具体的な一例に則して、本実施の形態に係る復元処理について説明する。図３は、図２（ｂ）における補正画像ｘ’、補正観測値ｙ’の導出に関する具体例である。図３では、シングルピクセルカメラ１４の画素数ｎをｎ＝１６としている。また、補正対象カメラのずれについては、縦方向（列方向）のずれ量をＺｖ（単位：ピクセル）、横方向（行方向）のずれ量をＺｈ（単位：ピクセル）と表記する。
【００４３】
図３（ａ）において記号＜１＞で示す行列は、図６（ａ）で説明した観測範囲Ｇ１、Ｇ２、Ｇ３の具体例となっている。本例では、例えば観測範囲Ｇ１を基準カメラの撮像範囲である基準画像とし、観測範囲Ｇ２を補正対象カメラの撮像範囲であるずれ画像とする。この場合、観測範囲Ｇ１とＧ２との重複した観測範囲Ｇ３がずれ画像において抽出すべき観測範囲となる。また、観測範囲Ｇ２のＧ１に対するずれ量は、Ｚｖ＝＋１、Ｚｈ＝＋１となる。ただし、縦方向のずれについては紙面上方向を正方向、横方向のずれについては紙面右方向を正方向としている。
【００４４】
上記のように基準画像とずれ画像を設定した場合、図３（ａ）に記号＜２＞で示す行列が基準画像ｘとなり、これをベクトル化した基準画像ベクトルは、図３（ａ）に示すように、
2018121273.tif 000042
となる。また、図３（ａ）に記号＜３＞で示す行列がずれ画像
2018121273.tif 000043
となり、これをベクトル化したずれ画像ベクトルは、図３（ａ）に示すように、
2018121273.tif 000044
となる。
【００４５】
一方、図３（ｂ）に示すように、補正対象であるシングルピクセルカメラ１４−ｋのフィルタ１８−ｋのフィルタベクトルを以下のように設定する。
2018121273.tif 000045
フィルタベクトルはシングルピクセルカメラ１４によって異なり、このフィルタベクトルの集合がフィルタ行列Ａである。
【００４６】
ここで、本実施の形態では、補正行列Ｃを以下のようにして生成する。すなわち、まず以下に示す（式１４）によってシフト量を算出する。
2018121273.tif 000046
そして、ｎ×ｎの単位行列を求めたシフト量だけ行方向に巡回シフトし、その後、
2018121273.tif 000047
行目までを０にする。そして、
2018121273.tif 000048
の倍数番目の行からＺｈ分の行数の要素を０にする。
【００４７】
本例ではＺｖ＝１、Ｚｈ＝１、ｎ＝１６であるから、（式１４）の値は５となる。したがって、図３（ｂ）の記号＜５＞で示す式における補正行列Ｃは、１６×１６の単位行列が５行巡回シフトされ、１行目から５行目までが０とされ、４の倍数＋１行目である９行目と、１３行目の要素が０とされている。なお、補正行列Ｃを生成する方法は上述の方法に限られず、他の方法を用いてもよい。
【００４８】
図３（ｂ）の記号＜４＞で示す式は、上記処理によって生成した補正行列Ｃを用いて、（式８）に基づいた補正フィルタ行列Ａ’におけるｋ番目の補正フィルタベクトルの算出を示している。結果として、補正フィルタベクトルは、（式８）から、図３（ｂ）に示すように、
2018121273.tif 000049
となる。むろんこの補正フィルタベクトルはシングルピクセルカメラ１４の台数（本実施の形態ではｍ台）分算出される。
【００４９】
また、図３（ｂ）に示すように、上記で算出した補正行列Ｃ、補正フィルタベクトルを用い、（式９）に基づく演算を行うことにより、ｋ番目のシングルピクセルカメラ１４の補正観測値が、
2018121273.tif 000050
と算出される（推定される）。この演算をシングルピクセルカメラ１４の台数分行うことにより、（式１２）に示す補正観測値ｙ’が得られる。
【００５０】
一方、図３（ｂ）の記号＜５＞で示す式は、（式７）に従ってずれ画像
2018121273.tif 000051
に補正行列Ｃを適用し、補正画像ｘ’（復元された画像）を求めた式である。結果として補正画像ｘ’は、
2018121273.tif 000052
となる。また、ベクトルである補正画像ｘ’を画像に戻す（画像化する）と、図３（ｂ）に記号＜６＞で示す行列となる。記号＜６＞で示すように、補正画像ｘ’においては、基準画像と重複していない部分については固定値のデータ（例えば、データ値「０」）が補完される（記号＜６＞で示す行列の一番左の列、および一番下の行の「０」）。
【００５１】
図４は、補正画像ｘ’の生成について、実際の画像（イメージ）で説明した図である。図４（ａ）、（ｅ）は復元の際の基準となる基準画像ｘを、図４（ｆ）は上述した方法によって復元した補正画像ｘ’を、各々示している。図４（ｅ）と（ｆ）とを比較して明らかなように、補正画像ｘ’は基準画像ｘと重複する（オーバーラップする）部分から構成された画像となる。一方、重複していない部分については固定のデータ値（例えば「０」）が補完されるため、その部分の画像はモノトーンの画像となる。
【００５２】
図４（ｂ）〜（ｄ）は、ずれ画像
2018121273.tif 000053
から、上述した生成方法に従って補正画像ｘ’に至るまでの過程を模式化した図である。すなわち、まず図４（ｂ）に示すずれ画像
2018121273.tif 000054
から、図４（ｃ）に示すように不要な部分を消す。次に、図４（ｄ）に示すように、ずれた部分の位置を基準画像ｘと合わせる。このようにして、図４（ｆ）に示す補正画像ｘ’が取得される。
【００５３】
図５は、本実施の形態に係る補正処理の効果を実際の適用例を用いて説明する図である。本例では、画像のサイズを１２８×１２８（ピクセル）、すなわちｎ＝１６３８４とし、シングルピクセルカメラ１４の台数を８１９２台とした。図５（ａ）は、図２（ｂ）に示す本実施の形態に係る補正処理の全体を行って、すなわち（式１３）を用いて、復元した観測範囲全体の復元画像
2018121273.tif 000055
を示している。また、図５（ｂ）は、補正を行わないで復元した画像を示している。図５（ａ）と（ｂ）とを比較して明らかなように、本実施の形態に係る補正処理を行わない場合には画像として判別がつかない状態であるものが、本実施の形態に係る補正処理を行うことにより明瞭に復元できていることがわかる。
【符号の説明】
【００５４】
１０    映像撮影装置
１２    映像復元システム
１４、１４−１、・・・、１４−ｍ  シングルピクセルカメラ
１６    フォトディテクタ
１８、１８−１、・・・、１８−ｍ  フィルタ
２０    ＡＤ変換器
２２    集光レンズ
ＡＴ    アンテナ
Ｇ１、Ｇ２、Ｇ３  観測範囲
Ｌ      観測光
ＯＢ    対象物
Ｒ      非透過領域
Ｔ      透過領域
【図１】
2018121273.tif 000065
【図２】
2018121273.tif 000066
【図３】
2018121273.tif 000067
【図４】
2018121273.tif 000068
【図５】
2018121273.tif 000069
【図６】
2018121273.tif 000070