(57)【特許請求の範囲】
【請求項１】
撮影画像を高解像度化する超解像処理方法であって、
空間解像度及び時間解像度の少なくとも一方である時空間解像度が前記撮影画像より高いパターン照明光を、被写体に照射する照射ステップと、
前記パターン照明光が照射された被写体を撮影することで、前記撮影画像を生成する撮影ステップと、
生成された撮影画像を用いて、時空間解像度が前記撮影画像の時空間解像度より高い高解像度画像を生成する画像処理ステップとを含む
超解像処理方法。
【請求項２】
前記照射ステップでは、明暗のパターンが互いに異なる複数のパターン照明光を照射する
請求項１に記載の超解像処理方法。
【請求項３】
前記パターン照明光の空間解像度は、前記撮影画像の空間解像度より高く、
前記撮影ステップでは、前記複数のパターン照明光を照射するタイミングに同期して、前記複数のパターン照明光の各々が照射された被写体を撮影することで、前記複数のパターン照明光に対応する複数の撮影画像を生成する
請求項２に記載の超解像処理方法。
【請求項４】
前記画像処理ステップは、
前記撮影画像内における前記パターン照明光の照射領域を、前記撮影画像の空間解像度より細かい精度で検出する検出ステップと、
前記撮影画像のうち検出された照射領域に含まれる画素を用いて、前記高解像度画像を生成する超解像ステップとを含む
請求項３に記載の超解像処理方法。
【請求項５】
前記検出ステップでは、前記パターン照明光の照射領域に対する相対的な位置が固定である基準物を前記撮影画像から検出することで、前記パターン照明光の照射領域を検出する
請求項４に記載の超解像処理方法。
【請求項６】
前記検出ステップでは、前記撮影画像における前記基準物のモアレを検出することで、前記パターン照明光の照射領域を検出する
請求項５に記載の超解像処理方法。
【請求項７】
前記照射ステップでは、さらに、前記基準物として高周波の周期模様を、前記照射領域とは異なる領域であって、前記撮影画像に含まれる領域に照射する
請求項６に記載の超解像処理方法。
【請求項８】
前記超解像ステップでは、前記パターン照明光の明暗のパターンの最小単位である単位領域毎に、前記複数の撮影画像の各々の前記照射領域における単位領域を含む画素の画素値に基づいて、前記高解像度画像の画素値を算出することで、前記高解像度画像を生成する
請求項４〜７のいずれか１項に記載の超解像処理方法。
【請求項９】
前記画像処理ステップは、
前記撮影画像内における前記パターン照明光の照射領域の複数の候補である複数の候補領域の各々について、前記撮影画像のうち当該候補領域の画素を用いて、前記撮影画像より時空間解像度が高い高解像度画像候補を生成する候補生成ステップと、
生成された複数の高解像度画像候補から一の高解像度画像候補を前記高解像度画像として決定する決定ステップとを含む
請求項３に記載の超解像処理方法。
【請求項１０】
前記照射ステップでは、前記複数のパターン照明光を１フレームの前記撮影画像の露光期間内に照射する
請求項２に記載の超解像処理方法。
【請求項１１】
前記照射ステップでは、前記複数のパターン照明光を１セットとして複数のセットを照射し、
前記撮影ステップでは、前記複数のセットの各々が照射された被写体を撮影することで、前記複数のセットに対応する複数の撮影画像を生成し、
前記複数のセットは、前記複数のパターン照明光の各々の明暗のパターン及び前記複数のパターン照明光の順序の少なくとも一方が互いに異なっている
請求項１０に記載の超解像処理方法。
【請求項１２】
前記パターン照明光は、明暗がランダムに配置されたランダムパターン照明光である
請求項１〜１１のいずれか１項に記載の超解像処理方法。
【請求項１３】
撮影画像を高解像度化する超解像処理方法であって、
空間解像度及び時間解像度の少なくとも一方である時空間解像度が前記撮影画像より高いパターン照明光が照射された被写体を撮影することで生成された撮影画像を用いて、時空間解像度が前記撮影画像の時空間解像度より高い高解像度画像を生成する
超解像処理方法。
【請求項１４】
撮影画像を高解像度化する超解像処理装置であって、
空間解像度及び時間解像度の少なくとも一方である時空間解像度が前記撮影画像より高いパターン照明光が照射された被写体を撮影することで、前記撮影画像を生成する撮影部と、
前記撮影部によって生成された撮影画像を用いて、時空間解像度が前記撮影画像の時空間解像度より高い高解像度画像を生成する画像処理部とを備える
超解像処理装置。
【請求項１５】
撮影画像を高解像度化する超解像処理装置であって、
空間解像度及び時間解像度の少なくとも一方である時空間解像度が前記撮影画像より高いパターン照明光が照射された被写体を撮影することで生成された撮影画像を用いて、時空間解像度が前記撮影画像の時空間解像度より高い高解像度画像を生成する画像処理部を備える
超解像処理装置。
【請求項１６】
請求項１４又は１５に記載の超解像処理装置と、
前記被写体に前記パターン照明光を照射する照明装置とを備える
超解像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、超解像処理方法、超解像処理装置及び超解像処理システムに関する。
【背景技術】
【０００２】
非特許文献１は、照明の位置を変えることで結像位置を変化させて得られる複数の画像から高解像度画像を得る顕微鏡を開示している。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Guoan Zhenga, et al., “The ePetri dish, an on-chip cell imaging platform based on subpixel perspective sweeping microscopy (SPSM)”, Proceedings of the National Academy of Sciences, vol. 108, no. 41, 16889-16894, 2011
【非特許文献２】S. Farsiu, D. Robinson, M. Elad, and P. Milanfar, “Fast and Robust Multi-frame Super-resolution”, IEEE Transactions on Image Processing, vol. 13, no. 10, pp. 1327-1344, October 2004
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、時空間解像度が低い撮影画像から時空間解像度が高い画像を生成することができる超解像処理方法、超解像処理装置及び超解像処理システムを提供する。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本開示に係る超解像処理方法は、撮影画像を高解像度化する超解像処理方法であって、空間解像度及び時間解像度の少なくとも一方である時空間解像度が撮影画像より高いパターン照明光を、被写体に照射する照射ステップと、パターン照明光が照射された被写体を撮影することで、撮影画像を生成する撮影ステップと、撮影画像を用いて、時空間解像度が撮影画像の時空間解像度より高い高解像度画像を生成する画像処理ステップとを含む。
【発明の効果】
【０００６】
本開示によれば、時空間解像度が低い撮影画像から時空間解像度が高い画像を生成することができる。
【図面の簡単な説明】
【０００７】
【図１】図１は、実施の形態１に係る超解像処理システムを示す概略図である。
【図２】図２は、実施の形態１に係る被写体を示す図である。
【図３】図３は、図２に示す被写体を従来の方法で撮影することで得られる撮影画像を示す図である。
【図４】図４は、実施の形態１に係る超解像処理システムの機能構成を示すブロック図である。
【図５】図５は、実施の形態１に係るパターン照明光の照射パターンと撮影画像とを示す図である。
【図６】図６は、実施の形態１に係る超解像処理システムの動作（超解像処理方法）を示すフローチャートである。
【図７】図７は、実施の形態１に係るパターン照明光の照射と撮影とのタイミングを示す図である。
【図８Ａ】図８Ａは、実施の形態１に係る撮影画像を示す図である。
【図８Ｂ】図８Ｂは、実施の形態１に係る領域検出を行うための撮影画像を示す図である。
【図９】図９は、実施の形態１に係る高解像度画像を示す図である。
【図１０】図１０は、実施の形態２に係る超解像処理システムを示す概略図である。
【図１１】図１１は、図１０に示す被写体の動きと当該被写体を従来の方法で撮影することで得られる撮影画像とを示す図である。
【図１２】図１２は、実施の形態２に係る超解像処理システムの機能構成を示すブロック図である。
【図１３】図１３は、実施の形態２に係るパターン照明光の照射パターンと撮影画像とを示す図である。
【図１４】図１４は、実施の形態２に係るパターン照明光の照射と撮影とのタイミングを示す図である。
【図１５】図１５は、実施の形態２に係る超解像処理システムの動作（超解像処理方法）を示すフローチャートである。
【図１６】図１６は、実施の形態２に係るパターン照明光の照射と撮影とのタイミングを示す図である。
【図１７】図１７は、実施の形態２に係るパターン照明光の照射パターンと撮影画像との例を示す図である。
【図１８】図１８は、実施の形態２に係るパターン照明光の照射と撮影とのタイミングの別の例を示す図である。
【図１９】図１９は、実施の形態２に係る高解像度画像を示す図である。
【発明を実施するための形態】
【０００８】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明、及び、実質的に同一の構成に対する重複説明などを省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【０００９】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
【００１０】
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
【００１１】
（実施の形態１）
以下、図１〜図９を用いて、実施の形態１を説明する。
【００１２】
［１−１．構成］
［１−１−１．概要］
図１は、本実施の形態に係る超解像処理システム１０の構成を示す図である。図２は、本実施の形態に係る被写体１１を示す図である。図３は、図２に示す被写体１１を従来の方法で撮影することで得られる撮影画像を示す図である。
【００１３】
例えば、図３は、８画素×８画素の領域に被写体１１が撮影された場合を示している。図３に示す例では、イメージセンサ（撮影装置１１０）の画素が粗いため、撮影画像は、不鮮明になる。
【００１４】
本実施の形態に係る超解像処理システム１０は、例えば、図３に示すような不鮮明な撮影画像を高解像度化する。超解像処理システム１０は、具体的には、被写体１１を撮影することで撮影画像を生成し、生成した撮影画像に超解像処理を施すことで、高解像度画像を生成する。
【００１５】
図１に示すように、超解像処理システム１０は、超解像処理装置１００と、照明装置２００とを備える。超解像処理装置１００は、撮影装置１１０と、画像処理装置１２０とを備える。
【００１６】
照明装置２００は、時空間解像度が撮影画像の時空間解像度より高いパターン照明光を被写体１１に照射（投影）する。時空間解像度は、空間解像度及び時間解像度の少なくとも一方である。
【００１７】
撮影装置１１０は、パターン照明光が照射された被写体１１を撮影することで、撮影画像を生成する撮影部である。
【００１８】
画像処理装置１２０は、撮影画像に超解像処理を施す画像処理部である。すなわち、画像処理装置１２０は、撮影画像を用いて、時空間解像度が撮影画像の時空間解像度より高い高解像度画像を生成する。
【００１９】
以下では、撮影装置１１０、画像処理装置１２０及び照明装置２００の詳細な構成について、図４を用いて説明する。図４は、本実施の形態に係る超解像処理システム１０の機能構成を示すブロック図である。
【００２０】
［１−１−２．照明装置］
照明装置２００は、例えば、プロジェクタなどの面型パターン照明装置である。本実施の形態では、照明装置２００は、図１に示すように、被写体１１に近い位置に配置される。例えば、照明装置２００は、撮影装置１１０よりも被写体１１に近い位置に配置される。
【００２１】
照明装置２００は、図４に示すように、発光部２０１と、記憶部２０２とを備える。
【００２２】
発光部２０１は、パターン照明光を出射する。本実施の形態では、発光部２０１は、明暗のパターンが互いに異なる複数のパターン照明光を出射する。具体的には、発光部２０１は、複数のパターン照明光を互いに異なるタイミングで出射する。発光部２０１は、記憶部２０２に記憶された照射パターン２０３を読み出して、読み出した照射パターン２０３が示す明暗のパターンに従ってパターン照明光を出射する。
【００２３】
パターン照明光の照射領域には、明暗のパターンが形成される。照射領域は、パターン照明光によって照射される被写体上の領域である。明暗のパターンは、単位領域毎の光量の違いによって形成される。単位領域は、パターン照明光の明暗のパターンの最小単位である。照射領域内における明暗のパターンの細かさ、すなわち、単位領域の数がパターン照明光の空間解像度に相当する。また、所定期間内におけるパターン照明光の照射回数がパターン照明光の時間解像度に相当する。
【００２４】
発光部２０１は、例えば、二次元状に配置された複数の発光画素と、複数の発光画素の点灯を制御する駆動回路とを有する。発光部２０１は、複数の発光画素の各々を高輝度（「明」）及び低輝度（「暗」）のいずれかで発光させることで、パターン照明光を照射する。なお、発光部２０１は、所定の発光画素を低輝度で発光させる代わりに、輝度を０にする、すなわち、消灯してもよい。また、発光部２０１は、３つ以上の輝度値から選択した輝度値で発光画素を発光させてもよい。
【００２５】
本実施の形態では、発光部２０１は、照射領域が略矩形になるように、パターン照明光を出射する。発光部２０１は、例えば、ｍ行ｎ列に配置された複数の発光画素を有し、当該複数の発光画素を発光させることで、略矩形の照射領域を被写体１１上に形成する。この場合、照射領域には、ｍ行ｎ列の単位領域が含まれる。なお、ｍ及びｎは、自然数である。
【００２６】
発光部２０１は、例えば、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）、有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子などの発光素子と、当該発光素子を駆動する駆動回路とで実現される。
【００２７】
記憶部２０２は、照射パターン２０３を記憶するための記憶装置である。記憶部２０２は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）又はフラッシュメモリなどの半導体メモリである。
【００２８】
照射パターン２０３は、明暗のパターンを示す情報である。例えば、照射パターン２０３は、発光部２０１が備える複数の発光画素の各々の輝度値を示す情報である。あるいは、照射パターン２０３は、発光部２０１が備える複数の発光画素のうち点灯させる発光画素を示す情報でもよい。発光部２０１は、照射パターン２０３が示す発光画素を所定の輝度で点灯させ、その他の発光画素を点灯させないことで、明暗のパターンを有するパターン照明光を出射する。
【００２９】
図５は、本実施の形態に係るパターン照明光の照射パターン２０３と撮影画像とを示す図である。なお、図５の照射パターン２０３のフィールドにおいて、黒塗りの部分は、光量が少ない又は０の暗い領域（暗領域）を示し、グレーの部分は、光量が多い明るい領域（明領域）を示している。
【００３０】
図５に示すように、照射パターン２０３では、所定の形状の単位領域を最小単位として、明領域及び暗領域が二次元状に配置されている。所定の形状は、例えば、略正方形である。本実施の形態では、パターン照明光の空間解像度は、撮影画像の空間解像度より高い。図５に示すように、単位領域の大きさは、撮影画像の画素サイズの１６分の１の大きさ（縦及び横の各々が４分の１）である。
【００３１】
本実施の形態では、記憶部２０２には、明暗のパターンが互いに異なる複数の照射パターン２０３が記憶されている。例えば、図５の（ａ）〜（ｃ）に示すように、互いに異なる３つの照射パターン２０３が記憶されている。
【００３２】
なお、パターン照明光は、周波数成分の分布において、各周波数成分の割合が略同じである。パターン照明光の明暗がランダムに配置されたランダムパターン照明光は、この条件を満たす。言い換えると、パターン照明光は、周波数特性が略フラットなパターン照明光である。具体的には、パターン照明光は、市松模様（規則性のあるパターン）などとは異なり、特定の周波数に偏らない。
【００３３】
なお、パターン照明光としては、市松模様などの明暗に規則性がパターンのパターン照明光を用いてもよい。例えば、空間周波数（すなわち解像度）の異なる市松模様の照明パターンを組み合わせることで略フラットなパターン照明光を実現してもよい。
【００３４】
［１−１−３．撮影装置］
撮影装置１１０は、例えば、監視カメラ、定点カメラなどのカメラである。本実施の形態では、撮影装置１１０は、図１に示すように、被写体１１から遠く離れた位置に配置される。例えば、撮影装置１１０は、被写体１１から照明装置２００よりも離れた位置に配置される。
【００３５】
撮影装置１１０は、図４に示すように、タイミング制御部１１１と、撮影部１１２とを備える。
【００３６】
タイミング制御部１１１は、例えば、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。タイミング制御部１１１は、撮影部１１２による撮影のタイミングを制御する。具体的には、タイミング制御部１１１は、照明装置２００の発光部２０１がパターン照明光を照射するタイミングと同期して、撮影部１１２に撮影を行わせる。
【００３７】
撮影部１１２は、イメージセンサ及びレンズなどの光学系を有する。撮影部１１２は、パターン照明光が照射された被写体１１を撮影することで、撮影画像を生成する。
【００３８】
本実施の形態では、撮影部１１２は、複数のパターン照明光が照射されるタイミングに同期して、複数のパターン照明光の各々が照射された被写体１１を撮影することで、複数のパターン照明光に対応する複数の撮影画像を生成する。つまり、パターン照明光の時間解像度は、撮影画像の時間解像度（フレームレート）と同じである。例えば、図５に示すように、３つの照射パターン２０３の各々を有する３回の照明光の照射タイミングに同期して、３枚の撮影画像を生成する。
【００３９】
［１−１−４．画像処理装置］
画像処理装置１２０は、撮影装置１１０による撮影により生成された撮影画像を高解像度化する。画像処理装置１２０は、例えば、システムＬＳＩなどの各種集積回路で実現される。具体的には、画像処理装置１２０は、例えば、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。
【００４０】
画像処理装置１２０は、図４に示すように、取得部１２１と、位置検出部１２２と、記憶部１２３と、超解像処理部１２５と、出力部１２６とを備える。取得部１２１と、位置検出部１２２と、記憶部１２３と、超解像処理部１２５と、出力部１２６との機能は、例えば、不揮発性メモリ、揮発性メモリ、入出力ポート及びプロセッサなどによって実行される。
【００４１】
取得部１２１は、撮影装置１１０によって生成された撮影画像を取得する。
【００４２】
位置検出部１２２は、取得部１２１によって取得された撮影画像内におけるパターン照明光の照射領域を、撮影画像の空間解像度より細かい精度（サブピクセル精度）で検出する。具体的には、位置検出部１２２は、撮影画像内における照射領域を、パターン照明光の空間解像度と同じ精度で検出する。位置検出部１２２は、撮影画像内における照射領域を検出することで、照射領域に含まれる単位領域と撮影画像の画素との対応関係を検出する。詳細な処理については、後で説明する。
【００４３】
記憶部１２３は、照射パターン１２４を記憶するための記憶装置である。記憶部１２３は、ＨＤＤ又はフラッシュメモリなどである。照射パターン１２４は、照明装置２００の記憶部２０２に記憶された照射パターン２０３と同一である。
【００４４】
超解像処理部１２５は、撮影画像に超解像処理を施すことで、高解像度画像を生成する。本実施の形態では、超解像処理部１２５は、撮影画像のうち位置検出部１２２によって検出された照射領域に含まれる画素を用いて、高解像度画像を生成する。
【００４５】
具体的には、超解像処理部１２５は、単位領域毎に、複数の撮影画像の各々の照射領域における単位領域を含む画素の画素値に基づいて、高解像度画像の画素値を算出することで、高解像度画像を生成する。つまり、高解像度画像の画素は、パターン照明光の単位領域に相当する。言い換えると、高解像度画像の空間解像度は、パターン照明光の空間解像度に一致する。
【００４６】
１つの画素に着目すると、当該画素（着目画素）には、複数の単位領域が含まれる。複数の撮影画像の各々において、着目画素は、当該着目画素に含まれる単位領域毎の明暗のパターンの違いによって、異なる画素値になる。つまり、複数の撮影画像の各々の着目画素の画素値は、各々が撮影されたときに照射されたパターン照明光の明暗のパターンの情報を暗に含んでいる。したがって、単位領域毎に、複数の撮影画素の各々の当該単位領域を含む画素の画素値を用いて、生成後の高解像度画像の自然画像としての尤もらしさ（妥当性指標）を評価することで、高解像度画像を生成することができる。
【００４７】
超解像処理部１２５は、一般的な超解像処理を利用することができる。具体的には、超解像処理部１２５は、非特許文献２に記載された画像生成方法などを用いる。詳細な処理については、後で説明する。
【００４８】
出力部１２６は、超解像処理部１２５によって生成された高解像度画像を出力する。例えば、出力部１２６は、外部のディスプレイ又はメモリなどに高解像度画像を出力する。
【００４９】
［１−２．動作］
図６は、本実施の形態に係る超解像処理システム１０の動作（超解像処理方法）を示すフローチャートである。
【００５０】
まず、パターン照明光の照射と撮影とを行う（Ｓ１０）。具体的には、照明装置２００が、互いに異なる複数のパターン照明光を照射し、撮影装置１１０が、複数のパターン照明光の各々に同期して撮影することで、複数のパターン照明光の各々が照射された被写体１１の撮影画像を生成する。
【００５１】
図７は、本実施の形態に係るパターン照明光の照射と撮影とのタイミングを示す図である。照明装置２００は、例えば、「ａ」、「ｂ」及び「ｃ」の３つの照射パターンのパターン照明光を周期的に出射する。なお、「ａ」、「ｂ」及び「ｃ」の３つの照射パターンは、互いに明暗のパターンが異なっており、例えば、図５の（ａ）〜（ｃ）に示すパターンである。
【００５２】
撮影装置１１０は、パターン照明光が照射されるタイミングに同期して、被写体１１を撮影することにより、撮影画像を生成する。例えば、図７に示すように、「ａ」、「ｂ」及び「ｃ」の３つの照射パターンの各々に対応する３枚の撮影画像が生成される。３枚の撮影画像は、例えば、図５の（ａ）〜（ｃ）に示す撮影画像である。
【００５３】
なお、ここでは、単位領域の大きさが、撮影画像の画素サイズの縦及び横の各々の４分の１である例について示すが、これに限らない。単位領域の大きさは、撮影画像の画素サイズの縦及び横の各々の４分の１より大きくてもよく、小さくてもよい。また、縦及び横の比率が異なっていてもよい。
【００５４】
また、撮影画像の枚数は、パターン照明光の空間解像度と撮影画像の空間解像度との比率の２乗の枚数であることが好ましいが、これより少ない枚数でも撮影画像を高解像度化することができる。例えば、撮影画像が１枚の場合であっても、予め定められた所定の情報を用いることで、撮影画像を高解像度化することができる。なお、ノイズの影響を低減させるためには、撮影画像の枚数は多いことが好ましい。
【００５５】
次に、位置検出部１２２は、撮影画像内の照射領域を検出する（Ｓ１２）。具体的には、位置検出部１２２は、複数の撮影画像の各々における照射領域を検出する。より具体的には、位置検出部１２２は、照射領域をサブピクセル精度で検出する。例えば、サブピクセル精度とは、撮影画像における照射領域をパターン照明光の空間解像度と同じ精度である。
【００５６】
図８Ａは、本実施の形態に係る撮影画像１２を示す図である。図８Ａに示すように、撮影画像１２には、パターン照明光が照射された照射領域１３が含まれる。
【００５７】
なお、撮影装置１１０と照明装置２００による照射領域とをサブピクセル精度で固定できていることが好ましい。しかしながら、外的影響で撮影装置１１０の姿勢が変化する場合が考えられる。この場合、照射領域１３を検出することで、高解像度画像の画質の劣化を抑制することができる。
【００５８】
本実施の形態では、位置検出部１２２は、パターン照明光の照射領域１３に対する相対的な位置が固定である基準物を撮影画像１２から検出することで、パターン照明光の照射領域１３を検出する。基準物は、例えば、撮影画像１２に写るように、被写体１１の近傍に予め設けられた印などである。
【００５９】
図８Ｂは、本実施の形態に係る領域検出を行うための撮影画像１２を示す図である。図８Ｂに示すように、撮影画像１２には、基準物１４が含まれる。
【００６０】
基準物１４は、画像処理装置１２０にとって既知の高周波被写体である。具体的には、基準物１４は、撮影画像１２の画素のピッチよりも細かい格子模様などである。撮影画像１２に基準物１４によって発生するモアレの位相と位置とを予め対応付けておくことで、位置検出部１２２は、基準物１４のモアレを検出することで、照射領域１３を検出することができる。
【００６１】
なお、照明装置２００が、基準物１４としての高周波の周期模様を、パターン照明光の照射領域１３とは異なる領域であって、撮影画像１２に含まれる領域に照射してもよい。なお、照明装置２００とは異なる別の照明装置が基準物１４としての周期模様を照射してもよい。位置検出部１２２は、撮影画像１２における基準物１４のモアレを検出することで、照射領域１３を検出する。
【００６２】
次に、超解像処理部１２５は、照射領域１３の画像を高解像度化する（Ｓ１４）。
【００６３】
例えば、超解像処理部１２５は、以下の（式１）に示す関数Ｅ（ｆ）を最小にする画像ｆを算出することで、算出した画像ｆを高解像度画像として生成する。なお、被写体１１に照射される照射パターン２０３と、超解像処理部１２５が利用する照射パターン１２４とは同一である。すなわち、超解像処理部１２５は、被写体１１に照射される照射パターン２０３を既知の情報として利用することができる。
【００６４】
【数１】
0006016000.tif 000002
【００６５】
（式１）において、ｘ及びｙは、高解像度画像の二次元位置を示す座標である。ｘ’及びｙ’は、撮影画像の二次元位置を示す座標である。ｆ（ｘ，ｙ）は、算出対象となる高解像度画像である。ｂ（ｘ，ｙ）は、撮影によるボケを表す点拡がり関数（ＰＳＦ：Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）である。
【００６６】
Ｌｋ（ｘ，ｙ）は、照射パターン１２４（すなわち、照射パターン２０３）である。ｋは、照射パターン１２４の番号（すなわち、撮影画像の番号）であり、具体的には、図５の（ａ）〜（ｃ）を識別するための情報である。Ｌ０は、共通して照射されている周囲環境の照明を示す情報である。Ｌ０は、例えば、照明装置２００がパターン照明光を照射しない状態で撮影することで取得することができる。
【００６７】
ｇｋ（ｘ’，ｙ’）は、照射パターンＬｋのパターン照明光を照射したときの撮影画像である。λは、予め定められた定数である。Δは、ラプラシアンである。（↓４）は、１／４の間引きサンプリングを示す。なお、本実施の形態では、高解像度画像（パターン照明光）の空間解像度において縦横それぞれが撮影画像の４分の１であるので、間引きサンプリングも４分の１である。間引きサンプリング数は、高解像度画像と撮影画像との空間解像度の違いに基づいて決定される。
【００６８】
なお、（式１）において、λを含む項は、自然画像が満たすべき尤もらしさを表している。生成した高解像度画像ｆに含まれるノイズ成分が多いと、λを含む項の値が大きくなり、Ｅ（ｆ）の値も大きくなる。したがって、λを含む項が小さい程、自然画像にふさわしく、生成した高解像度画像ｆがより自然な画像として生成される。
【００６９】
次に、出力部１２６は、超解像処理部１２５によって生成された高解像度画像を出力する（Ｓ１６）。図９は、本実施の形態に係る高解像度画像を示す図である。図９に示すように、空間解像度が撮影画像の空間解像度より高い高解像度画像が生成される。
【００７０】
［１−３．効果など］
以上のように、本実施の形態に係る超解像処理方法は、撮影画像を高解像度化する超解像処理方法であって、空間解像度及び時間解像度の少なくとも一方である時空間解像度が撮影画像より高いパターン照明光を、被写体１１に照射する照射ステップと、パターン照明光が照射された被写体１１を撮影することで、撮影画像を生成する撮影ステップと、生成された撮影画像を用いて、時空間解像度が撮影画像の時空間解像度より高い高解像度画像を生成する画像処理ステップとを含む。
【００７１】
これにより、空間解像度が低い撮影画像から空間解像度が高い画像を生成することができる。例えば、低解像度のカメラを用いたとしても、高解像度の画像を生成することができる。
【００７２】
例えば、監視カメラなどによって広範囲の領域を撮影した場合、撮影画像内の特定の狭い領域は画素が荒く、画像が不鮮明になる。この場合に、当該特定の狭い領域に写る被写体１１に高解像度のパターン照明光を照射しながら撮影を行うことで、当該特定の狭い領域を高解像度化することができる。
【００７３】
通常の照明下において複数の撮影画像からの超解像処理を行う場合には、撮影装置１１０の撮像素子のサンプリングにおいて、被写体１１の高周波成分由来のエイリアシング（ａｌｉａｓｉｎｇ）を含む必要がある。本開示に係る超解像処理方法では、照明装置２００が照射するパターン照明光の高周波情報を取得するため、エイリアシングを含む必要がない。したがって、照明装置２００によるパターン照明光の周波数を高め、あるいは、撮影のバリエーションを増やすことで、必要に応じて解像度を容易に高めることもできる。
【００７４】
また、例えば、本実施の形態では、照射ステップでは、明暗のパターンが互いに異なる複数のパターン照明光を照射する。
【００７５】
これにより、例えば、明暗のパターンをより細かくすることで、高解像度画像の解像度を高めることができる。
【００７６】
また、例えば、本実施の形態では、パターン照明光の空間解像度は、撮影画像の空間解像度より高く、撮影ステップでは、複数のパターン照明光を照射するタイミングに同期して、複数のパターン照明光の各々が照射された被写体１１を撮影することで、複数のパターン照明光に対応する複数の撮影画像を生成する。
【００７７】
これにより、例えば、撮影画像の枚数を増やすことで、高解像度画像の画質を高めることができる。
【００７８】
また、例えば、本実施の形態では、画像処理ステップは、撮影画像内におけるパターン照明光の照射領域１３を、撮影画像１２の空間解像度より細かい精度で検出する検出ステップと、撮影画像１２のうち検出された照射領域１３に含まれる画素を用いて、高解像度画像を生成する超解像ステップとを含む。
【００７９】
これにより、照射領域１３を検出するので、撮影装置１１０又は照明装置２００の姿勢が外的要因によって変化した場合であっても高解像度画像の画質の劣化を抑制することができる。
【００８０】
また、例えば、本実施の形態では、検出ステップでは、パターン照明光の照射領域１３に対する相対的な位置が固定である基準物１４を撮影画像１２から検出することで、パターン照明光の照射領域１３を検出する。
【００８１】
これにより、基準物１４の検出によって精度良く照射領域１３を検出することができるので、高解像度画像の画質の劣化を抑制することができる。
【００８２】
また、例えば、本実施の形態では、検出ステップでは、撮影画像１２における基準物１４のモアレを検出することで、パターン照明光の照射領域１３を検出する。
【００８３】
これにより、例えば、基準物１４によって発生するモアレの位相と位置とを予め対応付けておくことで、精度良く照射領域１３を検出することができる。
【００８４】
また、例えば、本実施の形態では、照射ステップでは、さらに、基準物１４として高周波の周期模様を、照射領域１３とは異なる領域であって、撮影画像１２に含まれる領域に照射する。
【００８５】
これにより、基準物１４としての周期模様を照射するので、基準物１４が固定されている場合に比べて、撮影の範囲を広げることができる。
【００８６】
また、例えば、本実施の形態では、超解像ステップでは、パターン照明光の明暗のパターンの最小単位である単位領域毎に、複数の撮影画像１２の各々の照射領域１３における単位領域を含む画素の画素値に基づいて、高解像度画像の画素値を算出することで、高解像度画像を生成する。
【００８７】
これにより、低解像度の撮影画像１２から高解像度の高解像度画像を生成することができる。
【００８８】
また、例えば、本実施の形態では、パターン照明光は、明暗がランダムに配置されたランダムパターン照明光である。
【００８９】
これにより、高解像度画像の画質を高めることができる。
【００９０】
また、例えば、本実施の形態に係る超解像処理方法は、空間解像度及び時間解像度の少なくとも一方である時空間解像度が撮影画像より高いパターン照明光が照射された被写体１１を撮影することで生成された撮影画像を用いて、時空間解像度が撮影画像の時空間解像度より高い高解像度画像を生成する超解像処理方法としてもよい。
【００９１】
なお、これらの包括的又は具体的な態様は、システム、装置、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【００９２】
例えば、本実施の形態に係る超解像処理装置１００は、撮影画像を高解像度化する超解像処理装置であって、空間解像度及び時間解像度の少なくとも一方である時空間解像度が撮影画像より高いパターン照明光が照射された被写体１１を撮影することで、撮影画像を生成する撮影装置１１０と、撮影装置１１０によって生成された撮影画像を用いて、時空間解像度が撮影画像の時空間解像度より高い高解像度画像を生成する画像処理装置１２０とを備える。
【００９３】
また、例えば、本実施の形態に係る超解像処理装置１００は、撮影画像を高解像度化する超解像処理装置であって、空間解像度及び時間解像度の少なくとも一方である時空間解像度が前記撮影画像より高いパターン照明光が照射された被写体を撮影することで生成された撮影画像を用いて、時空間解像度が前記撮影画像の時空間解像度より高い高解像度画像を生成する画像処理部を備える超解像処理装置としてもよい。
【００９４】
また、例えば、本実施の形態に係る超解像処理システム１０は、超解像処理装置１００と、被写体１１にパターン照明光を照射する照明装置２００とを備える。
【００９５】
（実施の形態２）
以下、図１０〜図１９を用いて、実施の形態２を説明する。
【００９６】
［２−１．構成］
［２−１−１．概要］
図１０は、本実施の形態に係る超解像処理システム２０の構成を示す図である。図１１は、図１０に示す被写体２１の動きと、被写体２１を従来の方法で撮影することで得られる撮影画像とを示す図である。
【００９７】
本実施の形態では、被写体２１は移動する。例えば、図１０及び図１１に示すように、被写体２１は、左斜め上方向に移動する。撮影画像の露光期間中に被写体２１が移動するため、図１１に示すように、被写体２１がブレた撮影画像が生成される。
【００９８】
本実施の形態に係る超解像処理システム２０は、例えば、図１１に示すようなブレた撮影画像を高解像度化する。具体的には、超解像処理システム２０は、時間解像度を高めることで、ブレが抑制された複数の撮影画像を生成する。
【００９９】
図１０に示すように、超解像処理システム２０は、超解像処理装置３００と、照明装置４００とを備える。超解像処理装置３００は、撮影装置３１０と、画像処理装置３２０とを備える。
【０１００】
照明装置４００は、時空間解像度が撮影画像より高いパターン照明光を被写体２１に照射する。具体的には、照明装置４００は、時間解像度が撮影画像の時間解像度（すなわち、フレームレート）より高いパターン照明光を照射する。
【０１０１】
撮影装置３１０は、パターン照明光が照射された被写体２１を撮影することで、撮影画像を生成する撮影部である。
【０１０２】
画像処理装置３２０は、撮影画像に超解像処理を施す画像処理部である。具体的には、画像処理装置３２０は、撮影画像を用いて、時間解像度が撮影画像の時間解像度より高い高解像度画像（高フレームレート画像）を生成する。
【０１０３】
以下では、撮影装置３１０、画像処理装置３２０及び照明装置４００の詳細な構成について、図１２を用いて説明する。図１２は、本実施の形態に係る超解像処理システム２０の機能構成を示すブロック図である。なお、以下の説明において、特に言及しない点については、実施の形態１と同様である。
【０１０４】
［２−１−２．照明装置］
照明装置４００は、図１２に示すように、実施の形態１に係る照明装置２００と比較して、発光部２０１の代わりに発光部４０１を備える点が異なっている。また、記憶部２０２には、照射パターン２０３の代わりに照射パターン４０３が記憶されている。
【０１０５】
発光部４０１は、複数のパターン照明光を出射する。本実施の形態では、発光部４０１は、明暗のパターンが互いに異なる複数のパターン照明光を、互いに異なるタイミングで出射する。具体的には、発光部４０１は、記憶部２０２に記憶された照射パターン４０３を読み出して、読み出した照射パターン４０３が示す明暗のパターンに従ってパターン照明光を出射する。
【０１０６】
図１３は、本実施の形態に係るパターン照明光の照射パターン４０３と撮影画像とを示す図である。本実施の形態に係る照射パターン４０３は、実施の形態１と同様に、単位領域毎に、明領域及び暗領域が二次元状に配置されている。本実施の形態では、パターン照明光の空間解像度は、撮影画像の空間解像度と同じである。
【０１０７】
発光部４０１は、複数のパターン照明光を１フレームの撮影画像の露光期間内に照射する。具体的には、発光部４０１は、複数のパターン照明光を露光期間内に順に照射することで、図１３に示すような１枚の撮影画像を生成する。つまり、本実施の形態では、パターン照明光の時間解像度は、撮影画像の時間解像度（フレームレート）より高い。
【０１０８】
図１４は、本実施の形態に係るパターン照明光の照射と撮影とのタイミングを示す図である。例えば、発光部４０１は、図１４に示すように、撮影画像の露光期間内に「ａ」、「ｂ」及び「ｃ」の３つの照射パターンのパターン照明光を照射する。これにより、撮影装置３１０によって撮影された撮影画像には、「ａ」、「ｂ」及び「ｃ」の３つの照射パターンの情報が含まれる。なお、「ａ」、「ｂ」及び「ｃ」の３つの照射パターンは、互いに明暗のパターンが異なっており、例えば、図１３の（ａ）〜（ｃ）に示すパターンである。
【０１０９】
本実施の形態では、発光部４０１は、複数のパターン照明光を１セットとして複数のセットを照射する。複数のセットは、複数のパターン照明光の各々の明暗のパターン及び複数のパターン照明光の順序の少なくとも一方が互いに異なっている。
【０１１０】
例えば、図１３の（ａ）〜（ｃ）に示すような、明暗のパターンが互いに異なる３つの照射パターン４０３が１セットである。記憶部２０２には、互いに異なる複数のセットが記憶されている。
【０１１１】
発光部４０１の詳細な動作については、後で説明する。なお、発光部４０１は、例えば、ＬＥＤ、有機ＥＬ素子などの発光素子と、当該発光素子を駆動する駆動回路とで実現される。
【０１１２】
［２−１−３．撮影装置］
撮影装置３１０は、図１２に示すように、実施の形態１に係る撮影装置１１０と比較して、タイミング制御部１１１の代わりにタイミング制御部３１１を備える点が異なっている。
【０１１３】
タイミング制御部３１１は、例えば、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。タイミング制御部３１１は、撮影部１１２による撮影のタイミングを制御する。タイミング制御部３１１は、例えば、複数のパターン照明光の照射するタイミングに同期させて、撮影部１１２による露光の開始及び終了を制御する。
【０１１４】
具体的には、タイミング制御部３１１は、複数のパターン照明光が１回の露光期間中に含まれるように、撮影部１１２の露光の開始及び終了を制御する。したがって、撮影部１１２は、実施の形態１では、パターン照明光と一対一に対応する撮影画像を生成するのに対して、本実施の形態では、複数のパターン照明光に対して１枚の撮影画像を生成する。
【０１１５】
本実施の形態では、上述したように、複数のパターン照明光を１セットとして、複数のセットが被写体２１に照射される。撮影部１１２は、複数のセットの各々が照射された被写体２１を照射することで、複数のセットに対応する複数の撮影画像を生成する。
【０１１６】
［２−１−４．画像処理装置］
画像処理装置３２０は、図１２に示すように、実施の形態１に係る画像処理装置１２０と比較して、位置検出部１２２及び超解像処理部１２５の代わりに、タイミング検出部３２２及び超解像処理部３２５を備える。また、記憶部１２３には、照射パターン１２４の代わりに照射パターン３２４が記憶されている。照射パターン３２４は、照明装置４００の記憶部２０２に記憶された照射パターン４０３と同一である。
【０１１７】
タイミング検出部３２２は、パターン照明光の変化のタイミングを検出する。具体的は。タイミング検出部３２２は、露光の開始のタイミングとパターン照明光の変化のタイミング（例えば、ｔ＝０〜２）との時間のずれを検出する。例えば、タイミング制御部３１１と発光部４０１とが共通の時計を利用する場合、タイミング検出部３２２は、当該共通の時計を参照することで、パターン照明光の変化のタイミングを検出する。共通の時計は、例えば、ＮＴＰ（Ｎｅｔｗｏｒｋ  Ｔｉｍｉｎｇ  Ｐｒｏｔｏｃｏｌ）サーバなどである。
【０１１８】
あるいは、タイミング検出部３２２は、撮影画像に基づいてパターン照明光の変化のタイミングを検出してもよい。この場合、タイミング検出部３２２は、実施の形態１で説明した照明領域の検出と同様の処理を時間軸に対して行えばよい。例えば、画像処理装置３２０によって既知のタイミングで点滅する点滅照明を利用することができる。
【０１１９】
具体的には、タイミング検出部３２２は、点滅照明によって照射された被写体が写った撮影画像に発生するモアレのタイミングを検出する。モアレの発生するタイミングと、パターン照明光の変化のタイミングとを予め対応付けておくことで、タイミング検出部３２２は、パターン照明光の変化のタイミングを検出する。
【０１２０】
超解像処理部３２５は、撮影画像に超解像処理を施すことで、高解像度画像を生成する。本実施の形態では、超解像処理部３２５は、タイミング検出部３２２によって検出されたタイミングに基づいて、高解像度画像を生成する。高解像度画像は、撮影画像よりも時間解像度（フレームレート）が高い画像である。
【０１２１】
超解像処理部３２５は、実施の形態１で示した超解像処理方法を時間軸に適用することで、高解像度画像を生成する。詳細な処理については、後で説明する。
【０１２２】
［２−２．動作］
図１５は、本実施の形態に係る超解像処理システム２０の動作（超解像処理方法）を示すフローチャートである。
【０１２３】
まず、複数回の照射と撮影とを行う（Ｓ２０）。具体的には、照明装置４００が、互いに異なる複数のパターン照明光のセットを複数回照射し、撮影装置３１０が、複数のセットの各々に同期して撮影することで、複数のセットの各々が照射された被写体２１の撮影画像を生成する。
【０１２４】
図１６は、本実施の形態に係るパターン照明光の照射と撮影とのタイミングを示す図である。本実施の形態では、照明装置４００は、セット毎に、分離可能な異なる波長のパターン照明光を照射する。例えば、複数のセットは、赤色のパターン照明光、緑色のパターン照明光及び青色のパターン照明光に一対一に対応する。
【０１２５】
発光部４０１は、赤色のセットとして、例えば、「ａ」、「ｂ」及び「ｃ」の３つの照射パターンのパターン照明光をこの順で繰り返し照射する。発光部４０１は、緑色のセットとして、例えば、「ｄ」、「ｅ」及び「ｆ」の３つの照射パターンのパターン照明光をこの順で繰り返し照射する。発光部４０１は、青色のセットとして、例えば、「ｃ」、「ｆ」及び「ｂ」の３つの照射パターンのパターン照明光をこの順で繰り返し照射する。
【０１２６】
なお、複数のセットに含まれる照射パターンは、一部が一致していてもよい。例えば、「ｂ」及び「ｃ」の照射パターンは、赤色のセットと青色のセットとに含まれる。このとき、同じタイミングで同じ照射パターンのパターン照明光が照射されなければよい。例えば、２つのセットが同じ照射パターンを含む場合、一のセットに含まれるパターン照明光が照射される順序は、他のセットに含まれるパターン照明光が照射される順序と異なっていればよい。
【０１２７】
撮影装置３１０は、パターン照明光のセットが照射されるタイミングに同期して、被写体２１を撮影することにより、撮影画像を生成する。ここでは、図１６及び図１７に示すように、３つの撮影画像が生成される。
【０１２８】
図１７は、本実施の形態に係るパターン照明光の照射パターンと撮影画像との例を示す図である。図１７に示すように、３つの撮影画像の各々には、異なる照射パターンの情報が含まれる。
【０１２９】
なお、被写体２１に同じ動きをさせて繰り返し撮影してもよい。図１８は、本実施の形態に係るパターン照明光の照射と撮影とのタイミングの別の例を示す図である。
【０１３０】
図１８に示すように、被写体２１は、動きＭを繰り返す。被写体２１が動きＭを繰り返すのに合わせて、照明装置４００は、パターン照明光のセットを照射し、撮影装置３１０は、パターン照明光のセットが照射された被写体２１を撮影する。これにより、図１６の場合と同様に、複数の撮影画像を生成することができる。例えば、図１７に示す３つの撮影画像が生成される。
【０１３１】
次に、タイミング検出部３２２は、パターン照明光のタイミングを検出する（Ｓ２２）。具体的には、タイミング検出部３２２は、複数の撮影画像の各々において、パターン照明光の照射タイミングを検出する。例えば、タイミング検出部３２２は、共通の時計を参照することで、パターン照明光の変化のタイミングを検出する。
【０１３２】
次に、超解像処理部３２５は、撮影画像を高フレームレート化する（Ｓ２４）。
【０１３３】
例えば、超解像処理部３２５は、以下の（式２）に示す関数Ｅ（ｆ）を最小にする画像ｆを算出することで、算出した画像ｆを高解像度画像（高フレームレート画像）として生成する。なお、被写体２１に照射される照射パターン４０３と、超解像処理部３２５が利用する照射パターン３２４とは同一である。すなわち、超解像処理部３２５は、被写体２１に照射される照射パターン４０３を既知の情報として利用することができる。
【０１３４】
【数２】
0006016000.tif 000003
【０１３５】
（式２）において、ｘ及びｙは、高解像度画像の二次元位置を示す座標である。ｔは、高解像度画像の時刻である。ｔ’は、撮影画像（低フレームレート画像）の時刻である。ｆ（ｘ，ｙ，ｔ）は、算出対象となる高解像度画像である。ｂ（ｘ，ｙ，ｔ）は、露出による時間ボケを含む撮影による時空間のボケを表す点拡がり関数（ＰＳＦ：Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）である。
【０１３６】
Ｌｋ（ｘ，ｙ，ｔ）は、照射パターン３２４（すなわち、照射パターン４０３）である。ｋは、照射パターン３２４の番号であり、具体的には、図１３の（ａ）〜（ｃ）を識別するための情報である。Ｌ０は、共通して照射されている周囲環境の照明を示す情報である。Ｌ０は、例えば、照明装置４００がパターン照明光を照射しない状態で撮影することで取得することができる。
【０１３７】
ｇｋ（ｘ，ｙ，ｔ’）は、照射パターンＬｋのパターン照明光を照射したときの撮影画像である。λは、予め定められた定数である。Δは、ラプラシアンである。（↓３）は、１／３の間引きサンプリングを示す。なお、本実施の形態では、高解像度画像（パターン照明光）の時間解像度（フレームレート）が撮影画像のフレームレートの３倍であるので、間引きサンプリングも３分の１である。間引きサンプリング数は、高解像度画像と撮影画像との時間解像度の違いに基づいて決定される。
【０１３８】
次に、出力部１２６は、超解像処理部１２５によって生成された高解像度画像を出力する（Ｓ２６）。図１９は、本実施の形態に係る高解像度画像を示す図である。図１９に示すように、時間解像度が撮影画像の時間解像度より高い高解像度画像が生成される。つまり、高フレームレートの画像が生成される。
【０１３９】
［２−３．効果など］
以上のように、本実施の形態に係る超解像処理方法では、照射ステップでは、複数のパターン照明光を１フレームの撮影画像の露光期間内に照射する。
【０１４０】
これにより、時間解像度が低い撮影画像から時間解像度が高い画像を生成することができる。例えば、低フレームレートのカメラを用いたとえしても、高フレームレートの画像を生成することができる。
【０１４１】
また、例えば、本実施の形態では、照射ステップでは、複数のパターン照明光を１セットとして複数のセットを照射し、撮影ステップでは、複数のセットの各々が照射された被写体２１を撮影することで、複数のセットに対応する複数の撮影画像を生成し、複数のセットは、複数のパターン照明光の各々の明暗のパターン及び複数のパターン照明光の順序の少なくとも一方が互いに異なっている。
【０１４２】
これにより、例えば、セットに含まれるパターン照明光の数を増やすことで、フレームレートをより高めることができる。
【０１４３】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記の各実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【０１４４】
そこで、以下では、他の実施の形態を例示する。
【０１４５】
例えば、上記の各実施の形態では、撮影画像が輝度画像である例について示したが、カラー画像にも適用することができる。例えば、色成分又は色差成分について、上記と同様の処理を行うことで、高解像度画像を生成することができる。
【０１４６】
また、例えば、上記の実施の形態１では、撮影画像１２から基準物１４を検出することで、照射領域１３を検出する例について説明したが、これに限らない。例えば、複数の照射領域の候補を仮定して、複数の候補の各々について高解像度画像の候補を生成した後、複数の高解像度画像の候補から尤もらしいものを、高解像度画像として選択してもよい。つまり、画像処理装置１２０は、位置検出部１２２を備えなくてもよい。
【０１４７】
具体的には、超解像処理部１２５は、撮影画像１２内におけるパターン照明光の照射領域の複数の候補である複数の候補領域の各々について、撮影画像のうち当該候補領域の画素を用いて、撮影画像より時空間解像度が高い高解像度画像候補を生成する候補生成ステップと、複数の高解像度画像候補から一の高解像度画像候補を高解像度画像として決定する決定ステップとを含む。
【０１４８】
例えば、超解像処理部１２５は、複数の高解像度画像候補の各々に対して、妥当性指標を用いて評価を行う。妥当性指標としては、例えば、自然画像が統計的に有する性質としての画素値の空間的な滑らかさ（二階微分値）又は連続性（一階微分値）の積算値を用いることができる。例えば、妥当性指標は、（式１）におけるλを含む項である。複数の高解像度画像候補のうち、当該λを含む項が最も小さい高解像度画像候補を高解像度画像として生成することができる。
【０１４９】
同様に、実施の形態２では、タイミング検出部３２２がパターン照明光の変化のタイミングを検出する例について示したが、これに限らない。例えば、複数のタイミングの候補を仮定して、複数の候補の各々について高解像度画像の候補を生成した後、複数の高解像度画像の候補から尤もらしいものを、高解像度画像として選択してもよい。つまり、画像処理装置３２０は、タイミング検出部３２２を備えなくてもよい。尤もらしいものを選択する方法は、例えば、上述した妥当性指標などを用いることができる。
【０１５０】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。
【０１５１】
したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【０１５２】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１５３】
本開示に係る超解像処理方法などは、例えば、高解像度撮影する撮像装置に利用することができ、例えば、監視カメラ、顕微鏡、検査システムなどに利用することができる。
【符号の説明】
【０１５４】
１０、２０  超解像処理システム
１１、２１  被写体
１２  撮影画像
１３  照射領域
１４  基準物
１００、３００  超解像処理装置
１１０、３１０  撮影装置
１１１、３１１  タイミング制御部
１１２  撮影部
１２０、３２０  画像処理装置
１２１  取得部
１２２  位置検出部
１２３、２０２  記憶部
１２４、２０３、３２４、４０３  照射パターン
１２５、３２５  超解像処理部
１２６  出力部
２００、４００  照明装置
２０１、４０１  発光部
３２２  タイミング検出部
【要約】
撮影画像を高解像度化する超解像処理方法であって、空間解像度及び時間解像度の少なくとも一方である時空間解像度が撮影画像より高いパターン照明光を、被写体に照射する照射ステップと、パターン照明光が照射された被写体を撮影することで、撮影画像を生成する撮影ステップと、生成された撮影画像を用いて、時空間解像度が撮影画像の時空間解像度より高い高解像度画像を生成する画像処理ステップとを含む。【図１】
0006016000.tif 000004
【図２】
0006016000.tif 000005
【図３】
0006016000.tif 000006
【図４】
0006016000.tif 000007
【図５】
0006016000.tif 000008
【図６】
0006016000.tif 000009
【図７】
0006016000.tif 000010
【図８Ａ】
0006016000.tif 000011
【図８Ｂ】
0006016000.tif 000012
【図９】
0006016000.tif 000013
【図１０】
0006016000.tif 000014
【図１１】
0006016000.tif 000015
【図１２】
0006016000.tif 000016
【図１３】
0006016000.tif 000017
【図１４】
0006016000.tif 000018
【図１５】
0006016000.tif 000019
【図１６】
0006016000.tif 000020
【図１７】
0006016000.tif 000021
【図１８】
0006016000.tif 000022
【図１９】
0006016000.tif 000023