JP 2021-132330 A 2021.9.9(57)【要約】【課題】ノイズ環境下において、高ダイナミックレンジの撮影装置や高分解能の撮像装置を実現する。
【解決手段】
撮像装置１には対象物体からの反射・または透過光を取得するために照射するレーザー、マッチング用のパターンを記録してあるホログラフィックディスク、回折された光の強度を電気信号のレベルに変換して撮像処理部に送る単一画素検出器であるディテクタなどから構成される光学系と、前記ディテクタからの電気信号のレベル
を時間軸変換してそのレベルの時間軸変化を計測＆画像処理して元の対象物体の像を作成する撮像処理部とを備える。
前記撮像処理部は入力された光強度の時間変化を元の対象物画像に復元するための処理部として学習処理部、復元処理部、ホログラフィックメモリに記録されているマッチング用のパターンを一時的に記憶し、上記学習処
理部、復元処理部に送るメモリ等からなる。
【選択図】図２

(2)JP 2021-132330 A 2021.9.9【特許請求の範囲】【請求項１】
対象物体を撮影する撮像装置において、複数の空間的な分布パターンが光学的に記録された記録媒体を有する記録部と、対象物体からの観測光と前記分布パターンとの照合を行い、前記対象物体と前記分布パターンとの相関度に応じた光相関信号を生成する相関部と、前記光相関信号を受光し、前記対象物体と前記分布パターンとの相関度を算出する相関度算出部と、前記相関度から前記対象物体の情報を復元する復元部を使い対象物体を撮影する事を特徴とした撮像装置。
【請求項２】
対象物体を撮影する撮像装置において、複数の複素振幅分布パターンが光学的に記録された記録媒体を有する記録部と、対象物体からの観測光と前記分布パターンとの干渉を行い、前記対象物体と前記分布パターンとの干渉度に応じた光干渉信号を生成する干渉部と、前記光干渉信号を受光し、前記対象物体と前記分布パターンとの干渉度を算出する干渉度算出部と、前記干渉度から前記対象物体の情報を復元する復元部を使い対象物体を撮影する事を特徴とした撮像装置。
【請求項３】
対象物体を撮影する撮像装置において、複数の複素振幅分布パターンが光学的に記録された記録媒体を有する記録部と、記録媒体に参照光を照射することで複数の複素振幅パターンを生成する再生部と、前記対象物体と再生部から生成された前記複素振幅分布パター
ンとの干渉信号を生成する干渉部と、前記干渉信号を受光し、前記対象物体と前記分布パターンとの干渉度を算出する干渉度算出部と、前記干渉度から前記対象物体の情報を復元する復元部を使い対象物体を撮影する事を特徴とした撮像装置。
【請求項４】
請 求 項 1記 載 の 復 元 部 は ニ ュ ー ラ ル ネ ッ ト ワ ー ク に お け る 学 習 に よ っ て 構 築 さ れ る 前 記
相関度から前記対象物体の情報を復元する復元部であって、前記相関度を入力したときに対象物体の情報を出力するように学習された復元部を使い対象物体を撮影する事を特徴とした撮像装置。
【請求項５】
請求項２、または３記載の復元部はニューラルネットワークにおける学習によって構築される前記干渉度から前記対象物体の情報を復元する復元部であって、前記干渉度を入力したときに対象物体の情報を出力するように学習された復元部を使い対象物体を撮影する事を特徴とした撮像装置。
【請求項６】
請求項４記載の復元部のニューラルネットワークには前記光相関信号にノイズが含まれている場合においても、前記対象物体の情報を正確に復元するために、複数の畳み込み層を含む事を特徴とした撮像装置。
【請求項７】
請求項５記載の復元部のニューラルネットワークには前記光干渉信号にノイズが含まれている場合においても、前記対象物体の情報を正確に復元するために、複数の畳み込み層を含む事を特徴とした撮像装置。
【請求項８】
請求項１、４、６記載の撮像装置において複数の空間的な分布パターンを光学的に再生できる記録媒体としてホログラフィック媒体を使うことで、対象物体にて変調される光の振幅、位相、波長、偏光情報の変化をとらえて、前記対象物体の情報を復元する事を特徴とした撮像装置【請求項９】
請 求 項 ２ 、 ３ 、 ５ 、 7記 載 の 撮 像 装 置 に お い て 、 複 数 の 複 素 振 幅 分 布 パ タ ー ン を 光 学 的に再生できる記録媒体としてホログラフィック媒体を使うことで、対象物体にて変調される光の振幅、位相、波長、偏光情報の変化をとらえて、前記対象物体の情報を復元する事を特徴とした撮像装置

10

20

30

40

50

(3)

JP 2021-132330 A 2021.9.9【請求項１０】
請求項８記載の撮像装置において、複数の空間的な分布パターンはニューラルネットワ
ークにおける学習により生成される事を特徴とした撮像装置。
【請求項１１】
請求項９記載の撮像装置において、複数の複素振幅分布パターンはニューラルネットワ
ークにおける学習により生成される事を特徴とした撮像装置。
【請求項１２】
対象物体を撮影する撮像方法において、複数の空間的な分布パターンを光学的に記録媒体に記録し、対象物体からの観測光と前記分布パターンとの照合を行い、前記対象物体と前記分布パターンとの相関度に応じた光相関信号を生成し、前記光相関信号を受光し、前記対象物体と前記分布パターンとの相関度を算出し、前記相関度から前記対象物体の情報を復元して対象物体を撮影する事を特徴とした撮像方法。
【請求項１３】
対象物体を撮影する撮像方法において、複数の複素振幅分布パターンを光学的に記録媒体に記録し、対象物体からの観測光と前記分布パターンとの干渉を行い、前記対象物体と前記分布パターンとの干渉度に応じた光干渉信号を生成し、前記光干渉信号を受光し、前記対象物体と前記分布パターンとの干渉度を算出し、前記干渉度から前記対象物体の情報を復元して対象物体を撮影する事を特徴とした撮像方法。
【請求項１４】
対象物体を撮影する撮像方法において、複数の複素振幅分布パターンを光学的に記録媒体に記録し、記録媒体に参照光を照射することで複数の複素振幅パターンを生成し、前記対象物体と再生部から生成された前記複素振幅分布パターンとの干渉信号を生成して前記干渉信号を受光し、前記対象物体と前記分布パターンとの干渉度を算出し、前記干渉度から前記対象物体の情報を復元して対象物体を撮影する事を特徴とした撮像方法。
【発明の詳細な説明】【技術分野】【０００１】
本発明は、撮像装置及び画像処理方法に係り、特に、ノイズ環境下において、高ダイナ
ミックレンジの撮影装置や光学限界を超える高精度・高解像度の撮像装置および撮像方法
に関する。
【背景技術】【０００２】
単一画素検出器を用いたイメージング手法の歴史的背景として，統計光学的な観点から
発 展 し て き た コ ン ピ ュ ー テ ー シ ョ ナ ル ゴ ー ス ト イ メ ー ジ ン グ (Computational Ghost Imagi
ng: CGI)と ， ス ペ ク ト ル 計 測 手 法 か ら 発 展 し て き た シ ン グ ル ピ ク セ ル イ メ ー ジ ン グ (Single-Pixel Imaging: SPI)の 二 つ に 大 別 さ れ る 。 SPIや CGIと 呼 ば れ る 単 一 画 素 検 出 器 を 用 い
た イ メ ー ジ ン グ 技 術 と し て は 非 特 許 文 献 １ に 開 示 さ れ た も の が 知 ら れ て い る 。 SPIや CGIは
物体を空間的な分布パターンでフィルタリングする。フィルタリングされた光強度を単一画素検出器で取得する。パターンを次々と変化させていき、各パターンでの光強度をそれ
ぞ れ 記 録 す る 。 CGIで は 空 間 的 な 分 布 パ タ ー ン パ タ ー ン に ラ ン ダ ム な パ タ ー ン を 用 い 、 パ
ターンと得られた光強度の相関を計算することによる対象物体

10

20

30

40

(4)

JP 2021-132330 A 2021.9.9の 情 報 を 復 元 す る 手 法 で あ る 。 ま た 、 SPIは 空 間 的 な 分 布 パ タ ー ン に ア ダ マ ー ル 行 列 等 の直交行列から生成される基底パターンを用いることで、得られた光強度の時系列を

(5)、各パターンが各行に相当する行列をとすると、観測する対象物体との関係は

JP 2021-132330 A 2021.9.9(6)と表せる。これに対してについて逆問題を解くことで対象物体

JP 2021-132330 A 2021.9.9

(7)JP 2021-132330 A 2021.9.9の情報が復元されるというものである。これらの手法は多数のパターンの照合回数を必要とするものの、測定と関係ないノイズ成分を平均化することができるため、高いダイナミックレンジを持つ観測が可能となる。
【０００３】
また、複数のシングルシングルピクセルカメラを用いた圧縮センシング方式の撮像装置
および撮像方法について、固定値のフィルタを用いた場合でも各シングルピクセルカメラの観測範囲の補正を可能とすることが特許文献１に記載されている。
【先行技術文献】【特許文献】【０００４】【特許文献１】特開２０１８̶１２１２７３【非特許文献】【０００５】【 非 特 許 文 献 １ 】 M. F. Duarte, et al, IEEE Signal Proc. Mag. 25, 83 (2008).
【発明の概要】【発明が解決しようとする課題】【０００６】
上 述 の よ う に SPIや CGIと 呼 ば れ る 単 一 画 素 検 出 器 を 用 い た イ メ ー ジ ン グ 技 術 が 注 目 さ れて い る 。 SPIや CGIは 物 体 と パ タ ー ン と の 内 積 値 を 光 強 度 と し て 単 一 画 素 検 出 器 で 取 得 し 、デ ジ タ ル 再 構 成 処 理 に よ り 物 体 の 情 報 を 再 構 成 す る 手 法 で あ る 。 SPIや CGIは 光 学 系 の 単 純化、可視域以外での波長帯でのイメージングが可能であること、耐ノイズ性がある等といった利点がある。また単一の画素検出器を使用できることから高いダイナミックレンジを確保することが出来た。しかし、パターンとの照合に時間がかかるため、リアルタイムでの観測は困難であった。そのため、イメージング方式としては単純であり小型化も可能であるがリアルタイム性が乏しいので通常の撮像装置としては使えなかった。さらに高精度化も難しかった。
【０００７】
本発明は上記の実情に鑑みてなされたもので有り、その目的は高速に画像のマッチングが可能な光相関技術と、光強度を高感度に検出する単一画素検出機を使うことにより、高ダイナミックレンジの高速カメラを提供することである。さらにホログラムによる複素振

30

40

50

(8)

JP 2021-132330 A 2021.9.9

幅分布を記録できることを利用し、光の振幅、位相、波長、偏光情報の変化をとらえることもできる。そのため、通常のカメラでは取得できない、複素振幅分布の変化を可視化することが出来、従来の撮像法に用いられる振幅情報では変化のないような回折限界を超える微小なサンプルでも、その複素振幅情報の変化をとらえて再構成することで、撮像光学系の性能を超えるイメージングが実現できる。
【０００８】
本発明は上記の実情に鑑みてなされたもので有り、その目的は高速に画像のマッチングが可能な光相関技術と、光強度を高感度に検出する単一画素検出機を使うことにより、高ダイナミックレンジの高速イメージングや、揺らぎや散乱などを除去するイメージング、
撮像光学系の性能を超える顕微イメージングを使った撮像装置とその撮像方法を提供することである。
【課題を解決するための手段】【０００９】
前記課題を解決するための手段として、特許請求の範囲に記載の技術を用いる。
そこで、高速に画像のマッチングが可能な光相関技術と、光強度を高感度に検出する単一
画 素 検 出 機 を 使 う こ と に よ り 、 高 Dレ ン ジ の 高 速 カ メ ラ を 提 供 で き る 。
【００１０】
例 え ば 、 現 在 AI技 術 を 使 い 車 の 自 動 運 転 を 開 発 し て い る が 、 そ の 目 と な る カ メ ラ に 関 して は 高 Dレ ン ジ が 必 須 と な っ て い る 。 理 由 は ト ン ネ ル を 抜 け た 後 の 太 陽 光 が カ メ ラ に 入 力したとしても十分撮影できることや、対向車のヘッドライトにも対応できる高ダイナミッ
ク レ ン ジ の カ メ ラ に す る 必 要 が あ る 。 し か し な が ら 従 来 技 術 で は 十 分 な 高 Dレ ン ジ カ メ ラがないため、カメラで対応できない光強度の変化に対してはカメラと赤外線センサーの組
み 合 わ せ 等 で 対 応 を 考 え て い た 。 よ っ て 高 Dレ ン ジ カ メ ラ が 安 価 で 提 供 で き れ ば そ の 経 済
効果は高い。
【００１１】
また、光相関技術を使うために、ホログラフィックディスクにマッチング用のパターン
を 記 録 し て お き 、 更 に AIに よ り 新 た な デ ー タ を 記 録 す る こ と で よ り 精 度 を 高 く す る こ と ができる。さらにホログラフィックディスクも大きなサイズは必要ではなく、せいぜい１インチ程度の大きさのディスクを使い単一画素検出器を使えば良いので小型化も可能である。
【００１２】
す な わ ち CCDカ メ ラ で は ピ ク セ ル 数 を 多 く 必 要 な た め 、 １ 個 当 た り の ピ ク セ ル に 相 当 す
る セ ン サ ー は 感 度 に 制 限 が あ る 。 こ れ に 対 し 単 画 素 検 出 器 で は 一 個 の 検 出 器 の 大 き さ を CC
Dの １ ピ ク セ ル あ た り の 大 き さ の 1,000倍 に 大 き く す る こ と も 簡 単 で あ る 。 1,000倍 に 出 来
れ ば 感 度 は 単 純 に 60dB改 善 で き 、 例 え ば ト ン ネ ル と 太 陽 光 の 差 も 十 分 補 正 で き 、 イ メ ー ジを形成できる。確認できる。
【００１３】
さらに、ホログラムには複素振幅分布を記録できるため、光の振幅、位相、波長、偏光
情報の変化をとらえることもできる。そのため、通常のカメラでは取得できない、光の振幅、位相、波長、偏光の変化を可視化することができる。振幅情報では変化のないような回折限界を超える微小なサンプルでも、その複素振幅分布の変化をとらえて再構成することで、撮像光学系の性能を超えるイメージングが実現できる。
【発明の効果】【００１４】
本発明によれば、高速に画像のマッチングが可能な光相関技術と、光強度を高感度に検出 す る 単 一 画 素 検 出 器 を 使 う こ と に よ り 、 高 Dレ ン ジ の 高 速 カ メ ラ を 提 供 で き る 。 さ ら に
通常のカメラでは撮影できない霧や蜃気楼、熱揺らぎ、等、イメージングを邪魔する空間の揺らぎや散乱等を除去してクリヤーな画像を形成ですることが出来るので、高精細のカ
メラを提供できる。また、測定したい対象に隔たる散乱体、例えば皮膚や想定対象までを

10

20

30

40

50

(9)

JP 2021-132330 A 2021.9.9

隠す要素となる散乱体という影響を除去できるので、高精細な顕微鏡を提供できる。さらに、撮像光学系の性能を超える顕微イメージングを実現できるので、超解像顕微鏡や、微細な構造欠陥等を検査する様な装置を提供できる。
【図面の簡単な説明】【００１５】【図１】実施例に係る撮像装置を含む全体システム構成の一例を示す図。
【図２】実施例に係る撮像装置のブロック図。
【図３】実施例に係る撮像装置のソフトウェア構成図。
【図４】実施例におけるディスクにマッチング用パターンを記録する方法の一例を示す図。
【図５】実施例における相関プロセスを行う方法の一例を示す図。
【図６】実施例における再構成プロセスを行う方法の一例を示す図。
【図７】本発明で構築したネットワーク評価における学習方法の概要を示す図。
【図８】本発明による再構成プロセスの有効性を示す図。
【発明を実施するための形態】【００１６】
以下、本発明の実施形態について、図面を用いて説明する。全図を通じて同一の構成には同一の符号を付けてその重複説明は省略する。以下の実施形態においては、本発明に係る撮像装置を例に挙げて説明する。
【００１７】
図１は本発明の実施形態の撮像装置１を含む全体構成の一例を示した図である。図では本発明の撮像装置１を車載カメラとして利用したケースを示している。説明を容易にする
た め 撮 像 装 置 １ を 車 載 カ メ ラ と し て 使 っ て い る が こ れ に 限 る こ と は な い 。 図 １ （ a） に お
いて自動車２０が例えばトンネル２１内で走行していた場合、車載用のカメラとして使わ
れ て い る 通 常 の カ メ ラ 、 例 え ば CCDを 使 っ た 車 載 カ メ ラ の 場 合 に は 周 り の 輝 度 が 低 い の で感 度 を 上 げ る 、 或 い は 増 幅 し て 記 録 す る 。 従 っ て 車 載 カ メ ラ の 映 像 は 図 １ （ a） に 示 す 様にトンネル内を映し出すことが可能となる。その後、自動車２０がトンネル２１を抜けた
瞬間、車載カメラとしての感度は非常に上がっているため例えば太陽２２からの太陽光が直 接 車 載 カ メ ラ に 入 射 し た 時 に は 図 １ （ b） に 示 す 様 に ハ レ ー シ ョ ン を 起 こ し て 正 し い 撮
影を行うことができない。これに対し、本発明の撮像装置１を使った場合には車載カメラに入る光強度に対して非常に高いダイナミックレンジを確保しているため、ハレーションを起こすことなく連続的な撮影ができる。ハレーションなく撮影可能な理由は下記に示す
光相関技術とシングルイメージセンサー技術を使うことで達成されるが詳しくは後述する。
【００１８】
図 ２ は 上 記 撮 像 装 置 １ の 全 体 ブ ロ ッ ク を 示 し た 図 で あ る 。 撮 像 装 置 １ に は 対 象 物 体 Aから の 反 射 ま た は 透 過 光 を 取 得 す る た め に 照 射 す る レ ー ザ ー ２ 、 対 象 物 体 Aに レ ー ザ ー 光 を
照 射 、 そ の 照 射 し た レ ー ザ ー 光 の 対 象 物 体 Aか ら の 反 射 光 を 透 過 ま た は 反 射 す る ハ ー フ ミ
ラ ー A４ 、 後 述 す る 予 め マ ッ チ ン グ 用 の パ タ ー ン を 記 録 し て あ る ホ ロ グ ラ フ ィ ッ ク デ ィ ス
ク ８ 、 対 象 物 体 Aか ら の 反 射 光 を ホ ロ グ ラ フ ィ ッ ク デ ィ ス ク ８ に 集 光 す る た め の レ ン ズ ３、 ホ ロ グ ラ フ ィ ッ ク デ ィ ス ク に よ り 回 折 さ れ た 光 を 反 射 す る ハ ー フ ミ ラ ー B５ 、 回 折 さ れた光の強度を電気信号のレベルに変換して撮像処理部に送る単一画素検出器であるディテ
クタ６、ディテクタ６からなる光学系と、前記ディテクタ６からの電気信号のレベルを時間 軸 変 換 し て そ の レ ベ ル の 時 間 軸 変 化 を 計 測 ＆ 画 像 処 理 し て 元 の 対 象 物 体 Aの 映 像 を 作 成する撮像処理部７、前記ホログラフィックディスク８を高速回転し、且つホログラフィッ
ク デ ィ ス ク ８ に 記 録 さ れ て い る マ ッ チ ン グ 用 の パ タ ー ン と 入 射 さ れ た 対 象 物 体 Aか ら の 光を精度良くマッチング用のパターンと合致させて精度良く回折光を形成するための制御を施すサーボ処理部９と、対象物の映像を表示する表示部１４と、これら全体を制御し、指示を行うコントローラ１１、ＲＯＭ１０、ＲＡＭ１２、映像や画像データを保存する外部

10

20

30

40

50

(10)

JP 2021-132330 A 2021.9.9

メモリ１３、システムバス１６からなる。
【００１９】
さ ら に 上 記 対 象 物 Aの 映 像 を 自 動 運 転 の た め の デ ー タ と し て 自 動 制 御 処 理 部 １ ５ に 送 っても良い。前記撮像処理部７には入力された光強度の時間変化を元の対象物画像に復元す
る た め の 処 理 部 と し て 後 述 す る 学 習 処 理 部 ７ a、 復 元 処 理 部 ７ b、 ホ ロ グ ラ フ ィ ッ ク メ モ リに 記 録 さ れ て い る マ ッ チ ン グ 用 の パ タ ー ン を 一 時 的 に 記 憶 し 、 上 記 学 習 処 理 部 ７ a、 復 元
処 理 部 ７ bに 送 る メ モ リ ７ c等 か ら な る 。
【００２０】
図３は本実施例の撮像装置１のソフトウェア構成図であり、コントローラ１１、ＲＯＭ
１０、ＲＡＭ１２、及び外部メモリ１３、システムバス１６からなる。
コントローラ１１は、所定のプログラムに従って撮像装置１全体を制御するマイクロプロ
セッサユニットである。システムバス１６はコントローラ１１と撮像装置１内の各部との間でデータ送受信を行うためのデータ通信路である。
【００２１】Ｒ Ｏ Ｍ （ Read Only Memory） １ ０ は 、 オ ペ レ ー テ ィ ン グ シ ス テ ム な ど の 基 本 動 作 プ ロ グ
ラムやその他のアプリケーションプログラムが格納されたメモリであり、例えばＥＥＰＲ
Ｏ Ｍ （ Electrically Erasable Programmable ROM） や フ ラ ッ シ ュ Ｒ Ｏ Ｍ の よ う な 書 き 換 え
可能なＲＯＭが用いられ、ＲＯＭ１０に格納されたプログラムを更新することにより、基本動作プログラムやその他のアプリケーションプログラムのバージョンアップや機能拡張が可能である。
【００２２】Ｒ Ａ Ｍ （ Random Access Memory） １ ２ は 基 本 動 作 プ ロ グ ラ ム や そ の 他 の ア プ リ ケ ー シ ョンプログラム実行時のワークエリアとなる。具体的には、例えばＲＯＭ１０に格納された
基本動作プログラム１０ａはＲＡＭ１２に展開され、更にコントローラ１１が前記展開された基本動作プログラムを実行することにより、基本動作実行部１２ａを構成する。
【００２３】
以下では、説明を簡単にするために、コントローラ１１がＲＯＭ１０に格納された基本動作プログラム１０ａをＲＡＭ１２に展開して実行することにより各部の制御を行う処理
を、基本動作実行部１２ａが各部の制御を行うものとして記述する。なお、その他のアプ
リケーションプログラムに関しても同様の記述を行うものとする。
撮影映像処理実行部１２ｂは撮影映像処理部７に対し撮影の指示、停止、学習処理部７a、 復 元 処 理 部 ７ bへ の 指 示 、 メ モ リ ７ cの デ ー タ 化 、 画 像 改 善 等 の 処 理 指 示 を 行 う 。
【００２４】
学 習 処 理 実 行 部 １ ２ ｃ は 図 １ に お い て 対 象 物 体 Aの 反 射 光 と ホ ロ グ ラ フ ィ ッ ク デ ィ ス ク
８とで出来る回析光の光強度をディテクタ６で検出し、電気信号として撮像処理部７に入力した時にその時間軸での変化を数値化し、２次元化した後に特徴量抽出して後述する各種 学 習 処 理 を 行 う ソ フ ト ウ ェ ア で あ る 。 復 元 処 理 実 行 １ ２ dは 図 1に お い て 学 習 処 理 部 ７ a
で学習処理されたデータを画像データに復元処理を行うソフトウェアである。具体的な手法 の 例 に つ い て は 後 述 す る 。 サ ー ボ 処 理 実 行 部 １ ２ eは ホ ロ グ ラ フ ィ ッ ク デ ィ ス ク ８ の 回
転制御、位置制御をフィードバック、或いはフィードフォアードで制御するアルゴリズム
を 含 む ソ フ ト ウ ェ ア で あ る 。 表 示 実 行 部 １ ２ fは 前 記 復 元 さ れ た 画 像 デ ー タ を 表 示 す る た
めのソフトウェアである。但し、前記ソフトウェアは全てがソフトウェアではなくても良く、例えば高速化するために一部をハードウェア化されていても良い。
【００２５】
コントローラ１１は撮像装置１全体の制御を行うアルゴリズムが組み込まれている。
本実施例の撮像装置１の動作は、図２に示したように、主として外部メモリ１３に記憶された撮像処理プログラム１３ｂと、学習処理プログラム１３ｃと、復元処理プログラム１
３ ｄ と 、 サ ー ボ 処 理 プ ロ グ ラ ム １ ３ eが Ｒ Ａ Ｍ １ ２ に 展 開 さ れ 、 コ ン ト ロ ー ラ １ １ に よ り実行される撮影映像処理実行部１２ｂと、学習処理実行部１２ｃと、復元処理実行部１２
ｄ 、 サ ー ボ 処 理 実 行 部 １ ２ e、 表 示 実 行 部 １ ２ fに よ っ て 制 御 さ れ る も の と す る 。 前 述 の 撮

10

20

30

40

50

(11)

JP 2021-132330 A 2021.9.9

影映像処理実行部１２ｂと、学習処理実行部１２ｃと、復元処理実行部１２ｄ、サーボ処
理 実 行 部 １ ２ e、 表 示 実 行 部 １ ２ fは そ の 一 部 ま た は 全 部 の 動 作 を ハ ー ド ウ ェ ア で 実 現 す る
各ハードウェアブロックで行っても良い。
【００２６】
ＲＯＭ１０及びＲＡＭ１２はコントローラ１１と一体構成であっても良い。また、ＲＯ
Ｍ１０は、図２に示したような独立構成とはせず、外部メモリ１３内の一部記憶領域を使用しても良い。また、ＲＡＭ１２は、各種アプリケーションプログラム実行時に、必要に応じてデータを一時的に保持する一時記憶領域を備えるものとする。
【００２７】
外部メモリ１３は撮影映像処理部７で撮影されている画像や映像を一時的に蓄えても良い。また、撮像装置１の各動作設定値や撮像装置１の位置情報や各種情報、撮像装置１が撮影した画像や映像情報等の一部または全部のデータ、その他プログラムを格納している。
【００２８】
外部メモリ１３の一部領域を以ってＲＯＭ１０の機能の全部または一部を代替しても良い。また、外部メモリ１３は、撮像装置１に電源が供給されていない状態であっても記憶し て い る 情 報 を 保 持 す る 必 要 が あ る 。 し た が っ て 、 例 え ば フ ラ ッ シ ュ Ｒ Ｏ Ｍ や Ｓ Ｓ Ｄ （ Solid State Drive） 、 Ｈ Ｄ Ｄ （ Hard Disc Drive） 等 の デ バ イ ス が 用 い ら れ る 。
【００２９】
次に上述のマッチング用のパターンをホログラフィックディスク８に記録する方法について図４を用いて説明する。光相関システムはコアキシャルホログラフィックメモリを応用したシステムでホログラフィックディスク上に記録した大容量のデータと入力データとの高速照合が可能なデバイスである。光相関シングルピクセルカメラにおいてホログラフ
ィックディスクに記録するデータは基底パターンに、入力データは対象物体にそれぞれ対応する。光相関シングルピクセルカメラは観測した物体とパターンとの照合を行う相関プ
ロセスと相関プロセスで取得した光強度を基に物体情報を再構成する再構成プロセスからなる。相関プロセスは光相関システム上で、再構成プロセスは計算機上でそれぞれ行われる。
【００３０】
図４はホログラフィックディスクにマッチング用のパターンを記録する方法について説明した図である。これを以下記録プロセスとする。記録プロセスでは，記録するデータを参照光と共にページデータとして未記録のホログラフィックディスク８に入力し，その干渉縞をホログラムとしてシフト多重記録することでデータベースとなるマッチング用のパ
タ ー ン を 作 成 す る ． 図 ４ （ a） に お い て 、 ホ ロ グ ラ フ ィ ッ ク デ ィ ス ク ８ に 記 録 す る 記 録 プ
ロセスでは、空間的な分布パターンをリング状に配置した参照光と共に空間光変調器１７に表示し、レーザーを用いてホログラフィックディスク８に光情報として入力し，その干渉 縞 を ホ ロ グ ラ ム と し て シ フ ト 多 重 記 録 す る 。 こ の 図 で は ハ ー フ ミ ラ ー B５ で は な く て ビ
ー ム ス プ リ ッ タ １ ８ を 使 っ て い る が 、 ハ ー フ ミ ラ ー B５ で も 良 い 。 シ フ ト 多 重 と し て は 図
４ （ b） に 示 す よ う に 少 し ず つ 回 転 さ せ て ホ ロ グ ラ フ ィ ッ ク デ ィ ス ク 上 に 記 録 し て い く 。
この記録プロセスではホログラフィックディスクの材料により感度等が異なるため、記録のスピードは十分記録でき且つ情報が定着させるために低速でも構わない。また、一つの記 録 パ タ ー ン の 大 き さ は 数 百 ミ ク ロ ン 程 度 の 大 き さ で 構 わ な い 。 例 え ば 直 径 2イ ン チ （ 5.08cm） 程 度 の デ ィ ス ク に 100ミ ク ロ ン 四 方 の デ ー タ を 一 重 記 録 し た と し て も そ の 容 量 は ２ ５.４ mm x ２ ５ .４ mm x π /0.1mm2 = 約 20万 個 の デ ー タ を 記 録 で き る 。 実 際 は 数 十 多 重 で きるので、数百万個のデータを記録できる。従ってマッチング用のパターンとしては十分な個数を記録できる。また図４のホログラフィックディスクに記録する装置に関しては例え
ば工場の製造ラインに１台あり、各撮像装置１に配置されるマッチング用のパターンを記録されたホログラフィックディスクを複数枚作成すれば良い。
【００３１】
図 ５ は 図 ４ で 作 成 さ れ た ホ ロ グ ラ フ ィ ッ ク デ ィ ス ク ８ を 使 っ て 実 際 の 対 象 物 Aを イ メ ー

10

20

30

40

50

(12)

JP 2021-132330 A 2021.9.9

ジ 化 す る 方 法 に つ い て 説 明 し た 図 で あ る 。 こ の 場 合 に は ホ ロ グ ラ フ ィ ッ ク デ ィ ス ク 8に は
既に図４で示したマッチング用のパターンが記録されており、各撮像装置１に挿入された状態を示している。図５の工程をここでは相関プロセスと称する。この相関プロセスでは、 対 象 物 体 Aに レ ー ザ ー ２ を 照 射 さ せ 、 ビ ー ム ス プ リ ッ タ １ ８ を 通 過 し て そ の 光 情 報 を ホ
ログラフィックディスク８に入射させる。ホログラフィックディスク８から参照光方向に回折する光（回折光）の強度をディテクタ６により検出する。図では透過光のノイズ除去のために透過光カットマスク１９が配置されているが、低コスト化のために入れる必要がなければ配置しなくても良い。また図ではビームスプリッタ１８を使用しているが、同様機能を有するハーフミラー５でも良い。検出には単一検出した光強度は記録したパターンと 対 象 物 体 と の 内 積 値 に 対 応 し て い る た め 、 光 相 関 シ ス テ ム の 高 速 性 か ら 、 SPIの さ ら なる 高 速 化 が 期 待 で き る 。 こ こ で 、 光 相 関 シ ス テ ム の パ タ ー ン 照 合 速 度 Vは 数 １ で 示 さ れ る。
【００３２】【数１】

10【００３３】な お 、 Rは デ ィ ス ク の 回 転 速 度 、 rは デ ィ ス ク の 記 録 す る 半 径 、 dは シ フ ト 多 重 記 録 間
隔 で あ る 。 例 え ば ホ ロ グ ラ フ ィ ッ ク デ ィ ス ク ８ の 回 転 速 度 を 900rpm、 ホ ロ グ ラ フ ィ ッ ク ディ ス ク の 記 録 す る 半 径 を ２ cm、 シ フ ト 多 重 記 録 の 間 隔 を 10μ mと す る と 、 Vは 数 ２ で 示 さ れる。
【００３４】30【数２】【００３５】
従って、後述する高精度化のための深層学習を行うとしても十分すぎる個数のデータを
照 合 で き る の で 通 常 の 動 画 映 像 で 必 要 な 60フ レ ー ム /秒 の 同 画 像 を 再 生 で き る 。 こ の 後 図
６ に 示 す 元 の 対 象 物 体 Aの 画 像 に 戻 す 再 構 成 プ ロ セ ス に な る 。 こ の 時 、 図 に も 示 し て い る通り、光強度の時間軸変化の値には様々なノイズも含まれている。
【００３６】
次に光相関技術での対象物体の画像を再構成する再構成プロセスについて説明する。光
相関シングルピクセルカメラにおける再構成プロセスを説明する前に従来のシングルピク
セルイメージングにおける再構成プロセスについて説明する。シングルピクセルイメージ
ン グ は 空 間 的 な 分 布 パ タ ー ン に ア ダ マ ー ル パ タ ー ン や 離 散 cosパ タ ー ン と い っ た 基 底 パ ターンを用いて物体情報を解析的に再構成する手法である。

40

(13)

を観測したい物体、を観測行列、

JP 2021-132330 A 2021.9.9

(14)JP 2021-132330 A 2021.9.9を取得する光強度としたとき相関プロセスは数３で示される。
【００３７】【数３】【００３８】
取得した光強度を基に物体情報を再構成させる際は、光強度に観測行列の逆行列を作用させ数４に示すように物体情報を再構成する。
【００３９】【数４】【００４０】
ここでアダマールパターン等の基底パターンからなる直交行列を観測行列として採用す
ることで

30

40

50

(15)

JP 2021-132330 A 2021.9.9となるため、ノイズがない状況下では物体情報を解析的に再構成することが可能となる。
シングルピクセルイメージングにおいてアダマールパターンの照合枚数を増やすことで高解像な再構成像を取得していた。また、パターンの照合によりノイズが平均化されるため、耐ノイズ性に優れるといった利点もある。しかし、欠点として高解像な物体の再構成像を得るために多くのパターン照合が必要であるため、観測に時間がかかるといった課題があった。このため今回の発明にある様なリアルタイムの差撮像機器には不向きな手法である。図６の従来例がこれにあたる。
【００４１】
上記従来技術の欠点を補うために光相関シングルピクセルカメラを使い、高速且つ高精度な手法を提案する。光相関シングルピクセルカメラの高精度化に向けて再構成プロセスに深層学習を用いたネットワークを利用する。これが図６の本発明の再構成プロセスである。本発明の光相関シングルピクセルカメラ用再構成ネットワークは深層学習を用いたネットワークであり数４に示す再構成計算の代わりに使用する。ネットワークには逆畳み込
み層及び深層畳み込み層からなり、既知の物体において相関プロセスにて取得された光強度を入力したときに、物体情報と同じ値が出力されるように学習させる。本発明を用いることで、従来手法では再構成像が取得できないノイズレベルにおいても鮮明な再構成像を取得することが可能となる。さらに、光相関システムの要素技術からなる誤差要因が生じる場合においても高精細な物体再構成が期待できる。これに対する実験的な評価を次に示す。
【００４２】
図７に構築したネットワーク評価における学習方法の概要を示す。時間変動する空間ノ
イズと時間変動のない空間ノイズを加え、図６で示した従来手法での光相関シングルピク
セルカメラによる再構成像と、構築したネットワークを用いて再構成した像の精度を比較した。ここで時間変動しない固定の空間ノイズは光相関システム由来の誤差要因を想定している。これは例えばディスクの欠陥による固定ノイズやレンズ系等の収差によるノイズ
な ど で あ る 。 本 評 価 で は 、 相 関 プ ロ セ ス に て 32× 32 pixelの ア ダ マ ー ル パ タ ー ン 1024枚 を使 用 し た 。 ま た 、 学 習 用 デ ー タ に は 機 械 学 習 で 使 わ れ る 画 像 デ ー タ セ ッ ト で あ る MNISTの一 部 を 使 用 し た 。 MNISTは 28× 28 pixelの ０ か ら ９ ま で の 数 字 か ら な る デ ー タ セ ッ ト で 、合 計 7万 枚 で あ る 。 こ の う ち １ ０ ２ ４ 枚 を ア ダ マ ー ル パ タ ー ン の 大 き さ に 合 う よ う に 外 枠
を 0埋 め す る こ と で 、 学 習 用 デ ー タ と し た 。 ネ ッ ト ワ ー ク の 学 習 時 に は 、 学 習 用 デ ー タ が相関プロセスにおいてノイズが付与された場合のシミュレーション光強度を入力し、学習用データと同じ値が出力されるように学習させた。また検証データには学習データに使用
し て い な い MNISTデ ー タ を 使 用 し た 。 図 ８ に 相 関 プ ロ セ ス に ノ イ ズ が 含 ま れ て い る 場 合 の検 証 デ ー タ に お け る 各 再 構 成 結 果 の 比 較 を 示 す 。 比 較 の 一 例 と し て 用 い た CGIは パ タ ー ンに ラ ン ダ ム パ タ ー ン を 用 い た 再 構 成 手 法 で あ り 、 SPIに 比 べ て 再 構 成 精 度 は 悪 く な る も ののパターンの照射枚数を増やすことで耐ノイズ性に優れる。時間変動するノイズにおいて、 提 案 し た 再 構 成 ネ ッ ト ワ ー ク は 従 来 手 法 で あ る CGI・ SPIに お い て 再 構 成 が 不 可 能 な レ ベルでノイズ付与されている状況においても物体の再構成が可能であることを確認した。また観測ごとに変化せず、時間変動しないノイズが付与されている場合における各再構成では CGIの よ う に パ タ ー ン 数 を 増 や す こ と で 物 体 の 再 構 成 精 度 は 改 善 せ ず 、 従 来 手 法 で は 除
去不可能な再構成誤差要因である。しかしながら、提案手法では物体を再構成することが可能であり、光相関システムの誤差要因をも取り除くことが可能であることから構築したネットワークの有効性を確認した。
【００４３】

10

20

30

40

50

(16)

JP 2021-132330 A 2021.9.9

上述ではアダマールパターン１０２４枚を使用した例を示したが、式（１）の計算例で示した様に１秒間に約１８．８万回の照合ができるため十分な速度を得ることは可能となり、リアルタイムでのノイズ除去、映像化が可能である。
【００４４】
上述の実施例では光相関シングルピクセルカメラ を使い、高ダイナミックカメラについての実施例について記載しているがこれに限ることはない。測定対象物体に対し、再構成不可能なレベルで付加されるノイズとは、霧や蜃気楼、熱揺らぎ、等、測定対象物体のイメージングを邪魔する空間の揺らぎや散乱等と考えることもできる。この撮像方法では、測定対象物体と、光検出器の間に生じるゆらぎなどのノイズ対象を除去してクリヤーな画像を形成ですることが出来る。従って、高感度であり且つ高精細のカメラを提供できる。また、顕微鏡においては、測定したい対象に隔たる散乱体、例えば皮膚や想定対象までを隠す要素となる散乱体という影響を上述した技術により除去できる。さらに、本発明ではホログラム技術を使っているため、複素振幅分布を記録できる。従って、光の振幅、位相、波長、偏光情報の変化をとらえることも可能となる。そのため、通常のカメラでは取得できない、光の複素振幅情報の変化を可視化することができる。すなわち、振幅情報では変化のないような回折限界を超える微小なサンプルでも、その複素振幅情報の変化をとらえて再構成することで、撮像光学系の性能を超えるイメージングが実現できる。そのため、超解像顕微鏡や、微細な構造欠陥等を検査する様な装置を提供できる。上記に関して
も図２、図３のブロック構成やソフトウェア構成で実現できる。
【００４５】
本発明では相関演算の場合を記載しているが、これに限る事はない。ホログラム媒体に
参 照 光 を 入 射 さ せ 再 生 さ れ た 再 生 光 を 高 速 複 素 振 幅 パ タ ー ン 照 射 器 (ホ ロ グ ラ ム 再 生 機 )として利用し、その再生光を対象物体に照射することで得られる再生光と測定対象物体により変調された光との干渉信号を利用して、撮像してもよい。この場合、記録媒体には参照
光を照射することで複数の複素振幅パターンを高速に再生（生成）する再生部機能となる。
【符号の説明】【００４６】
Ａ：対象物体、
１：撮像装置、２：レーザー、
３：レンズ、
４ ： ハ ー フ ミ ラ ー A、
５ ： ハ ー フ ミ ラ ー B、
６：ディテクタ、
７：撮像処理部、
７ a： 学 習 処 理 部 、
７ b： 復 元 処 理 部 、
７ c： メ モ リ 、
８：ホログラフィックディスク、
９：サーボ処理部、
１０：ＲＯＭ、
１１：コントローラ、
１２：ＲＡＭ、
１３：外部メモリ、
１４：表示部、
１５：自動制御処理部、
１６：システムバス、
１７：空間光変調器、
１８：ビームスプリッタ、

10

20

30

40

50

(17)

１９：透過光カットマスク、
２０：自動車、
２１：トンネル、
２２：太陽

【図１】

【図２】

JP 2021-132330 A 2021.9.9

(18)

【図３】

【図４】

【図５】

【図７】

【図６】
【図８】

JP 2021-132330 A 2021.9.9

(19)JP 2021-132330 A 2021.9.9

̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶
フロントページの続き
Ｆターム(参考) 5B057 CA08

CA12

CA16 CB08

5C024 CX43

EX51

GZ34

5C122 EA12

EA68

FG03 GA01

CB12

CB16

CE06

DB02

GA23

HA48

HA88

HB10

DC40

DB09

DC33