(57)【要約】  撮像システムは、対象物に複数の異なるパターン光を切替えて投影可能な照明と、パターン光が投影された対象物を撮像可能な撮像素子と、照明と撮像素子とを制御する制御部と、を備え、撮像素子は、画素ごとに異なる時間で露光可能であって、制御部は、パターン光と露光する画素とを連動して切替える。
2019058750.tif 000002
【特許請求の範囲】
【請求項１】
対象物に複数の異なるパターン光を切替えて投影可能な照明と、
前記パターン光が投影された前記対象物を撮像可能な撮像素子と、
前記照明と前記撮像素子とを制御する制御部と、
を備え、
前記撮像素子は、画素ごとに異なる時間で露光可能であって、
前記制御部は、前記パターン光と露光する画素とを連動して切替える、撮像システム。
【請求項２】
前記撮像素子に、同じ時間に露光する複数の画素からなる画素グループを前記パターン光の数だけ設け、
前記制御部は、前記パターン光と露光する前記画素グループとを連動して切替える、請求項１に記載の撮像システム。
【請求項３】
前記撮像素子は、同じ画素グループごとに露光開始又は露光終了の少なくとも一方のタイミングを制御する共通の画素転送制御信号線を有する、請求項２に記載の撮像システム。
【請求項４】
前記撮像素子は、同じ画素グループごとに各画素に蓄積された信号電荷をリセットする共通の画素リセット制御信号線を有する、請求項２又は３に記載の撮像システム。
【請求項５】
前記照明は、位相をシフトしながら前記対象物に格子パターンを投影する、請求項２から４のいずれか一項に記載の撮像システム。
【請求項６】
前記制御部は、前記画素グループごとに取得した複数の画像を基に前記対象物の３次元形状を算出する形状算出部をさらに備える、
請求項２から５のいずれか一項に記載の撮像システム。
【請求項７】
前記制御部は、前記パターン光の切替えタイミングと前記画素グループの露光開始又は露光終了の少なくとも一方のタイミングとの同期を制御する、同期制御部をさらに備える、請求項２から６のいずれか一項に記載の撮像システム。
【請求項８】
前記撮像素子は、一つの方向に沿って互いに異なる画素グループに属する画素が順に配置されている、請求項２から７のいずれか一項に記載の撮像システム。
【請求項９】
対象物に複数の異なるパターン光を切替えて投影するステップと、
前記パターン光が投影された対象物を複数の画素からなる画素グループを前記パターン光の数だけ有する撮像素子で前記パターン光の切替えと同期させて前記画素グループごとに露光して撮像するステップと、
を含む、撮像方法。
【請求項１０】
前記複数の異なるパターン光は、位相をシフトしながら構成されたそれぞれ位相が異なる複数の格子パターンである、請求項９に記載の撮像方法。
【請求項１１】
画素グループごとに取得した複数の画像を基に対象物の３次元形状を算出するステップをさらに含む、請求項９又は１０に記載の撮像方法。
【請求項１２】
複数の画素からなる画素グループを複数有し、
前記画素グループごとに、
各画素の露光開始又は露光終了の少なくとも一方のタイミングを制御する共通の画素転送制御信号線と、
各画素に蓄積された信号電荷をリセットする共通の画素リセット制御信号線と、
を備え、
前記画素グループごとに露光時間を制御可能な、撮像素子。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物の３次元形状を取得する撮像システム、撮像方法および撮像素子に関する。
【背景技術】
【０００２】
対象物に対して非接触で３次元計測を行う手法として位相シフト法等が知られている。この位相シフト法では、対象物を固定、つまり静止した状態に保ち、対象物の全体にわたって縞状パターンを位相シフトさせながら投影してエリアカメラで対象物の全体の格子画像を撮影していた。【０００３】
しかし、位相シフト法では対象物について複数の異なる位相での画像（位相シフト画像）の撮像を複数回行う必要があるため、動体の計測には適切な方法とは考えられていなかった。具体的には、位相シフト法で動体を計測するためには、高速に複数枚の位相シフト画像を取得する必要がある。【０００４】
従来、複数の位相シフト画像を高速に、実質的には同時に取得する手法が提案されている。例えば、入射光を直線偏光化し、その偏光方向を回転させることによって、高速化を図る試みがなされている（例えば、特許文献１参照。）。また、波長成分の異なる第１、第２、第３の波長成分について、各波長成分の一又は二を透光する領域を順に縞状に配列したフィルタ格子縞板を用い、位相シフト法によって三次元計測する装置が開示されている（例えば、特許文献２参照。）。また、モアレ光学系を用いた形状測定装置であって、光学系と被検物の相対速度と受光素子の操作周期と複数配置された光源の点灯の時間を同期させる形状測定装置が開示されている（例えば、特許文献３参照。）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３７４７４７１号公報（国際公開ＷＯ２００３／０７４９６７号）
【特許文献２】特許第４８０８０７２号公報（特開２００６−２２７６５２号公報）
【特許文献３】特許第３９２１４３２号公報（特開２００４−１０８８２９号公報）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記の手法では、それぞれ機械的耐久性、対象物の波長特性、光量減等の課題がある。【０００７】
そこで、本発明の目的は、複数の異なるパターン光を切替えて高速に撮像できる撮像システムを提供することである。
【課題を解決するための手段】
【０００８】
本発明に係る撮像システムは、対象物に複数の異なるパターン光を切替えて投影可能な照明と、
前記パターン光が投影された前記対象物を撮像可能な撮像素子と、
前記照明と前記撮像素子とを制御する制御部と、
を備え、
前記撮像素子は、画素ごとに異なる時間で露光可能であって、
前記制御部は、前記パターン光と露光する画素とを連動して切替える。【０００９】
本発明に係る撮像方法は、対象物に複数の異なるパターン光を切替えて投影するステップと、
前記パターン光が投影された対象物を複数の画素からなる画素グループを前記パターン光の数だけ有する撮像素子で前記パターン光の切替えと同期させて前記画素グループごとに露光して撮像するステップと、
を含む。
【発明の効果】
【００１０】
本発明に係る撮像システム、撮像方法及び撮像素子によれば、複数の異なるパターン光を切替えて高速に撮像できる。また、本発明を位相シフト法に適用すれば、従来のイメージセンサに比べて十分高速（実質的に同時）に複数の位相シフト画像を取得することができ、動体計測も可能となる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１に係る撮像システムの構成を示す概略図である。
【図２】（ａ）〜（ｄ）は、４つの投影パターンの例である。
【図３】撮像素子を構成する複数の画素の配列の一例を示す平面図である。
【図４】撮像素子の一例であるＣＭＯＳイメージセンサの一画素の回路を示す概略図である。
【図５Ａ】４つの画素グループを含む撮像素子の回路の一例を示す概略平面図である。
【図５Ｂ】４つの画素グループの各回路への制御信号のタイミングチャートである。
【図６Ａ】図１の撮像システムの制御部の機能的構成を示すブロック図である。
【図６Ｂ】図６Ａの制御部の物理的構成を示すブロック図である。
【図７】４つの投影パターンの切替と画素グループごとに同期して露光開始するタイミングを示すタイミングチャートである。
【図８】実施の形態２に係る撮像方法のフローチャートである。
【図９】実施の形態３に係る撮像方法のフローチャートである。
【発明を実施するための形態】
【００１２】
第１の態様に係る撮像システムは、対象物に複数の異なるパターン光を切替えて投影可能な照明と、
前記パターン光が投影された前記対象物を撮像可能な撮像素子と、
前記照明と前記撮像素子とを制御する制御部と、
を備え、
前記撮像素子は、画素ごとに異なる時間で露光可能であって、
前記制御部は、前記パターン光と露光する画素とを連動して切替える。
【００１３】
第２の態様に係る撮像システムは、上記第１の態様において、前記撮像素子に、同じ時間に露光する複数の画素からなる画素グループを前記パターン光の数だけ設け、
前記制御部は、前記パターン光と露光する前記画素グループとを連動して切替えてもよい。
【００１４】
第３の態様に係る撮像システムは、上記第１又は第２の態様において、前記撮像素子は、同じ画素グループごとに露光開始又は露光終了の少なくとも一方のタイミングを制御する共通の画素転送制御信号線を有してもよい。
【００１５】
第４の態様に係る撮像システムは、上記第２又は第３の態様において、前記撮像素子は、同じ画素グループごとに各画素に蓄積された信号電荷をリセットする共通の画素リセット制御信号線を有してもよい。
【００１６】
第５の態様に係る撮像システムは、上記第２から第４のいずれかの態様において、前記照明は、位相をシフトしながら前記対象物に格子パターンを投影してもよい。なお、格子パターンには、２次元の格子パターンの他、１方向の縞パターンも含む。
【００１７】
第６の態様に係る撮像システムは、上記第２から第５のいずれかの態様において、前記制御部は、前記画素グループごとに取得した複数の画像を基に前記対象物の３次元形状を算出する形状算出部をさらに備えてもよい。
【００１８】
第７の態様に係る撮像システムは、上記第２から第６のいずれかの態様において、前記制御部は、前記パターン光の切替えタイミングと前記画素グループの露光開始又は露光終了の少なくとも一方のタイミングとの同期を制御する、同期制御部をさらに備えてもよい。
【００１９】
第８の態様に係る撮像システムは、上記第２から第７のいずれかの態様において、前記撮像素子は、一つの方向に沿って互いに異なる画素グループに属する画素が順に配置されていてもよい。
【００２０】
第９の態様に係る撮像方法は、対象物に複数の異なるパターン光を切替えて投影するステップと、
前記パターン光が投影された対象物を複数の画素からなる画素グループを前記パターン光の数だけ有する撮像素子で前記パターン光の切替えと同期させて前記画素グループごとに露光して撮像するステップと、
を含む。
【００２１】
第１０の態様に係る撮像方法は、上記第９の態様において、前記複数の異なるパターン光は、位相をシフトしながら構成されたそれぞれ位相が異なる複数の格子パターンであってもよい。
【００２２】
第１１の態様に係る撮像方法は、上記第９又は第１０の態様において、画素グループごとに取得した複数の画像を基に対象物の３次元形状を算出するステップをさらに含んでもよい。
【００２３】
第１２の態様に係る撮像素子は、複数の画素からなる画素グループを複数有し、
前記画素グループごとに、
各画素の露光開始又は露光終了の少なくとも一方のタイミングを制御する共通の画素転送制御信号線と、
各画素に蓄積された信号電荷をリセットする共通の画素リセット制御信号線と、
を備え、
前記画素グループごとに露光時間を制御可能である。
【００２４】
以下、実施の形態に係る撮像システム及び撮像方法について、添付図面を参照しながら説明する。なお、図面において実質的に同一の部材については同一の符号を付している。
【００２５】
（実施の形態１）
＜撮像システム＞
図１は、実施の形態１に係る撮像システムの構成を示す概略図である。
この撮像システム３０は、照明１０と、撮像素子２２と、制御部２６と、を備える。照明１０によって対象物２に複数の異なるパターン光を切替えて投影可能である。撮像素子によってパターン光の投影された対象物を撮像可能である。制御部によって照明と撮像素子とを制御する。撮像素子は、画素ごとに異なる時間で露光可能である。さらに、制御部２６によって、パターン光と露光する画素とを連動して切り替えて撮像する。
これによって複数の異なるパターン光を切替えて高速に撮像できる。
【００２６】
以下に、この撮像システム３０を構成する構成要素について説明する。
【００２７】
＜照明＞
図２は、４つの投影パターン（ａ）〜（ｄ）の例を示している。この照明１０によって対象物２に複数の異なるパターン光を切替えて投影可能である。照明１０は、例えば、光源１２と、格子１４と、を備える。図２の例では、格子１４を動かすことで位相がシフトした４つの格子パターン（図２（ａ）〜（ｄ））を投影できる。なお、位相をシフトしたパターンを投影する方法はこれに限らない。例えば、照明としてプロジェクタを用いることで格子パターンを切替えながら投影することも可能である。好ましくは、格子１４は固定式で、光源１２を複数のＬＥＤで構成したスイッチング光源とする。これにより、ＬＥＤの点灯位置を切替えながら格子パターンの位相をシフトできるため、より高速なパターン光切替え制御が可能となる。
【００２８】
＜カメラ＞
カメラ２０は、レンズ２１と撮像素子２２と撮像制御回路２４とを有する。
【００２９】
＜レンズ＞
レンズ２１は、撮像素子２２上に結像させることができるものであればよく、通常使用できるものであればよい。
【００３０】
＜撮像素子＞
図３は、撮像素子２２を構成する複数の画素Ａ、Ｂ、Ｃ，Ｄの配列の一例を示す平面図である。図４は、撮像素子の一例であるＣＭＯＳイメージセンサの一画素４０の回路を示す概略図である。
撮像素子２２は、複数の画素４０からなる画素グループ３８を、例えば、３つ以上有する。図３に示す例では、撮像素子２２は、画素Ａ、Ｂ、Ｃ、Ｄのそれぞれを含む４つの画素グループ３８ａ、３８ｂ、３８ｃ、３８ｄを有する。また、４つの画素グループ３８ａ、３８ｂ、３８ｃ、３８ｄのそれぞれに含まれる画素Ａ、Ｂ、Ｃ、Ｄは、正方形の角部に配置され、一処理単位３６を構成している。なお、一処理単位３６は、正方形を構成する場合に限られず、１行に並んでもよい。
撮像素子は、同じ時間に露光する複数の画素からなる画素グループをパターン光の数だけ設けてもよい。
なお、画素グループは３つ以上であればよく、上記４つの画素グループに限られず、５つ以上の画素グループであってもよい。
【００３１】
撮像素子は、同じ画素グループごとに露光開始又は露光終了の少なくとも一方のタイミングを制御する共通の画素転送制御信号線を有してもよい。また、同じ画素グループごとに各画素に蓄積された信号電荷をリセットする共通の画素リセット制御信号線を有してもよい。
【００３２】
撮像素子２２は、例えば、図３に示す画素が複数配列されたＣＭＯＳイメージセンサである。図４に示す画素４０の回路では、受光部のフォトダイオード（ＰＤ）４１と、フローティング拡散層（ＦＤ）４２と、４つのＭＯＳ−ＦＥＴ（Ｍ１、Ｍ２、Ｍ３、Ｍ４）４３ａ、４３ｂ、４３ｃ、４３ｄと、により構成されている。また、画素４０は、画素転送制御信号線（ＴＲＧ）４４と、画素読み出し選択制御信号線（ＳＥＬ）４６と、垂直信号線（ＶＳＬ）４７と、画素リセット制御信号線（ＲＳＴ）４８と、に接続されている。
【００３３】
画素４０に光が照射されると、フォトダイオード４１において電子に変換され、光強度に対応する電荷がフォトダイオード４１に蓄積される。ＭＯＳ−ＦＥＴ（Ｍ１）４３ａによって、フォトダイオード（ＰＤ）４１とフローティング拡散層（ＦＤ）４２との間の電荷転送を制御する。ＭＯＳ−ＦＥＴ（Ｍ１）４３ａのゲート電極に画素転送制御信号線（ＴＲＧ）４４の信号が印加されることによってフォトダイオード（ＰＤ）４１に蓄積された電荷が、フローティング拡散層（ＦＤ）４２に転送される。フローティング拡散層（ＦＤ）４２は、ＭＯＳ−ＦＥＴ（Ｍ３）４３ｃのゲート電極とつながっている。ＭＯＳ−ＦＥＴ（Ｍ４）４３ｄのゲート電極に画素読み出し選択制御信号線（ＳＥＬ）４６の制御信号が印加されていると、垂直信号線（ＶＳＬ）４７からフローティング拡散層４２に蓄積された電荷に応じた電圧を信号として読み出すことができる。ＭＯＳ−ＦＥＴ（Ｍ２）４３ｂのゲート電極に画素リセット制御信号線（ＲＳＴ）４８のリセット信号が印加されると、フローティング拡散層（ＦＤ）４２に蓄積された電荷はＭＯＳ−ＦＥＴ（Ｍ２）４３ｂを通じて流れるため、電荷蓄積状態がリセットされる。
【００３４】
まず、露光開始について説明する。
画素リセット制御信号線（ＲＳＴ）４８がＯＮであると、フローティング拡散層（ＦＤ）４２に蓄積された電荷はＭＯＳ−ＦＥＴ（Ｍ２）４３ｂを通じて流れるが、それだけでは画素４０のフォトダイオード（ＰＤ）４１に蓄積された電荷はリセットされない。画素リセット制御信号線（ＲＳＴ）４８がＯＮであると共に、画素転送制御信号線（ＴＲＧ）４４がＯＮとなることによって、フォトダイオード（ＰＤ）４１に蓄積された電荷がフローティング拡散層（ＦＤ）４２に転送され、さらにＭＯＳ−ＦＥＴ（Ｍ２）４３ｂを通じて流れる。これによって、フォトダイオード（ＰＤ）４１及びフローティング拡散層（ＦＤ）４２の電荷蓄積状態がリセットされ、次にＲＳＴ信号およびＴＲＧ信号がＯＦＦになったタイミングから画素４０への露光が開始される。
【００３５】
次に、露光終了について説明する。
画素転送制御信号線（ＴＲＧ）４４の信号が印加される。これによってフォトダイオード（ＰＤ）４１に蓄積された電荷が、フローティング拡散層（ＦＤ）４２に転送される。つまり、画素４０への露光が終了する。
【００３６】
さらに、各画素に蓄積された電荷の読み出しについて説明する。
画素読み出し選択制御信号線（ＳＥＬ）４６の制御信号が印加されると、垂直信号線（ＶＳＬ）４７から画素４０について、フローティング拡散層４２に蓄積された電荷に応じた電圧を信号として読み出すことができる。
【００３７】
図５Ａは、４つの画素グループを含む撮像素子５０の回路の一例を示す概略平面図である。この撮像素子５０は、図４に示す画素４０が、図３に示すように縦横の格子状に配列され、さらに画素グループＡ、Ｂ、Ｃ、Ｄにそれぞれ属する４画素を１つの画素ユニットとし、その画素ユニットの配列が２次元的に繰り返されている。図３及び図５Ａでは、画素ユニットを構成する画素が２×２で正方形に並ぶ例を示しているが、これに限らず、例えば画素が縦又は横に直線状に並んでいてもよい。また、４つの画素グループごとに共通の画素転送制御信号線（ＴＲＧ（Ａ）、ＴＲＧ（Ｂ）、ＴＲＧ（Ｃ）、ＴＲＧ（Ｄ））を有する。また、４つの画素グループごとに共通の画素リセット制御信号線（ＲＳＴ（Ａ）、ＲＳＴ（Ｂ）、ＲＳＴ（Ｃ）、ＲＳＴ（Ｄ））を有する。これによって、画素グループごとに露光開始又は露光終了の少なくとも一方のタイミングを制御できるので、異なるタイミングで露光可能である。なお、各行ごとに画素読み出し選択制御信号線（ＳＥＬ１、ＳＥＬ２、ＳＥＬ３、ＳＥＬ４）を有する。さらに、各列ごとに垂直信号線（ＶＳＬ）を有する。
【００３８】
さらに、この撮像素子５０は、垂直走査制御回路５２と、ノイズ除去回路５４と、水平転送制御回路５６とを備える。画素転送制御信号線（ＴＲＧ（Ａ）、ＴＲＧ（Ｂ）、ＴＲＧ（Ｃ）、ＴＲＧ（Ｄ））と、画素リセット制御信号線（ＲＳＴ（Ａ）、ＲＳＴ（Ｂ）、ＲＳＴ（Ｃ）、ＲＳＴ（Ｄ））とは、垂直走査制御回路５２に接続されている。垂直信号線（ＶＳＬ）は、ノイズ除去回路５４を介して水平転送制御回路５６に接続されている。
【００３９】
図５Ｂは、４つの画素グループの各回路への制御信号とパターン光の切替えのタイミングチャートである。図５Ｂを用いて画素グループごとに露光開始及び／又は露光終了のタイミングを制御して撮像することについて説明する。図５Ｂは、図５Ａに示すように、画素Ａ、Ｂ、Ｃ、Ｄが正方形に配列されており、第１行に画素Ａ、Ｂが繰り返し配列され、第２行に画素Ｃ、Ｄが繰り返し配列されている撮像素子についてのタイミングチャートである。つまり、第１行について画素グループＡの画素転送制御信号線（ＴＲＧ（Ａ））、画素グループＢの画素転送制御信号線（ＴＲＧ（Ｂ））、画素グループＡの画素リセット制御信号線（ＲＳＴ（Ａ））、画素グループＢの画素リセット制御信号線（ＲＳＴ（Ｂ））、画素読み出し選択制御信号線（ＳＥＬ１）がある。また、第２行について画素グループＣの画素転送制御信号線（ＴＲＧ（Ｃ））、画素グループＤの画素転送制御信号線（ＴＲＧ（Ｄ））、画素グループＣの画素リセット制御信号線（ＲＳＴ（Ｃ））、画素グループＤの画素リセット制御信号線（ＲＳＴ（Ｄ））、画素読み出し選択制御信号線（ＳＥＬ２）がある。
【００４０】
（ａ）まず、時間ｔ０に画素グループＡの画素リセット制御信号線（ＲＳＴ（Ａ））がＯＮとなり、同時に画素グループＡの画素転送制御信号線（ＴＲＧ（Ａ））がＯＮとなる。これによって画素グループＡの画素４０のフォトダイオード４１の蓄積電荷がリセットされる。
（ｂ）次に、時間ｔ１においてＲＳＴ（Ａ）及びＴＲＧ（Ａ）がＯＦＦとなり、フォトダイオード４１への電荷蓄積が開始される。時間ｔ０からｔ１の間にＰＴＮ（ａ）がＯＮとなり、パターン（ａ）の投影が開始される。つまり時間ｔ１から画素グループＡの画素への露光が開始される。
【００４１】
（ｃ）時間ｔ２に画素グループＡの画素転送制御信号線（ＴＲＧ（Ａ））がＯＮとなる。これによって、画素グループＡの画素において、フォトダイオード（ＰＤ）４１に蓄積された電荷が、フローティング拡散層（ＦＤ）４２に転送される。つまり、画素グループＡの画素４０への露光が終了する。時間ｔ１から時間ｔ２までの時間が画素グループＡの画素の露光時間である。
それと同時に、画素グループＢの画素リセット制御信号線（ＲＳＴ（Ｂ））がＯＮとなり、同時に画素グループＢの画素転送制御信号線（ＴＲＧ（Ｂ））がＯＮとなる。これによって画素グループＢの画素４０のフォトダイオード４１の蓄積電荷がリセットされる。
（ｄ）次に、時間ｔ３においてＲＳＴ（Ｂ）及びＴＲＧ（Ｂ）がＯＦＦとなり、フォトダイオード４１への電荷蓄積が開始される。時間ｔ２からｔ３の間にＰＴＮ（ａ）がＯＦＦとなり、パターン（ａ）の投影が終了する。一方、時間ｔ２からｔ３の間にＰＴＮ（ｂ）がＯＮとなり、パターン（ｂ）の投影が開始される。つまり時間ｔ３から画素グループＢの画素への露光が開始される。
【００４２】
（ｅ）時間ｔ４に画素グループＢの画素転送制御信号線（ＴＲＧ（Ｂ））がＯＮとなる。これによって、画素グループＢの画素において、フォトダイオード（ＰＤ）４１に蓄積された電荷が、フローティング拡散層（ＦＤ）４２に転送される。つまり、画素グループＢの画素４０への露光が終了する。時間ｔ３から時間ｔ４までの時間が画素グループＢの画素の露光時間である。
それと同時に、画素グループＣの画素リセット制御信号線（ＲＳＴ（Ｃ））がＯＮとなり、同時に画素グループＣの画素転送制御信号線（ＴＲＧ（Ｃ））がＯＮとなる。これによって画素グループＣの画素４０のフォトダイオード４１の蓄積電荷がリセットされる。
（ｆ）次に、時間ｔ５においてＲＳＴ（Ｃ）及びＴＲＧ（Ｃ）がＯＦＦとなり、フォトダイオード４１への電荷蓄積が開始される。時間ｔ４からｔ５の間にＰＴＮ（ｂ）がＯＦＦとなり、パターン（ｂ）の投影が終了する。一方、時間ｔ４からｔ５の間にＰＴＮ（ｃ）がＯＮとなり、パターン（ｃ）の投影が開始される。つまり時間ｔ５から画素グループＣの画素への露光が開始される。
【００４３】
（ｇ）時間ｔ６に画素グループＣの画素転送制御信号線（ＴＲＧ（Ｃ））がＯＮとなる。これによって、画素グループＣの画素において、フォトダイオード（ＰＤ）４１に蓄積された電荷が、フローティング拡散層（ＦＤ）４２に転送される。つまり、画素グループＣの画素４０への露光が終了する。時間ｔ５から時間ｔ６までの時間が画素グループＣの画素の露光時間である。
それと同時に、画素グループＤの画素リセット制御信号線（ＲＳＴ（Ｄ））がＯＮとなり、同時に画素グループＤの画素転送制御信号線（ＴＲＧ（Ｄ））がＯＮとなる。これによって画素グループＤの画素４０のフォトダイオード４１の蓄積電荷がリセットされる。
（ｈ）次に、時間ｔ７においてＲＳＴ（Ｄ）及びＴＲＧ（Ｄ）がＯＦＦとなり、フォトダイオード４１への電荷蓄積が開始される。時間ｔ６からｔ７の間にＰＴＮ（ｃ）がＯＦＦとなり、パターン（ｃ）の投影が終了する。一方、時間ｔ６からｔ７の間にＰＴＮ（ｄ）がＯＮとなり、パターン（ｄ）の投影が開始される。つまり時間ｔ７から画素グループＤの画素への露光が開始される。
【００４４】
（ｉ）時間ｔ８に画素グループＤの画素転送制御信号線（ＴＲＧ（Ｄ））がＯＮとなる。これによって、画素グループＤの画素において、フォトダイオード（ＰＤ）４１に蓄積された電荷が、フローティング拡散層（ＦＤ）４２に転送される。つまり、画素グループＤの画素４０への露光が終了する。時間ｔ７から時間ｔ８までの時間が画素グループＤの画素の露光時間である。なお、時間ｔ８からｔ９の間にＰＴＮ（ｄ）がＯＦＦとなり、パターン（ｄ）の投影が終了する。
【００４５】
（ｊ）時間ｔ９に第１行の画素読み出し選択制御信号線（ＳＥＬ１）がＯＮとなる。これによって、第１行の各画素グループ（画素グループＡ及びＢ）の画素のフローティング拡散層（ＦＤ）４２に転送されていた電荷に応じた電圧を信号として読み出すことができる。
【００４６】
（ｋ）時間ｔ１０に第２行の画素読み出し選択制御信号線（ＳＥＬ２）がＯＮとなる。これによって、第２行の各画素グループ（画素グループＣ及びＤ）の画素のフローティング拡散層（ＦＤ）４２に転送されていた電荷に応じた電圧を信号として読み出すことができる。
以上によって、画素グループごとに露光開始及び露光終了のタイミングを制御して撮像することができる。
【００４７】
なお、図５ＢのＰＴＮ（ａ）〜（ｄ）はそれぞれ４つの投影パターン（ａ）〜（ｄ）の投影タイミングを表している。この例では、ＰＴＮ（ａ）がｔ０−ｔ１間でＯＮとなり、ｔ２−ｔ３間でＯＦＦとなることで、画素グループＡの露光時間とパターン（ａ）の投影が連動して切り替わる。同様に投影パターン（ｂ）〜（ｄ）の投影も画素グループＢ〜Ｄの露光時間と連動して切り替わる。
【００４８】
＜制御部＞
図６Ａは、図１の撮像システム３０の制御部２６の機能的構成を示すブロック図である。図６Ｂは、図６Ａの制御部２６の物理的構成を示すブロック図である。制御部２６によって照明１０と撮像素子２２とを制御する。制御部２６は、例えば、同期制御部２７及び／又は形状算出部２８を有する。また、制御部２６は、電気回路によって物理的な構成として実現してもよいし、コンピュータ上で動作するコンピュータソフトウェアによって実現してもよい。コンピュータで構成される場合には、例えばＣＰＵ３１、メモリ３２、記憶媒体３３、入出力部３４等のうち必要最小限の機能を備える。
【００４９】
この制御部によって、パターン光と露光する画素とを連動して切替える。さらに、撮像素子に、同じ時間に露光する複数の画素からなる画素グループをパターン光の数だけ設けている場合には、制御部によって、パターン光と露光する画素グループとを連動して切替える。
【００５０】
＜同期制御部＞
同期制御部２７によってパターン光の切替えタイミングと画素グループの露光開始又は露光終了の少なくとも一方のタイミングとの同期を制御する。同期制御部２７は、電気的機構によって同期を制御してもよく、あるいはコンピュータプログラムによって同期を制御してもよい。後者の場合には、同期制御部２７は、コンピュータプログラムによって構成してもよい。
【００５１】
＜形状算出部＞
形状算出部２８によって画素グループごとに取得した複数の画像を基に対象物の３次元形状を算出する。形状算出部２８は、コンピュータプログラムによって実現できる。例えば、画素グループごとに取得した複数の格子画像を基に、位相シフト法、フーリエ変換格子法等によって画素毎の位相を演算し、この位相及び撮像素子と光源との位置関係を基に三角測量の原理で対象物の３次元形状を算出できる。例えば、特開２０１２−１５００１８号公報に記載の位相シフト法によれば、光源の点灯制御によって高速に投影パターンを切替えることができるため、本発明をより好適に用いることができる。
形状算出部２８は、同じ画素ユニットに属する画素が実質的に同じ座標の画素（対象物の同じ場所を見ているもの）と考えて、１つの画素ユニット内の画素Ａ、Ｂ、Ｃ、Ｄの輝度変化から当該画素ユニットに対応する位相を算出してもよい。また、同じ画素グループに属する画素を集合させて画素グループごとの画像をそれぞれ作成して保存しておき、保存した複数の画像から同じ座標の画素を参照して処理する方法も可能である。
【００５２】
（実施の形態２）
図７は、４つの投影パターンの切替と同期して画素グループごとに露光開始及び露光終了するタイミングを示すタイミングチャートである。図７の（ａ）は、同期信号を示し、（ｂ）は投影パターンを示し、（ｃ）〜（ｆ）は、画素グループＡ〜Ｄの露光期間を示している。図８は、実施の形態２に係る撮像方法のフローチャートである。
（１）対象物に複数の異なるパターン光を切替えて投影する（Ｓ０１）。
（２）パターン光が投影された対象物を複数の画素からなる画素グループをパターン光の数だけ有する撮像素子でパターン光の切替と同期させて画素グループごとに露光して撮像する（Ｓ０２）。このパターン光の切替と画素グループごとの露光との同期について説明する。
（ａ）まず、投影パターンＡの投影開始について同期信号が立ち上がり（図７（ａ））、投影パターンＡの投影が行われる（図７（ｂ））。これに伴って、画素グループＡについて撮像が開始される（図７（ｃ））。
（ｂ）次に、投影パターンＢの投影開始について同期信号が立ち上がり（図７（ａ））、投影パターンＡに代えて投影パターンＢの投影が行われる（図７（ｂ））。これに伴って、画素グループＢについて撮像が開始される（図７（ｄ））。
（ｃ）次に、投影パターンＣの投影開始について同期信号が立ち上がり（図７（ａ））、投影パターンＢに代えて投影パターンＣの投影が行われる（図７（ｂ））。これに伴って、画素グループＣについて撮像が開始される（図７（ｅ））。
（ｄ）次に、投影パターンＤの投影開始について同期信号が立ち上がり（図７（ａ））、投影パターンＣに代えて投影パターンＤの投影が行われる（図７（ｂ））。これに伴って、画素グループＤについて撮像が開始される（図７（ｆ））。
以上によって、対象物に複数の異なるパターン光を切替えて投影し、パターン光の切替と同期させて画素グループごとに露光して撮像することができる。
【００５３】
（実施の形態３）
図９は、実施の形態３に係る撮像方法のフローチャートである。
（１）対象物２に複数の位相をシフトしながら異なる位相を有する格子パターン４を切替えて投影する（Ｓ１１）。
（２）格子パターン４が投影された対象物２を複数の画素からなる画素グループを位相シフトの数だけ有する撮像素子２２で格子パターン４の切替と同期させて画素グループごとに露光して撮像する（Ｓ１２）。なお、パターン光の切替と画素グループごとの露光との同期については実施の形態２の撮像方法と同様であるので説明を省略する。
（３）画素グループごとに取得した複数の画像を基に対象物の３次元形状を算出する（Ｓ１３）。
以上によって対象物の３次元形状を算出できる。
【００５４】
なお、本開示においては、前述した様々な実施の形態及び／又は実施例のうちの任意の実施の形態及び／又は実施例を適宜組み合わせることを含むものであり、それぞれの実施の形態及び／又は実施例が有する効果を奏することができる。
【００５５】
また、本発明は、位相シフト法やフーリエ変換格子法以外にも、複数のパターン光を切り替えて投影する種々の３次元計測手法に適用可能である。例えば、空間にコード化された複数の光パターンを投影し、三角測量の原理で対象物までの距離を求める空間コード化パターン法等に適用できる。
【産業上の利用可能性】
【００５６】
本発明に係る撮像システム、撮像方法及び撮像素子によれば、複数の異なるパターン光を切替えて高速に撮像できる。
【符号の説明】
【００５７】
１  パターン光投影
２  対象物
４  格子パターン
６  撮像
１０  照明
１２  スイッチング光源
１４  格子
２０  カメラ
２１  レンズ
２２  撮像素子（イメージセンサ）
２４  撮像制御回路
２６  制御部
２７  同期制御部
２８  形状算出部
３０  撮像システム
３１  ＣＰＵ
３２  メモリ
３３  記憶媒体
３４  入出力部
３５  表示部
３６  一処理単位
３８  画素グループ
４０  画素
４１  フォトダイオード
４２  フローティング拡散層
４３ａ、４３ｂ、４３ｃ、４３ｄ  ＭＯＳ−ＦＥＴ（Ｍ１、Ｍ２、Ｍ３、Ｍ４）
４４、４５  画素転送制御信号線（ＴＲＧ）
４６  画素読み出し選択制御信号線（ＳＥＬ）
４７  垂直信号線（ＶＳＬ）
４８  画素リセット制御信号線（ＲＳＴ）
５０  撮像素子
５２  垂直走査制御回路
５４  ノイズ除去回路
５６  水平転送制御回路
【図１】
2019058750.tif 000003
【図２】
2019058750.tif 000004
【図３】
2019058750.tif 000005
【図４】
2019058750.tif 000006
【図５Ａ】
2019058750.tif 000007
【図５Ｂ】
2019058750.tif 000008
【図６Ａ】
2019058750.tif 000009
【図６Ｂ】
2019058750.tif 000010
【図７】
2019058750.tif 000011
【図８】
2019058750.tif 000012
【図９】
2019058750.tif 000013
【国際調査報告】
2019058750.tif 000014
2019058750.tif 000015
2019058750.tif 000016
2019058750.tif 000017
2019058750.tif 000018
2019058750.tif 000019
2019058750.tif 000020
2019058750.tif 000021