(57)【要約】  距離画像の感度を損なうことなく、高解像度のカラー画像を得る。撮像素子１０は、センサ部、可視光画素駆動部２１０、および非可視光画素駆動部２２０を有する。センサ部は、可視光に感度を持つ複数の可視光画素１１および非可視光に対する感度を持つ複数の非可視光画素１４から構成される。可視光画素駆動部２１０は、可視光画素１１の露光および露光により可視光画素１１が光電変換した電荷の読み出しを制御する。非可視光画素駆動部２２０は、非可視光画素１４の露光および露光により非可視光画素１４が光電変換した電荷の読み出しを制御する。そして、非可視光画素駆動部２２０は、非可視光画素１４の露光および読み出しの際に予め設定された２以上の非可視光画素１４毎に露光を行い、２以上の非可視光画素１４が露光により光電変換した電荷を加算して、加算した電荷に基づいて距離画像を生成する。
2019021439.tif 000002
【特許請求の範囲】
【請求項１】
可視光に感度を持つ複数の可視光画素および非可視光に対する感度を持つ複数の非可視光画素から構成されるセンサ部と、
前記可視光画素の露光および前記露光により前記可視光画素が光電変換した電荷の読み出しを制御する可視光画素駆動部と、
前記非可視光画素の露光および前記露光により前記非可視光画素が光電変換した電荷の読み出しを制御する非可視光画素駆動部と、
を有し、
前記非可視光画素駆動部は、前記非可視光画素の露光および読み出しの際に予め設定された２以上の前記非可視光画素毎に露光を行い、２以上の前記非可視光画素が露光により光電変換した電荷を加算して、加算した前記電荷に基づいて距離画像を生成する、撮像素子。
【請求項２】
請求項１記載の撮像素子において、
前記非可視光画素駆動部は、２以上の前記非可視光画素の露光が行われる第１の露光期間の少なくとも一部の期間が前記可視光画素の露光が行われる第２の露光期間にオーバラップするように制御する、撮像素子。
【請求項３】
請求項２記載の撮像素子において、
前記非可視光画素駆動部は、
２以上の前記非可視光画素が光電変換した電荷を取り込む第１のスイッチ部と、
前記第１のスイッチ部が取り込んだ電荷を２以上の前記非可視光画素別にそれぞれ蓄積して電圧に変換する第１の容量部と、
前記第１の容量部が変換した電圧をそれぞれ増幅する増幅部と、
２以上の前記非可視光画素の露光タイミングおよび前記第１のスイッチ部の動作を制御するタイミング制御部と、
を有し、
前記タイミング制御部は、前記第１の容量部に光電変換された前記電荷が前記非可視光画素別にそれぞれ蓄積されるように前記第１のスイッチ部を制御し、
前記２以上の前記非可視光画素の露光の際には、露光の期間が重ならないように２以上の前記非可視光画素を順次露光させる、撮像素子。
【請求項４】
請求項３記載の撮像素子において、
前記非可視光画素駆動部は、
前記センサ部が有する複数の前記非可視光画素が光電変換した電荷を読み出す第２のスイッチ部を有し、
前記タイミング制御部は、露光および読み出しの際に電荷を加算する２以上の前記非可視光画素を選択する前記第２のスイッチ部を制御する、撮像素子。
【請求項５】
請求項４記載の撮像素子において、
前記タイミング制御部は、外部から入力される第１の制御コマンドに基づいて、電荷を加算する前記非可視光画素の数が変更されるように前記第２のスイッチ部を制御する、撮像素子。
【請求項６】
請求項３記載の撮像素子において、
前記非可視光画素駆動部は、前記増幅部から出力される電圧を演算して距離画像を生成して出力する距離画像演算部を有し、
前記タイミング制御部は、前記距離画像演算部が前記電圧を演算する演算タイミングがフレームレートの１／Ｎとなるように制御する、撮像素子。
【請求項７】
請求項６記載の撮像素子において、
前記タイミング制御部は、外部から入力される第２の制御コマンドに基づいて、前記距離画像演算部が演算する前記演算タイミングを制御する、撮像素子。
【請求項８】
光学像を取り込む光学レンズ部と、
前記光学レンズ部が取り込んだ光学像から画像データを取得する撮像素子と、
近赤外光発光を発光する光源部と、
前記光源部の発光および前記撮像素子の動作を制御する制御部と、  
を有し、
前記撮像素子は、
可視光に感度を持つ複数の可視光画素および非可視光に対する感度を持つ複数の非可視光画素から構成されるセンサ部と、
前記可視光画素の露光および前記露光により前記可視光画素が光電変換した電荷の読み出しを制御する可視光画素駆動部と、
前記非可視光画素の露光および前記露光により前記非可視光画素が光電変換した電荷の読み出しを制御する非可視光画素駆動部と、
を有し、
前記非可視光画素駆動部は、前記非可視光画素の露光および読み出し際に予め設定された２以上の前記非可視光画素毎に露光を行い、２以上の前記非可視光画素が露光により光電変換した電荷を加算して読み出し、
前記制御部は、２以上の前記非可視光画素の露光の際に前記光源部が近赤外光を発光するように制御する、撮像装置。
【請求項９】
請求項８記載の撮像装置において、
前記非可視光画素駆動部は、２以上の前記非可視光画素の露光が行われる第１の露光期間の少なくとも一部の期間が前記可視光画素の露光が行われる第２の露光期間にオーバラップするように制御する、撮像装置。
【請求項１０】
請求項９記載の撮像装置において、
前記非可視光画素駆動部は、
２以上の前記非可視光画素が光電変換した電荷を取り込む第１のスイッチ部と、
前記第１のスイッチ部が取り込んだ電荷を２以上の前記非可視光画素別にそれぞれ蓄積して電圧に変換する第１の容量部と、
前記第１の容量部が変換した電圧をそれぞれ増幅する増幅部と、
２以上の前記非可視光画素の露光タイミングおよび前記第１のスイッチ部の動作を制御するタイミング制御部と、
を有し、
前記タイミング制御部は、前記第１の容量部に光電変換された前記電荷が前記非可視光画素別にそれぞれ蓄積されるように前記第１のスイッチ部を制御し、
前記２以上の前記非可視光画素の露光の際には、露光の期間が重ならないように２以上の前記非可視光画素を順次露光させる、撮像装置。
【請求項１１】
請求項１０記載の撮像装置において、
前記非可視光画素駆動部は、
前記センサ部が有する複数の前記非可視光画素が光電変換した電荷を読み出す第２のスイッチ部を有し、
前記タイミング制御部は、露光および読み出しの際に電荷を加算する２以上の前記非可視光画素を選択する前記第２のスイッチ部を制御する、撮像装置。
【請求項１２】
請求項１１記載の撮像装置において、
前記タイミング制御部は、外部から入力される第１の制御コマンドに基づいて、電荷を加算する前記非可視光画素の数が変更されるように前記第２のスイッチ部を制御する、撮像装置。
【請求項１３】
請求項１０記載の撮像装置において、
前記非可視光画素駆動部は、前記増幅部から出力される電圧を演算して距離画像を生成して出力する距離画像演算部を有し、
前記タイミング制御部は、前記距離画像演算部が前記電圧を演算する演算タイミングがフレームレートの１／Ｎとなるように制御する、撮像装置。
【請求項１４】
請求項１３記載の撮像装置において、
前記タイミング制御部は、外部から入力される第２の制御コマンドに基づいて、前記距離画像演算部が演算する前記演算タイミングを制御する、撮像装置。
【請求項１５】
可視光に感度を持つ複数の可視光画素および非可視光に対する感度を持つ複数の非可視光画素から構成されるセンサ部を有する撮像素子による距離画像の取得方法であって、
予め設定された２以上の前記非可視光画素毎に露光を行うステップと、
２以上の前記非可視光画素が露光により光電変換した電荷を加算して、加算した前記電荷に基づいて距離画像を生成するステップと、
を有する、距離画像の取得方法。
【請求項１６】
請求項１５記載の距離画像の取得方法において、
前記露光を行うステップは、２以上の前記非可視光画素の露光の期間が重ならないように２以上の前記非可視光画素を順次露光させる、画像取得方法。
【請求項１７】
請求項１６記載の距離画像の取得方法において、
前記２以上の前記非可視光画素の露光が行われる第１の露光期間の少なくとも一部の期間が前記可視光画素の露光が行われる第２の露光期間にオーバラップする、距離画像の取得方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子、撮像装置、および距離画像の取得方法に関し、特に、距離画像の取得に有効な技術に関する。
【背景技術】
【０００２】
近年、撮像を行う撮像素子に距離画像を取得する機能を付加する技術が知られている。この距離画像を取得は、例えばＴＯＦ（Time-Of-Flight）法が用いられる。ＴＯＦ法は、光源から対象物に向かってパルス光を投光して、対象物からの反射光が観測点に到達するまでの時間を計測することにより、該対象物までの距離を計測する技術である。【０００３】
この種の通常画像と距離画像の両方を取得する撮像素子としては、例えば特許文献１がある。この特許文献１には、被写体に向けて投光する発光装置と、フォトダイオード（ＰＤ）と、ＰＤに接続された画素メモリと、スイッチを介して画素メモリに接続されたＦＤとを有する画素が、２次元に複数配列された撮像素子と、発光装置の投光期間を含む電荷蓄積期間の開始から、投光期間の間の予め決められた時間まで、スイッチを導通させ、スイッチを遮断してからＦＤに蓄積された電荷に対応する第１の信号を読み出し、電荷蓄積期間が経過したときに、画素メモリに蓄積された電荷に対応する第２の信号を読み出すように撮像素子を駆動する駆動回路１０５と、第１の信号及び第２の信号に基づいて、被写体までの距離を算出する信号処理回路１０７とを有する旨が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−２０１７３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した引用文献１の撮像素子では、通常画像を得る場合と距離画像を得る場合とで撮像素子から信号を読み出す駆動方法を、通常画像用と距離画像用にそれぞれ分けている。そのため、同一のフレームタイミングにて通常画像および距離画像を同時に取得することはできない。【０００６】
したがって、フレームごとにカラー画像と距離画像とを切り替えて取得することが考えられるが、この場合、カラー画像および距離画像の取得フレームレートは、それぞれで半分になってしまう。【０００７】
その結果、距離画像を取得する際には、解像度の高いカラー画像を得ることが困難となっている。また、距離画像においても、信号対ノイズ比が低下して測距精度が低くなってしまう恐れがある。【０００８】
本発明の目的は、距離画像の感度を損なうことなく、高解像度のカラー画像を得ることのきできる技術を提供することにある。【０００９】
本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１０】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。【００１１】
すなわち、代表的な撮像素子は、センサ部、可視光画素駆動部、および非可視光画素駆動部を有する。センサ部は、可視光に感度を持つ複数の可視光画素および非可視光に対する感度を持つ複数の非可視光画素から構成される。【００１２】
可視光画素駆動部は、可視光画素の露光および露光により可視光画素が光電変換した電荷の読み出しを制御する。非可視光画素駆動部は、非可視光画素の露光および露光により非可視光画素が光電変換した電荷の読み出しを制御する。【００１３】
そして、非可視光画素駆動部は、非可視光画素の露光および読み出しの際に予め設定された２以上の非可視光画素毎に露光を行い、２以上の非可視光画素が露光により光電変換した電荷を加算して、加算した電荷に基づいて距離画像を生成する。【００１４】
特に、非可視光画素駆動部は、２以上の非可視光画素の露光が行われる第１の露光期間の少なくとも一部の期間が可視光画素の露光が行われる第２の露光期間にオーバラップするように制御する。
【発明の効果】
【００１５】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。【００１６】
解像度の高いカラー画像およびＳＮ比の高い距離画像を取得することができる。
【図面の簡単な説明】
【００１７】
【図１】実施の形態１による撮像素子における構成の一例を示す説明図である。
【図２】図１の撮像素子における構成の一例を示したブロック図である。
【図３】図２の撮像素子が有する可視光画素駆動部および非可視光画素駆動部の等価回路図の一例を示す説明図である。
【図４】図３の可視光画素駆動部および非可視光画素駆動部による読み出しタイミングの一例を示すタイミングチャートである。
【図５】図３の非可視光画素駆動部の等価回路図における他の例を示す説明図である。
【図６】図４の読み出しタイミングの他の例を示すタイミングチャートである。
【図７】図１の撮像素子における可視光画素が有する色フィルタの光の帯域通過特性の一例を示した説明図である。
【図８】本発明者の検討による距離画像を撮像しないカラー画像用の撮像素子に用いられるフィルタの構成例を示したものである。
【図９】図１の撮像素子における画素配列の他の例を示す説明図である。
【図１０】図９の撮像素子における画素配列の他の例を示す説明図である。
【図１１】図１０の撮像素子における画素配列の他の例を示す説明図である。
【図１２】図１の撮像素子における画素配列の他の例を示す説明図である。
【図１３】図２の撮像素子を用いた撮像装置の一例を示す説明図である。
【図１４】図１３の撮像装置を用いた携帯端末の一例を示す説明図である。
【図１５】図１４の携帯端末による拡張現実の応用例を示した説明図である。
【図１６】図１５の仮想物体を拡張現実を用いて携帯端末の表示部に表示した際の一例を示す説明図である。
【図１７】実施の形態２による携帯端末における応用例を示した説明図である。
【図１８】実施の形態３による携帯端末の応用例を示した説明図である。
【図１９】実施の形態４による携帯端末における構成の一例を示した説明図である。
【図２０】実施の形態５による携帯端末の応用例を示す説明図である。
【図２１】図２０の携帯端末における構成の一例を示すブロック図である。
【図２２】図２０の携帯端末を使用者が装着した際のメニュー表示の一例を示す説明図である。
【図２３】図２０の携帯端末による応用例を示す説明図である。
【図２４】図２３の携帯端末による他の応用例を示す説明図である。
【図２５】実施の形態６による撮像装置の応用例を示す説明図である。
【図２６】図２５の撮像装置による他の応用例を示す説明図である。
【発明を実施するための形態】
【００１８】
実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
【００１９】
以下、実施の形態を詳細に説明する。
【００２０】
（実施の形態１）
〈撮像素子の画素構成例〉
図１は、本実施の形態１による撮像素子における構成の一例を示す説明図である。
【００２１】
撮像素子１０は、可視光画素１１および画素１４を有する。これら可視光画素１１および画素１４によってセンサ部が構成される。
【００２２】
可視光画素１１は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の可視光域に感度を持つ色フィルタを有する。非可視光画素１４は、非可視光域に近い近赤外光を受光する画素である。なお、図中、「Ｒ」、「Ｇ」、「Ｂ」と記載しているものが可視光画素１１であり、「ＩＲ」と記載しているものは、非可視光画素１４である。以下、撮像素子の画素を示す図については、同様の記載とする。
【００２３】
可視光画素１１および非可視光画素１４は、格子状のパターンによって配置されており、これらは、いわゆるベイヤー配列されている。ベイヤー配列は、Ｒ画素、Ｇ画素、Ｇ画素、Ｂ画素が１つの組として格子状に配列されるが、図１に示す撮像素子１０の場合には、ベイヤー配列を構成する２つのＧ画素のうち、１つのＧ画素の代わりに非可視光画素１４が配列されている。すなわち図１の左上方のコーナ部から時計回りにＲ画素、Ｇ画素、Ｂ画素、そして非可視光画素１４が配列されている。
【００２４】
よって、Ｒ画素、Ｇ画素、Ｂ画素の可視光画素１１および１つの非可視光画素１４によって１つの組が構成される。１つの組におけるＲ画素、Ｇ画素、Ｂ画素の可視光画素１１は、カラー画像を撮像するために用いられる画素である。非可視光画素１４は、ＴＯＦ（Time-Of-Flight）センサの原理によって距離画像を撮像するために使用される画素である。
【００２５】
可視光域に感度を持つ可視光画素１１は、それぞれ光電変換した電荷をそれぞれ独立して読み出す。一方、非可視光画素１４は、予め設定された個数、例えば４つの非可視光画素１４の電荷を混合して読み出す構成とする。
【００２６】
一般的にカラー画像は、自然界や室内の照明光の可視光を撮像するために、十分な感度を持つように作られる。一方、ＴＯＦセンサは、距離画像を得るために測距に必要な赤外光を照射して、その反射光を光電変換することにより測距画像を得る。そのために光量が可視光に比べて制限がある。
【００２７】
よって、非可視光画素の感度のみを上げればよいことになるが、撮像素子上に光電変換する画素を均一に形成する撮像素子にてＩＲに使用する画素、すなわち非可視光画素のみの感度を上げることは難しい。
【００２８】
そのため、上記した図１の構成のように非可視光画素１４のみ複数の画素を混合して読み出せば、混合した非可視光画素の受光量が約４倍になり、結果として近赤外光（ＩＲ）光に対する信号量を上げることができる。その結果、距離画像に対する信号対ノイズ比（ＳＮ比）を向上することができるので、良好な距離画像を得ることができる。
【００２９】
また、Ｒ画素，Ｇ画素，Ｂ画素は、それぞれ独立して電荷が読み出されるので、解像度の高いカラー画像を得ることができる。さらに、カラー画像および距離画像は、同一フレームタイミング、すなわちフレームレートにて取得することができる。
【００３０】
なお、図１では、上述したように４個の非可視光画素１４を混合して読み出す例を記載したが、混合する非可視光画素１４の個数についてはこれに限るものではない。例えば撮像素子１０の画素数が１６メガピクセルの場合には、混合する非可視光画素１４の数は１６画素程度であってもよい。
【００３１】
〈撮像素子の構成例〉
続いて、撮像素子１０の詳細について説明する。
【００３２】
図２は、図１の撮像素子における構成の一例を示したブロック図である。
【００３３】
撮像素子１０は、図２に示すように可視光画素１１、非可視光画素１４、可視光画素駆動部２１０、非可視光画素駆動部２２０、および出力インタフェース２３０を有する。可視光画素１１は、図１に示したＲ画素、Ｇ画素、Ｂ画素であり、赤（Ｒ）、緑（Ｇ）、青（Ｂ）にそれぞれ感度を持つ画素である。同様に、非可視光画素１４は、図１に示した非可視光域に近い近赤外光を受光する画素である。
【００３４】
可視光画素駆動部２１０は、撮像素子１０が有するＲ画素、Ｇ画素、Ｂ画素の各可視光画素１１を駆動する。非可視光画素駆動部２２０は、撮像素子１０が有する非可視光画素１４を駆動する。この非可視光画素駆動部２２０は、ＴＯＦセンサとしての距離画像を撮像するＩＲ発光制御信号を合わせて出力する。
【００３５】
出力インタフェース２３０は、可視光画素駆動部２１０および非可視光画素駆動部２２０の出力を撮像素子１０の画像信号として出力するインタフェースである。
【００３６】
〈可視光画素駆動部および非可視光画素駆動部の回路例〉
続いて、可視光画素１１の駆動および読み出し動作について説明する。
【００３７】
図３は、図２の撮像素子が有する可視光画素駆動部および非可視光画素駆動部の等価回路図の一例を示す説明図である。
【００３８】
なお、図３では、簡略化するために、可視光画素駆動部２１０は、３つの可視光画素１１に対応する等価回路の構成のみを示しており、非可視光画素駆動部２２０は、４つの非可視光画素１４対応する等価回路の構成のみを示している。
【００３９】
可視光画素駆動部２１０は、スイッチ３２１〜３２３、スイッチ３４１〜３４３、容量素子３３１〜３３３、アンプ３５１、画像データ生成部３５３、および可視光タイミング生成部３５２を有する。
【００４０】
撮像素子１０において、可視光画素１１は、例えばフォトダイオードによって構成されている。スイッチ３２１〜３２３の一方の接続部には、フォトダイオードのカソードがそれぞれ接続されている。
【００４１】
スイッチ３２１〜３２３の他方の接続部には、容量素子３３１〜３３３の一方の接続部およびスイッチ３４１〜３４３の一方の接続部がそれぞれ接続されている。容量素子３３１〜３３３の他方の接続部は、基準電位にそれぞれ接続されている。
【００４２】
スイッチ３４１〜３４３の他方の接続部には、アンプ３５１の入力部に共通接続されており、該アンプ３５１の出力部には、画像データ生成部３５３の入力部が接続されている。この画像データ生成部３５３の出力部から出力される信号が画像データとなる。
【００４３】
スイッチ３２１〜３２３は、Ｒ画素、Ｇ画素、およびＢ画素の各可視光画素１１にて光電変換された電荷を取り入れるスイッチである。容量素子３３１〜３３３は、取り入れた電荷を電圧に変換する。
【００４４】
スイッチ３４１〜３４３は、容量素子３３１〜３３３にそれぞれ蓄えられた電荷を順次読み出す。アンプ３５１は、容量素子３３１〜３３３によって変換された電圧を増幅する読み出し用のアンプである。画像データ生成部３５３は、アンプ３５１が読み出した画素出力を例えばデジタルデータに変換して出力する。
【００４５】
可視光タイミング生成部３５２は、スイッチ３２１〜３２３、スイッチ３４１〜３４３などのオン／オフ駆動を制御する制御信号などを生成する。これにより、後述するタイミングにて各可視光画素１１の読み出しを行う。
【００４６】
また、可視光タイミング生成部３５２は、外部から入力される制御コマンドである設定パラメータが入力されるように接続されており、該設定パラメータに基づいて、露光時間などのタイミングパラメータを設定することができる。
【００４７】
設定パラメータによって設定されたタイミングパラメータは、可視光タイミング生成部３５２が有する図示しないレジスタなどに格納される。設定パラメータは、例えば撮像素子１０を制御するマイクロコンピュータなどから出力される。
【００４８】
非可視光画素駆動部２２０は、スイッチ３６１〜３６４、容量素子３７１〜３７４、アンプ３８１〜３８４、距離データ演算生成部３８６、および非可視光タイミング生成部３８２を有する。スイッチ３６１〜３６４は、第１のスイッチ部を構成する。容量素子３７１〜３７４は、第１の容量部を構成する。アンプ３８１〜３８４は、増幅部となる。
【００４９】
非可視光画素１４においても、可視光画素１１と同様にフォトダイオードによって構成されている。４つの非可視光画素１４であるフォトダイオードのカソードは、共通接続されて、同じく共通接続されたスイッチ３６１〜３６４の一方の接続部に接続されている。
【００５０】
スイッチ３６１〜３６４の他方の接続部には、容量素子３７１〜３７４の一方の接続部およびアンプ３８１〜３８４の入力部がそれぞれ接続されている。アンプ３８１〜３８４の出力部には、距離データ演算生成部３８６の入力部が接続されており、該距離データ演算生成部３８６の出力部からは、距離データを含む距離画像が出力される。
【００５１】
ここでは、図１にて説明したように４つの非可視光画素１４の電荷を混合して読み出す場合を例にしているが、混合して読み出す非可視光画素１４は４つに制限されない。例えば８つの非可視光画素１４の電荷を混合して読み出す際には、共通接続された８つの非可視光画素１４であるフォトダイオードのカソードと８つのスイッチとが共通接続された構成となる。
【００５２】
残りの静電容量およびアンプについても、混合して読み出す可視光画素１１の数と同じだけ設けられた構成となる。よって、８つの静電容量および８つのアンプがそれぞれ設けられ、８つのアンプの出力部は、距離データ演算生成部３８６の入力部がそれぞれ接続される。
【００５３】
スイッチ３６１〜３６４は、共通接続された非可視光画素１４にて光電変換された電荷を取り入れるスイッチである。容量素子３７１〜３７４は、取り入れた電荷を電圧に変換する。
【００５４】
なお、図５では、スイッチ３６１〜３６４が非可視光画素駆動部２２０に設けられた構成としたが、これらスイッチ３６１〜３６４は、撮像素子１０に設けられる構成としてもよい。
【００５５】
アンプ３８１〜３８４は、容量素子３７１〜３７４によって変換された電圧を増幅する。距離画像演算部である距離データ演算生成部３８６は、アンプ３８１〜３８４から出力される読み出した画素出力を例えばデジタルデータに変換して出力するとともにＴＯＦ演算を行い、距離画像の画素データを算出した距離画像を出力する。
【００５６】
タイミング制御部となる非可視光タイミング生成部３８５は、非可視光画素１４の読み出しを行うスイッチ３６１〜３６４などをオン／オフさせる制御信号を生成する。この非可視光タイミング生成部３８５には、可視光タイミング生成部３５２が出力するフレームタイミングおよび設定パラメータがそれぞれ入力されるように接続されている。このフレームタイミングが撮像素子１０から読み出されるカラー画像のフレームレートになる。
【００５７】
〈読み出し動作例〉
図４は、図３の可視光画素駆動部および非可視光画素駆動部による電荷の読み出しタイミングの一例を示すタイミングチャートである。
【００５８】
図４の上方から下方にかけて、フレームタイミング、Ｒ画素露光、Ｂ画素露光、Ｂ画素露光、Ｒ画素読み出し、Ｂ画素読み出し、Ｂ画素読み出し、非可視光画素露光、および非可視光画素混合読み出しの信号タイミングをそれぞれ示している。
【００５９】
フレームタイミングは、カラー画像の映像の露光取得のタイミングを示す信号である。Ｒ画素露光は、Ｒ画素である可視光画素１１の露光タイミングであり、該可視光画素１１が光を取り込んでいる期間を示す。Ｇ画素露光は、Ｇ画素である可視光画素１１の露光タイミングである。Ｂ画素露光は、Ｂ画素である可視光画素１１の露光タイミングである。図４のＲ画素露光、Ｇ画素露光、およびＢ画素露光のＨｉ信号期間が第２の露光期間となる。
【００６０】
Ｒ画素読み出しは、Ｒ画素である可視光画素１１の読み出しタイミングである。Ｇ画素読み出しは、Ｇ画素である可視光画素１１の読み出しタイミングである。Ｂ画素読み出しは、Ｂ画素である可視光画素１１の読み出しタイミングである。
【００６１】
非可視光画素露光は、４つの非可視光画素１４による露光のタイミングであり、非可視光画素混合読み出しは、４つの非可視光画素１４を混合した電荷の読み出しタイミングである。この非可視光画素露光におけるＨｉ信号とＬｏ信号との繰り返し期間が第１の露光期間となる。
【００６２】
まず、可視光画素駆動部２１０による読み出し処理について説明する。
【００６３】
Ｒ画素、Ｇ画素、Ｂ画素の各可視光画素１１は、フレームタイミングを基準として、露光および読み出しが行われる。Ｒ画素、Ｇ画素およびＢ画素の各可視光画素１１は、それぞれの露光がＲ画素露光、Ｇ画素露光、およびＢ画素露光のＨｉ信号のタイミングにて露光が行われる。
【００６４】
Ｒ画素露光、Ｇ画素露光、およびＢ画素露光に示す信号がＨｉ信号からＬｏ信号に遷移すると、可視光タイミング生成部３５２からスイッチ３２１〜３２３をそれぞれオンする制御信号が出力されてスイッチ３２１〜３２３がオンとなる。それによって、各々の可視光画素１１の電荷が容量素子３３１〜３３３に転送される。
【００６５】
そして、Ｒ画素読み出しのＨｉ信号の期間において、スイッチ３４１がオンすることによって容量素子３３１の電荷がアンプ３５１に出力される。Ｇ画素読み出しのＨｉ信号期間において、スイッチ３４２がオンすることによって容量素子３３２の電荷がアンプ３５１に出力される。Ｂ画素読み出しのＨｉ信号期間において、スイッチ３４３がオンすることによって容量素子３３３の電荷がアンプ３５１に出力される。
【００６６】
これらスイッチ３４１〜３４３をオンする制御信号は、可視光タイミング生成部３５２から出力される。これにより、容量素子３３１〜３３３の電荷が順次アンプ３５１に出力され、電荷の読み出し処理が終了となる。
【００６７】
続いて、非可視光画素駆動部２２０による読み出し処理について説明する。
【００６８】
４つの非可視光画素１４は、図４の非可視光画素露光に示すようにフレームタイミングのＨｉ信号の期間に繰り返して非可視光画素露光処理が行われる。
【００６９】
図４の非可視光画素混合読み出しの下方に示した信号タイミングは、上述した非可視光画素露光処理のタイミングを示したものであり、上方から下方にかけては、近赤外光発光、反射光、露光ａ、露光ｂ、露光ｃ、および露光ｄの信号タイミングをそれぞれ示している。
【００７０】
近赤外光発光は、後述する図１３の撮像装置が有するＩＲ光源部１１０３が発光する近赤外光の発光タイミングである。反射光は、被写体から反射される光のタイミングである。露光ａ、露光ｂ、露光ｃ、および露光ｄは、混合して読み出される４つの非可視光画素１４におけるそれぞれの露光タイミングである。
【００７１】
まず、非可視光タイミング生成部３８５は、発光タイミング信号を生成してＩＲ光源部１１０３に出力する。発光タイミング信号は、ＩＲ光源部１１０３によって近赤外光を発光させる信号であり、例えばＨｉ信号の発光タイミング信号に基づいて、ＩＲ光源部１１０３は、近赤外光を発光する。
【００７２】
光源部であるＩＲ光源部１１０３が近赤外光を発光すると、図示するように露光ａから露光ｄにかけて順次露光が行われる。よって、非可視光タイミング生成部３８５は、露光ａ〜露光ｄが終了する毎にスイッチ３６１〜３６４が順次オンするように制御信号を出力する。
【００７３】
例えば露光ａにおいて、該露光ａに対応する非可視光画素１４の露光が終了すると、スイッチ３６１がオンされる。続いて、露光ｂにおいて、該露光ｂに対応する非可視光画素１４の露光が終了すると、スイッチ３６２がオンされる。
【００７４】
ＩＲ光源部１１０３が発光する近赤外光の反射光は、被写体までの距離に応じて時間ｔ１遅れて撮像素子１０に到達する。時間ｔ１分遅れにて到達した近赤外光は、露光ａから露光ｄのＨｉ信号の期間の露光タイミングにてそれぞれ電荷が容量素子３７１〜３７４にそれぞれ蓄積される。
【００７５】
図４に示す場合には、露光ａの露光タイミングでは、ハッチングによって示した時間ｔ２の期間の反射光が光電変換され、光電変換された電荷Ｑａが容量素子３７１に蓄積される。露光ｂの露光タイミングでは、同様にハッチングによって示した時間ｔ３の期間の反射光が光電変換され、光電変換された電荷Ｑａが容量素子３７２に蓄積される。
【００７６】
従って、被写体までの距離に応じて近赤外光の反射光が時間ｔ１遅れて、露光ａのＨｉ信号の期間、露光期間ｂのＨｉ信号の期間にて光電変換されて蓄積される電荷量が変わるため、電荷Ｑａ，Ｑｂの電荷量から被写体までの距離を距離データ演算生成部３８６によって算出することができる。
【００７７】
また、電荷Ｑａと電荷Ｑｂとの比から距離を求めることもできる。電荷Ｑａと電荷Ｑｂの比により距離を求める場合は、被写体の反射率の差や近赤外光の光源以外の外乱の近赤外光の影響を除去することが可能である。
【００７８】
露光ｃおよび露光ｄは、被写体までの距離がさらに長い場合、言い換えれば近赤外光の反射時間がより長い場合にも非可視光画素１４の出力から測距を行うことができ、測距精度を保ってと測距範囲を伸ばすことが可能である。
【００７９】
なお、本実施の形態１では、露光ａ〜露光ｄの４位相の例を示したが、検出位相の数についてはこの限りではない。
【００８０】
１フレーム間の非可視光画素露光にて繰り返し蓄積された非可視光画素１４の電荷を混合した読み出しは、フレームタイミングの最後に非可視光混合画素読み出しのＨｉ信号のタイミングにて行われる。非可視光混合画素読み出しは、距離データ演算生成部３８６が算出した被写体までの距離を算出して距離画像を出力する処理である。
【００８１】
また、ＩＲ混合画素読み出しのタイミングを１フレームではなく、数フレームに１回読み出すようにすれば、非可視光画素１４の蓄積光量をさらに稼ぐことができ、距離画像のＳＮ比をより上げることができる。
【００８２】
以上説明したように、４つの非可視光画素１４の電荷を混合して読み出すことにより、混合した非可視光画素１４の受光量がほぼ混合画素数分の倍数になり、結果として近赤外光に対する信号量を上げることができる。
【００８３】
それにより、距離画像に対する信号対ノイズ比（ＳＮ比）を上げることができるので、良好な距離画像を得ることができる。また、Ｒ画素，Ｇ画素，Ｂ画素の各可視光画素１１については、それぞれ個別に電荷が読み出されるので、解像度の高いカラー画像を得ることができる。さらに、カラー画像および距離画像を同一フレームタイミングにて取得することができる。
【００８４】
撮像素子の画素ピッチをより細かくして解像度を増やした場合、非可視光画素１４の画素数を増やすことができる。その結果、電荷を混合して読み出す非可視光画素１４の数を増加させることができるので、近赤外光に対する信号量をより上げることができる。
【００８５】
以上により、解像度の高いカラー画像とＳＮ比の高い距離画像とを取得することのできる撮像素子１０を提供することができる。
【００８６】
〈非可視光画素駆動部の回路例〉
図５は、図３の非可視光画素駆動部の等価回路図における他の例を示す説明図である。
【００８７】
図５の非可視光画素駆動部２２０が図３の非可視光画素駆動部２２０と異なるところは、第２のスイッチ部となるスイッチ３９１〜３９４が新たに設けられている点である。これらスイッチ３９１〜３９４は、非可視光タイミング生成部３８５から出力される制御信号に基づいてオン／オフが制御される。スイッチ３９１〜３９４は、電荷を混合する非可視光画素１４の電荷を読み出す読み出し用のスイッチである。
【００８８】
スイッチ３９１〜３９４の一方の接続部には、非可視光画素１４を構成するフォトダイオードのカソードがそれぞれ接続されている。スイッチ３９１〜３９４の他方の接続部は、スイッチ３６１〜３６４の一方の接続部に共通接続されている。その他の接続構成について、図３と同様であるので、説明は省略する。
【００８９】
例えば図示している４つの非可視光画素１４の電荷を混合して読み出す場合には、非可視光タイミング生成部３８５は、スイッチ３６１〜３６４をすべてオンするように制御信号を出力する構成となる。
【００９０】
また、非可視光タイミング生成部３８５は、外部から入力される設定情報である設定パラメータに基づいて、非可視光画素１４であるフォトダーオードに接続されるスイッチ３９１〜３９４のオンタイミングを変更することができる。このように、オンさせるスイッチ数を任意に変更することができるので、電荷を混合させる非可視光画素１４の数を容易に変更することができる。
【００９１】
これにより、距離画像の生成に必要な非可視光画素１４の信号量に応じて混合画素数を短時間で容易に変更することができるので、ＳＮ比の良好な距離画像を生成することができる。
【００９２】
〈読み出しタイミング例〉
図６は、図４の読み出しタイミングの他の例を示すタイミングチャートである。
【００９３】
図４では、１フレームのフレームタイミング期間における読み出し例を示したが、この図６は、３フレームのフレームタイミング期間における読み出し例を示している。
【００９４】
図６の上方から下方にかけては、フレームタイミング、Ｒ画素露光、Ｇ画素露光、Ｂ画素露光、Ｒ画素読み出し、Ｂ画素読み出し、Ｂ画素読み出し、非可視光画素露光、および非可視光画素混合読み出しの信号タイミングをそれぞれ示している。
【００９５】
図４に示した例では、近赤外光露光における非可視光画素露光処理が１フレームの期間に繰り返し行われていたが、図６に示す例では、３フレームの期間に渡って繰り返し非可視光画素露光処理が行われる。その後、図６の非可視光画素混合読み出しのＨｉ信号の期間にて電荷の読み出しが行われる。
【００９６】
よって、可視光画素１１のフレームタイミングの３フレーム期間の間、非可視光画素露光処理を続けてから、混合した電荷が読み出される。このように、非可視光画素１４の電荷の読み出しをフレームレートの１／３とすることにより、撮影環境などに応じた可視光画像と距離画像を得ることができる。
【００９７】
この図６の例は、非可視光画素１４の電荷の読み出しをフレームレートの１／３とする例を示したが、フレームレートの１／Ｎ（Ｎは整数）とすることにより、撮影環境などに応じた良好な可視光画像と距離画像を得ることができる。
【００９８】
読み出しタイミングである１／Ｎの設定は、例えば外部から入力される設定パラメータによって設定する。非可視光タイミング生成部３８５は、入力された設定パラメータに基づいて、読み出しタイミングがフレームレートの１／Ｎとなるようにスイッチ３６１〜３６４のオン／オフのタイミングを制御する。
【００９９】
以上により、非可視光画素１４の電荷の混合量を可変にすることおよび読み出しタイミングを可視光画素１１のフレームレートに対して例えば１／Ｎ（Ｎは整数）にすることを容易に行うことができる。
【０１００】
これによって、距離画像の解像度を保ってＳＮ比を上げたい場合には、非可視光画素１４の読み出しタイミングをフレームレートの１／Ｎとし、読み出しタイミングを可視光画素１１のフレームタイミングと同じにしたい場合には、混合する非可視光画素１４の数を増やしてＳＮ比を上げる、といった使用を可能とすることができる。
【０１０１】
〈色フィルタについて〉
図７は、図１の撮像素子における可視光画素が有する色フィルタの光の帯域通過特性の一例を示した説明図である。
【０１０２】
図７において、上方から下方にかけては、Ｂ画素の可視光画素に用いられる青の波長帯域の色フィルタ、Ｇ画素の可視光画素に用いられる緑の波長帯域の色フィルタ、Ｒ画素の可視光画素に用いられる赤の波長帯域の色フィルタ、および非可視光画素１４に用いられる近赤外の波長帯域の色フィルタの特性をそれぞれ示している。
【０１０３】
また、図８は、本発明者の検討による距離画像を撮像しないカラー画像用の撮像素子に用いられる色フィルタの構成例を示したものである。
【０１０４】
距離画像を撮像しないカラー画像用の撮像素子６０３では、Ｂ画素には緑と近赤外光（Ｂ＋ＩＲ）、Ｇ画素には緑と近赤外光（Ｇ＋ＩＲ）、Ｒ画素には赤と近赤外光（Ｂ＋ＩＲ）の帯域を使った図示しない色フィルタがそれぞれ用いられる。
【０１０５】
また、近赤外光の成分は不要であるので、マイクロレンズ６０１と撮像素子６０３との間の光軸上に可視光波長域のみを通過させて、近赤外光の成分をカットするＩＲカットフィルタ６０２が形成されており、色信号生成に不要な近赤外光を除去する構成としている。マイクロレンズは、撮像素子６０３が有する各画素上に形成されており、各々の該画素に光を取り込むレンズである。
【０１０６】
一方、図１に示す撮像素子１０の場合は、図７に示す光の帯域通過特性を有するフィルタが用いられる。例えばＢ画素である可視光画素１１の場合には、図７の上方に示す青の波長帯域を取り込む色フィルタを用いる。
【０１０７】
同様に、Ｇ画素である可視光画素１１の場合には、図７の緑の波長帯域を取り込む色フィルタを用い、Ｒ画素である可視光画素１１の場合には、図７の赤の波長帯域を取り込む色フィルタを用いる。これにより、カラー画像生成に不要な近赤外光の成分を効率よくカットすることができる。
【０１０８】
また、非可視光画素１４の場合には、距離画像に必要な近赤外光の成分を取り込むことができるように近赤外の波長帯域を取り込む色フィルタを用いる。このような色フィルタを用いることによって、良好なカラー画像および距離画像をほぼ同時に取得することができる。
【０１０９】
〈画素配置例〉
図９は、図１の撮像素子における画素配列の他の例を示す説明図である。
【０１１０】
図９の撮像素子１０の画素配列は、図１に示した撮像素子１０に対してＧ画素とＩＲ画素が入れ替わった配列となっている。すなわち、図９の左上方のコーナ部から時計回りにＲ画素の可視光画素１１、非可視光画素１４、Ｂ画素の可視光画素１１、そしてＧ画素の可視光画素１１の順に配列されている。
【０１１１】
図１０は、図９の撮像素子における画素配列の他の例を示す説明図である。
【０１１２】
図９では、格子状に配列された画素において、１画素置きに非可視光画素１４が配列された例を示しているが、図１０（ａ）では、非可視光画素１４が格子状に配列された画素において、行方向および列方向のいずれにも３画素置きに配列された例を示している。
【０１１３】
また、図１０（ａ）は、図１に示す画素配列において、非可視光画素１４が格子状に配列された画素において、行方向および列方向のいずれにも３画素置きに配列された例を示している。
【０１１４】
図１０（ａ）および図１０(ｂ）に示す画素配列とすることによっても、可視光画素１１の数を増加させることができるので、カラー画像の解像感および可視光感度を上げることができる。
【０１１５】
図１１は、図１０の撮像素子における画素配列の他の例を示す説明図である。
【０１１６】
図１１（ａ）〜図１１（ｄ）は、非可視光画素１４を行方向に２画素および列方向に２画素隣接して配置した例を示している。このように、非可視光画素１４を行方向および列方向に隣接して配置することにより、撮像素子１０における非可視光画素１４と可視光画素１１との配線の形成を容易にすることができる。
【０１１７】
図１２は、図１の撮像素子における画素配列の他の例を示す説明図である。
【０１１８】
この図１２に示す撮像素子１０における配列では、非可視光画素１４を斜め方向に１画素置きに配置している例を示している。
【０１１９】
カラー画像のみを取得する撮像素子のフォトダイオードは、緑の波長域が最も感度が高いが、それよりも長波長側に感度のピークをもつ撮像素子の場合は、図１２に示す画素の配置とすることによって、例えば図１や図９に示した非可視光画素１４の配置と比べてＲ画素、Ｇ画素、Ｂ画素の密度を上げることができる。その結果、可視光感度を上げることができる。
【０１２０】
以上、図１、図９〜図１２において。様々な画素の配置例を示したが、可視光画素１１および非可視光画素１４の配置は、これらに限るものではない。
【０１２１】
〈撮像装置の構成例〉
図１３は、図２の撮像素子を用いた撮像装置の一例を示す説明図である。
【０１２２】
撮像装置１１００は、光学レンズ部１１０１、撮像素子１０、ＩＲ光源部１１０３、およびカメラ制御部１１０４を有する。光学レンズ部１１０１は、被写体などの像を結像させる。
【０１２３】
撮像素子１０は、図２と同じであり、カラー画像および距離画像を取得する。ＩＲ光源部１１０３は、近赤外光を照射する。カメラ制御部１１０４は、撮像素子１０の露光時間およびカラー画像のホワイトバランスなどを制御する。ＩＲ光源部１１０３は、図４に示した撮像素子１０にて生成される近赤外光の発光タイミングにて発光が制御される。
【０１２４】
図１３に示すように、図２の撮像素子１０を用いて撮像装置１１００を構成することにより、ＳＮ比の良好な距離画像と解像度の高いカラー画像とを得ることができる。さらに、カラー画像および距離画像を同一フレームタイミングにて取得することができる撮像装置１１００を提供することができる。
【０１２５】
なお、図１３では、露光およびホワイトバランスをカメラ制御部１１０４がそれぞれ制御する構成としたが、例えば撮像素子１０が出力する画像信号により、撮像装置１１００の外部にて露光およびホワイトバランスなどを制御する構成としてもよい。
【０１２６】
距離画像とカラー画像とを同時に得る方法としては、カラー画像用撮像素子および距離画像用の撮像素子を別々に搭載することが広く行われている。しかしながら、別々の撮像素子により距離画像およびカラー画像を同時に得る場合には、カラー画像用撮像素子と距離画像用の撮像素子との視野（画角）を合わせ込む必要があり、その調整コストが大きくなってしまう。
【０１２７】
これに対して、図１３に示す構成の撮像装置１１００では、１個の撮像素子１０を使用するのみであるため、撮像素子の個数によるコストメリットおよび調整コストの削減などを行うことができる。
【０１２８】
〈携帯端末の構成例〉
図１４は、図１３の撮像装置を用いた携帯端末の一例を示す説明図である。
【０１２９】
携帯端末１２００は、例えばタブレットやスマートフォンなどからなる。この携帯端末１２００は、図１４に示すように、通信インタフェース１２１３、制御部１２１４、表示部１２１７、ボタン１２１５、マイク１２６１、スピーカ１２６２、信号分離部１２２１、チューナ／復調部１２２２、ストレージ１２２５、移動体通信インタフェース１２３１、メモリ１２３２、加速度センサ部１２３３、地磁気センサ部１２３４、ＧＰＳ受信部１２３５、ジャイロセンサ部１２３６、撮像装置１１００、撮像装置１１００ａ、スイッチ入力部１２５０、および音声入出力部１２６０を有する。また、ボタン１２１５、マイク１２６１、スピーカ１２６２を除く各機能部は、バス１２０１を介してそれぞれ接続されている。
【０１３０】
ストレージ１２２５は、アプリケーションプログラムを格納しており、制御部１２１４が該ストレージ１２２５からアプリケーションプログラムをメモリ１２３２に展開して、制御部１２１４が展開したアプリケーションプログラムを実行することにより、各種機能を実現することができる。
【０１３１】
以後の説明では、説明を簡単にするため、制御部１２１４が各アプリケーションプログラムを実行して実現する各種機能を、各種プログラム機能部が主体となって実現することとして説明する。
【０１３２】
なお、アプリケーションプログラムは、携帯端末１２００が出荷されるまでに予めストレージ１２２５に格納されていてもよいし、ＣＤ（Compact Disk）やＤＶＤ（Digital Versatile Disk）などの光学メディアや半導体メモリ等の媒体に格納されて図示しない媒体接続部を介して携帯端末１２００にインストールされてもよい。
【０１３３】
また、通信インタフェース１２１３および図示しない無線ルータを介して図示しない外部ネットワークからダウンロードしてインストールしてもよい。若しくは移動体通信インタフェース１２３１を介して図示しない基地局を介して配信元からダウンロードしてインストールしてもよい。
【０１３４】
さらに、ネットワークを介してアプリケーションプログラムを取得したパーソナルコンピュータに図示しない外部機器接続インタフェースを介して接続し、該パーソナルコンピュータから携帯端末１２００にムーブまたはコピーしてインストールすることも可能である。
【０１３５】
また、アプリケーションプログラムは、同様の機能を持つ処理部として、ハードウェアで実現することも可能である。ハードウェアとして実現する場合は、各処理部が主体となって各機能を実現する。
【０１３６】
通信インタフェース１２１３は、無線ＬＡＮ（Local Area Network）などにより、図示しない無線ルータに接続される。また、通信インタフェース１２１３は、無線ルータを介して外部ネットワークに接続され、該外部ネットワーク上のサーバなど情報の送受信を行う。
【０１３７】
無線ルータとの通信機能に加えて、またはこれに替えて、Ｗｉ‐Ｆｉ（登録商標）などの無線ＬＡＮなどの技術にて、無線ルータを介さずにサーバと直接通信することが可能である。
【０１３８】
通信インタフェース１２１３は、異なる通信方式を行うチップをそれぞれ実装してもよい。また、複数の通信方式を扱う１つのチップとして実装されていてもよい。近接通信用のBLUETOOTH（登録商標）と呼ばれる通信方式を用いて、他の機器と通信を行うこともできる。
【０１３９】
移動体通信インタフェース１２３１は、第３世代移動通信システム、またはＬＴＥ（Long Term Evolution）方式やその次世代５Ｇ通信などの移動体通信網を利用して基地局を通して通信ネットワークに接続され、通信ネットワーク上のサーバーと情報の送受信を行うことができるし、端末間でお互いの位置を共有することも可能である。
【０１４０】
第３世代移動通信システム（以下「３Ｇ」と表記する）は、ＧＳＭ（登録商標）（Global System for Mobile Communications）方式、Ｗ−ＣＤＭＡ(Wideband Code Division Multiple Access)方式やＣＤＭＡ２０００方式、ＵＭＴＳ（Universal Mobile Telecommunications System）方式などである。
【０１４１】
また、通信インタフェース１２１３による外部ネットワークとの接続を移動体通信インタフェース１２３１による通信ネットワーク接続より優先するようにすることもできる。
【０１４２】
制御部１２１４は、ユーザの操作要求をボタン１２１５からスイッチ入力部１２５０、またはマイク１２６１から音声入出力部１２６０を経由して受け取り、信号分離部１２２１、表示部１２１７、通信インタフェース１２１３、および各種プログラム機能部を制御する。
【０１４３】
さらに、制御部１２１４は、通信インタフェース１２１３および無線ルータを経由して外部ネットワーク、または移動体通信インタフェース１２３１および基地局を経由して外部ネットワーク上のサーバーから各種情報を取得でき、各種プログラム機能部に渡す機能も有する。
【０１４４】
ストレージ１２２５は、制御部１２１４の指示により制御され、アプリケーションプログラムを保存することができる。また、アプリケーションプログラムで作成した各種情報を保存する。
【０１４５】
チューナ／復調部１２２２、通信Ｉ／Ｆ１２１３、または移動体通信Ｉ／Ｆ１２３１から受信した信号から映像音声ストリーム等のコンテンツを保存してもよい。ストレージ１２２５は、携帯端末１２００に内蔵されたものでもよいし、携帯端末１２００に着脱可能な可搬型のメモリでもよい。
【０１４６】
メモリ１２３２は、制御部１２１４の指示により制御される。制御部１２１４によってメモリ１２３２に、ストレージ１２２５に格納しているアプリケーションプログラムの機能部が展開される。
【０１４７】
表示部１２１７は、ストレージ１２２５に格納された画像や映像、放送／配信された映像、各種操作をするためのＵＩなど、表示する画像、映像はアプリケーションプログラムで生成された画像でもよい。
【０１４８】
あるいはチューナ／復調部１２２２を介して受信したコンテンツの画像、映像でもよく、通信インタフェース１２１３を介して外部ネットワーク上のサーバーから受信した画像、映像でもよい。
【０１４９】
また、通信インタフェース１２１３を介してテレビ受信機から受信した画像、映像でもよく、移動体通信インタフェース１２３１を介して通信ネットワーク上のサーバーから配信された画像、映像でもよい。表示部１２１７は、例えば後述するタッチパネルなどと一体として構成されてもよい。
【０１５０】
ボタン１２５１は、ユーザからの携帯端末１２００に対する操作を受け付け、入力操作に関する制御情報を入力する入力部であり、例えば、タッチパネルなどを用いることができる。
【０１５１】
以下、図１４に示す例では、タッチパネルを使用した例について説明するが、各種操作は物理的なボタンを用いる構成でもよい。タッチパネルを使用することにより、ドラッグ操作あるいはフリック操作などによってオブジェクトなどを自由に移動したりすることができる。
【０１５２】
ドラッグ操作は、例えばタッチパネル上のアイコンなどの任意のオブジェクトを指でタッチした状態にて移動する操作である。フリック操作は、画面上において指をはじくようにして動かす操作である。
【０１５３】
タップ操作またはダブルタップ操作を行うと、アイコンなどのオブジェクトを活性化したり別の画面に切り替えたりすることができる。タップ操作は、オブジェクトなどを指により１回叩く操作である。ダブルタップ操作は、オブジェクトなどを指により２回叩く操作である。ここでは、上述のタッチパネルの各操作をドラッグ操作、フリック操作、タップ操作と称して説明する。
【０１５４】
チューナ／復調部１２２２および信号分離部１２２１は、それぞれテレビ受信機のチューナ／復調、信号分離を行う。加速度センサ部１２３３は、携帯端末１２００にかかる加速度を測定する。
【０１５５】
制御部１２１４は、例えば加速度センサ部１２３３により重力加速度を測定することによって、携帯端末１２００のどの部分が上方であるのかを知ることができ、表示部１２１７に表示させる画面の上方を加速度センサ部１２３３が測定した上方と合わせるように表示させる。これによって、ユーザによる携帯端末１２００の持ち方に合わせた画面を表示させることができる。
【０１５６】
地磁気センサ部１２３４は、複数の磁気センサを利用するなどして地磁気を測定する。ＧＰＳ受信部１２３５は、ＧＰＳ（Global Positioning System）を利用して複数の衛星から送信される信号を受信する。制御部１２１４は、ＧＰＳ受信部１２３５が受信した信号を基に、携帯端末１２００の位置情報を計算することができる。
【０１５７】
ジャイロセンサ部１２３６は、携帯端末１２００をユーザが動かした場合などに発生する携帯端末１２００の角速度を測定する。撮像装置１１００および撮像装置１１００ａは、いずれも図１３にて示した撮像装置１１００からなる。
【０１５８】
例えば撮像装置１１００は、正面の風景や人物を撮影するいわゆるアウトカメラ用に、撮像装置１１００ａは、ビデオ通話や自撮りが主な目的のインカメラとして用いられる。
【０１５９】
撮像装置１１００にて撮影された画像は、ストレージ１２２５に記録される。この画像の記録は、制御部１２１４がストレージ１２２５に記録されているカメラ制御のプログラムに従って制御部２１４が制御する。
【０１６０】
また、制御部１２１４は、撮像装置１１００などにて取得した画像やそれに加えてストレージ１２２５などに記憶された仮想物体の３次元データなどを表示部１２１７に重畳表示する制御を行う。
【０１６１】
音声入出力部１２６０は、携帯端末１２００に装備されたマイク１２６１からの音声入力信号およびスピーカ１２６２への音声出力信号を入出力するものであり、制御部１２１４にてその音声入出力のボリュームの制御が行われる。
【０１６２】
スイッチ入力部１２５０は、物理的なボタン１２５１の操作に応じてスイッチ情報を取り込み、バス１２０１を通じて制御部１２１４に取り込まれ、必要に応じて各種アプリケーションプログラムの制御に使用される。
【０１６３】
一例としては、ボタン１２５１の２個のボタンに応じて音声出力の大きさ調整、すなわちボリュームのアップダウンの制御に使用される。なお、ボタン１２５１の数は、１個でも複数でもよい。
【０１６４】
続いて、上述した図１４の携帯端末を用いた応用例を説明する。
【０１６５】
〈応用例〉
図１５は、図１４の携帯端末による拡張現実の応用例を示した説明図である。
【０１６６】
近年、カラー画像、距離画像を用いて撮影した画面上に実際には存在しない仮想物体を重畳表示する拡張現実（Augmented Reality、以下ＡＲという）が携帯端末の応用例として注目を集めている。
【０１６７】
図１５は、携帯端末１２００を持った使用者１３０１がテーブル１３０４を撮影している状況を示したものである。この場合、表示部１２１７と対向する裏面に設けられるアウトカメラとして取りつけられた撮像装置１１００にて撮像している。
【０１６８】
図１５の点線で示す仮想物体１３０３は、携帯端末１２００の中で大きさおよび携帯端末１２００までの距離が定義された仮想の物体であり、実際には存在しない。使用者１３０１は、手のひら１３０５を仮想物体１３０３の前にかざしている様子を示している。
【０１６９】
〈表示例〉
図１６は、図１５の仮想物体を拡張現実を用いて携帯端末の表示部に表示した際の一例を示す説明図である。
【０１７０】
図１６（ａ）および図１６（ｂ）は、いずれも拡張現実（ＡＲ）アプリケーションとして画像合成表示を行った一例を示している。図１６（ａ）において、携帯端末１２００の表示部１２１７には、カラー画像で得られたテーブル１３０４、使用者のかざしている手のひら１３０５に加えて、テーブルと同じ距離にある仮想物体１３０３がそれぞれ表示されている。
【０１７１】
図１６（ｂ）は、手のひら１３０５が画面の奥行方向にある場合の表示例を示している。図示するように、仮想物体１３０３と携帯端末１２００との距離がより近くにあるときは、仮想物体１３０３の奥に手のひら１３０５があるように表示する。
【０１７２】
距離画像より得られる各画素位置において、例えば画素のデータの大きい値のところは近い距離、小さいほど遠い距離として距離画像が得られる。そのため、仮想物体の定義された距離より遠いところに手のひら１３０３がある画素位置には仮想物体を重畳表示する。
【０１７３】
また、仮想物体の定義された距離より近いところに手のひら１３０３がある画素位置には、カラー画像を表示することが可能となり、使用者１３０１が楽しめるアプリケーションを提供することができる。
【０１７４】
このような用途において、カラー画像、距離画像同時に１フレームごとに撮影することができるため、手のひら１３０５が前後に動かされた場合に、仮想物体１３０３の重畳表示を滑らかに表示することができる。さらに、カラー画像は、画素数の多い解像度の高い画像表示が可能となる。
【０１７５】
また、距離画像を用いて、カラー画像を基に３次元画像キャプチャデータを生成することが行われているが、その際、距離画像に対してカラー画像のエッジなどを合成して高精細な３Ｄ（Dimensions）画像データを生成する場合に、距離画像とカラー画像で時間ずれのない画像を用いることができる。
【０１７６】
ゼスチャ入力により他のものを制御する場合などにも、距離画像とカラー画像の時間ずれがないので、フレームレートを上げることができる。それによって、ゼスチャ入力の応答性を高めることができる。
【０１７７】
（実施の形態２）
〈応用例２〉
図１７は、本実施の形態２による携帯端末における応用例を示した説明図である。
【０１７８】
この図１７では、図１４の携帯端末１２００における拡張現実の応用例を示している。
【０１７９】
図１７（ａ）および図１７（ｂ）は、使用者１４０１が携帯端末１２００のインカメラである図１４の撮像装置１１００ａを用いた自撮りによって、図１４の撮像装置１１００ａを用いてビデオ通話などを行っている場合などを示したものである。
【０１８０】
図１７（ａ）においては、撮像装置１１００ａによって使用者１４０１が撮影されたカラー画像がそのまま表示部１２１７に表示されている。よって、壁などの部屋の背景も表示部１２１７に表示される。
【０１８１】
ここで、撮像装置１１００ａは、距離画像も撮像しているので、それを用いて、図１７（ｂ）に示すように、使用者１４０１より遠くある背景を予め設定された背景画面に重畳して表示部１２１７に表示する。背景画面は、例えば図１４のストレージ１２５５などに記憶されたものを用いる。
【０１８２】
これにより、使用者１４０１が楽しめる機能を提供することができる。
【０１８３】
（実施の形態３）
〈応用例３〉
図１８は、本実施の形態３による携帯端末の応用例を示した説明図である。
【０１８４】
この図１８では、図１４の携帯端末による拡張現実の応用例について示している。図１８においては、携帯端末１２００によって例えばインターネットを閲覧しており、インターネット上のコンテンツを表示部１２１７に表示している様子を示している。
【０１８５】
この時、携帯端末１２００のインカメラである図１４の撮像装置１１００ａを動作させることにより、携帯端末１２００を使用している使用者の顔までの距離を距離画像から求める。そして、求めた距離に応じて表示コンテンツ１６０１や表示コンテンツ１６０２のフォントサイズを拡大、縮小制御する。
【０１８６】
例えば使用者の顔までの距離が遠い場合には、表示コンテンツ１６０１，１６０２のフォントサイズを拡大する。使用者の顔までの距離が近い場合には、表示コンテンツ１６０１，１６０２のフォントサイズを縮小する。
【０１８７】
これにより、表示コンテンツ１６０１，１６０２を認識しやすくすることができ、使用者の目の負担などを軽減することができる。
【０１８８】
（実施の形態４）
〈応用例４〉
図１９は、本実施の形態４による携帯端末における構成の一例を示した説明図である。
【０１８９】
図１９に示す携帯端末１２００は、該携帯端末１２００が有する表示部１２１７の上方に撮像装置１１００ａが設けられた構成となっている。
【０１９０】
撮像装置１１００ａは、図１に示したようにカラー画像とともに近赤外光に感度を持つＩＲ画素である非可視光画素１４が設けられている。近赤外光に感度を持つカメラは、指静脈認証などに使用される。
【０１９１】
撮像装置１１００ａが有する非可視光画素１４を用いて、例えば指静脈認証を行うものとする。撮像装置１１００ａに使用者の手のひら１７０１を近づけてカラー画像により指表面の指紋を撮影することができる。また、非可視光画素によって、距離画像ではなく指静脈を撮影することができる。
【０１９２】
このように、指紋と指静脈とを同時に撮影して認証すれば、指紋のみの画像を用いた成りすましなどを防ぐ効果がある。
【０１９３】
続いて、その他の応用例について説明する。
【０１９４】
近年、ＭＲ（Mixed Reality）デバイスと呼ばれる眼鏡型の携帯端末が研究、製品化されている。眼鏡をかけた視野上にインターネットの情報などを３次元的に重畳表示すると共に、操作メニューなども視野上に重畳表示しそれをあたかも手で触れるように操作するとメニューが反応して様々な操作を行うことができる。これらのデバイスにも、撮像装置１１００を応用することが考えられる。
【０１９５】
（実施の形態５）
〈応用例５〉
図２０は、本実施の形態５による携帯端末の応用例を示す説明図である。
【０１９６】
この図２０は、携帯端末１８０１が例えば眼鏡型から構成されている。携帯端末１８０１は、右透明部材１８０４、左透明部材１８０５、右表示部１８０２、左表示部１８０３、および撮像装置１１００を有する。
【０１９７】
右透明部材１８０４および左透明部材１８０５は、眼鏡のレンズに当たる箇所に設けられている。眼鏡のフレーム１８０６の上部には、右表示部１８０２および左表示部１８０３がそれぞれ設けられている。フレーム１８０６の一方のテンプル部分には、撮像装置１１００が設けられている。
【０１９８】
右透明部材１８０４および左透明部材１８０５は、外からの光は透過させ、使用者が装着して覗く側の面からの光は反射させるコーティングが施してある透明な部材である。右表示部１８０２および左表示部１８０３は、例えば携帯端末１８０１を操作するためのメニューを右透明部材１８０４および左透明部材１８０５にそれぞれ投影する。
【０１９９】
また、撮像装置１１００は、カラー画像、距離画像を同時に撮像できる撮像装置であり、図１３と同様の構成からなるので、説明は省略する。
【０２００】
右表示部１８０２および左表示部１８０３によって投影されたメニューに使用者が手をかざして操作する動作を撮像装置１１００で撮影する。そして、得られたカラー画像および距離画像から手の動作を解析して携帯端末１８０１の操作を判断して、右表示部１８０２および左表示部１８０３を通じて操作結果を表示する。
【０２０１】
また、携帯端末１８０１は、他の携帯端末１２００と情報のやり取りができる。情報のやり取りは、例えばBLUETOOTH（登録商標）を介して通信が行われる。
【０２０２】
〈携帯端末の構成例〉
図２１は、図２０の携帯端末における構成の一例を示すブロック図である。
【０２０３】
図２１の携帯端末１８０１の機能構成が、図１４に示す携帯端末１２００と異なるところは、右表示部１８０２および左表示部１８０３が新たに設けられた点およびチューナ／復調部１２２２、信号分離部１２２１、表示部１２１７、スイッチ入力部１２５０、音声入出力部１２６０が取り除かれた点である。
【０２０４】
右表示部１８０２および左表示部１８０３は、図２０の眼鏡型の携帯端末１８０１のフレーム１８０６の上部に配置されたものであり、上述したように右透明部材１８０４および左透明部材１８０５に操作メニューをそれぞれ表示する。
【０２０５】
また、撮像装置１１００は、図１３と同様の構成であり、ユーザの手のひらの動きを３次元的に取り込み、後述するメニュー操作が行われる。その他の接続構成については、図１４と同様であるので、説明は省略する。
【０２０６】
〈メニューの表示例〉
図２２は、図２０の携帯端末を使用者が装着した際のメニュー表示の一例を示す説明図である。
【０２０７】
右透明部材１８０４および左透明部材１８０５には、メニュー１９０２が仮想の空間に浮かんだよう表示される。
【０２０８】
ユーザは、この仮想のメニュー１９０２を使用者の手のひら１９０１によって操作する。メニュー１９０１の項目のうち、どの項目を選ぶかは、カラー画像によって表示させるとともに、選んだ項目を実行させる実行命令は、手のひら１９０１の奥行方向の動きを距離画像で判別するように表示することにより、使い勝手のよい携帯端末１８０１を提供することができる。
【０２０９】
このように、取り付けスペースなどに余裕のない眼鏡型の携帯端末であっても、１つの撮像素子にてカラー画像および距離画像を取得できる撮像装置１１００を用いることにより、小型化を実現することができる。これにより、眼鏡型の携帯端末１８０１の装着感を向上させることができる。
【０２１０】
〈携帯端末の応用例〉
図２３は、図２０の携帯端末による応用例を示す説明図である。
【０２１１】
図２３は、図２２と同様に眼鏡型の携帯端末１８０１を使用者が装着した際に携帯端末１８０１越しに使用者の目に見えている様子を示している。
【０２１２】
この図２３において表示されている携帯端末２００２は、眼鏡型の携帯端末１８０１に映し出されたスマートフォン型の仮想携帯端末である。使用者はこの仮想の携帯端末２００２上に映し出された操作メニューを手のひら２００１にて操作する。
【０２１３】
このようにすれば、手のひら２００１の動きが仮想携帯端末２００２の範囲で操作することができるので、周囲に人のいる場所で他人に操作中の手をぶつけたりすることも軽減できる利点がある。
【０２１４】
また、携帯端末１８０１のメニュー画面を選んで操作するモードまたは仮想携帯端末２００２を表示して操作する仮想端末モードを使用者がＯＮ／ＯＦＦできるようにしておけば便利である。
【０２１５】
あるいは端末間通信などで近くに人が多い場合は、仮想端末の表示モードをＯＮする制御するなどすれば、周囲に人のいる場所で他人に操作中の手をぶつけたりすることも防ぐことができ使用者、および周辺の人にとって便利である。
【０２１６】
図２４は、図２３の携帯端末による他の応用例を示す説明図である。
【０２１７】
この図２４においても、図２３と同様に眼鏡型の携帯端末１８０１を使用者が装着して際に、携帯端末１８０１越しに使用者の目に見えている様子を示している。
【０２１８】
使用者には、図示するように左側から右側にかけて、操作メニュー２１０２、操作メニュー２１０３、操作メニュー２１０４が見えるように表示されている。また、操作メニュー２１０３の手前側にある携帯端末１２００は、実際にある携帯端末であり、図１４と同様の構成からなる。
【０２１９】
眼鏡型の携帯端末１８０１と携帯端末１２００は、図１３に示す撮像装置１１００が搭載されている。よって、携帯端末１８０１および携帯端末１２００は、いずれも周囲の空間位置情報をカラー画像および距離画像にて把握することができるので、携帯端末１８０１および携帯端末１２００の相対位置を把握することができる。
【０２２０】
図示するように、携帯端末１８０１に表示された操作メニュー２１０３に携帯端末１２００をかざした場合は、該携帯端末１２００がメニュー２１０３の操作端末となる。同じように操作メニュー２１０２に携帯端末１２００をかざした場合は、メニュー２１０２の選択操作などが携帯端末１２００によって行うことができる。また、操作メニュー２１０４に携帯端末１２００をかざした場合は、メニュー２１０４の選択操作などを携帯端末１２００にて行うことができる。
【０２２１】
これによって、メニューの選択動作自体は、実際の携帯端末１２００の画面をたたいて操作することができる。その結果、実体のあるものを操作することができるので、使用者にとって安心感を得ることができる。
【０２２２】
また、携帯端末１８０１に表示しているメニュー２１０２〜２１０４と操作に使う携帯端末１２００との相対位置関係により、仮想的に表示しているメニュー２１０２〜２１０４のそれぞれの手前に携帯端末１２００がある場合は、奥にあるメニューにかぶせて携帯端末のカラー画像を表示するようにすれば、携帯端末１２００を使用者が操作しやすくなるというメリットがある。
【０２２３】
（実施の形態６）
〈応用例〉
本実施の形態６においては、３次元の計測を行う分野への応用例について説明する。
【０２２４】
図２５は、本実施の形態６による撮像装置の応用例を示す説明図である。
【０２２５】
図２５においては、例えば工場などにおいて製品の形状を判定する技術を示している。工場などには、ベルトコンベア２１０１が設置されており、該ベルトコンベア２１０１によって生産された製品２２０２が搬送されている。
【０２２６】
ベルトコンベア２１０１の上方には、撮像装置１１００が設けられており、該撮像装置には、例えばパーソナルコンピュータなどからなる判定装置２３０４が接続されている。ここで撮像装置１１００の構成は、図１３と同様である。
【０２２７】
撮像装置１１００は、製品２２０２のカラー画像および距離画像を取得する。なお、カラー画像は、必要に応じて白黒画像でもよい。
【０２２８】
判定装置２３０４は、ベルトコンベア２１０１によって搬送される製品２２０２の良品／不良品の判定を行う。良品／不良品の判定は、撮像装置１１００が撮影したカラー画像および距離画像に基づいて、製品２２０２の３次元形状を判定する。
【０２２９】
この場合、ベルトコンベア２２０１の搬送速度が高速であっても、
上述したように、撮像装置１１００は、カラー画像と距離画像とを同一のフレームタイミングにて取得することができるので、撮影のフレームレートを上げることができる。その結果、ベルトコンベア２２０１の搬送速度が高速であっても、製品２２０２の良否判定を安定して行うことができる。
【０２３０】
これにより、ベルトコンベア２２０１の搬送速度を高速にすることができるので、製品２２０２の生産効率を高くすることができる。
【０２３１】
また、撮像装置１１００は、フレームレートだけではなく、距離画像用の撮像素子とカラー画像用の撮像素子とをそれぞれ別々に使用する撮像装置に比べて、コストの点についても有利となる。
【０２３２】
図２６は、図２５の撮像装置による他の応用例を示す説明図である。
【０２３３】
この図２６は、撮像装置１１００を自己移動型のロボット２３０１に応用した例を示している。撮像装置１１００は、ロボット２３０１の目として設けられ、カラー画像および距離画像を取り込む。
【０２３４】
ロボット２３０１は、図示しない制御装置を有しており、該制御装置において３次元画像化が行われ、そのデータから前方の障害物や人物認識などを行う。このような場合においても、カラー画像と距離画像とを交合に取り込む形の撮像素子を用いたものより、撮影のフレームレートを上げることができる。
【０２３５】
さらに。距離画像用の撮像素子とカラー画像用の撮像素子とをそれぞれ個別に使用する撮像装置よりもコストの点でも有利である。
【０２３６】
また、図２の撮像素子１０を撮像部の小型化が必要な腹腔鏡などに用いることにより、距離画像とカラー画像とを１つの撮像素子にて撮像でき、患部の大きさなども確認できる腹腔鏡を提供することができる。
【０２３７】
なお、先に述べた実施の形態は、それぞれ単独の形で制限されるものではない。例えば図２４に示す例において、図１４の携帯端末１２００を操作メニュー２１０３の仮想位置より遠くにかざした場合は、メニュー２１０３よりも奥側に携帯端末１２００があるように表示する。
【０２３８】
また、操作メニュー２１０３の仮想位置より近くに携帯端末１２００をかざした場合は、メニュー２１０３の手前側に携帯端末１２００があるように表示するなどとすることにより、より使い勝手の良好な携帯端末を提供することができる。このように各実施の形態例の組み合わせは自由に組み合わされてよい。
【０２３９】
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【０２４０】
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【０２４１】
〈付記〉
その他、実施の形態に記載された内容の一部を以下に記載する。
（１）画像を撮影する撮像装置を有する携帯端末であって、該撮像装置は、光学像を取り込む光学レンズ部と、該光学レンズ部が取り込んだ光学像から画像データを取得する撮像素子と、近赤外光発光を発光する光源部と、該光源部の発光および前記撮像素子の動作を制御する制御部と、を有し、撮像素子は、可視光に感度を持つ複数の可視光画素および非可視光に対する感度を持つ複数の非可視光画素を有するセンサ部と、可視光画素の露光および露光により可視光画素が光電変換した電荷の読み出しを制御する可視光画素駆動部と、非可視光画素の露光および露光により非可視光画素が光電変換した電荷の読み出しを制御する非可視光画素駆動部と、を有し、非可視光画素駆動部は、非可視光画素の露光および読み出し際に予め設定された２以上の非可視光画素毎に露光を行い、２以上の非可視光画素が露光により光電変換した電荷を加算して読み出す、制御部は、２以上の非可視光画素の露光の際に光源部が近赤外光を発光するように制御する。
（２）（１）の携帯端末において、非可視光画素駆動部は、２以上の非可視光画素の露光が行われる第１の露光期間の少なくとも一部の期間が可視光画素の露光が行われる第２の露光期間にオーバラップするように制御する。
（３）（２）の携帯装置において、非可視光画素駆動部は、２以上の非可視光画素が光電変換した電荷を取り込む第１のスイッチ部と、スイッチ部が取り込んだ電荷を２以上の非可視光画素別にそれぞれ蓄積して電圧に変換する第１の容量部と、第１の容量部が変換した電圧をそれぞれ増幅する増幅部と、２以上の非可視光画素の露光タイミングおよび第１のスイッチ部の動作を制御するタイミング制御部と、を有し、タイミング制御部は、第１の容量部に光電変換された電荷が非可視光画素別にそれぞれ蓄積されるように第１のスイッチ部を制御し、２以上の非可視光画素の露光の際には、露光の期間が重ならないように２以上の非可視光画素を順次露光させる。
（４）（２）の携帯端末において、非可視光画素駆動部は、センサ部が有する複数の非可視光画素が光電変換した電荷を読み出す第２のスイッチ部を有し、タイミング制御部は、露光および読み出しの際に電荷を加算する２以上の非可視光画素を選択する第２のスイッチ部を制御する。
（５）（４）の携帯端末において、タイミング制御部は、外部から入力される第１の制御コマンドに基づいて、電荷を加算する非可視光画素の数が変更されるように第２のスイッチ部を制御する。
（６）（３）の携帯端末において、非可視光画素駆動部は、増幅部から出力される電圧を演算して距離画像を生成して出力する距離画像演算部を有し、タイミング制御部は、距離画像演算部が電圧を演算する演算タイミングがフレームレートの１／Ｎとなるように制御する
（７）（６）の携帯端末において、タイミング制御部は、外部から入力される第２の制御コマンドに基づいて、距離画像演算部が演算する演算タイミングを制御する。
【符号の説明】
【０２４２】
１０  撮像素子
１１  可視光画素
１４  非可視光画素
２１０  可視光画素駆動部
２１４  制御部
２２０  非可視光画素駆動部
２３０  出力インタフェース
３２１〜３２３  スイッチ
３３１〜３３３  容量素子
３４１〜３４３  スイッチ
３５１  アンプ
３５２  可視光タイミング生成部
３５２  アンプ
３５３  画像データ生成部
３６１  スイッチ
３６２  スイッチ
３７１  容量素子
３７２  容量素子
３８１〜３８４  アンプ
３８２  非可視光タイミング生成部
３８５  非可視光タイミング生成部
３８６  距離データ演算生成部
３９１〜３９４  スイッチ
１１００  撮像装置
１１０１  光学レンズ部
１１０３  ＩＲ光源部
１１０４  カメラ制御部
１２００  携帯端末
１２１３  通信インタフェース
１２１４  制御部
１２１５  ボタン
２１７  表示部
１２２１  信号分離部
１２２２  チューナ／復調部
１２２５  ストレージ
１２３１  移動体通信インタフェース
１２３２  メモリ
１２３３  加速度センサ部
１２３４  地磁気センサ部
１２３５  ＧＰＳ受信部
１２３６  ジャイロセンサ部
１２５０  スイッチ入力部
１２６０  音声入出力部
１２６１  マイク
１２６２  スピーカ
１８０２  右表示部
１８０３  左表示部
【図１】
2019021439.tif 000003
【図２】
2019021439.tif 000004
【図３】
2019021439.tif 000005
【図４】
2019021439.tif 000006
【図５】
2019021439.tif 000007
【図６】
2019021439.tif 000008
【図７】
2019021439.tif 000009
【図８】
2019021439.tif 000010
【図９】
2019021439.tif 000011
【図１０】
2019021439.tif 000012
【図１１】
2019021439.tif 000013
【図１２】
2019021439.tif 000014
【図１３】
2019021439.tif 000015
【図１４】
2019021439.tif 000016
【図１５】
2019021439.tif 000017
【図１６】
2019021439.tif 000018
【図１７】
2019021439.tif 000019
【図１８】
2019021439.tif 000020
【図１９】
2019021439.tif 000021
【図２０】
2019021439.tif 000022
【図２１】
2019021439.tif 000023
【図２２】
2019021439.tif 000024
【図２３】
2019021439.tif 000025
【図２４】
2019021439.tif 000026
【図２５】
2019021439.tif 000027
【図２６】
2019021439.tif 000028
【国際調査報告】
2019021439.tif 000029
2019021439.tif 000030
2019021439.tif 000031