ショートパルス方式直接間接
ハイブリッドTOFイメージセンサ
静岡大学 電子工学研究所
ナノビジョン研究部門
イメージングデバイス分野
教授 川人 祥二
令和2年11月5日
1

TOF (time of flight)レンジ (3D)カメラ
Back groundlight

TOFカメラ

Light

Range
Image
SensorReflected
Light

応用

光飛行時間
距離=光の速度 
2VR/AR

なぜ TOF カメラ?
・ 単純な構成 (低コスト)
・ 低い計算コスト
・ 超小型モジュール可能・ 高速3次元計測可能

ロボット

3Dスキャナ

医療 自動車

ドローン

AGV

自動運転

2

直接(Direct) TOFと間接(Indirect) TOF法
直接TOF (Direct TOF)法→時間相関単一光子計数法(TCSPC)

間接(Indirect) TOF法
→ 時間ゲート(Time Gating)法

TX

TX

RX

RX
TOF
TOF

- 高周波クロック (>1GHz)が分解能を決める．
- ピクセル当たりに必要な回路規模が大(多画素数のセンサは困難)

TimeGate
S=f(TOF)→TOF=f-1(S)- ピクセル当たりに必要な回路が簡単．
- 変調周波数 (>100MHz) が分解能を決める。
3

間接法の従来技術：2タップCW変調ピクセル(G1)(G2)
a1 a
3a2 a0

 a0 − a2 
L=arctanDepth4 f m a1 − a3 c

T. Spirig, P. Seitz et al. (CSEM),IEEE J. Quantum Elec. , 1995

位相fm:変調周波数44間接型TOF距離画像センサの例
2タップ, 量子効率変調ピクセル,連続波(CW)変調

・ 画素数: 512 x 424
・ デプス誤差: <0.5%
・ 測距範囲: 0.8～4.2m
・ マルチ変調周波数(3周波数)
・ 消費電力:2.1W
Surface Plot
Avg. 100 frames

30fps Roomlighting / Active IR©2014 IEEE
Depth

Bamji et al., ISSCC’14, JSSC’14©2014 IEEE

5

CW法による２周波数を用いた長距離測定

・2つ周波数で推定した距離が一致する点から、距離を定める。
（上図の場合、3周期目の2.6mの点)・少なくとも2回（2フレーム）測定する必要がある。測定する時間帯の差のため、動きのある対象物に対してエラーを生じる可能性
・2つの周波数比(整数比と仮定）の最小公倍数を周期とする曖昧性が残る（上図の場合、1m/1.2m=5/6→ (5x6)x1/5=6mを周期, 2.3mか8.6mか区別がつかない）
・遠距離で、SN比が悪くなると、何周期目かわからなくなり、誤差が大きくなる。（周波数差を小さくすると曖昧性は改善。しかし、周期の判定を間違いやすくなる）
6hTOFイメージセンサ
1. マルチタップ出力(≧3)＆高速ドレインのロックインピクセル

2. ショートパルス変調を用いたピクセル内
ハイブリッドTOF計測

3. 高サブフレーム速度読み出しによる多窓(≧5)ハイブリッドTOF計測

7CISピクセル
回路図としての表現

埋込フォトダイオードを用いた1段電荷転送型ピクセル-低ノイズ(kTCノイズキャンセル)- 低暗電流- 高変換ゲイン(高感度)

電荷転送トランジスタ（方向性（左→右）があり、完全転送(---)できる
フォトダイオード（電荷転送時、完全空乏化(---)
できる）
8

マルチタップイメージセンサ
・・・

(1,1)

・・・

G1:ON

・・・

e- e

・・・

・・・

・・・

・・・

・・・ (i,j) ・・・

G2:ON

・・・

Light
Pulse
G1t

G2
G3GN
GD

- 変調光を受けて発生した光電子を、短時間の窓(数100ps～数10ns)内で高速に(数10ps～数100ps)ゲートを開いた電荷蓄積部に転送- ゲート数（タップ数）を増やし、光の利用効率を向上
9

iTOF(間接TOF)距離画像センサ
S. Kawahito et al.,IEEE Sensors J., 2007
320 × 240 （QVGA）

高速電荷排出用ドレイン

パルス変調 (デューティ比=10:1～50:1)

RD

1-RDx－x’断面図

高速ドレインを持つマルチタップピクセルによるショートパルスTOFセンサ103タップピクセルよる動き歪のないＴＯＦ計測
G1SB

S1G2S2S3G3GD
Light

TOF

S2 = k  I s (T0 − TOF ) + S B
S3 = k  I s  TOF + S B

1フレーム内で、距離計算完結→動き歪のないTOF計測

T0

S1 = S B

S3 − S1TOF =T0
S2 + S3 − 2 S111

動き歪のない3タップTOFイメージセンサ

QVGA TOF Imager
3タップピクセルによるフレーム内TOF計測

距離画像
TOF
Camera Module
TOF Camera(70(W) x 20(H) x 10(D))

2タップピクセルによる２フレームによるTOF計測FAR

Near

12

4タップ(＋ドレイン)ピクセルによる多窓TOF計測

S1 = S B

S2 = k  I s (T0 − TOF ) + S B
S3 = k  I s  TOF + S B

S3 − S1TOF =T0
S2 + S3 − 2 S113

CW(連続波)変調とSP(短パルス)変調の違い(A) CW

FWC：Full Well Capacity(B) SP

FWC

FWC

FWC

FWC

飽和ノイズ

- 背景光電荷(NB)による信号飽和軽減- 背景光電荷(NB)のショットノイズ( NB )による分解能の低下が軽減

14

8タップTOFセンサの試作
Pixel size: 22.4×22.4 μm26ns

Y. Shirakawa, S. Kawahito
et al., Sensors 2020, MDPI
15

反射光強度に対する最適化ゲーティング
Imager
G1Reflectedlight level

High

G2
G3G4G5G6G7Low

Accumulation time
G1<G2<G3<G4<G5<G6<G7

Accumulation signal level
S1=S2=S3=S4=S5=S6=S7

16

間引き駆動法の効果（測定結果）●測定距離■距離分解能(間引き駆動)▲距離分解能(従来法)

17

18

ハイブリッド(直接法＋間接法）TOF計測

Gating18

ハイブリッド TOF計測法

Sm = f (TOF )TOF = mT p + TOF
デジタル アナログ(直接法) (間接法)TOF = f −1 ( Sm )～直接法と間接法を組合わせて屋外長距離での高分解能計測が可能
19

20

TOFセンサ比較想定スペック
CW変調，2タップ方式

項目
TOFセンサ撮像方式
画素数
画素サイズ
画素量子効率
平均変調周波数
復調コントラスト
フレーム読出し時間
サブフレーム数

SP変調ハイブリッド(4タップ)方式
項目

値CW変調法, 2周波数424(V)x 512(H)画素
10mm
20%@860nm
120MHz60%@120MHz
0.1ms
4値

TOFセンサ撮像方式

SP変調ハイブリッド法

画素数480(V)x 640(H)画素

画素サイズ

16.8mm画素量子効率20%@870nm

時間窓幅2.5ns

復調コントラスト90%@2.5ns

フレーム読出し時間

1ms

サブフレーム数

4 (蓄積回数比: 1:4:9:16)

項目

共通項目

値

1 光源平均パワー

0.5W

2 視野角(垂直)40°

3 視野角(水平)60°

4 レンジマップ速度

30 fps5 最長測定距離6m

6 被写体反射率

60%

20

SPハイブリッドTOF法とCW変調・間接TOF法の距離分解能（s）比較(計算(概算)による予測)
測距範囲: 0.3m - 6m
対象物反射率：60%
背景光照度:100klux
CW法変調周波数:120MHz
SP法パルス幅:2.5ns

41cm

約10倍

SPハイブリッドTOF法
4cm

21

企業様への期待• ハイブリッドTOFイメージセンサは、従来の間接TOFイメージセンサでは、困難であった屋外10m以上のレンジにおいて、高解像度かつ高分解能を達成しうる方式です。
• 屋外・中長距離で使える測距センサをお求めの企業様に本技術の導入が有効と思われます。

22

本技術に関する知的財産権• 発明の名称：距離画像測定装置及び距離画像測定方法• 国際公開番号 ：WO2019/078366
• 出願人
：静岡大学
• 発明者
：川人祥二

23

産学連携の経歴• １９９９年-現在 年3社以上の企業と共同研究実施• 2002-2011年 文部科学省知的クラスター創成事業• 2006年-現在 大学発ベンチャー、ブルックマンテクノロジ
社設立• 2009年-2011年 A-STEP実用化挑戦タイプ• 2014年-2016年 A-STEPシーズ育成タイプ• 2011年-2016年 産学共創基礎基盤研究プログラム• 2016年-2020年 文部科学省 地域イノベーション・エコシステム形成プログラム• 2013年-2021年 COIプログラム 光創起COI-S研究拠点
リサーチリーダー24

お問い合わせ先
静岡大学
イノベーション社会連携推進機構
ＴＥＬ ０５３－４７８ － １７１８
ＦＡＸ ０５３－４７８ － １７１１
e-mail sangakucd@cjr.shizuoka.ac.jp

25