Panasonic Technical Journal Vol. 64 No. 1 May 2018

コグニティブセンシング：マルチピンホールカメラ画像からのディープラーニングによる奥行推定
Cognitive Sensing: Depth Estimation with Multi-Pinhole Camera using Deep Learning

佐藤智Satoshi Sato

若井信彦

Nobuhiko Wakai

要

ポンサク ラサン

シェン メイシェン

Pongsak Lasang

Shen Shengmei, Jane

登一

生

Kunio Nobori

吾 妻健 夫

Takeo Azuma

旨認識システムの入力デバイスとしてカメラが広く利用されている．しかし，撮像された画像には冗長な情報が多く含まれ，また，入力データ量は認識システムのハードウェアサイズに直結するため，従来のカメラは最適な入力でなかった．筆者らは，認識に有効な情報のみを効率的に取得し，軽量のハードウェアで高性能な認識を実現するコグニティブセンシングを提案する．本稿ではその一例として，マルチピンホールカメラ画像からの奥行推定について述べる．マルチピンホール画像は，視点の異なる画像が重畳されており，人間が見るには適さないが，認識処理に有効な被写体のテクスチャ情報と奥行情報が圧縮されて含まれるため，認識システムには有効である．ディープラーニングを用いたシミュレーションにより従来のカメラを利用した場合と比較して，入力データ量を増加させずに，奥行推定精度が向上することを確認した．
Abstract
We propose a new recognition system named cognitive sensing, which acquires effective input only compared to a conventional
camera including pinhole cameras. Although the conventional camera is one of the most popular input devices, it is not the mosteffective device owing to its redundant information, which incurs heavy computational cost. To overcome this problem, we use amulti-pinhole camera as an example of an effective input device. These cameras are effective for recognition systems because thecaptured images include both texture and depth information. Simulation results show that deep convolutional neural networks using
multi-pinhole images estimate higher accuracy depth maps than those using pinhole images.

1．はじめにているように，次元圧縮を行っている．すなわち，入力データ量が豊富であっても認識に有効な情報量はより小認識システムは，処理アルゴリズムと入力デバイスのさく，さらにその情報は人間が見ているカメラ画像とも両面で大きな変化を迎えている．処理アルゴリズムに関異なっていると想像される．コグニティブセンシングでしては，ディープラーニングをはじめとする機械学習技はこの知見に基づき，入力データ量を効率的に圧縮して術の急速な発展により，さまざまな認識タスクの性能が取得する圧縮入力デバイスを利用し，さらに，この圧縮飛躍的に向上している．入力デバイスに関しては，カメ入力データを直接，認識する処理アルゴリズムを組み合ラの高解像度化・高フレームレート化・超広角化に加え，わせる．これにより，認識性能を落とさずに入力デバイ

Time of Flight（TOF） センサをはじめとするレーザスキスの負荷を減少させ，ハードウェアの軽量化，学習速度

ャナやステレオカメラなどの奥行センサ，赤外線カメラの向上，さらには認識速度・精度の向上が期待できる（第やマルチスペクトルセンサを組み合わせたマルチモーダ

1図）．言い換えると，コグニティブセンシングにより，ルセンシングの一般化により，取得できるデータ量がま

現状のカメラ認識システムと同程度の入力データ量であすます増加している．このような入力デバイスのデータりながら，マルチモーダルなシステムと同等の認識性能量の増加は，認識性能の向上につながる[1]が，一方で，を実現できる（第2図）．これは，対象となる信号をできネットワークの巨大化，処理時間・学習負荷・ハードウるだけ少ない観測によって復元する圧縮センシング技術

ェアコストの増加をまねき，実用化の大きな障壁となっ[2][3]とも深い関係がある．ていた．

コグニティブセンシングの圧縮入力デバイスの一例とこれに対し，筆者らは，入力デバイスから認識処理まして，筆者らは，マルチピンホールカメラに着目する．

でのシステム全体を認識に必要なデータ量の観点から最マルチピンホールカメラは，重畳画像を撮像する．この適化した，コグニティブセンシングを提案する．ディー

画像は，人間が見るには適していない．しかし，重畳さプラーニングの認識処理は，Autoencoderとしても知られれた各画像は視点位置が異なるため，入力データ量を増33

Panasonic Technical Journal Vol. 64 No. 1May 201834

行推定に利用したDCNNの構成を説明する．

〔現状のカメラ認識システム〕
カメラ

人が理解できるテクスチャ情報

認識処理

制御・アシスト2.1

認識性能に限界

ピンホールカメラとマルチピンホールカメラ

通常のカメラは，広義のピンホールカメラである．ピ〔入力データ量増加（マルチモーダルセンシング）〕

ンホールカメラは，第3図に示すように，空間上に1点のカメラ

人が理解できるテクスチャ情報認識処理

LIDAR

制御・
アシスト

人が理解できる奥行情報
巨大化→ 学習・識別コスト 大AI に必要なテクスチャ情報
AI に必要な奥行情報

例：マルチピンホールカメラ

た光線のみをイメージセンサで受光し，合焦した画像をテクスチャ情報として取得する．一般的に集光機能を有する主レンズを利用するが，これは，ピンホールを通過〔コグニティブセンシング（提案システム）〕
圧縮入力

焦点（ピンホール）を有する．このピンホールを通過し認識処理

制御・
アシスト

軽量化→ 学習速度 向上
認識速度・精度 向上
LIDAR：Light Detection and Ranging

しない光線は捕捉されないために光量が低下し，SN比（Signal to Noise Ratio）が低くなるためである．また，光線上のいずれの距離にある被写体もイメージセンサ上の同じ位置に撮像されるため，被写体の奥行情報は取得できない．

第1図

コグニティブセンシングとマルチモーダルセンシング

Fig. 1 Cognitive sensing and multimodal sensing

一方，マルチピンホールカメラは，Coded ApertureCameraの1種であり，第3図に示すように複数のピンホールを有し，各ピンホールを通過した光線を1つのイメージセンサで受光する．複数のピンホールを有することで，認識性能

コグニティブセンシング

入力データ量増加（提案システム）（マルチモーダルセンシング）◎入力・識別コスト 小◎認識性能 高◎認識性能 高×入力・識別コスト 大

光量すなわちSN比が向上するため，主レンズを有しない超薄型・低コストのレンズレスカメラの実現も可能である[4]．また，撮像されたマルチピンホール画像は異なる

効率的な独自入力で入力データ量の壁を越える

現状のカメラ認識システム

視点位置のピンホール画像が重畳された画像，すなわち×入力データ量の影響で実現困難◎入力・識別コスト 小×認識性能 低入力データ量（センサ画素数）

第2図

ステレオ画像の多重像となるため，人間が見る画像には適さないが，認識処理に有効な被写体のテクスチャ情報と奥行情報が圧縮されて含まれる．このことから，マルチピンホールカメラは認識システムに有効なマルチモーダル情報の圧縮入力デバイスであると期待される．

コグニティブセンシングの概念【Pinhole camera】【Multi-pinhole camera】

Fig. 2 Concept of Cognitive Sensing

ObjectMask(Pinholes)

加させることなく，テクスチャ情報に加えて奥行情報をImage sensor

圧縮して取得しており，認識処理に適している．

Capturedimage

本稿では，コグニティブセンシングの圧縮入力デバイ
ス に マ ル チ ピ ン ホ ー ル カ メ ラ を 利 用 し ，Deep
Convolutional Neural Network（DCNN）により奥行マップを推定する．

画像の 人が見る画像に適する特徴

多重像で人が見る画像には適さない

光量少ない＝ 主レンズが必要多い＝ レンズレスの可能性

取得
情報

ピンホールを通る光線は同じ画素で撮像＝ テクスチャ情報のみ

複数のピンホールを通る光線を重畳撮像（1種のステレオ画像）＝ テクスチャ＋奥行情報

2．マルチピンホール画像からの奥行推定

第3図

本章では，コグニティブセンシングの圧縮入力デバイ

ピンホールカメラとマルチピンホールカメラ

Fig. 3 Pinhole camera and multi-pinhole camera

スとしてマルチピンホールカメラを利用した，奥行推定方法について説明する．まず，マルチピンホール画像はテクスチャ情報と奥行情報が圧縮された圧縮入力であり，2.2認識システムの入力デバイスに有効であること，さらにマルチピンホール画像から奥行を推定するDCNNの構マルチピンホールカメラの将来性を説明し，その後，奥成を第4図，各パラメータを第1表に示す．このネットワ

34

ディープラーニングによる奥行推定

35

IoT・AI・ロボティクス特集：コグニティブセンシング：マルチピンホールカメラ画像からのディープラーニングによる奥行推定

第1表

DCNNパラメータ

Table DCNN parameters
inkernelOut
channels channels size

Multi pinhole image

stridepadding

Convolution 1̲1364

3×311

Convolution 1̲264643×311MaxPooling

64642×220Convolution 2̲1641283×311Convolution 2̲21281283×311MaxPooling

1281282×220Convolution 3̲1128256

3×311Convolution 3̲2256256

3×3

11Convolution 3̲3256256

3×311MaxPooling

2562562×220Convolution 4̲1256

512

3×311

Convolution 4̲2512

512

3×311Convolution 4̲3512

512

3×3

11MaxPooling

512

512

2×220Convolution 5̲1512

512

3×311Convolution 5̲2512

512

3×311Convolution 5̲3512

512

3×311

み込み層とプーリング層を繰り返すことで，各画素につMaxPooling

5125122×220

いて量子化された奥行値，すなわち奥行マップを推定すUpsampling

512512

1×110

る．第4図の各層上部に，今回利用した特徴マップのサ

Convolution 6̲15125123×311Convolution 6̲2512512

3×311Convolution 6̲3512

512

3×31

1

ネットワーク[5]の入力層のみを変更して作成した．

Upsampling

512512

1×1

10

DDFFネットワークはVGG-16[6]をベースにしており，焦Convolution 7̲1512

512

3×3

1

1

点位置をカメラの近傍から遠方まで変化させて撮像した

Convolution 7̲2512

512

3×311

Convolution 7̲3512

256

3×31

1

Upsampling

256256

1×110

Convolution 8̲1256256

3×311

各画像は224×224画素ごとのパッチに切り出してネッConvolution 8̲22562563×311

トワークに入力した．ストライドは56である．すべてのConvolution 8̲32561283×3

11

Upsampling

1281281×110Convolution 9̲11281283×311Convolution 9̲212864

3×311を，ネットワークの初期化にはHeの手法を利用した[8]．

Upsampling

6464

1×1

10

学習は，Softmax Cross Entropy損失をMomentum Stochastic

Convolution 10̲164

643×3

11

Gradient Descent （Momentum SGD） により最適化した．

Convolution 10̲264

83×311224x22

224x224112x11256x56

112x11256x56
28x2

Reshape

28x28

14x14

Convolution

MaxpoolingUpsampling

Depth map

第4図

奥行推定のためのDCNN

Fig. 4 Deep convolutional neural networks for depth estimation

ークは，パッチに切り出したカラー画像を入力とし，畳イズを示す．このDCNNは，Deep Depth From Focus（DDFF）複数枚の画像群であるFocal Stack画像から奥行マップを推定する．

畳み込み層のカーネルサイズは3×3とし，その直後にBatch Normalization層を挿入した[7]．活性化関数はReLU

MaxPooling層，Upsampling層のDropout率は0.5である．
マルチピンホール画像は，各ピンホール位置に対応す

パッチEには，左のピンホールを通した被写体①と，右る視差を有する画像が重畳されており，この視差情報がのピンホールを通した被写体②が重畳撮像されるが，被奥行情報と関係している．しかし，画像をパッチに切り写体が異なるため，視差情報は含まれない．そこで，画出すため，第5図に示すように，各パッチには被写体の1像処理によりパッチDとEを重畳し，ネットワークへ入力つのピンホール画像しか含まれなくなる可能性がある．

した．この入力画像は，左のピンホールを通した①と②，特にピンホール間隔が広い場合，この影響が大きくなる．

右のピンホールを通した②と③の被写体の重畳画像とな

この問題に対応するため，筆者らは重畳画像であるマルり，被写体②の各ピンホール画像が含まれるため，ネッチピンホール画像と，各ピンホールの位置に合わせて平トワークは視差情報を取り出すことができる．また，こ行移動させた画像を重畳し，これを切り出したパッチをの処理は，入力パッチサイズを拡大する場合と比較し，ネットワークへ入力した．これにより，各ピンホール画ネットワークの入力データが小さく，さらに入力画像の像は各パッチ内で重畳されるため，切り出しによる奥行線形変換で実現できるため，演算量が小さくなり，実用推定精度の低下を抑えることができる．第5図において，上でも有効である．

35

Panasonic Technical Journal Vol. 64 No. 1May 201836①②③④⑤⑥Object

ル画像を利用したネットワークはピンホール画像のものと比較し，より高速に，より小さな評価値に収束している．この結果から，マルチピンホールカメラを圧縮入力デバイスに利用するコグニティブセンシングは，ピンホ

Mask(Pinholes)

ール画像を利用する従来の識別システムと比較し，入力データ量を増加させずに，より短い学習時間で，より高精度の奥行推定を実現できることが確認できた．

ABCD

E

⑤＋⑥

④＋⑤

③＋④②＋③①＋②⑤＋⑥④＋⑤＋⑤＋⑥③＋④＋④＋⑤②＋③＋③＋④①＋②＋②＋③

Patch images

第7図に各入力画像に対する奥行マップ推定結果の一例を示す．第7図（a）はピンホール画像，第7図（b）は正解奥行マップ，第7図（c）, （d）はピンホール画像おInput images

よびマルチピンホール画像からの奥行マップ推定結果，第7図（e）, （f）は推定した奥行マップの精度を評価するために，各推定結果と正解奥行マップで差分がある領第5図

パッチ画像とネットワーク入力画像

Fig. 5 Patch images and input images

域を黒，差分がない領域を白で示した図である．第7図（e）, （f）より，画面の右上の領域で，提案法であるマルチピンホール画像の効果が確認できる．この領域は路

3. シミュレーション結果側の植物領域であり，画像は距離によって大きな違いが生じない．そのため，テクスチャ情報だけでの奥行推定

提案法の有効性を確認するため，シミュレーション実は困難である．一方，マルチピンホール画像ではテクス験を行った．画素数の等しいピンホール画像とマルチピチャ情報に加え，視差情報であるステレオ画像の多重像

ンホール画像を入力画像としたDCNNを個別に学習したを利用することで，より高精度の奥行マップ推定が可能

後，奥行マップの推定性能を比較した．

である．

シミュレーション実験には，KITTI Object Detection

第2表に，ピンホール画像からの奥行推定画像と正解

Evaluation 2012[9] を利用した．このデータセットに含ま画像，マルチピンホール画像からの奥行推定画像と正解れるステレオ画像，レーザスキャナによって取得した

画像との平均絶対誤差を示す．提案手法であるマルチピ

Depthデータ，カメラキャリブレーションデータを利用しンホール画像からの奥行マップ推定は，ピンホール画像て，ピンホール数2のマルチピンホール画像を合成した．

からの推定と比較し，推定誤差を17 %低減した．

学習・推定対象である奥行マップは，Depthデータを入力画像と同じ画像数に補間拡大し，8階調（0 m〜5 m, 5 m

1.2
Pinhole Validation Loss
Pinhole検証誤差〜10 m, …, 30 m〜35 m, 35 m以上）に量子化して作成した．しかし，Depthデータはレーザスキャナによって取得

Multi pinhole Validation Loss
Multi-Pinhole検証誤差

1.0

Pinhole Train Loss
Pinhole訓練誤差

されているため，一部の領域で欠損が生じている．そこ上欠落したパッチは，学習・評価対象から削除した．利用したパッチ数は，学習データとしては1950 枚の画像から切り出した75832パッチ，評価データとしては学習デーSoftmax Cross Entropy

で，補間拡大したDepthデータがパッチ内全画素の2割以Multi pinhole Train Loss
Multi-Pinhole訓練誤差0.80.60.4

タと異なる50 枚の画像から切り出した1963パッチである．

0.2

第6図に各手法での学習曲線と評価結果を示す．この図において，横軸は学習のEPOCH数，縦軸は8階調の奥0.00510線は訓練誤差，実線は検証誤差であり，青線は入力画像第6図

シミュレーション結果にピンホール画像を用いたネットワークの評価値，赤線

Fig. 6 Simulation results

行マップのSoftmax Cross Entropyを示している．また，破は提案法であるマルチピンホール画像を用いた評価値を示している．
検証誤差に着目すると，提案法であるマルチピンホー

3615
Epoch数

202530IoT・AI・ロボティクス特集：コグニティブセンシング：マルチピンホールカメラ画像からのディープラーニングによる奥行推定

37

場合のみを説明したが，縦方向にもピンホールを増やすことで，縦方向の視差情報も利用できるため，より識別性能を向上できると考えられる．
(a) ピンホール画像

参考文献
[1]
(b) 正解奥行マップ

A. Eitel et al., “Multimodal Deep Learning for Robust RGB-D
Object Recognition,” IROS, Hamburg, Sept.-Oct., 2015.

[2]

D. L. Donoho, “Compressive Sensing,” IEEE Transactions on
Information Theory, vol. 52, no. 4, pp. 1289-1306, 2006.

[3](c) ピンホール画像からの奥行マップ推定結果

S. Sato et al., “Compressive Color Sensing Using Random
Complementary Color Filter Array,” IAPR Conf. on Machine
Vision and Application (MVA), Nagoya, pp. 30-33, May, 2017.

[4]

M. S. Asif et al., “FlatCam: Replacing Lenses with Masks andComputation,” ICCV, Santiago, pp.12-15, Dec. 2015.

[5](d) マルチピンホール画像からの奥行マップ推定結果

C. Hazirbas et al., “Deep Depth From Focus,” In ArXiv preprint
arXiv, 1704.01085, Nov. 2017.

[6]

K. Simonyan et al., “Very Deep Convolutional Networks forLarge-Scale Image Recognition,” ICLR, San Diego, May 2015.

[7]

S. Ioffe et al., “Batch normalization: Accelerating deep network
training by reducing internal covariate shift,” ICML, Lille, July(e) ピンホール画像の推定誤差（黒領域が誤差発生画素）

2015.
[8]

K. He et al., “Delving Deep into Rectifiers: Surpassing
Human-Level Performance on ImageNet Classification,” ICCV,Santiago, pp.1026-1034, Dec. 2015.

(f) マルチピンホール画像の推定誤差（黒領域が誤差発生画素）[9]A. Geiger et al., “Are we ready for Autonomous Driving? TheKITTI Vision Benchmark Suite,” Rhode Island, CVPR, Jun.

第7図

奥行マップ推定結果

2012.

Fig.7 Depth estimation results

第2表

奥行マップ推定の平均絶対値誤差（階調）

Table 2 Mean absolute errors of depth estimation
訓練誤差

検証誤差

Pinhole Image

0.065

0.163

Multi-Pinhole Image

0.053

0.135

4. まとめ入力データ量を効率的に圧縮して取得するコグニティ
ブセンシングの取り組みの一例として，マルチピンホー
ル画像からの奥行マップ推定性能を評価した．入力デー
タ量の等しいピンホール画像と比較し，より高精度の奥行情報が取得できることを確認した．今後，識別システ
ムとしてのコグニティブセンシングの有効性を確認するため，マルチピンホール画像を利用した識別処理を実装し，演算量の少なさを確認するとともに，圧縮入力を行わない通常のマルチモーダルセンシングを行うシステムと比較する予定である．
また，ピンホールの数と配置に関しても，検討をする予定である．本稿では横方向にピンホールを2個設置した

37

Panasonic Technical Journal Vol. 64 No. 1May 2018

38

執筆者紹介
佐藤智

Satoshi Sato

ビジネスイノベーション本部
AIソリューションセンター
AI Solutions Center, Business Innovation Div.

ポンサク ラサン

Pongsak Lasang

パナソニックR&Dセンター シンガポール
Panasonic R&D Center Singapore
Ph. Dシェン メイシェン

Shen Shengmei, Jane

パナソニックR&Dセンター シンガポール
Panasonic R&D Center Singapore

若井信彦Nobuhiko Wakai

ビジネスイノベーション本部
AIソリューションセンター
AI Solutions Center, Business Innovation Div.
博士（科学）
登一生

Kunio Nobori

イノベーション戦略室
Innovation Strategy Office

吾妻健夫

Takeo Azuma

ビジネスイノベーション本部
AIソリューションセンター
AI Solutions Center, Business Innovation Div.
博士（工学）

38