画像電子学会2015年度第43回年次大会
企画セッション講演資料

街角映像蓄積システム

平成27年6月29日
大阪大学
中西 浩

研究の背景、目的
１．背景（１）再開発等で、街の風景や人々の日常の営みが変化している。
（２）泥棒、誘拐、強盗、詐欺など、日常生活の安心・安全を脅かす事件が発生している。
（３）ゴミの不法投棄など、美観や環境の破壊行為が続いている。
２．目的（１）街角の人の動きの映像を蓄積し、リアルタイムで公開するシステムを実現する（２）そのための、ストレージ構成法を含むシステム設計法を明らかにする。

街角映像蓄積・公開サービスの概要と分類（１）サービス概要
街角の様子を切れ目無く映像化して記憶し、公開する。
（２）サービス分類① 一定期間記憶・公開に限定されるサービス
・多くの人が集まる街角の様子②長期間記憶・公開・アーカイブするサービス
・不法投棄や治安上の問題のある街角の様子
・街の再開発による街並みの変化・変貌の様子

研究内容
１．基本設計（１）映像方式と符号化伝送速度および所要蓄積容量の関係の明確化（２）映像蓄積媒体に対する多重の書込み・読出しの性能の明確化
２．システム設計（１）NWカメラ配置設計（２）ファイルサーバ設計（３）システム設計

画素数(映像方式）

符号化方式

360x240
Mpeg-1
640x480(VGA) Mpeg-2
720x480(SD)H.264
1440x1080(HD)

1920x1080(Full HD)

H.264

符号化
速度
(Mbps)
30fps

1.5
6

24時間映像所
要蓄積容量(Giga Byte)

16.2
64.8

1~9 （注） 10.8～
97.2
1.5~12
16.2～
（注）
129.6

注：符号化方式の進展を反映、画質のレベルにより速度が異なる

街角設置映像
撮影NWカメラ

街角映像蓄積システム
制御部

NW

街角設映像
蓄積サーバ

ファイルサーバー

ファイルサーバー

映像アクセスPC

ファイルサーバー道路沿いカメラ配置
２メガピクセル［16：9］モード時
画角
方向

カメラ
レンズ
画角

L:カメラ
設置間隔

画角

L:カメラ
設置間隔

Wide時

水平 86.6度
垂直 47.57度

画角
道路
出展：
http://panasonic.biz/security/support/tec
hnic/gakaku_configinfo.html

道路種別

総延長※1

実延長※2

高速自動車国道

9,267.7㎞

8,050.3㎞

一般国道

67,427.3㎞

55,222.3㎞

都道府県道142,408.9㎞

129,396.8㎞

市町村道

1,054,516.5㎞

1,022,247.8㎞

合計

1,273,620.4㎞

1,214,917.1㎞

1 総延長：道路法の規定に基づき指定又は認定された路線の全延長
2 実延長：「総延長」から「重用延長※3」「未供用延長※4」「渡船延長※5」を除いた延長
3 重用延長：上級の路線に重複している区間の延長
4 未供用延長：路線の認定の告示がなされているが、まだ供用開始の告示がなされていない区間の延長

出典：http://www.mlit.go.jp/road/soudan/soudan_10b_01.html

道路総延長距離にカメラ配置した場合の所要蓄積容量の計算

画素数(映像方式）

符号化方式

カメラ１台24時間映像
蓄積容量

道路総延長距離に10ｍ間隔でｶﾒﾗ
配置
２４時間映像蓄積(Giga Byte) 容量(Exa Byte)

360x240
Mpeg-1 16.2
640x480(VGA) Mpeg-2 64.8
720x480(SD)H.264
1440x1080
10.8～
(HD)
97.2
H.264
1920x1080
16.2～(Full HD)
129.6

2.062
8.248
1.374～
12.3722.062～
16.496

HDDアクセス処理能力の計算
１．HDDの諸元①書込（読出）データ量（連続したブロックに記録）：D(MB)②平均シーク時間Tskav (s)③平均回転待時間：Twtav(s)④データ転送速度：Vtrns(MB/s)
２．HDD１台のアクセス処理能力の概算（上記１の値を用いて）データ量Ｄへのアクセス処理時間Td:
Td= Tskav (平均シーク）+Twtav(平均回転待）+D/Vtrns(データ転送）● D/Vtrns ⋘ Tskav+Twtavの場合(データ量が少ない場合）
Td ≈ Tskav+Twtav - -アクセス処理時間はシークと回転待ち時間の和●D/Vtrns ⋙Tskav+Twtavの場合(データ量が多い場合）
Td ≈ D/Vtrns- - - アクセス処理時間は、 データ転送速度に反比例

HDDアクセス処理能力の見積もり
１．シーク時間、回転待ち時間、データ転送速度の例（Hitachi UltrastarA7K1000の場合）①シーク時間：平均8.2ms,１トラック：１ms、最大：十数ms②回転待ち時間（回転数7200rpm)：平均4.17ms,最大8.34ms③データ転送速度：85MB/S（最外ゾーン）～42MB/S（最内ゾーン）
２．HDD１台のアクセス処理能力の概算（上記１の値を用いて）①１アクセスで、４Mbitを書込み（読出し）②１アクセス処理時間(ms)＝・8.2（シーク）+4.17（回転待ち）+6(最外ｿﾞｰﾝWrite）
・8.2（シーク）+4.17（回転待ち）+11(最内ｿﾞｰﾝWrite)＝18.37ms（最外ｿﾞｰﾝ書込（読出)）＝23.37ms（最内ｿﾞｰﾝ書込（読出)）③１秒当たりのアクセス処理能力=54.4アクセス/秒～42.8アクセス/秒“上記は、HDDのデータ転送能力を最大限引き出すファイルシステ
ムの場合”

HDDの性能を最大限引き出すファイルシステム
１つのファイルは、Ｍ個のファイルブロックで構成
ファイルブロックは、連続する複数のセクターから成る

サーバー

I/O
コマンド

ディスク媒体SectorTrack m

512Byte 512Byte 512Byte

512ByteTrack m+1

512Byte 512Byte 512Byte

512Byteファイルブロック

512Byte x N sectors

HDDアクセス処理能力の比較
１回のＩ/O
データ量
(MB)

0.5

12

3

HDD1：高転送速度
・シーク：平均8.2ms
・回転待：平均4.17ms
・データ転送速度：
最外ゾーン：205MB/S
最内ゾーン：103MB/S

１アクセス
処理時間
・最外ゾーン

１アクセス
処理時間
・最外ゾーン

１アクセス
処理時間
・最外ゾーン

１アクセス
処理時間
・最外ゾーン

14.8ms17.22ms

22.12ms

27.0ms・最内ゾーン

・最内ゾーン

・最内ゾーン

・最内ゾーン

17.22ms

22.08ms

31.78ms

41.49ms

HDD2：中転送速度
・シーク：平均8.2ms
・回転待：平均4.17ms
・データ転送速度：
最外ゾーン：85MB/S
最内ゾーン：42MB/S

１アクセス
処理時間
・最外ゾーン

１アクセス
処理時間
・最外ゾーン

１アクセス
処理時間
・最外ゾーン

１アクセス
処理時間
・最外ゾーン

18.25ms

24.27ms

35.89ms

47.66ms

・最内ゾーン

・最内ゾーン

・最内ゾーン

・最内ゾーン

24.27ms

36.17ms

59.98ms

83.79ms

HDDスペック街角映像蓄積システム構成の課題
１．ストレージについての現状認識（１）ストレージの代表のHDDのスループットは、数十MB/S（２）街角映像蓄積・公開の利用シーンにおいて、ストレージ構成問題が発生する①膨大なデータ量（ゼッタバイト）に対応するストレージ媒体の選択②何台のカメラに対して何台のHDDを対応させるか同時映像書込み数と同時読み出し要求数

HDD書込速度実測例
100MByte書込み時間を、１つのWriteコマンドでの書込単位を変えて実測。書込み単位が大きいほど、速い。外周の方が、速い。
最内周領域

最外周領域
書込
書込
実測値
単位
回数
4KB 25600 215.228381sec

書込
書込
実測値
単位回数
4KB 25600 227.532387sec

16KB

6400

55.510494sec

16KB

6400

59.015780sec

64KB

1600

15.711799sec

64KB

1600

23.103657sec

128KB

800

9.518848sec

128KB

800

13.300210sec

256KB

4006.869377sec

256KB

400

8.302222sec

512KB

200

3.707794sec

512KB

200

5.592292sec

街角映像蓄積システム構成（１）同じ時刻のファイルへのアクセスの集中への対応
・ファイルサーバCache－－－HDD Cache
・HDD先読み－－－HDD Cache（２）1つのファイルを、複数のHDDに分散して記憶する方式は・SCSIバスArbitrationが頻発して、スループットが落ちる
・要シミュレーション

新しい階層記憶システムの開発（１）複数のHDDと、複数のBlue Ray Diskを搭載したオートチェンジャを組合せて3階層の巨大記憶システムを構成する①HDD１次記憶ーーBlue Ray2次記憶ーーBlue Ray3次記憶②1次記憶と2次記憶は、オンライン記憶として外部アクセスに対応する Blue
Rayディスクを跨いだファイルシステムを構築する③3次記憶は、アーカイブ用であり、Blue Ray Diskをオートチェンジャから取り外し可能。取り外した後、再度オートチェンジャに挿入することで、ファイルの読出し可能。
（２）NFSによるアクセスに対応する（３）すべての記録媒体上の連続領域に情報を蓄積する（４）その他

サー
バ

街角映像
データ
ベース

1次記憶

階層

街角映像データベース
カメラ映像各々を下記項目で管理
１．カメラ番号
２．カメラ設置場所の住所
３．映像撮影 西暦・時・分・秒
４．映像サムネイル
５．説明事項６．その他

1次、２次、３次記憶システム

HDD（１次記憶）Blue ray Disk
（２次記憶）

Blue ray Disk
（３次記憶）

ファイル・ブロック(on line)

ファイル・
ブロック
(on line)

ファイル・
ブロック

同じブロック書込み
同じブロック書込みカメラ1台ごとにHDD1台を張付け

ｎ台のHDＤでＲＡＩＤ０を構成しｎ台のカメラに対応ストレージ構成による性能の差異比較と望ましいストレージ構成
性能

ストレージ構成

蓄積容量
512KB単位のラン
ダム読出しI/O時
データ転送速度

カメラ1台にHDD1台（カメラはｎ台）
１台のHDD容量 x ｎ
Vdt (*1)

カメラｎ台に１つのRAID0(n台HDDでRAID0構成）
同左～２Vdt (*2)

*1: 62.4MB/S for MBA3073RC（3.5インチHDD 73GB SAS 15000rpm Ave. Read Seek Time 3.5ms)*2: 110.7MB/s for Raid0(６台のMBA3073RCで構成)（出展：http://hikaku.cman.jp/raid/kekka_raid0/）

１．RAID構成（ｎ＝6）は、ランダム読出し速度は速い。
しかし、2倍程度にしか早くならない。
２．同時にｎ台のカメラの蓄積への読出し要求がある場合、カメラとHDDを １：１に対応させる構成の方が、読出し処理能力が高い（約3倍）。

(*1)NonRAID（RAIDでない）との比較

出展：http://hikaku.cman.jp/raid/kekka_raid0/

まとめ

街角にカメラを配置し、映像を切れ目なく撮影・録画・蓄積するシステムを構想し、基本設計した。
（１）カメラ画素数、符号化速度、蓄積容量、道路上隙間ないカメラ配置方法と総蓄積容量を明らかにした。
（２）複数のカメラ映像の記憶と並行して長期間保存記憶を行える、アクセス処理能力の高い、新たなファイルシステムを開発した。
（３）従来に無い、高速で高価な記憶デバイスへの一定期間の映像記憶と、アクセス耐力の高い低価格な記憶デバイスへの長期間保存が同時に行える３次階層記憶システ
ム構成法を明らかにしした。