従来よりも高機能性を実現する
焦点調節機構導入型新画像処理法
群馬大学大学院工学研究科
松井 利利一1背景（従来の画像処理と視覚系の画像処理の違い）
従来の画像処理よりも視覚情報処理の方が優れている
画像観測特性は無画像観測特性は無い

従来 画像処理
従来の画像処理(1) 合焦点画像を用いる（焦点調節機構は無視）(2) 画像解像度は一様（視細胞の不均一密度無視）
視覚系の画像処理

画像観測特性を含む(1) 提示画像にあわせて網膜像のボケが変化（焦点調節機構 特性）（焦点調節機構の特性）(2) 網膜像の解像度は中心が高く，周辺が低い（視細胞の不均一密度分布構造）
視覚系の優れた画像解析機能

画像観測特性が１つの要因の可能性

2

研究目的
(1) 視覚系の画像観測特性を明らかにする(2) 視覚系の画像観測特性を導入した新しい画像処理方法を開発する

研究方法(1) 視覚系の焦点調節特性を実測する(2) 視覚系の画像観測機構を数理的にモデル化(3) モデルを応用した画像処理法を開発する
3（視覚系の画像観測特性）ー現象論的解釈ー(1) 文字などの細かい部分に注目（高い空間周波数構造）
・微細構造が明確に見える

ボケが減少

・明確に見える範囲が狭くなる

視野が縮小(2) 画像の大まかな構造に注目（低い空間周波数構造）
・画像の微細構造が見えにくい

ボケが増加

・ぼけて見える範囲が広がる

視野が拡大

何を観測するかに依存して観測画像のボケと視野が変化
画像観測における視覚系の基本戦略，拘束条件

画像観測特性は全ての視覚情報処理に関係している4

（ボケと視野の生理学的解釈）(1) ボケ： 眼球光学系の焦点調節誤差（網膜像のボケ）

低域通過フィルター (Low-pass(Low pass filter)(2) 視野： 視細胞密度の不均一分布
微細構造に注目 視細胞の密集した中心窩で観測
微細構造に注目：視細胞の密集した中心窩で観測
大まかな構造に注目：密度の低い周辺部でも観測可能

窓かけ操作 (Windowing(Wi d i operation)i )ボケと視野の相互依存関係

画像処理能力の上限の存在（ 像観測 於ける拘束条件）（画像観測に於ける拘束条件）
5

眼の自動焦点調節機構の数理モデル
網膜像の最適ボケ量の導出
網膜像のボケ
網膜フィルタ 評価関数の極大化
視細胞密度不均一分布
視細胞密度不均分布

Accommodation
Accommodation

GainG
Frequency(Eye-optical system)BgX (r)()

IX

Perception
andRecognition

Sennsitivity

Band-pass
Image Blur τ1filterVisualf (r)field τ0 f s(r) H X (ωs )Evaluation
function
IX(Retina)

Frequency(Brain / Visual cortex)

提示画像に合わせて網膜像の最適ボケ量が導出可能（画像に依存して焦点外れ量が変化：視覚系と同じ特性）

6焦点調節機構モデルの空間周波数特性（チャネル中心周波数）

Sensiitivity

fcfcfc

基本的特徴：

マルチチャネル構造（適応的画像観測特性）
観測状態（0，1）の推定

適応的に変化
Spatial frequency

・多くの狭帯域フィルタの集合・包絡線は正弦波コントラスト感度特性
包絡線は正弦波コントラスト感度特性の実測値と一致

狭帯域チャネルの選択
fc 2  2 0   1 loge16 2  0   1  1 
1

狭帯域フィルタ の中心周波数
狭帯域フィルターの中心周波数

チャネル中心周波数 ｆｃ

7

焦点調節応答実測システム

画像提示装置Badal opticalpsystem
yMirrorCRT

Frame memory

Lens 1 Artificial pupil Lens 2

Eye ballHalf mirror
Personal computer

Personal computer

Infrared optometer8焦点調節応答の実測実験
測定項目:空間周波数依存特性①

明るい部分の画素を注意②

正弦波信号成分を注意③

暗い部分の画素を注意

条件①画素を注意②

正弦波信号成分を注意③

画素を注意擬似中間調正弦波画像
空間周波数

0.3cpd正弦波

0.14 ,0.2, 0.3 , 0.5 , 0.7 ,

空間周波数

1 0 ,1.4
1.0
1 4 ,2.0
2 0 ,3.0
3 0 ,5.00 [cpd]視距離一定（４[diopter]）

被験者（ ） （b） （ ）（a）,（b）,（c）9網膜像ボケ特性の理論と実測の関係
焦点調調節誤差[dioopter]

ボケ
ケの大きさσσ10.0

正弦波信号を観測

01
0.1
0.01
0.001

画点を観測
0.000101
空間周波数[cpd]10(a)協調視覚モデルの出力結果

0.14cpd

0.2cpd0.3cpd2正弦波信号を観測

15
1.5
10.5
0

画点を観測
0.1

1
空間周波数[cpd]良く一致(b)実測結果

0.5cpd100.7cpd10

従来の自動焦点調節機構
自動焦点調節機構（従来技術）(1) Active 方式（赤外線投射 etc.）(2) Passive方式（投影像を用いる）

焦点外れ検出センサ

従来技術の課題(1) センサが組込めない場合
内視鏡等の超小型カメラ
電子顕微鏡 etc.

CCD

sensorモータ(2) 視覚系の画像処理特性が再現できない
自動焦点調節機構が画像処理と独立
11

従来の自動焦点調節機構との比較（従来の自動焦点調節特性）

視覚自節特性（視覚系の自動焦点調節特性）(1) 焦点外れ検出センサあり(1) 焦点外れ検出センサなし（脳で計算する）(2) 合焦点像は作らない(2) 合焦点像を作る（画像に依存せず焦点外れは無）（画像に依存して焦点外れ量が変化）(3)入力画像の解像度は一様(3)入力画像の解像度は一様でない（撮像素子の解像度に依存）（視細胞密度の不均一分布に依存）(4) 焦点調節機構の単独動作(4) 脳と協調して動作

視覚系の高度な画像処理機能発現の要因12

応用分野(A) 焦点外れセンサなしでの自動焦点調節機能(1)内視鏡等の超小型カメラなどの自動焦点調節(2)電子顕微鏡などの自動焦点調節(2)人工水晶体（眼内レンズ）の自動焦点調節(B) 視覚情報処理機構の再現機能(1)人間の眼と同様に動作するロボット視覚（Humanoid robot）
パターン認識理解技術（認証
パタン認識理解技術（認証，防犯カメラ．知能ロボット）
防犯カメラ 知能ロボット）(2)人間工学応用（最適ディスプレイ環境の提供）
２眼融合式両眼立体視ディスプレイの最適設計
画像品質の客観的評価法の開発
文書画像最適表示法の開発（行間隔と文字間隔の最適値）
老眼者，視覚障害者の見え方予測（最適表示法の開発）

13

画像ノイズの客観的評価への応用（目的）
ウィナースペクトル法と協調視覚モデル法の性能比較（方法）
ノイズ評価値と主観評価値を比較
イ 評価値
観評価値を比較（評価画像）
ディジタルカラー複写機（解像度一定，画点形成法が異なる）
インクジェットプリンタ（解像度可変 画点形成法は同じ）（解像度可変，画点形成法は同じ）
14

評価画像の種類と作成法
インクジェットプリンタ（解像度可変，画点形成法は同じ）
Single-color
Scanner(3200 dpi)

Ink-jet printer
300×300 dpi
600×300600
300 dpi
600×600 dpi
1200×600 dpi
2400×600 dpi
Digital copying
machine600×600 dpi
Test chart((density=0.1,y, 0.2,, 0.4))

Reference image

output image

Scanner

Multi-color(820 dpi)

output image

Evaluated
Image(softcopy)

Evaluated
image (hardcopy)
Multi-color

Scanner

output image(820 dpi)

Averagingluminance level

Evaluated Image
Scanner(820 dpi)
Reference image

ディジタルカラ 複写機（解像度一定 画点形成法が異なる）
ディジタルカラー複写機（解像度一定，画点形成法が異なる）
15

評価画像の例

DC1_0.1

DC2_0.1

DC3_0.1

DC4_0.1

Test chart(1) multi-colored images from four digital color copying machines (density=0.1)

300×300 dpip

600×300 dpi 600×600 dpi 1200×600 dpi 2400×600 dpi

Test chart(2) single-colored images from the color ink-jet printer (density=0.1)

300×300 dpi
pp 600×600 dpi
p 1200×600 dpi
p 2400×600 dpip
600×300 dpi(3) multi-colored images from the color ink-jet printer (density=0.1)

Test chart16

表１ 各色画像に於ける主観評価値と協調視覚モデル法の相関係数値
non-uniformity MSL uni
density=0.1 density=0.2 density=0.4
Yellow-0.873-0.943-0.954
Magenta-0.966-0.981-0.962CCyan-0.977
0 977-0.9770 977-0.980
0 980
Red-0.952-0.963-0.967
Green-0.984-0.979-0.977
Blue-0.957-0.958-0.997
Black-0.976
0 976-0.9920 992-0.9930 993

average-0.923-0.970-0.9780 978-0.961-0.980-0.971-0.9870 987

dot structure noise MSL dot
density=0.1 density=0.2 density=0.4-0.844-0.920-0.970-0.869-0.938-0.969-0.8920 892-0.9540 954-0.9800 980-0.926-0.961-0.961-0.981-0.985-0.989-0.962-0.989-0.984-0.9730 973-0.9960 996-0.992
0 992

Ink-jet (single-color):-0.981-0.985-0.977-0.914-0.659-0.854

Ink-jet (multi-color):-0.988-0.986-0.988-0.989-0.987-0.966average-0.911-0.925-0.9420 942-0.949-0.985-0.978-0.9870 987

表１ 各色画像に於ける主観評価値とウィナースペクトル法の相関係数値
noise wiener spectrum GS
density=0.1 density=0.2 density=0.4
Yellow-0.854-0.930-0.871
Magenta-0.748-0.834-0.889Cyan-0.757-0.908-0.941
Red-0.882-0.933-0.953
Green-0.898-0.923-0.969Blue-0.869-0.954-0.968
Black-0.681-0.803-0.902
Ink-jet (single-color):-0.972-0.964-0.923

Ink-jet (multi-color):-0.989-0.956-0.976average-0.885-0.824-0.868-0.923-0.930-0.931-0.79617画像ノイズ評価の結果
ウィナウィナースペクトル法と協調視覚モデル法の性能比較
クトル法と協調視覚 デル法の性能比較
協調視覚モデル法の性能・ディジタルカラー複写機に適用可能
・インクジェットプリンタに適用可能
インクジ ットプリンタに適用可能

画点形成法や解像度が異なっても利用可能
ウ ナ
ウィナースペクトル法の性能
ペクト 法 性能・ディジタルカラー複写機に適用困難
・インクジェットプリンタに適用可能

画点形成法が異なると利用不可
解像度が異なっても利用可能

18読みやすい文書構造の導出
・パソコン，インターネット，電子書籍，電子新聞など
電子文書を目にする機会が増えている
電子的文書を読みやすい文書構造に変換する必要性（目的）
焦点調節という観点から，文書を読む場合の行と行間隔の最適関係を理論的に導出する（方法）
自動焦点調節機構モデルが文書画像を観測した場合の応答を用いて，最適行間隔を導出

19擬似文書画像

characterfont size

line spacecharacterheightcharacter width character gap

例 模擬文書画像
フォント15pt 行送り30pt 字送り10[1/1000em]
20

A

center of line spacing

1400

CB

1200
1000
800
600
400
200

line spacing: 2 points
line spacing: 4 points
line spacing: 0 points
line spacing: 6 points

A

600

800

1000

1200

Vi
Viewpoint
i t alongltheth row (deg)
(d )

1400

0 20 40 60 80 100 120 140 160 180 200 220 240 260 280 300 320 340 360

1600

0
評価関数値 Ix

Evaluation function vaalue Ix

B0center of line

1600

C200
2B

400

A

■
■
■
■■■
■■■

文書画像に対する焦点調節機構モデルの応答（１）行の中心で評価関数は 小となるとなる ( )（２）行と行間隔の境目に於いて評価関数値は極大となる (B)（３）行間隔の中心位置で評価関数値は極小となる (C)（４）行と行間隔の中心で評価関数値を最大にする行間隔が存在
21

行間隔と焦点調節機構モデルの評価関数値
最適行間隔

1200

Maximum evvaluation function value

Maximum evvaluation functtion value

最適行間隔(1) model’s viewpoint=0 deg
1000
800
600

2.29 mm
22.5454 mm
2.80 mm

400200character size

3.05 mm3.30 mm
3.56 mm3.81 mm

0012

345Line space length (mm)(1) 行の中心

67

1800(2) model’s viewpoint=180 deg

1600

3.81 mm
3.56 mm3.30 mmcharacter size
3.05 mm

1400
1200
1000
800
600

2.80 mm
2.54 mm2.29 mm

400200character size0012345Line space length (mm)67(2) 行間隔の中心(1) 行の中心では，文字サイズの増加と供に最適行間隔は増加(2) 行間隔の中心では，文字サイズが増加しても最適行間隔はほぼ一定

22

最適行間隔を用いた擬似文書画像の例

例：フォントサイズ9ptの場合 （字送り10に固定）

行送り 10pt

行送り 12pt

行送り 14pt

最適値

23

自動焦点調節機構モデルの課題(1) ハードウェア化，専用LSI化
現在はソフトウェアで実現されている(2)計算速度の向上
最最適化計算を行う為，時間がかかる
算う ，(3)人間工学応用に関するデータ整備
実用化に向けた詳細な検証実験
24