論文

低解像度画像からの顔検出
林

伸

治†

長谷川

修†,††,†††（正会員）† 東京工業大学大学院 総合理工学研究科 知能システム科学専攻†† 東京工業大学 像情報工学研究施設††† PRESTO, Japan Science and Technology Agency (JST)〈あらまし〉 顔検出はコンピュータビジョンで最も研究が盛んな分野の一つであり、近年、大きな進歩を遂げている。しかし、低解像度画像からの顔検出については、ほとんど研究されていない。本論文では、顔検出における標準的な検出器と評価画像である AdaBoost ベースの顔検出器および MIT+CMU
評価画像を用い、24×24 ピクセルの顔に対し 88%であった顔検出率が、6×6 ピクセルの顔に対しては 39%まで低下することを示す。これに対し、「肩まで含む顔画像の使用」「画像の拡大」「特徴の周波数制限」「二つの検出器の統合」から構成される提案手法を示し、6×6 ピクセルの顔に対して、71%の検出率が得られたことを示す。なお、上記検出率は、いずれも評価画像 112 枚に対して誤検出数 100
における値である。
キーワード：顔検出、低解像度〈Summary〉 Face detection is a hot research topic in Computer Vision; the field has greatly

progressed over the past decade. However, to our knowledge, face detection in low-resolution
images has not been studied. In this paper, we use a conventional AdaBoost-based facedetector to show that the face detection rate falls to 39% from 88% as face resolution decreases
from 24 × 24 pixels to 6 × 6 pixels. In order to raise the face detection rate when using lowresolution images, we propose a new face detection method comprising four techniques. 1.
Using an upper-body detector. 2. Expansion of input images. 3. Frequency-band limitationof features. 4. Combination of two detectors. As a result, our method improved the facedetection rate from 39% to 71% for 6 × 6 pixel faces of MIT+CMU frontal face test set.
Key words: face detection, low-resolution

1.

はじめに

近年、一般画像中から顔を検出する手法が数多く提案
1)り3),4)、主として入退室管理のようなセキュリティ分野
において、実環境で動作するシステムが登場している。
顔検出を用いた現状のセキュリティシステムのほとん

されており 、正面顔については高速、高精度での検出がどは、ユーザがカメラの前面に立つことを想定しており、可能になっている2)。また、顔の向きや照明条件の変動、画像中でのサイズが比較的大きな顔を検出対象としてい部分的な隠れに対して頑健な顔検出手法も研究されておる。このような方式を用いているのには、二つの理由が考えられる。一つは、入退室管理のように顔検出後に認“Robust Face Detection for Low-Resolution Images” by
Shinji HAYASHI, (Department of Computational Intel-

識処理を行う場合、ある程度以上の解像度が必要となる

ligence and Systems Science, Interdisciplinary Graduateからである。もう一つは、従来の顔検出研究が検出対象

School of Science and Engineering, Tokyo Institute of Tech-としてきた顔の大きさが、20×20, あるいは 24×24 ピク

nology), and Osamu HASEGAWA, (Member) (Departmentof Computational Intelligence and Systems Science, Interdisciplinary Graduate School of Science and Engineering, Tokyo Institute of Technology,) (Imaging Science andEngineering Laboratory, Tokyo Institute of Technology,)(PRESTO, JST).

セル以上の顔であり、それより小さな顔はそもそも検出できないからである。
不審人物検出等のセキュリティ用途を考えると、画角の広い監視カメラ映像において、カメラから比較的近い距1

画像電子学会誌 第 34 巻 第 xx 号（2005）
離にある顔のみを検出するのでは、機能に大きな制約があると言わざるを得ない。これに対し、カメラから遠い場



所にある低解像度の顔を検出できれば、たとえば Baker




 






5)

らの提案する手法 (Hallucination) により高解像度の顔をかなりの精度で復元することができる。これにより、

図 1 カスケード
Fig. 1 Cascade

監視カメラ等のハードウェアはそのままで、ソフトウェ
アのみの変更で従来より大幅に広い空間を検出対象とすることが可能になる。また、低解像度画像からの顔検出く使用されており4),9)〜11)、現時点での標準的な手法の一は、近年研究が盛んな自動車における歩行者検出への適つとなっている。よって、本研究では従来手法の代表と用も考えられ、車から遠く離れた歩行者を検出することして AdaBoost ベースの顔検出器を用いることにした。

で、安全運転支援に寄与できると思われる。しかし、上

なお、AdaBoost では逐次的に特徴選択を行いながら述の Hallucination 自体は顔検出が正常に行われた後の識別関数を構成していくため、10 万個以上の特徴と、数処理であり、低解像度画像からの顔検出手法は研究され千〜数万の学習データを扱う顔検出の場合には、パラメーていない。セキュリティや歩行者検出への適用を考える

タ設定に膨大な時間がかかるという欠点がある。Violaと、様々な向きの顔に対応する必要はあるが、これは学らの論文8)では、「学習に数週間 (order of weeks) かかっ

習データの変更で実現可能であるため、本論文では最もた」との記述がある1) 。ただし、大容量のメモリを用い基本的な、正面向きの顔について検討を行う。

れば、一度計算した特徴をメモリ上に保存しておくこと

この分野での数少ない研究として、Torralba らのもで重み更新のたびに特徴を計算し直す必要はなくなり、の がある。Torralba らの研究は、顔領域を切り出した高速化が図れる。筆者らの環境では、PC に搭載された画像の解像度を下げていくことで、人がその画像を顔だ

2GByte のメモリのうち、1400MByte 程度を特徴保存と認識することが困難になっていくことを心理実験で示用バッファとして用いることで、2 日程度で学習終了ししている。さらに、顔の輪郭を含まない程度に切り出し

ている。

6)

た顔画像よりも、顔全体に加え、若干肩を含む領域まで

本章ではまず、AdaBoost ベースの顔検出器についてを切り出した画像を用いたほうが、解像度が下がっても簡単な説明を行う。その後、解像度と顔検出率の関係を顔であるとの認識が容易であるという結果を示している。

調査するため、AdaBoost ベースの顔検出器を 4 種類のTorralba らの研究を踏まえ、本研究ではまず第 2 章

解像度の評価画像にそれぞれ適用する。これにより、顔で、解像度と顔検出率に関する体系的な調査を行う。具

サイズ 24×24 ピクセルの評価画像で 88%だった顔検出

体的には、4 種類の解像度ごとに評価画像と AdaBoost

率が、顔サイズ 6×6 ピクセルでの評価画像では 39%にベースの顔検出器をそれぞれ用意し、誤検出数と顔検出低下することを示す。

率の関係である ROC カーブを作成することにより評価

2.1

AdaBoost ベースの顔検出器を行う。この評価により、顔サイズ 24×24 ピクセルのViola らの提案した顔検出器は、複数の識別器を組み合

MIT+CMU 評価画像では 88%であった顔検出率が、顔わせたカスケード構造をなしている。図 1 において、Hi

サイズ 6×6 ピクセルの評価画像では 39%に低下するこは識別器を表す。入力画像に対し、各段で顔、非顔の判とを示す。第 3 章で、「肩まで含む顔画像の使用」「画像定を行い、顔と判定された画像だけが次の段へ進む。最の拡大」「特徴の周波数制限」「二つの検出器の統合」か後の段まで通過したものが最終的に顔と判定される。非らなる手法を提案し、6×6 ピクセルの顔に対する検出率

顔の多くは最後の識別器まで到達せずに判定終了するたが、最終的には 71%まで向上することを示す。第 4 章でめ、計算時間の観点から効率が良い。カスケードの各段

まとめを行う。

が学習用顔画像を通過させる割合を Dr(0<Dr<1)、学

なお、本論文で「顔の解像度」とは、顔のサイズを意

習用非顔画像を通過させる割合を F p(0<F p<1) とする

味し、画像中の顔において、左目と右目のピクセル間隔と、カスケード n 段通過後は、学習用顔画像は (Dr)n 、の 2.4 倍を顔のサイズ (=解像度) として用いた。

学習用非顔画像は (F p)n だけ通過していることになる。

Dr = 0.999、F p = 0.5 等と設定することで、例えば

2.

従来手法

n = 20 になると学習用顔画像通過率は 0.99920 = 0.98、

顔検出の手法は数多く提案されているが、なかでも、学習用非顔画像通過率は 0.520 = 9.5 × 10−7 となって、Viola ら7),8)の提案した AdaBoost ベースの手法は、実行速度の速さと検出率の高さから顔検出研究において広2

1)「改良により 1/100 の時間で学習可能になった」との記述もあるが、改良についての具体的な記述はない。

論文：低解像度画像からの顔検出

図 3 解 像 度 の 異 な る 顔：顔 サ イ ズ は 左 か ら 24×24,
12×12,8×8,6×6,4×4 ピクセル

図 2 学習に用いた特徴
Fig. 2 Features used for lerning

Fig. 3

学習用顔画像をほとんど通過させ、学習用非顔画像を通過させない検出器となる。

Various face resolutions：face size is from left
24×24, 12×12, 8×8, 6×6, 4×4 pixel

画像の 99.9%以上を通過させ、かつ学習用非顔画像の 50%未満を通過させるようになるま
で、1 へ戻って弱仮説 h を追加する。

カスケードの各段では、図 2 のような 4 種類の簡単な特徴を多数組み合わせて識別器を構成する。4 種類の特徴はいずれも白矩形内の階調値の和と黒矩形内の階調値の和との差分に対応し、この差分に対してしきい値との大小を比較して 1 又は 0 を出力する関数を弱仮説 h と呼ぶ。これは、顔と非顔の識別に相当する。なお、ここで• H1 を作成したら、H1 を通過した学習用顔画像を新たな学習用顔画像とする。また、顔の写っていな
い任意サイズの複数枚の画像からランダムに 24×24ピクセルの画像を切り出し、H1 を通過するものをn 枚集め、新たな学習用非顔画像とする。

は一つの特徴が一つの弱仮説に対応している。学習用画

すべての学習用非顔画像が通過しなくなるまで Hi

像には 24×24 ピクセルの画像を用い、矩形の位置と大を作成する。

きさを 24×24 ピクセルの画像内でどのようにとるかによって 13 万通り以上の特徴が生じるが、これらの中か検出器では、対象とする画像を 1/1.25 倍ずつ縮小しらどの特徴を使用するかについてを、下記の AdaBoostてピラミッド画像を作成し、すべてのピラミッド画像上

アルゴリズムを用いて選択する。

で顔、非顔の判定を行いながら走査を行う。1/1.25 倍した画像に 24×24 ピクセルの顔検出器を適用することは、• 24×24 ピクセルの学習用顔画像 n 個、24×24 ピク

30×30(=24×1.25) ピクセルの顔を検出することに相当

セルの学習用非顔画像 n 個を用意する。学習用非顔する。つまり、24×24 ピクセルが、検出可能な最小の顔画像は、顔の写っていない任意サイズの複数枚の画

サイズとなる。2)像からランダムに 24×24 ピクセルで切り出す。
1として• すべての学習用画像の重み wi を wi = 2n

初期化。

干煩雑なため、一般的な他の顔検出器と同様にピラミッド画像を用いた実装とした。

2.2 低解像度画像への適用• t = 1...T
1. 各学習用画像の重みを wi を、 P2nwi w
k=1

k

とし

て正規化する。

2. 各特徴についてしきい値設定とエラー e =Pk wk の計算を行い、エラーが最小の特徴 jを選択する。ただし、k は正しく識別できな
かった学習用画像番号を示す。

3. 重みの更新を行う。正しく識別できたすべての学習用画像 j の重みを減らす。wt+1,j =ewt,j 1−e

なお、Viola らの論文ではピラミッド画像を作成せずに検出器側を拡大しているが、重み付け計算が必要9)で若ここで、e は 2 で求めた最小のエラーである。

4. 最終的な識別器は、x を 24×24 ピクセルの入力
P
画像として H(x) = T
i=1 αhi (x) とし、H(x)Pαを超えれば顔と判定する。ただが 12 Tii=1i とする。H(x) が学習用顔し、αi = log 1−eei

ここでは、上記の AdaBoost ベースの顔検出器を、低解像度画像へ適用した結果について述べる。
はじめに、調査する解像度の範囲を決める。複数の顔画像を様々なサイズで切り出し観察した結果、6×6 ピク
セルでの切り出しが、顔と認識できる境界付近であると判断した。図 3 は、24×24,12×12,8×8,6×6,4×4 ピクセ
ルでそれぞれ切り出した顔画像の一例である。この観察から、かろうじて顔とわかる 6×6 ピクセルから、顔検出で通常使用される 24×24 ピクセルまでを調査範囲とした。6×6、24×24 ピクセルに 12×12、8×8 ピクセルを加え、計 4 種類について調査することとした。
2)学習用画像の大きさが、検出可能な最小の顔の大きさとなる。

ただし、実際には多少の大きさのずれを検出器が許容するため、20×20 ピクセルや 18×18 ピクセルといった顔もある程度は検出できる。

3

画像電子学会誌 第 34 巻 第 xx 号（2005）                                         

17

4 56
43
0 12/
-.

!
'
&

%

$
#
"
!


 "
+ )'   !
./   ,+ -   + )(   *)  
)& '(  



"

$

%
 (    )  *  +,

&

!

図 4 MIT+CMU 評価画像に含まれる顔のサイズ分布
Fig. 4 Face size histogram of the MIT+CMU set

次に、従来手法の低解像度画像への適用方法を述べる。
前節で説明したように、顔検出においては、学習用画像

Fig. 5


!






  #  $    %  







図 5 解像度による顔検出率の違い
Relation between resolutions and face detection rates

画像 13 枚と、線画の顔を含む画像 5 枚を除き 112枚とする。

の大きさが検出可能な最小の顔の大きさとなるため、小さな顔を検出するには小さな学習用画像から作成した検• 画像に含まれる顔が 1 個であれば、その顔の大きさ

出器を用いる必要がある。これは、ニューラルネットワー

が所望の大きさ (24×24,12×12,8×8,6×6 ピクセル

クベースの顔検出器等、他の顔検出手法でも同様である。

のいずれか) になるようにその画像全体をバイキュー

たとえば 6×6 ピクセルの大きさの顔に対し、24×24 ピ

ビック法により縮小する。(できるだけなめらかな縮

クセルの学習用画像から作成した検出器を適用しても検小を行うため、バイキュービック法を選択した)

出することはできず、検出には 6×6 ピクセルの学習用画像から作成した検出器を適用する必要がある。このように、低解像度の顔に対して、対応するサイズの学習用画像で作成した検出器を用いるのが、従来手法の単純な適用となる。
使用する評価画像について述べる。顔検出の標準的な• もし 1 枚の画像に複数の顔が含まれていたら、その画像中の「平均顔サイズ」を求め、「平均顔サイズ」
が所望の大きさになるように画像全体をバイキュー
ビック法により縮小する。

• 以上を 112 枚、4 種類の大きさについて繰り返す。

評価画像として、Rowley らが用いた MIT+CMU 評価
画像があり12)、本論文でもこの画像を用いて評価を行う。

これにより、4 種類の評価画像を作成した。4 種類

この評価画像は 130 枚からなる画像セットであり、507 人の評価画像中に含まれる顔サイズの平均は、それぞれの正面向きの顔が含まれている。507 人それぞれの顔サイ

24×24,12×12,8×8,6×6 ピクセルである。

ズを評価画像付属の ground truth ファイルから計算し、作成したヒストグラムが図 4 である。検出器作成時に用いる学習用画像の大きさが検出できる最小の顔の大きさであることを考えると、24×24 ピクセルの学習用画像で作成した検出器を用いれば、通常解像度の MIT+CMU
評価画像に含まれる顔を、大きさの観点ではほぼカバーできることがわかる。ところが、本研究で扱うのは低解像度画像からの顔検出であり、検出対象とする顔のサイズは 24×24 ピクセルよりも小さなものを想定する。したがって、小さな顔が含まれていない MIT+CMU 評価
画像をそのまま用いることはできない。そこで、低解像度画像からの顔検出評価用画像を、以下のようにして作成した。

• MIT+CMU 評価画像 130 枚のうち、顔を含まない
4

解像度と顔検出率の関係を評価するため、平均顔サイズ n × n ピクセルの評価画像に対し、n × n ピクセルの学習用画像から作成した検出器を適用して評価を行った(n は 24, 12, 8, 6 の 4 種類)。なお、4 種類の検出器の作
成には、いずれも学習用顔画像 5131 枚と学習用非顔画
像 5316 枚を用いた。
この評価結果を図 5 に示す。これが、低解像度画像に従来手法である AdaBoost ベースの顔検出器を適用した結果となる。図 5 の横軸は誤検出数を、縦軸は顔検出率を表す。図 5 を見ると、顔サイズ 24×24 ピクセルでは
誤検出数 100 個の時に 88%であった検出率が、顔サイズが小さくなるにつれ減少し、顔サイズ 6×6 ピクセルでは

論文：低解像度画像からの顔検出
約 39%に低下している。したがって、6×6 ピクセルの顔については、単純に学習用画像を小さくしただけでは極めて低い検出率しか得られないといえる。図 6 に検出結果例を示した。

3.

提案手法

学習用画像のサイズを小さくするといった従来手法の単純な適用では、顔サイズが 6×6 ピクセルになると極端に検出率が下がることがわかった。そこで、6×6 ピクセ
ルの顔に対象を絞り、ここからは 6×6 ピクセルの評価画
像のみを用いて検討を行う。なお、2 章で述べたように、検出可能な顔のサイズは検出器の学習に用いた画像サイズ以上のものになるため、6×6 ピクセルの顔を検出することができれば、それより大きな顔については検出が可能である。
はじめに、肩まで含む顔画像で検出器を作成すること
により、顔のみの画像で作成した検出器よりも検出率が向上することを示す。また、「顔検出器」と「肩まで含む
顔検出器」が相互に補間し合うことに着目し、以後、二つの検出器を用いることを考える。3)
次に、「画像の拡大」「特徴の周波数制限」を上記の二つの検出器にそれぞれ適用し、いずれも検出率が向上することを示す。
最後に、「二つの検出器の統合」で、「顔検出器」と「肩まで含む顔検出器」をニューラルネットワークにより統合する。最終的なアルゴリズムとしては、• 入力画像全体を 6 倍に拡大
• 「顔検出器」と「肩まで含む顔検出器」を、拡大した画像に適用• 上記二つの検出器の検出結果をニューラルネットワー
クへ入力し、顔、非顔の最終判定を行うとなる。

3.1 肩まで含む顔画像の使用
低解像度画像における顔検出について、Torralba らの心理実験がある。これは、顔の輪郭を含まない程度に切り出した顔画像よりも、顔全体に加え、若干肩を含む領域までを切り出した画像を用いたほうが、解像度が下がっても顔であるとの認識が容易であるというものである。
この知見を用い、学習用顔画像として肩まで含む顔画像を使用することを試みた。なお、肩まで含む顔画像の3)本論文では以後、顔のみの画像で作成した検出器を「顔検出器」、

肩まで含む顔画像で作成した検出器を「肩まで含む顔検出器」と呼ぶ。

図

6 検 出 結 果 例 。平 均 顔 サ イ ズ は 、上 か ら
24×24,12×12,8×8,6×6 ピクセル。
Fig. 6 Examples of detection results. Average facesize is, from top, 24 × 24, 12 × 12, 8 × 8,
and 6 × 6 pixels.

5画像電子学会誌 第 34 巻 第 xx 号（2005）

図 7 左:12×12 ピクセルの肩まで含む顔画像 右:6×6 ピ
クセルの顔画像
Fig. 7 Left:12 × 12 pixel upper-body image.
Right:6 × 6 pixel face image

サイズは、縦横ともに顔画像の 2 倍 (12×12 ピクセル)とした。学習用画像として、12×12 ピクセルの肩まで含

図 9 左:6×6 ピクセルの顔検出器での検出結果 右:12×12ピクセルの肩まで含む顔検出器での検出結果 (検出
枠は、顔領域に描画している)
Fig. 9 left:6 × 6 pixel face detector’s result.
right:12 × 12 pixel upper-body detector’s result (a detection window is drawn at the faceregion)む顔画像 4191 枚と、学習用非顔画像 5316 枚を用いて検出器を作成した。図 7 に、12×12 ピクセルの肩まで含む
顔画像 (顔は 6×6 ピクセル) と、顔のみの 6×6 ピクセル
画像を示す。

                      $ 0 .,  #3410 2  "0 .-  !
/. 
.
+ ,- 
 5    6 7
8 ( 9 :9  )   ) ( 6     9 )  )( 6
%# &  ' # '       (  ) *  

図 8 肩まで含む顔画像の効果
Fig. 8 Effect of using upper-body images

図 10 解像度による検出個数の違い:左二つは顔サイズ
6×6、右二つは顔サイズ 24×24
Fig. 10 Difference of the number of face-coordinate
candidates. The two left images contain 6× 6 pixel faces. The right two images contain 24 × 24 pixel faces,が良いと推察された。本論文では以後、二つの検出器を用い、最後に統合を行う。

3.2 画像の拡大
顔検出では通常、一つの顔の周辺で複数の「顔座標候補」が発生する。これは、検出器が多少の位置ずれや大きさのずれを許容するからである。これら複数の検出座
標はマージされ、最終的には一つの顔に対して一つの顔検出座標となる。

作成した検出器を、平均顔サイズ 6×6 ピクセルの評価

この「顔座標候補」の発生数が解像度によって異なる

画像に適用した結果が図 8 である。比較のため、顔検出か調査するため、顔サイズ 24×24 ピクセルの画像 100 枚器での結果もプロットした。平均顔サイズ 6×6 ピクセルに 24×24 ピクセルの顔検出器を、また、顔サイズ 6×6の時、「顔検出器 (図 8 の 6×6 face detector)」では誤検

ピクセルの画像 100 枚に 6×6 ピクセルの顔検出器をそ

出数 100 の時の顔検出率が 4 割弱であるが、「肩まで含れぞれ適用したところ、顔サイズ 24×24 ピクセルの場

む顔検出器 (図 8 の 12×12 upper-body detector)」を

合は一つの顔に対し平均 20 個の検出座標が発生し、顔用いることで、約 5 割へ上昇した。

サイズ 6×6 ピクセルの場合は平均 2 個の検出座標が発

ここで、本節での実験結果を見ると、「肩まで含む顔検生した。図 10 に、顔サイズ 24×24 ピクセルと顔サイズ

出器では検出できないが、顔検出器では検出できている

6×6 ピクセルにおける、マージ前の検出結果の例を示す。

顔」「顔検出器では検出できないが、肩まで含む顔検出器

この差は位置ずれと大きさのずれに対する頑健度の差ででは検出できている顔」があった。図 9 に一例を示す。

あり、これが顔サイズ 6×6 ピクセルでの検出率が低い原

このことから、二つの検出器は相互に補間しあっている因の一つと考えられる。

といえる。したがって、一つの検出器のみを用いるのでそこで、顔サイズ 6×6 ピクセルの画像については、画はなく二つの検出器を用い、最後にそれらを統合した方像全体をバイキュービック法により一度拡大し、24×246論文：低解像度画像からの顔検出  ピクセルの検出器を適用して顔検出することを考える。
考えられる最小の倍率は 4 倍で、平均 6×6 の顔サイズ

" #(
" #'
" #
" #&
" #%
" #$
"#
"#

を 24×24 ピクセルにすることに相当するが、顔サイズ

6×6 ピクセルの顔の中でも大きな顔、小さな顔が存在する。したがって、拡大時に確実に 24×24 以上のサイズとするため、4 倍より大きな拡大率を選択する必要がある。ただし、拡大により走査するパッチ数が増加するた
め、誤検出数も増加する。以上を踏まえ、ここでは拡大

31
/
67

43 5
3 101

2
1
. /0

率を 6 倍とした。
図 11 に、平均顔サイズ 6×6 ピクセルの評価画像を                          !

8 8 % %
         ! 
8     8  8            ! 
")& "* " "+ & ", " "       -  

6 倍し、これに 24×24 ピクセルの顔検出器を適用した
図 11 拡大による効果 顔検出器
Fig. 11 Effect of expansion: face detector

結果 ( expansion(24×24 face detector) ) を示す。比較のため、平均顔サイズ 6×6 ピクセルの評価画像を拡大せずに、6×6 ピクセルの顔検出器を適用した結果 ( no   

expansion(6×6 face detector) ) もプロットした。誤検

& ',
& '+
& '
& '*
& ')
& '(
&'
&'

出数 100 の時を比較すると、拡大前は 4 割弱であったのが、拡大後は 5 割弱へ向上していることがわかる。
肩まで含む顔検出器についても同様に効果を確認する
ため、48×48 ピクセルの肩まで含む顔画像 (顔サイズは24×24)4191 枚と、非顔画像 5316 枚を用いて検出器を作成した。図 12 に、平均顔サイズ 6×6 ピクセルの評価

4 20
8

5 4 67
4 212

3
2
/ 01

画像を 6 倍し、これに 48×48 ピクセルの肩まで含む顔検出器を適用した結果 ( expansion(48×48 upper-body                       ! " # $#  %   % "     9  " 9 ) ,  ) , !"#$
# %  %" 
9 "    9  " 9   !"#$
# %  %" 

&-* &

&&
*&
     "  % .  &&detector) ) を示す。比較のため、平均顔サイズ 6×6 ピ
クセルの評価画像を拡大せずに、12×12 ピクセルの肩まで含む顔検出器を適用した結果 ( no expansion(12×12

図 12 拡大による効果 肩まで含む顔検出器
Fig. 12 Effect of expansion: upper-body detector

upper-body detector) ) もプロットした。誤検出数 100








の時を比較すると、拡大前は 5 割であったのが、拡大後は 6 割弱へ向上していることがわかる。
顔検出器、肩まで含む顔検出器のいずれも、拡大により検出率が向上することがわかった。次節でこの二つの検出器の検出率をさらに向上させ、最後にそれらの出力をニューラルネットワークにより統合する。

3.3

特徴の周波数制限

図 13 特徴の W,HFig. 13 W,H of featuresの、つまり、図 13 における H,W が 4 未満のものが含検出器が使用する特徴は、2 章で説明した 4 種類の矩

まれている。この特徴を検出時の判定に使用することで、形である。矩形の位置と大きさは、学習用画像のサイズ

拡大画像での検出率の低下が起きている可能性があるとに収まる範囲内で (通常解像度の場合は 24×24 ピクセル)考えた。そこで、特徴の幅 W, 高さ H について、

とりうるすべての値をとる。前節までは、これらの特徴

H ≥ 4, W ≥ 4(1)の中から AdaBoost による選択を行うことで検出器を作成していた。
ここで、前節では 6×6 ピクセルの顔を拡大によりという条件をつけて顔検出器と、肩まで含む顔検出器を再度作成した。

24×24 ピクセルにしていることを考えると、拡大された 24×24 ピクセルの顔に周期 4 未満の情報は含まれていない。

新たに作成した検出器を平均顔サイズ 6×6 の評価画像

ところが、すべての特徴の中から AdaBoost による選に適用した結果が、図 14,15 の「frequency band limita-

択を行ったため、選ばれた特徴の中には周期 4 未満のもtion」である。いずれも平均顔サイズ 6×6 の評価画像を 6
7画像電子学会誌 第 34 巻 第 xx 号（2005）
倍し、図 14 では 24×24 の顔検出器を、図 15 では 48×48

   の肩まで含む顔検出器を適用している。比較のため、周波

% &*
% &)
% &
% &(
%&
% &'
%&

数制限をかける前の結果である図 11 の expansion(24×24

2 0.

face detector) を「no frequency band limitation」と6

して図 14 に、図 12 の expansion(48×48 upper-bodydetector) を「no frequency band limitation」として図15 にプロットした。
誤検出数 100 の時を比較すると、顔検出器では 5 割

3 2 45
2 0/0
1

0

- ./

弱から 6 割弱へ、肩まで含む顔検出器では、6 割弱から                      !  "   " # $ $  7 8  9  :<;  9 !
 "" # 9
9 # $  7 8  9  :;9!  "" #9%+( %7 割弱へと、前節の結果からさらに向上しているのがわ%%(%     #  " ,  %%

かる。
なお、誤検出数が 50 個以下の所では、顔検出器に比べFig. 14

ると、肩まで含む顔検出器での効果が少なくみえる。こ図 14 周波数制限による効果 顔検出器
Effect of frequency band limitation: facedetector   

れは、肩まで含む顔検出器については、学習用画像のサイズが 48×48 と大きく特徴数が多いため、

H ≥ 2m, W ≥ 2n(m, n は自然数)

(2)

9 75
=

という条件をつけて検出器を作成していたことによるとという周波数の特徴を使用しない検出器となっており、: 9 ;<
9 767

もともと高周波の使用に若干の制限がかかっていた。こ4 56

考えられる。4) この条件により、H = 1, 3 と W = 1, 3のため周波数制限の有無による差が出にくくなったと思

8

7

* +!
* +.
* +
* +*+
* +,
*+

われる。

                  
!  !"    # $ % & ' ('  )   ) & # #  > "  ?  (@%  ? ' )) & ?
? &@ #  > "  ?  (%  ? '  )  ) & ?
*/- *0 * *1 - *2 * *     &  ) 3  

3.4 二つの検出器の統合
最後に、顔検出器と、肩まで含む顔出器を統合し、さらに検出精度を向上させることを考える。
今、検出器は 2 つあるため、顔と判定された画像について 2 つの「顔らしさ」が計算されていることになる。

図 15 周波数制限による効果 肩まで含む顔検出器
Fig. 15 Effect of frequency band limitation: upperbody detectorておくことを意味する。なお、図 16 では、顔検出器のこの情報をもとに最終的な判断をするということは、二検出した顔座標候補に対する式 (3) を pk 、肩まで含む顔つの検出器が出力する「顔らしさ」を両軸にとる二次元検出器の検出した顔座標候補に対する式 (3) を qk と記

平面で、顔と非顔の領域を決定することを意味する。本した。

研究ではこれを、ニューラルネットワークによって実現することを考えた。下記に、「顔らしさ」について述べる。なお、図 16 に二つの検出器の統合プロセスを示したので、これを参照しながら説明を行う。
検出器では、一つの顔の周辺に発生した複数の「顔座標候補」をマージして最終的に一つの顔に一つの座標を対応させるが、マージ前の「顔座標候補」一つ一つにつ
いて、

pk =

弱仮説数
X

|αi hi (x) − θi |

(3)

i=1

を保存しておく。(k は検出されたマージ前の顔番号、

hi (x) は検出器で使用する弱仮説、αi は弱仮説の重み、
θi は弱仮説のしきい値) これは、図 16 の一段目の画像において、検出枠それぞれに対して式 (3) の値を保存し4)この条件は、計算時間節約のためである。

8

マージ時には、
X
P =
pk

(4)

k

を計算することで、マージにより最終的に一つになった「顔座標候補」について、一つの値 P が得られることになる。これは、図 16 の二段目の画像において、顔検出器、肩まで含む顔検出器のそれぞれの検出枠に対して式(4) の値を計算することを意味する。図 16 では、顔検出器については
X
pk
P =

(5)

k

肩まで含む顔検出器については
X
qk
Q=

(6)

k

と計算される。P が顔検出器にとっての顔らしさであり、Q が肩まで含む顔検出器にとっての顔らしさである考えられる。

論文：低解像度画像からの顔検出                               

 $
 #

*

.,   2*
/ . 01   ". ,+-,  !
,
) *+


, +
)

      !  -      !  

.




"


     %  & '( "

3 4 53 56 7(8 9 :5(;< = >(? @ =5>A5 B @ CD5
8 7 @ 7(: @ 5(4 6 E
FHG I FHGAJ 3 3 7(4 KH< 58 L
8 7 @ 7(: @ 5(4 9 B 4 7M J 7(>: L< ? >8ON = ;= @ ? @ = 5>(EP(F(I P(F B ? :7
8 7 @ 7(: @ 5(4 9 B 4 7M J 7(>: L< ? >8ON = ;= @ ? @ = 5>(E:5(> Q(7(> @ = 5(>(? N 9 R I R
B ? :7A8 7 @ 7(: @ 54 E

図 17 ニューラルネットで二つの検出器を統合
Fig. 17 Combination of two detectors in a neuralnetwork

対して二つの検出器を適用することで、約 10000 枚 (顔     !  " # $%     

約 5000 枚, 非顔約 5000 枚) の学習データを得た。ニュー
ラルネットワークのサイズは、入力層素子 2 個、中間層素子 8 個、出力層素子 1 個とし、これらの検出結果を適切に分離するよう重みの学習を行った。

1 3
0

2

平均顔サイズ 6×6 の評価画像を 6 倍し、特徴の周波数/制限を行った二つの検出器 (顔検出器と肩まで含む顔検出器) を適用し、その結果をニューラルネットワークを通して最終判定した結果が図 17 の「proposed」である。統& !     '' !  $ (合前の二つの検出器の結果 (図 17 の 48×48 upper-bodydetector、24×24 face detector。これは、図 14,15 のfrequency band limitation と同じデータ) と比較すると、誤検出数 100 の時に、統合前は顔検出器で 6 割弱、肩まで含む顔検出器で 7 割弱だった検出率が、統合により 7 割 (71%) へ向上したことがわかる。比較のために、
平均顔サイズ 6×6 の評価画像を拡大せず、6×6 の顔検出器を適用したもの (conventional 6×6 face detector)

図 16 二つの検出器の統合プロセス。
Fig. 16 Process of merging two detectors

もプロットした。従来手法の単純な適用 (6×6 の顔検出器) では誤検出数 100 の時に 39%であった顔検出率が、提案手法により 71%へ向上したことがわかる。また、図18 に提案手法での検出結果例を示した。図 18 の最上段
今、二つの検出器を独立に動かし、その結果をさらにマージする。これは、図 16 において、二段目の画像からは、図 6 の最下段の元画像 (平均顔サイズ 6×6 ピクセル) に対し、提案手法を適用したものである。

三段目の画像への移行に相当する。図 16 の三段目の画像において、検出枠について、二次元のベクトル (P, Q)が得られる。

3.5 考察これをニューラルネットワークを通すことで、最終的提案手法により、6×6 の評価画像において 71%の顔な判定を行なう。ニューラルネットワークの重み学習用が検出可能になったが、残りの 29%の顔は検出できていデータであるが、画像に対して二つの検出器を適用するない。この 29%から、通常解像度 (24×24) でも検出でことで、図 16 の三段目の画像のように、二次元ベクトル

きていない顔5) を除いた、78 個の顔について観察したと付きの検出結果が得られるため、これを学習データとして用いる。MIT+CMU 評価画像とは別の画像 6570 枚に5)これらは、画面内回転角 (ロール角) の大きな顔、顔の左右で照明条件が極端に異なるものがほとんどである。

9画像電子学会誌 第 34 巻 第 xx 号（2005）
ころ、• 画面外回転 (ヨー角、ピッチ角の変動) を伴う• 眼窩領域が狭いといった特徴が見られた。
画面外回転を伴う顔での検出例を図 19 に、眼窩領域が狭い顔での検出例を図 20 に、さらに、比較のために眼窩領域の広い顔での検出例を図 21 に示した。図 20,21 では、通常解像度での眼窩領域を示すため、オリジナル画像も掲載している。眼窩領域の広い顔は低解像度になっても良好に検出できるが、画面外回転を伴う顔と、眼窩領域が狭い顔は低解像度では検出困難であることがわかる。
このうち、「画面外回転を伴う顔」は、提案手法で検出できない顔の 1 割程度であり6) 、残り約 9 割のうちの多くは「眼窩領域が狭い顔」である。これらの顔は、いずれも通常解像度では顔の特徴を保持しているが、低解像度になると「画面外回転を伴う顔」については左右の目の片方が消失、また、「眼窩領域が狭い顔」については目自体が消失してしまうことにより検出不可能になると考えられる。
「顔検出器」と「肩まで含む顔検出器」の検出結果を個別に見ると、検出できない顔の傾向は提案手法での傾向と同じであるが、「肩まで含む顔検出器」では多少の画
面外回転や、眼窩領域の狭さを伴う顔も検出することができる。ただし、そのような顔は「顔検出器」では検出できない場合が多く、「肩まで含む顔検出器」の計算した顔らしさの値が高くない限り、ニューラルネットワーク
を通すと最終的には非顔と判定されてしまう。これを改善するには、顔領域のディテールが消失していても、肩と顔の大まかな形状が顔らしければ顔と判定するような検出器が必要である。
「肩まで含む顔検出器」の計算対象とする領域に制限を加え、顔領域 (48×48 の「肩まで含む顔領域」のうち 24×24 の「顔領域」) を除いた領域でのみ特徴計算を行うことでそのような検出器を実現できると考えられる。
なお、ここまで 6×6 ピクセルの顔を対象として検討を行ってきたが、提案手法はそれ以上の大きさの顔も検出可能である。これを示したのが図 22 である。図 22 の画
像は、サイズの異なる顔を 10 段並べて作ったものである。最上段に並ぶ顔画像のサイズは 6×6 ピクセルであ図 18 平均顔サイズ 6×6 の評価画像に提案手法を適用したもの
Fig. 18 Results of the proposed method as applied
to 6 × 6 pixel evaluation images. See Figure.6.

り、最下段に並ぶ顔画像のサイズは 24×24 ピクセルである。24×24 ピクセルの顔検出器では、最上段の 6×6 ピ
クセルの顔は全く検出できない。また、6×6 ピクセルの6)MIT+CMU 評価画像は正面顔の検出評価用セットであり、画

面外回転を伴う顔はもともとわずかしか含まれていない。

10

論文：低解像度画像からの顔検出

図 19 「画面外回転を伴う顔」：左:24×24 での検出結果。
右:6×6 に対して提案手法を適用した結果。
Fig. 19 Detected results of faces with out of planerotation. left: results of 24×24 pixel faces.
right: results of the proposed method asapplied to 6 × 6 pixel faces.

図 21 「眼窩領域の広い顔」：左:オリジナル画像 (24×24)。
右:6×6 での提案手法による検出結果。
Fig. 21 Faces with wide eyesocket. left:24x24 pixel
face. right:results of the proposed method
as applied to 6 × 6 pixel facesの周波数制限」「二つの検出器の統合」により、AdaBoost
ベースの顔検出器を用いて 39%であった 6×6 ピクセルの顔検出率を 71%へと向上させることができた。
本論文では顔検出に AdaBoost ベースの検出器を用いたが、他の顔検出の手法に対しても提案手法を適用することができる。周波数制限については、たとえばSchneiderman のようにウェーブレットによる多重解像
度解析の係数を利用しているのであれば、高周波に対応する係数の使用を直接制限すればよい。
今回は低解像度画像全体を拡大してから検出を行なったが, 6 倍することで処理するパッチ数は 36 倍に、4 倍としても 16 倍に増加する。これにより、誤検出数と処図 20 「眼窩領域の狭い顔」：左:オリジナル画像 (24×24)。
右:6×6 での提案手法による検出結果。
Fig. 20 Faces with narrow eyesocket. left:24x24
pixel face. right:results of the proposed
method as applied to 6 × 6 pixel faces

顔検出器では、最上段の 6×6 ピクセルの顔は検出できるが全体的に検出率が低い。しかし、提案手法では、最理時間が増加してしまうため、低解像度画像を拡大せずに走査し、顔がある可能性の高い部分だけ拡大して検出を行なったほうが望ましい。
また、図 22 で、提案手法が 6×6 ピクセル以上の大きさの顔も検出可能であることを示したが、例えば 12×12ピクセルの顔については、式 (1) の条件はH ≥ 2, W ≥ 2(7)

上段から最下段までの顔をよく検出できていることがわと変更することで、もともと存在している高周波成分をかる。

識別に利用することができる。つまり、図 22 のような

4.

ま

と

め

今までほとんど研究されていなかった低解像度画像からの顔検出について、解像度と顔検出率の関係を体系的に調査した。その結果、代表的な従来手法の一つである

AdaBoost ベースの顔検出器を用いると、6×6 ピクセルの顔については 39%しか検出できないことを示した。これに対し、「肩まで含む顔画像の使用」「画像の拡大」「特徴

様々なサイズの顔が混在した場合は、検出対象とする顔
サイズごとに検出器のパラメータを独立に持つことでさらに精度を向上させられる可能性がある。これらは今後の課題である。

参考文献
1) M.H. Yang, D.J. Kriegman and N. Ahuja. “Detecting
Faces in images:A Survey,” IEEE Trans. on

PAMI,

vol.24, no.1, pp.34-58, January, 2002.

11画像電子学会誌 第 34 巻 第 xx 号（2005）
2) H. Schneiderman. “Feature-Centric Evaluation for Efficient Cascaded Object Detection,”林

in Proc. of CVPR,

1998 東京工業大学大学院総合理工学研究科知能システム科学専攻修士課程修了．同年、メーカ入社. 以来、画像処理関連業務に従事. 2003 より、同大大学院総合理工学研究科知能システム科学専攻博士課程在学中.

vol.2, pp.29-36, June, 2004.
3) M. Osadchy and D. Karen. “Image Detection Under
Varying Illumination and Pose,”in Proc. of ICCV,

vol.II, pp.668-673, July, 20014) B. Wu, H. Ai, C. Huang, and S. Lao. “Fast Rotation
Invariant Multi-view Face Detection Based on Real Adaboost,”

伸 治

in Proc. of FGR, pp.79-84, May, 2004.

5) S. Baker and T. Kanade “Limits on Super-Resolution and
How to Break Them,”

IEEE Trans. on PAMI, vol.24,

no.9, pp.1167-1183, September, 2002
6) A. Torralba and P. Shina. “Detecting Faces in Impoverished Images,”

AI Memo 2001-028, CBCL Memo 208,

2001
7) P. Viola and M. Jones. “Rapid Object Detection Usinga Boosted Cascade of Simple Features,”in Proc. of

CVPR, vol.1, pp.511-518, December, 2001
8) P. Viola and M. Jones. “Robust Real-time Object Detection,”in Proc. of IEEE Workshop SCTV, July, 2001

9) R. Lienhart, A. Kuranov and V. Pisarevsky. “Empirical
Analysis of Detection Cascades of Boosted Classifiers for
Rapid Object Detection,” in Proc. of DAGM’03, pp.297304, September, 2003.
10) S.Z. Li, L. Zhu, Z.Q. Zhang, A. Blake, H.J. Zhang and
H. Shum. “Statistical Learning of Multi-View Face Detection,”in Proc. of ECCV, pp.67-81, May, 2002.

11) C. Liu and H.Y. Shum. “Kullback-Leibler Boosting,”

inProc. of CVPR, vol.1, pp.587-594, June, 2003.
12) H.A. Rowley,

S. Baluja,

and T. Kanade. “Neural

Network-Based Face Detection,” IEEE Trans. on PAMI,
vol.20, pp.23-38, January, 1998

12

長谷川

修 （正会員）1993 東京大学大学院電子工学専攻
博士課程修了，博士（工学），同年
電子技術総合研究所，1999 から 1
年間米国カーネギーメロン大学客員研究員，2001 産業技術総合研究所主任研究員，2002 東京工業大学像
情報工学研究施設助教授，JST さき
がけ研究 21 研究者（兼任），情報処理学会，電子情報通信学会，日本
認知科学会，人工知能学会，日本顔学会，IEEE-CS 等会員．

論文：低解像度画像からの顔検出

図 22 上は 24×24 ピクセルの顔検出器を適用した結果 (顔検出率=23%、誤検出数=2個)。中は 6×6 ピクセルの顔検出器を適用した結果 (顔検出率=27%、誤検出数=2 個)。下は、提案手法を適用した結果 (顔検出率=78%、誤検出数=2 個)。
誤検出数はいずれも 2 個となるようにしきい値を設定した。
Fig. 22 Top: detected using a 24 × 24 face detector. Middle: detected usinga 6 × 6 face detector. Bottom: detected by the proposed method13