論文

視線位置分布を用いた重み付きランダムフォレストによる性別認識
山口紗也加†

西山 正志†,†† a)岩井儀雄†,††

Gender Classification using Weighted Random Forest with Gaze Distribution
Sayaka YAMAGUCHI† , Masashi NISHIYAMA†,††a) , and Yoshio IWAI†,††

あらまし 本論文では，人物画像の性別を精度よく識別するために，視線位置分布を組み込んだ重み付きラン
ダムフォレストの学習手法について述べる．訓練サンプルにおいて，人物領域の周囲に存在する背景に偏りが含まれる場合，その背景自体を特徴として誤学習し，性別認識の精度が大きく低下する問題がある．提案手法では，人間が人物画像の性別を判別する際の視線位置分布をランダムフォレストの学習アルゴリズムへ重みとして組み込む．これにより，人間が性別を判別する時に見ている領域から，性別を正しく見分けるための特徴をランダム
フォレストの各決定木から抽出できる．視線位置分布を用いた重み付けランダムフォレストの有効性を検証する
ために，特徴選択を重み付ける考え方，特徴量を重み付ける考え方，および，情報利得を重み付ける考え方を比較した．公開データセットを用いた実験により，情報利得を視線位置分布で重み付けるランダムフォレストにより，性別認識の精度が大きく改善されることを確認した．
キーワード

性別認識，ランダムフォレスト，重み付け，視線位置分布

人物画像から抽出することが重要である．人間は背景

1. ま え が きに係わらず身体部位を重点的に見ることで性別を正し公共空間における人物検索や店舗におけるマーケ

く判別することができる．この様な人間の視覚特性をティングに向けて，人物画像から性別を精度良く推定

性別認識の識別器に利用できれば，訓練サンプルとテする技術が期待されている．性別認識の既存手法 [1]〜ストサンプルで背景が異なる場合において，識別に必[4] では，深層学習や機械学習の技術を用いることで高要な特徴のみが重点的に学習され認識精度が向上する

い精度を実現している．これらの技術を用いて性別認と考えられる．近年，人間が画像を見た際の視線位置識の精度を向上させるためには，大量の訓練サンプル

分布を組み込むことで，識別に有効な特徴量を抽出すを収集することが前提条件となっている．訓練サンプる手法 [5]〜[7] が提案されている．これらの文献では

ルを大量に収集するためには多大なコストを要する．

訓練サンプルの背景の偏りについて言及されてはいな

ただし，コストをかけて収集した訓練サンプルである

いが，本論文で取り組む課題に対しても有効に働くとにも係わらず本来は意図していなかった偏りが含まれ想定される．特に文献 [7] は，文献 [5], [6] が取り扱っる場合がある．特定の場所で撮影された理由により訓ていなかった人物画像を対象としており，実験協力者

練サンプルの背景に偏りが含まれた場合，背景を性別が人物画像の性別を判別する際の視線位置分布を特徴

認識の特徴として誤学習する問題が発生する可能性が抽出に用いている．計測された視線位置分布をマップ

ある．

化し，視線が集まる身体領域に大きな重みを与えてい識別器の学習時において訓練サンプルの背景が引き起こす問題を避けるために，性別認識で必要な特徴を†

線位置分布の重みを人物画像の画素値そのものに加えていたため，その識別器の学習アルゴリズムに適した鳥取大学大学院持続性社会創生科学研究科
Graduate School of Sustainability Science, Tottori Univer-

鳥取大学工学部附属クロス情報科学研究センター，鳥取市
Cross-informatics Research Center, Tottori Universitya) E-mail: nishiyama@tottori-u.ac.jp

電子情報通信学会論文誌

形で視線位置分布を活用しているとは言えなかった．
本論文では視線位置分布を組み込む学習アルゴリズ

sity, Tottori 680-8550, Japan††る．しかし，この既存手法は識別器の前処理として視ムとして，複数の決定木を弱識別器として組み合わせ
るランダムフォレスト [8] に焦点を当てる．ランダム

D Vol. J102–D No. 8 pp. 495–505 ©（社）電子情報通信学会 2019495

電子情報通信学会論文誌 2019/8 Vol. J102–D No. 8

フォレストは，文献 [9], [10] でも述べられているように，単純な構造であるにも係わらず様々な実応用で良好な結果を得ている．ランダムフォレストの学習アル
ゴリズムは，一様分布に従ったランダム性を多用しているが，本論文では視線位置分布に従ったランダム性を用いる．この考え方を実現する手法として，本論文

男性では重み付けランダムフォレスト [11]〜[13] に着目す

柵の存在る．その一つである既存手法 [11] では，認識精度に寄与する訓練サンプルに大きな重みを与えている．また，既存手法 [12] では，認識精度に寄与する決定木の投票
結果に大きな重みを与えている．ただしこれらの既存手法は，画像中に存在する特徴量の位置を考慮していないため，視線位置分布を重みとして単純には組み込
むことはできなかった．既存手法 [13] では，ランダム
フォレストの学習時に，特徴量や情報利得にランダム重みを与えることで，訓練サンプルに含まれるノイズへの耐性を高めている．特徴量や情報利得は画像中の位置に依存するため視線位置との関連性が高いと仮定できる．ただし既存手法 [13] では一様分布に従うラン

女性
図1

背景に偏りが含まれる訓練サンプルの例．背景の特定物体として男性の手前に柵が存在する状況を想定する．
Fig. 1 Examples of training samples containing thebias in background. We assume a situationthat there is a fence in front of men as a specific object in the background.

ダム重みを用いるため，視線位置分布を重みとしてどのように組み込むべきかを検討していなかった．

業施設において，あるカメラ付近には女性が多く出現

そこで本論文では，ランダムフォレストの学習アル

し，別のカメラ付近には男性が多く出現する場合に発ゴリズムに，視線位置分布を用いた重み付けを導入す

生すると考えられる．偏りが含まれる訓練サンプルをることで，背景に偏りを含む訓練サンプルを用いた場

用いて性別認識のためのランダムフォレストを学習し合でも性別認識の精度を向上させる手法を提案する．

た場合，人物領域の違いではなく，特定物体の有無を学習アルゴリズムの改良方針として，特徴選択を重み

性別の特徴と誤ってしまうことを予備実験で確認して付ける考え方，特徴量を重み付ける考え方，および，いる．学習されたランダムフォレストへ，背景に特定情報利得を重み付ける考え方を検討した．公開データ

物体が含まれている女性のテストサンプルを入力したセットを用いた性別認識の実験を行い，それぞれの重場合，本来は女性であるのにも係わらず誤って男性とみ付けの考え方について認識精度を比較した．その結判定される確率が高いことを予備実験で確認してい果，訓練サンプルとテストサンプルの背景が大きく異る．この問題を避けるためには，背景差分やセグメン

なる場合，視線位置分布に従い情報利得を重み付ける

テーションにより人物領域のみを抽出することが考え

考え方が認識精度を大幅に改善することを確認した．

られる．ただし人物領域のみを正確に抽出することは

以下，2. で訓練サンプルの背景の偏りについて具体例難しいため，様々な背景を含む訓練サンプルを収集しを紹介し，3. で提案手法の詳細について述べる．次に，ておくことが望ましい．訓練サンプルの背景が明らか

4. で性別認識の精度を評価し，最後に 5. でまとめる．

に偏っている場合，画像撮影の収集計画に修正を加え

2. 訓練サンプルの背景の偏り

ればよいが，事後の学習結果から意図しない訓練サン
プルの偏りが発見される場合も存在する．訓練サンプ

性別認識の訓練サンプルを収集する際，人物領域

ルの収集は非常に手間がかかるため，収集された訓練の周囲の背景に含まれる物体に注意する必要がある．

サンプルを有効に活用することが望ましい．よって本

図 1 のように，特定物体が背景へ含まれる場合を考

論文では，前節でも述べたように，視線位置分布を用察する．男性の訓練サンプルには画像下部に特定物体いた重み付けランダムフォレストを適用することで，が含まれており，女性の訓練サンプルにはその物体は背景に偏りを含む訓練サンプルでも性別を正しく識別含まれていないとする．このような状況は，例えば商することを狙う．

496

論文／視線位置分布を用いた重み付きランダムフォレストによる性別認識

1. 性別を判別する際の視線位置分布を計測

3. 提 案 手 法
3. 1 既存のランダムフォレストの流れ
ランダムフォレスト [8] の学習アルゴリズムについて概要を述べる．まず，訓練サンプルの集合にブート
ストラップサンプリングを適用することで複数のサブ

実験協力者A

セットを生成する．次に，それぞれのサブセットから

実験協力者Z

決定木を生成する．ここで，人物画像の位置 (xi , yi )における色 ci の画素値を特徴量 fi (xi , yi , ci ) と呼ぶ．
なお画像認識の分野では，二つの位置から求めた画素
値差分 [14], [15] を特徴量とすることが多いが，本論文

2. 様々な人物画像に対する複数の実験協力者の計測結果を平均化

視線マップ

ではアルゴリズムを単純にするため画素値そのものを特徴量とする．

図2

訓練サンプルの各サブセットから決定木を学習する
際，fi (xi , yi , ci ) をランダムに M 個選択し，しきい値

性別認識のタスクを与えた時の視線マップの生成例．

Fig. 2

Generation of a gaze map when a gender classification task is given.

tj をランダムに N 個設定することで情報利得を計算す
る．親ノードにおいて情報利得が最大値をとるように，

布を，文献 [7] の視線マップを用いて表す．実験協力者

左右どちらかの子ノードに訓練サンプルを分岐させに性別認識のタスクを与え，様々な人物画像を提示しる．分岐条件の候補となる情報利得 Ii,j (xi , yi , ci , tj )た際の視線位置を計測する．複数の実験協力者の計測は，式 (1) で表される．

結果を平均化することで視線マップを生成する．ここIi,j (xi , yi , ci , tj ) = H(S) −∑k∈{L,R}|S |H(S k )
|S|k

で視線マップの位置 (xi , yi ) における値を g(xi , yi ) で表す．g(xi , yi ) が取り得る値の範囲は [0, 1] とし，視線マップの大きさを人物画像と同じとする．図 2 に性

(1)k

別認識のタスクを与えた時の視線マップの生成例を示

ここで，S は分岐前の訓練サンプルの集合，S は分す．図中では，視線マップの黒色の領域は，実験協力

岐後の訓練サンプルの集合，H( ) はエントロピー，

者からの視線が集まることを表している．逆に白色の| | は集合の要素数とする．ただし，S L ∪ S R = S ，

領域は視線が集まらないことを表している．文献 [7]S ∩S

では，性別を判別する際の実験協力者の視線は人物画

LR= ϕ とし，ϕ は空集合を表す．訓練サンプルを s ∈ S とすると集合 S L , S R は次式で表される．

S L = {s|f (xi , yi , ci ) ≥ tj }(2)

S R = {s|f (xi , yi , ci ) < tj }(3)

像中の頭部付近へ集まることが報告されている．

3. 3 特徴選択を重み付ける考え方
ランダムフォレストの学習アルゴリズムにおいて，
特徴選択を重み付ける手法について述べる．以下では，既存のランダムフォレストの学習手法 [8], [13] と対比

なおエントロピーは式 (4) で表される．

H(S) = −p(af ) log(p(af )) − p(am ) log(p(am ))(4)

させながら提案手法を説明する．既存手法 [8], [13] を画像認識に適用する場合，各特徴量に対応する画像中の位置を，一様分布に従ってランダムに選択する．提ここで，p(af ), p(am ) は集合 S に含まれる訓練サン

案手法では，実験協力者の視線が集まる位置の特徴量

プルの中で女性ラベル af または男性ラベル am の訓が選択され易いように改良を加える．即ち，各特徴量

練サンプルが含まれる比率を表す．情報利得が最大とに対応する画像中の位置を，一様分布ではなく視線位なる候補を，親ノードから子ノードへの分岐条件とす

置分布に従ってランダムに選択する．提案手法の考える．決定木の深さが指定された値になるまで分岐を繰

方を図 3 に示す．視線マップの中で視線が集まっていり返す．

ることを表す黒色の領域と同じ位置 (xi , yi ) にある人

3. 2 視線マップ

物画像の特徴量 f (xi , yi , ci ) を選択され易くする．一

提案手法では，人が性別を認識する際の視線位置分

方，白色の領域ではその逆となり，特徴量を選択され497

電子情報通信学会論文誌 2019/8 Vol. J102–D No. 8

重み
特徴選択

𝐼#,# (𝑥# , 𝑦# , 𝑐# , 𝑡# )𝑔(𝑥# , 𝑦# )

××
××
×

(𝑥# , 𝑦# )×

𝐼#,, (𝑥# , 𝑦# , 𝑐# , 𝑡, )𝑔(𝑥# , 𝑦# )××

𝐼',# (𝑥' , 𝑦' , 𝑐' , 𝑡# )𝑔(𝑥' , 𝑦' )×

(𝑥' , 𝑦' )

視線マップ

⼈物画像

Fig. 3(𝑥# , 𝑦# )×

(𝑥+ , 𝑦+ )××

(𝑥' , 𝑦' )特徴量の位置Fig. 4選択された特徴量の位置

特徴量の位置

図 3 特徴選択を重み付け．
Give weights for feature selection.

𝑓# (𝑥# , 𝑦# , 𝑐# )𝑔(𝑥# , 𝑦# )×𝑓+ (𝑥+, 𝑦+ , 𝑐+ )𝑔(𝑥+ , 𝑦+ )×

重み候補となる情報利得

重み

視線マップ

図 5 情報利得を重み付け．
Give weights for information gains.

いる．一方，提案手法では，特徴量の位置 (xi , yi ) に対応した視線マップ g(xi , yi ) の値で重み付けされた′式 (6) の情報利得 Ii,j(xi , yi , ci , tj ) を用いる．

×𝑓' (𝑥' , 𝑦' , 𝑐' )𝑔(𝑥' , 𝑦' )特徴量Fig. 5𝐼',, (𝑥' , 𝑦' , 𝑐' , 𝑡, )𝑔(𝑥' , 𝑦' )

視線マップ

′
Ii,j
(xi , yi , ci , tj ) = Ii,j (xi , yi , ci , tj )g(xi , yi ) (6)ノ ー ド の 分 岐 条 件 の パ ラ メ ー タ と し て ，最 大 の′Imax(xi , yi , ci , tj ) に対する {xi , yi , ci , tj } を用いる．

図 4 特徴量を重み付け．
Give weights for feature values.

提案手法の考え方を図 5 に示す．視線マップ g(xi , yi )の中で視線が集まっていることを表す黒色領域に対応

難くする．

′
する位置の Ii,j(xi , yi , ci , tj ) は値が大きくなり，白色

3. 4 特徴量を重み付ける考え方′
領域に対応する位置の Ii,j(xi , yi , ci , tj ) は値が小さく

ランダムフォレストの学習アルゴリズムにおいて，なる．

特徴量そのものを重み付ける手法について述べる．以下では，既存のランダムフォレストの学習手法 [8], [13]

4. 実

験

と対比させながら提案手法を説明する．既存手法 [8]4. 1 評価データセット

では，特徴量には何も変更を加えずそのままの値を用提案手法の有効性を確認するために，PETA データ

いている．既存手法 [13] では，一様分布に従うランダ

セット [16] に含まれる CUHK データセットを用いてムな重みを特徴量に与えている．一方，提案手法では，性別認識の性能を評価した．背景に偏りを含む訓練サ

位置 (xi , yi ) に対応する視線マップ g(xi , yi ) の値で特ンプルとして，通路に存在する柵の有無を対象とした．

徴量 f (xi , yi , ci ) へ重みを与える．

訓練サンプルとして以下の条件を用いた．

f ′ (xi , yi , ci ) = f (xi , yi , ci )g(xi , yi )(5)•T (女性:柵無し，男性:柵有り)

また，テストサンプルとして以下の条件を用いた．

これにより，視線マップ上で大きな値をもつ位置に対•P1 (女性:柵無し，男性:柵有り)応する特徴量の値は大きくなる．提案手法の考え方を•P2 (女性:柵有り，男性:柵無し)

図 4 に示す．なお，上記の手続きにより，文献 [7] で性別認識に用いる訓練サンプルとテストサンプルの例

提案されている前処理と等価の結果が得られる．

を図 6 に示す．CUHK データセットには同一人物の

3. 5 情報利得を重み付ける考え方

画像が含まれている．ただし人物 ID が教示されていランダムフォレストの学習アルゴリズムにおいて，ないため，属性ラベルを用いて同一人物と想定される情報利得を重み付ける手法について述べる．以下で画像を除外した．全ての属性ラベルが一致する人物画

は，既存のランダムフォレストの学習手法 [8], [13] と像が複数存在する場合，その中から一枚のみをランダ

対比させながら提案手法を説明する．既存手法 [8] でムに選択し実験に用いた．実験に用いたデータセット

は，分岐条件の候補となるパラメータの組み合わせには，背景に柵無しの女性の画像が 419 枚，柵有りの{xi , yi , ci , tj } の中から，情報利得が最大となるものを女性の画像が 355 枚，背景に柵無しの男性の画像が用いている．既存手法 [13] では，一様分布に従うラン

476 枚，柵有りの男性の画像が 426 枚，が含まれていダム重みを情報利得へ与えた後，分岐条件を決定してた．人物画像の大きさは 80 × 160 画素であり，RGB

498

論文／視線位置分布を用いた重み付きランダムフォレストによる性別認識の画素値をもつ．

訓練サンプル(T)

実験に用いた人物画像の位置合わせがどれくらいなされているかを調査した．柵無しの女性，柵有りの女性，柵無しの男性，柵有りの男性の人物画像について，
カラーからグレースケールに変換し輝度平均を求めた．
その結果を図 7 に示す．どの条件でも人物シルエット

女性が表れていることから，身体部位という意味での位置

男性,柵テストサンプル (P1)

合わせはほぼなされていると言える．
視線マップとして，図 2 下部で示したものを実験で用いた．文献 [7] の手順に従い視線マップを生成した．訓練サンプルとテストサンプルに含まれていない

CUHK データセットの人物画像 8 枚を刺激とした．実

女性

男性,柵

験協力者 14 名に対して視線位置分布を計測した．人テストサンプル (P2)

物画像を表示するために 24 インチディスプレイ（サイズ 53 × 30 cm，解像度 1920 × 1080 画素）を用い，そのディスプレイ下部に視線計測装置 GP3 Eye Tracker(サンプリングレート 60 Hz) を設置した．実験協力者の目からディスプレイまでの距離は水平方向に 65 cm

女性,柵とした．実験協力者の目の位置は座高の違いにより床からの高さが 110 cm から 120 cm の間で変化していた．なお，人物画像の原サイズは 80 × 160 画素であるが，ディスプレイ上では 480 × 960 画素に拡大して

男性

図 6

性別認識に用いる訓練サンプル T とテストサンプ
ル P1 と P2 の例．
Fig. 6 Examples of training samples T and test samples P1, P2 for gender classification.

表示した．計測時にディスプレイ中心に視線が集まる
センターバイアスを避けるため，ディスプレイ中心から水平方向に ±720 画素，垂直方向に ±60 画素の範囲
で人物画像をランダムな位置で表示した．実験前に視線計測の分解能を調査した．カタログに記載されている誤差は約 1 度であり，ディスプレイ上では 42 × 42(a)女性

画素の領域に相当していた．ディスプレイ上での頭部領域の平均解像度は 136 × 145 画素であることから，
本実験における視線計測の分解能は頭部領域の上中下の 3 段階程度はあると考えられる．

Fig. 7(b)女性,柵(c)男性(d)男性,柵図 7 実験で用いた人物画像の輝度平均．
Examples of training samples T and test samples P1, P2 for gender classification.

4. 2 性別認識の性能
性別認識の性能を，以下の手法で比較した．

ある特徴量に対するしきい値の選択回数 N を 50，決•

ベースライン (文献 [8])•ランダム重み (文献 [13])•

提案手法 1 (特徴選択を重み付け)験結果から，ベースラインとランダム重みの認識精度•

提案手法 2 (特徴量を重み付け)はほぼ同じであることが分かった．図中 (b) の実験結•提案手法 3 (情報利得を重み付け)

果から，訓練サンプルとテストサンプルで背景が異な定木の数を 200，決定木の深さを 5 とした．
性別認識の精度を図 8 に示す．図中 (a) と (b) の実

訓練サンプルとテストサンプルを 4. 1 節のデータセッ

る場合，視線マップを組み込むことで性能が向上する

トからランダムに選択し 5 個の評価セットを作成した．

ことが確認された．一方，図中 (a) の実験結果から，各評価セットには，男性 323 枚と女性 323 枚の訓練サ

視線マップを組み込むと精度が低下する場合があるこ

ンプル，男性 17 枚と女性 17 枚のテストサンプルが含とが分かった．ただし，既存手法のベースラインとラまれるように設定した．特徴量選択の回数 M を 196，

ンダム重みは，次節で明らかにするように柵の有無で499

電子情報通信学会論文誌 2019/8 Vol. J102–D No. 8100

精度 [%]

80
60
40
20
0

(a) ベースライン(b) ランダム重み(a) P1100

精度 [%]

8060
4020(c) 提案手法1(d) 提案手法2(e) 提案手法30(b) P2
Fig. 9ベースライン
提案手法1

ランダム重み

提案手法2

提案手法3

図 8 テストサンプル P1 と P2 における性別認識の精度．
Fig. 8図 9 各手法の変数重要度マップ．
Maps of variable importance for each method.

Accuracy of gender classification for training
samples P1 and P2.

した．
なお，訓練サンプルとして 4. 1 節の条件 T を用いた．
前節の実験で用いたベースライン，ランダム重み，提案手法 1， 提案手法 2， 提案手法 3 の変数重要度
マップを図 9 に示す．図中の黒い領域はランダムフォ

性別をほぼ見分けているため，これらの既存手法が優レストの各決定木で識別時に重視されたことを表し，れているとは言えない．実験結果を検証するために生

白い領域は逆に重視されなかったことを表す．図中成した変数重要度マップについて次節で述べる．

(a), (b) の既存手法で，背景の柵が存在する領域に対

4. 3 変数重要度マップを用いた検証する重要度が高くなっていることが確認された．この

変数重要度マップを以下の手順で生成した．

結果より，図 8(a) におけるベースラインとランダム重（ 1 ） 訓練サンプルと同じ大きさの変数重要度マッ

みの既存手法では，柵の有無で性別を見分けている可プを準備し各位置 (xi , yi ) の値を 0 で初期化した．

能性が非常に高いと言える．図 9(d) の提案手法 2 に（ 2 ） 各決定木を学習する際，ブートストラップサ

おいて，柵の一部の領域に対する重要度が高くなってンプリングで選択されなかった訓練サンプル (Out-Of-

いた．この原因として，視線マップの重みが 0 より僅

Bag) をバリデーションサンプルとした．

かにでも大きい場合，重み付けされた特徴量の値は小（ 3 ） 学習された各決定木にバリデーションサンプ

さくなったとしても，その範囲の中で情報利得が高く

ルを入力した．

なる分岐条件のパラメータが採用されたためであると（ 4 ） 各決定木においてバリデーションサンプル

考えられる．

が通過したノードの情報利得 Ii,j (xi , yi , ci , tj ) または′Ii,j(xi , yi , ci , tj ) を計算した．

図 9(c) の提案手法 1 と (e) の提案手法 3 の変数重要度マップは，人物領域の中でも実験協力者が性別を（ 5 ） 変数重要度マップ中の位置 (xi , yi ) の値に，ス認識する際に見る頭部近辺に存在する領域を重視してテップ (4) で求めた情報利得の値を加算した．加算すいることが確認された．ただし，図中 (c) では，人物る際は (xi , yi ) の 8 近傍の位置にも同じ値を加算した．

の右肩付近の背景領域もランダムフォレストの各決定（ 6 ） 最後に，各位置において加算値の平方根を求木において重視されていた．実験で用いた訓練サンプ

めることで，極端に大きい値を抑え小さい値を強調

ルには，背景の分かりやすい違いである柵の有無だけ

500

論文／視線位置分布を用いた重み付きランダムフォレストによる性別認識

でなく，それ以外の背景にも当初想定していなかった
偏りがあることが分かった．以上の結果より，視線位
置分布に従うランダム重み付けを導入した提案手法の有効性を確認した．
図 9(e) の変数重要度マップは，実験協力者から計測した視線マップと見え方が近いと言える．実際に視線マップと変数重要度マップとの間で正規化相関を計算したところ，ベースラインとは −0.04，ランダム重みとは −0.06，提案手法 1 とは 0.40，提案手法 2 とは

−0.02，提案手法 3 とは 0.76 であった．情報利得の重みを変更することで，視線マップと変数重要度マップ(a) 全身(b) 上半身(c) 頭-肩図 10 身体部位を含む領域を設定した人物画像の例．
Fig. 10 Pedestrian images when using regions containing body parts.

の相関値が高まることが分かった．
100

ランダムフォレスト学習時に視線位置分布を重みと80して用いることの有効性を確認するために，身体部位を含む領域を人手で指定した場合と比較実験を行った．
文献 [17] で報告されているように，人物画像全体を用

精度 [%]

4. 4 身体部位を含む領域との比較いるのではなく，身体部位を含む矩形領域を人手で指

60
40
20

定した方が性別認識の精度が高くなる場合がある．こ0

こでの実験では以下の領域を設定することで精度を比(a) P1

較した．
全身:評価に用いた CUHK データセットの全人物

100

画像から求めた平均人物画像の画素値を二値化する

80

図 10(a) に示す．
上半身: 文献 [18] で述べられている head-shoulder と

精度 [%]

ことで，全身が含まれる領域を設定した．その例を

torso に従い頭から腰までの身体部位が含まれる領域

60
40
20

を全身領域から設定した．その領域の例を図 10(b) に0示す．

(b) P2頭-肩: 同 じ く 文 献 [18] で 述 べ ら れ て い る head-shoulder に従い頭と肩の身体部位が含まれる領域

提案手法3

全身

を全身領域から設定した．その領域の例を図 10(c) に

上半身

頭-肩

示す．
なお図中の黒色領域では画素値を 0 とした．訓練サン
プルとテストサンプルの両方に同じ領域を設定し，文献 [8] のベースライン手法でランダムフォレストの学

図 11

テストサンプル P1 と P2 において，身体部位を含む領域を用いた手法と認識精度を比較．
Fig. 11 Accuracy of gender classification when using
regions containing body parts.

習を行った．領域設定を除いた実験条件は，4. 1 節と同じとした．比較のため，4. 2 節の実験で最も精度が背景が訓練サンプルの背景と異なる P2 において，提高かった提案手法 3 を用いた．

案手法 3 の精度は，全身や上半身より高く，頭-肩とほ

身体部位を含む領域を用いた比較手法と提案手法 3

ぼ同等であった．頭-肩の領域をマスキングする比較の性別認識の精度を図 11 に示す．図中 (a) のテストサ手法により，P2 において認識精度が大きく改善されンプルの背景が訓練サンプルの背景と同じである P1る効果が確認された．ただし，頭-肩を用いる比較手法

において，提案手法 3 の精度は，全身より低く，上半は P1 において精度の低下がみられたため，視線マッ

身と頭-肩より高かった．図中 (b) のテストサンプルのプを用いる提案手法にも有効性があると考えられる．
501

電子情報通信学会論文誌 2019/8 Vol. J102–D No. 8100

精度 [%]

80
60
40
20
0

(a) P1
100
(b)

(c)

80

(d)

図 12

訓練サンプルから生成した顕著性マップの例．図中 (a) の人物画像に対し，(b) 既存手法 1，(c) 既
存手法 2，(d) 既存手法 3 で顕著性マップを生成した．
Fig. 12 Examples of saliency maps acquired fromtraining samples.

精度 [%]

(a)

60
40
20
0

(b) P2
提案手法3

既存手法1

既存手法2

既存手法3

図 14

(a)
図 13

(b)

(c)

平均顕著性マップを (a) 既存手法 1，(b) 既存手法
2，(c) 既存手法 3 で生成した結果．
Fig. 13 Average saliency maps.

平均顕著性マップを用いた場合の性別認識の精度
比較．
Fig. 14 Accuracy of gender classification when using
the average saliency maps.

マップの代わりに平均顕著性マップを用いて情報利得へ重み付けを行った．認識精度の比較対象として，4. 2

今後，人物領域セグメンテーションを提案手法へ組み節の実験で最も精度が高かった提案手法 3 を用いた．

込むことで，有効性のさらなる検証が必要であると言訓練サンプル，テストサンプル，および，ランダムフォ

える．

レストのパラメータは 4. 1 節と同じとした．

4. 5 顕著性マップを用いた場合との比較

平均顕著性マップを用いた場合と視線マップを用い

画像中で注目が集まり易い領域を推定する手法とした場合の性別認識の精度を図 14 に示す．図中 (a) のて顕著性マップが提案されている．ここでは性別認識テストサンプルの背景が訓練サンプルの背景と同じでの精度について，視線マップの代わりに顕著性マップ

ある P1 において，平均顕著性マップを用いた既存手を用いた場合と比較する実験を行った．顕著性マップ

法 1 から 3 の精度が高かった．一方，図中 (b) のテスを生成するために文献 [19] の既存手法 1，文献 [20] のトサンプルの背景が訓練サンプルの背景と異なる P2

既存手法 2，文献 [21] の既存手法 3 を用いた．図 12

では，視線マップを用いた提案手法の精度が高かった．

に生成された顕著性マップの例を示す．図中では，黒

識別時にどこを重視するか可視化するために，既存手色の領域は顕著性が高く，白色の領域は顕著性が低い

法 1 から 3 の変数重要度マップを生成した．その結ことを表す．各訓練サンプルから顕著性マップを生成

果を図 15 に示す．図中 (a) から (c) において，背景

し，それらの平均から平均顕著性マップを算出した．

の柵が存在している足元領域を重視していたことが確

図 13 に平均顕著性マップを示す．本実験では，視線認された．また図中 (c) から，身体領域に加えて右側502

論文／視線位置分布を用いた重み付きランダムフォレストによる性別認識
表 1 畳み込みニューラルネットワークに視線プーリングを組み込んだ手法との認識精度 (%) の比較．
Table 1 Accuracy (%) of convolutional neural network using gaze pooling.
手法

P1

P2

視線プーリングなし CNN 89.0 ± 9.2 31.4 ± 9.2
視線プーリングあり CNN 79.3 ± 4.5 51.7 ± 9.4
提案手法 373.5 ± 4.9 59.4 ± 7.3

(a)
図 15

(b)

(c)

平均顕著性マップを用いた場合の変数重要度マップ．

Fig. 15Maps of variable importance when using the
average saliency maps.

用いた CNN と比べて，認識精度が改善されていた．
本実験で用いたデータセットのようにサンプル数が非常に少ない場合では，視線マップを用いた重み付けランダムフォレストは CNN と比較して有効であるケーに存在する背景領域も識別時に重視していたことが分かった．よって図 14(a) の既存手法 1,2,3 では，背景スが存在することが確認された．

4. 7 異なる特徴量を用いた場合との比較の偏りを性別認識の特徴と誤って学習したと考えられ

前節までは画素値をランダムフォレストの特徴量とる．これらの結果より，実際に人間から計測された視していたが，本節では異なる特徴量を評価した．性別

線マップを用いた場合は，平均顕著性マップを用いた認識の特徴量として文献 [23] で用いられているエッジ場合と比較して，性別認識に有効な特徴を学習できるマップと histogram of oriented gradients (HOG) をと言える．

比較対象とした．各特徴量について以下で説明する．

4. 6 畳み込みニューラルネットワークを用いた手法との比較
畳み込みニューラルネットワーク (CNN) に視線

画素値: 各画素の RGB 値を特徴量とした．4. 2 節の実験で最も精度が高かった提案手法 3 で用いた特徴量である．

プーリングを組み込む文献 [5] の手法と認識精度を比エッジマップ: Canny 法により抽出された各画素の勾較した．訓練サンプル数が非常に少ないため浅いネッ

配強度を特徴量とした．勾配強度を用いて算出されたトワーク構造である文献 [22] の Mini-CNN を用いた．

情報利得に対して，提案手法 3 と同様に視線マップの前段に畳み込み層を 2 層設け，それぞれの間に最大重みを適用した．

プーリング層を配置し，後段に全結合層を 2 層設けた．

HOG: 勾配ヒストグラムを計算する際，1 個のセルの全結合層の前に配置された最大プーリング層から出力大きさを 8 × 16 画素とし，1 個のブロックに含まれるされる特徴マップに対して，視線マップを用いて重みセル数を 2 × 2 個とした．勾配ヒストグラムの各ビンを与えることで視線プーリングを適用した．なお，文の頻度を特徴量とした．ビンの頻度から算出された情献 [5] で用いられているグローバル平均プーリングは報利得に対して，視線マップの重みを適用した．重み精度低下がみられたため本実験では用いないこととを決定する際，勾配ヒストグラムに含まれるセルに対した．比較対象として，4. 2 節の実験で最も精度が高応する視線マップの領域において重みの平均を求めた．

かった提案手法 3 の結果を用いた．

異なる特徴量を用いた場合の性別認識の精度を表 2

視線プーリングを CNN に適用した場合の性別認識に示す．訓練サンプル，テストサンプルとして，4. 1の精度を表 1 に示す．訓練サンプル，テストサンプル

節の T, P1, P2 を用いた．テストサンプルの背景が訓として，4. 1 節の T, P1, P2 を用いた．まず，視線プー

練サンプルの背景と同じである P1 では，視線マップ

リングを用いた場合と用いない場合の CNN の精度をによる重み付けを行わない方が，どの特徴量でも認識比較する．テストサンプルの背景が訓練サンプルの背精度が高かった．これは，背景の偏りを性別認識の特景と同じである P1 では，視線プーリングを用いるこ徴と誤って学習したためと考えられる．一方，テストとで精度低下が見られた．一方，テストサンプルの背サンプルの背景が訓練サンプルの背景と異なる P2 で景が訓練サンプルの背景と異なる P2 では，視線プー

は，視線マップにより重み付けを行うことで，どの特リングを用いることで精度が大きく向上していた．さ

徴量でも認識精度が向上していた．これは，背景よりらに P2 において提案手法 3 では，視線プーリングを

は頭部付近の特徴量から算出された情報利得を重視し
503

電子情報通信学会論文誌 2019/8 Vol. J102–D No. 8
表 2 異なる特徴量を用いた場合の性別認識の精度 (%)．
Table 2 Accuracy (%) when using diﬀerent features.
特徴量

視線マップ

P1

P2

画素値

あり
なし
あり
なし
あり
なし

73.5 ± 4.9
95.9 ± 3.0
56.5 ± 8.2
70.0 ± 2.2
75.9 ± 11.4
97.1 ± 1.9

59.4 ± 7.3
10.0 ± 6.3
58.3 ± 5.7
44.1 ± 4.2
45.3 ± 9.9
14.1 ± 5.7

エッジ
HOG

category and attributes of visual search targets using
deep gaze pooling. In Proceedings of IEEE International Conference on Computer Vision Workshops,
pp. 2740–2748, 2017.
[6]

N. Murrugarra-Llerena and A. Kovashka. Learning
attributes from human gaze. In Proceedings of IEEE
Winter Conference on Applications of Computer
Vision, pp. 510–519, 2017.

[7]

M. Nishiyama, R. Matsumoto, H. Yoshimura, andY. Iwai.

たためと考えられる．ランダムフォレストに入力する

personal attribute classification. Pattern Recognition

特徴量を変更したとしても，背景に偏りがある場合は視線マップが有効であることを確認した．

Extracting discriminative features usingtask-oriented gaze maps measured from observers for
Letters, Vol. 112, pp. 241 – 248, 2018.
[8]

L. Breiman.

Random forests.

Machine learning,

Vol. 45, No. 1, pp. 5–32, 2001.

5. む す び[9]A. Verikas, A. Gelzinis, and M. Bacauskiene. Mining
data with random forests: A survey and results of

本論文では，人物画像の性別を精度よく認識するた

new tests. Pattern Recognition, Vol. 44, No. 2, pp.

めに，ランダムフォレストの学習アルゴリズムに視線位置分布を重みとして組み込む手法について述べた．
訓練サンプルとテストサンプルの画像の背景が異なる

330 – 349, 2011.
[10]

L. Rokach. Decision forest: Twenty years of research.

[11]

D. Amaratunga, J. Cabrera, and Y. S. Lee. Enriched

Information Fusion, Vol. 27, pp. 111 – 125, 2016.

場合，視線位置分布を重み付けランダムフォレストのrandom forests. Bioinformatics, Vol. 24, No. 18, pp.

情報利得に組み込むことで精度が大幅に向上すること2010 – 2014, 2008.
[12]を実験で確認した．

A weighted random forests approach to improve pre-

今後の課題として，様々なデータセットでの精度検

dictive performance. Statistical Analysis and Data

証，性別以外の属性での評価実験，ランダムフォレス
ト以外の学習手法への組み込みなどが挙げられる．

Mining, Vol. 6, No. 6, pp. 496–505, 2013.
[13]

cision tree ensemble construction. Information Fu-

および JSPS 科研費 JP17K00238 の助成を受けたも[1]

sion, Vol. 13, No. 1, pp. 20 – 30, 2012.
[14]

文

ence on Computer Vision Workshops, pp. 87–95,

Pattern Analysis and Machine Intelligence, Vol. 33,
No. 11, pp. 2188–2202, 2011.
[15]

the IEEE Computer Society Conference on Com-

T. Matsukawa and E. Suzuki. Person re-identification

puter Vision and Pattern Recognition, pp. 775–781,

using cnn features learned from combination of atConference on, pp. 2428–2433, 2016.
A. Schumann and R. Stiefelhagen.

2005.
[16]

of the 22nd ACM International Conference on Mul-

identification by deep learning attribute-complementaryence on Computer Vision and Pattern Recognition

timedia, pp. 789–792, 2014.
[17]

Fully-adaptive feature sharing in multi-

task networks with applications in person attributeclassification. In Proceedings of IEEE Conference
on Computer Vision and Pattern Recognition, pp.
1131–1140, 2017.
[5]

504

IEEE International Conference on Image Process-Y. Lu, A. Kumar, S. Zhai, Y. Cheng, T. Javidi, and
R. Feris.

H. Sattar, A. Bulling, and M. Fritz. Predicting the

M. Li, S. Bao, W. Dong, Y. Wang, and Z. Su. Headshoulder based gender recognition. In Proceedings ofWorkshops, pp. 1435–1443, 2017.
[4]

Y. Deng, P. Luo, C.C. Loy, and X. Tang. Pedestrian
attribute recognition at far distance. In Proceedings

Person re-

information. In Proceedings of the IEEE Confer-

V. Lepetit, P. Lagger, and P. Fua. Randomized trees
for real-time keypoint recognition. In Proceedings of2015.

tributes. In Pattern Recognition 23rd International

Hough forests for object detection, track-ing, and action recognition. IEEE Transactions on

P. Sudowe, H. Spitzer, and B. Leibe. Person attribute
In Proceedings of the IEEE International Confer-[3]J. Gall, A. Yao, N. Razavi, L. Van Gool, and V. Lempitsky.

献recognition with a jointly-trained holistic cnn model.

[2]

J. Maudes, J. J. Rodríguez, C. García-Osorio, and
N. García-Pedrajas. Random feature weights for de-

謝辞 本研究の一部は，総務省 SCOPE(No. 172308003)のである．

S. J. Winham, R. R. Freimuth, and J. M. Biernacka.

ing, pp. 2753–2756, 2013.
[18]

Bo Wu and R. Nevatia. Detection of multiple, partially occluded humans in a single image by bayesian
combination of edgelet part detectors. In Proceedingsof Tenth IEEE International Conference on Computer Vision, Vol. 1, pp. 90–97, 2005.

論文／視線位置分布を用いた重み付きランダムフォレストによる性別認識
[19]

[20]

S. Montabone and A. Soto. Human detection using

年)5 月〜2005 年 (平成 17 年)3 月英国ケa mobile platform and novel features derived from a

ンブリッジ大学客員研究員．2007 年 (平成 19 年) 同大学院

visual saliency mechanism. Image and Vision Com-准教授．2011 年 (平成 23 年）鳥取大学大学院工学研究科教puting, Vol. 28, No. 3, pp. 391 – 402, 2010.

授．コンピュータビジョン，パターン認識の研究に従事．博士

W. Zhu, S. Liang, Y. Wei, and J. sun. Saliency opti-（工学）

mization from robust background detection. In Proceedings of the IEEE conference on computer visionand pattern recognition, pp. 2814–2821, 2014.
[21]

M. Kummerer, T. S. A. Wallis, L. A. Gatys, and
M. Bethge. Understanding low- and high-level contributions to fixation prediction. In Proceedings of theIEEE International Conference on Computer Vision, pp. 4799–4808, 2017.

[22]

G. Antipov, S.A. Berrani, N. Ruchaud, and J.L.
Dugelay. Learned vs. hand-crafted features for pedestrian gender recognition. In Proceedings of the 23rd
ACM International Conference on Multimedia, pp.
1263–1266, 2015.

[23]

L. Cao, M. Dikmen, Y. Fu, and T. S. Huang. Genderrecognition from body. In Proceedings of the 16th
ACM International Conference on Multimedia, pp.
725–728, 2008.

（平成 xx 年 xx 月 xx 日受付）

山口紗也加
2018 年 鳥取大学工学部知能情報工学科

卒業．2018 年 鳥取大学大学院持続性社会
創生科学研究科工学専攻博士前期課に在
学中．

西山 正志

（正員：シニア会員）

2000 年 岡山大学工学部情報工学科卒業．
2002 年 同大大学院博士前期課程了．同年

株式会社東芝入社．同社研究開発センター
を経て，現在鳥取大学大学院工学研究科准教授．2011 年 東京大学大学院学際情報学
府にて博士（学際情報学）を取得．カメラを用いた人物認識を始めとするパターン認識およびインタラク
ションの研究に従事．山下記念研究賞など受賞．電子情報通信学会，情報処理学会各会員．

岩井 儀雄

（正員）

1992 年 (平成 4 年) 大阪大学基礎工学

部情報工学科卒業．1997 年 (平成 9 年) 大
阪大学大学院基礎工学研究科博士課程後期修了．同年同大学院助手．2003 年 (平成15 年) 同大学院助教授．2004 年 (平成 16505