WISS2012

顔検出とエッジ抽出を利用した携帯端末による自撮り支援システムの提案
芝 星帆

入江 英嗣

吉永 努∗

概要. 携帯端末に備わるカメラが持つ解像度の飛躍的な向上したことにより, 個人の様々な行動のライフログとして自分の写真を撮り, 公開することが一般的となった. しかし, 自撮りで鮮明な顔写真を撮影することはライブビューを確認できないため難しい. 本稿では常に顔が中心にある鮮明な自撮り写真を容易に撮影できるシステムを提案する. 本システムでは, 顔の前でカメラを左右に振って複数の画像を取得し, それらの画像群において顔が中心にあり正面を向いている画像を選択する. 同じ視点, 同じ距離から撮影された画像においては, エッジが強い画像が鮮明な画像となる. それにより顔領域からエッジを抽出し最も鮮明な画像を選出する. 本システムを利用し複数の被験者が自撮りで写真を撮影したところ, 顔が中心にある鮮明な写真を全員が取得できた. また, 本システムをカメラ付き小型飛行ロボットへ実装し, 自律飛行により両手でポージングした自撮り写真が撮影できる手法を開発した.

はじめに1

現在の状況を見る人に分かりやすく伝えるためには, 風景など撮影した場所を特定できる写真が効果的である. 風景とともに自分の顔を収めた, いわゆる「自撮り」写真は, 自分の体験をより豊かに相手に伝えられる. しかし, ライブビューを確認せずに腕を伸ばす自撮りの体勢では, ぶれずに顔を上手く中心に配置することは難しい. ハードウェアを制御することで手ぶれを補正する技術 [1] はあるが, 自撮りの際に起こりうる被写体の動きによるぶれやフレームアウトには対応できない. そこで, 顔の前でカメラを振って複数の画像を取得し, 顔検出とエッジ抽出を行うことで, 誰でも簡単に鮮明な自撮り写真を撮影できるシステムを提案する. 本システムは画面を確認する必要なく望み通りの自撮り写真を撮影でき, ロボットが自動で人間を撮影する技術にも応用できる.
また, 従来の自撮り方法では端末を片手で支えるためポーズが大きく限定されるが, ロボットを利用することで両手でポージングした写真の撮影を可能とする. 更に飛行ロボットを利用することで, 撮影視点の幅も広がる. 昨今では飛行ロボットの自律飛行性能も向上し, 屋内外を問わずに飛行できる [2]. そのため, 本システムをカメラ付き飛行ロボットへ実装し, 自律飛行によって不安定な機体でも鮮明な写真を取得できるかを確認する.

提案手法

22.1

システム概要
本稿では, 顔が中心に配置され, 顔部分が鮮明である写真をベストショットと定義する. そして, このベストショットを手軽で確実に得られるシステムを提案する. 鮮明さの評価としてエッジの抽出量を用い,顔領域のエッジ画素数を鮮明度と定義する. 提案するシステムのアルゴリズムを図 1 に示す. まず, 数∗

Copyright is held by the author(s).
Seiho Shiba, Tsutomu Yoshinaga and Hidetsugu Irie,
電気通信大学 大学院情報システム学研究科 情報ネット
ワークシステム学専攻

図 1. アルゴリズム

図 2. エッジの抽出

フレーム間隔で複数の画像を取得する (i). 取得した画像群から顔が中心領域にない画像, 正面を向いていない画像を除外する (ii). 顔領域を切り出し (iii),エッジを抽出する (iv). 抽出したエッジを二値化し,エッジ部分の画素をカウントして鮮明度を算出する(v). 最も鮮明度が高い画像をベストショットとして選出する. つまり, ユーザは顔の前でカメラを構えるだけで, 自動でベストショットを取得できる.
2.2 提案手法の実装
本システムは, 顔検出には Haar-like 特徴を, エッジ抽出には Canny 法を用いて開発した. Haar-like
特徴を用いた顔検出は, 白と黒から成る単純な検出器を利用するため, 他の顔検出法に比べ計算速度が速く光源条件にも堅牢である. 外出先では屋内外により光源条件が大きく変化するため, 本システムの手法に適している. Canny 法は画像の細線化とヒステリシス閾値によって, 細かく弱いエッジを誤検出

WISS 2012

図 5. 取得画像数による平均所要時間, 成功率の変化
図 3. ベストショットの例

図 6. 目視判定の例

図 4. 顏位置の取得と鮮明度の推移や未検出も少なく抽出できる. 本システムにおいてエッジ抽出は複雑な顔領域に行うため, 角度やエッジ強度に左右されない Canny 法が適している.

2.3

飛行ロボットへの実装
提案システムを小型飛行ロボットに実装し, 自律飛行により両手でポージングした自撮り写真の撮影を可能にした. ロボットは上半身が画面内に入る距
離をマーカから推定し, 顔の位置に合わせ高度を自律飛行により調整した後, 写真を撮影する. 様々なポーズで撮影できる反面, カメラは不安定となり画像はぶれやすい. この状況で提案システムを利用し,ぶれのないベストショットが選出可能かを確認する.
外出先では屋内外により光源条件が大きく変化する.

3
3.1

評価実験

手持ちカメラでの評価実験
被験者はカメラを手に持ち顔の前に構え, 自由に自分の顔の前で左右に振る. ただし, 極端に早く振る,顔を故意に逸らすという行為は, 実際の使用方法と異なるため事前に禁止している. 被験者 10 人で合計 25 回の試験を行った. 被験者が操作を開始してから 200 フレームの間に,40 枚の画像を取得した. その結果, 全ての試験において, 顔が中心にあり, 且つ,鮮明な画像がベストショットに選ばれた (図 3 -(a)).
本システムにおいて, 顏位置の取得後, 鮮明度がどのように推移しているのか, またそのときのエッジを
図 4 に示す. 丸で示した画像がベストショットである. 顔が中心位置で正面を向き, その他の画像に比べ鮮明であることがわかる.
次に, 取得間隔は変えず, システムを適用するフレーム数を 5〜200 に変化させた. そのときの成功率の変化を図 5 に示す. 試行回数はいずれも 10 回ずつで, 成功か否かの判定は, 顔が中心にあるか, 顔領域が鮮明であるかを目視で判断する (図 6). 所要時間は, 実験に使用したカメラが 60fps であることから, 被験者が操作を開始し撮影を終えるまでのフレーム数により算出する. 所要時間が 1 秒を切ると成功率が極端に下がり,2 秒程度の撮影で 8 割以上の成功率を得られることがわかる.
以上より, 本システムを利用することで, 顔の前でカメラを振るだけで鮮明な自撮り写真を取得でき,撮影にかかる所要時間も 2 秒程度と手軽であることが確かめられた.

3.2

飛行ロボットでの実験
被験者はマーカを身に着け直立し, その様子をロボットから撮影する. 被験者 3 人で合計 5 回の試験を行った. 撮影が開始されてから 100 フレームの間に 20 枚の画像を取得した. その結果, 自律飛行による不安定な機体上から取得した画像でも本システムを使えば鮮明な写真が取得でき, 両手でポージングした自撮り写真も撮影も可能であった (図 3 -(b)).

4

おわりに手軽で鮮明な自撮り写真が撮影できるシステムを提案した. 本システムを飛行ロボットへ実装することで, 両手でポージングした自撮り写真も撮影できた. 今後は目の開閉判定や笑顔判定を利用し, 表情の変化からベストショットを捉えられる機能を付加し, より実用に向けた改良を行う.

参考文献[1] 福本晋平, 畑中晴雄, 蚊野浩, 村田治彦. デジタル
カメラ向け画像復元式静止画手ぶれ補正技術 (コンシューマ機器および一般). 映像情報メディア学会
技術報告, Vol. 33, No. 8, pp. 5–7, 2009.
[2] Cooper Bills, Joyce Chen, and Ashutosh Saxena.
Autonomous mav flight in indoor environments
using single image perspective cues. In ICRA,
pp. 5776–5783. IEEE, 2011.