情報処理学会 インタラクション 2015
IPSJ Interaction 2015

B39
2015/3/6

BORNINGEN: 企画提案を支援する
手書き棒人間認識システム
角谷 亮祐†	  	  馬場 哲晃†	  	  串山 久美子†	  	  菊竹 雪†
概要：企画提案の場において，人物やキャラクタを棒人間で簡単にスケッチしたものを，企画書やスライドにそのまま流用することは表現性に欠け，正しい意図伝達ができないこともある．安らの研究[1]のように棒人間のポーズによって同じポーズの画像を検索することができれば資料作成の効率化に役立つが，特徴抽出が十分に可能となるポーズ画像の制約が大きい．本稿では，ポーズ画像にあらかじめ棒人間のメタデータを対応させ，オフラインで描かれた手書き棒人間とテンプレートマッチングを行う検索手法を提案する．この手法ではメタデータ対応の手間がかかるが，デフォルメキャラクタや特徴抽出に適さないポーズ画像，棒人間から複数のポーズ解釈が考えられる場合など，多様な表現要求に柔軟に対応できる．

BORNINGEN: A System of Recognition Handwritten
Stick Person for Supporting ProposalsRYOSUKE KAKUTANI†	  TETSUAKI BABA†	  KUMIKO KUSHIYAMA†	 YUKI KIKUTAKE†	  	 Abstract: In place of the proposal, the one that was easy to sketch a person or character with a stick man, bediverted directly to the proposal and slide lacks expressiveness, may not be the correct intention transmission.
Although help the efficiency of material created if it is possible to search for images of the same pose by Stickpose as Study [1] of Ahn, is greater constraints fully possible to become pose image feature extraction. In thispaper, pre-made to correspond to stick man of metadata to pose image, we propose a search technique for
handwriting Stick and template matching drawn offline. This approach takes time metadata correspond. Pose
image that is not suitable for deformation character or feature extraction, such as when considered multiple
poses interpreted Stick, can flexibly correspond to the various expressions request.

1. は じ め にするシステムがあると良い．画像検索の方法は①キーワー	  	 ド検索②クエリ画像検索が主であり，①は適切なキーワー	  ゲーム開発，Web サービスや製品デザイン，映像制作なドが画像と結びつかないこと，②は適切なクエリ画像自体どのように，ユーザ像やコンテンツ内の登場キャラクタがを探すことに問題点があり，より直感的な画像検索方法が必要とされる企画提案の場では人体スケッチを作成するこ必要とされている．とが多く，中でも簡単に素早く描画できる棒人間は誰もが	  本稿では，企画や提案の場におけるビジュアルコミュニ利用しやすい表現手法である．

ケーションを促進するため，ユーザが棒人間を描くことで	  一方，企画書やスライドなどにおいて，豊かな表現や正そのポーズに類似するイラストを呼び出すことができる画

確な表現が求められる場合には棒人間は適さない．例えば像認識システム BORNINGEN を提案する．

図１左のように，腕を水平に広げる棒人間の図では，身体を正面に向けているのか捻っているのか区別がつきにくく，図１右のような棒人間の図では，棒人間の腰部が細いために両腕部の微妙な位置関係を表現し難い．このように，１つの棒人間のポーズに１つの意味のみが対応するとは限らない．また，例えばゲーム開発の企画書におけるプレイ画面のビジュアルにおいて，棒人間ではなくゲームの印象に合ったキャラクタモデルを描画したい場合もあるだろう．
以上の理由から，棒人間を詳細なイラストへと清書することが望まれるが，同時にイラストの作成には多大な時間を

図 1	  棒人間に対応するポーズの解釈の違い要するため，可能な限りイラストを使い捨てせず素材としFigure 1 Difference in the interpretation of posesて再利用したいと考えられる．その際，画像を簡単に検索†首都大学東京大学院システムデザイン研究科
Graduate School of System Design, Tokyo Metropolitan University© 2015 Information Processing Society of Japan582

2. 先 行 研 究	  安らによる人体スケッチによるポーズ画像検索の研究は，ポーズを持った画像と正しい人体比例のポーズとなる骨格モデルの両方に対して特徴グラフ抽出を行うもので，機械学習やタグ登録を用いないため，Web 検索のような不特定多数の画像に対応できるが，特徴グラフ抽出に適していな
いポーズ画像に対して高い検索精度が得られないこと，ポーズの微妙な変化によって検索順位が大きく変動してしまうこと，デフォルメキャラクタなどの特殊な人体比例に対応し難いことが問題点である．	  ラ フ ス ケ ッ チ に よ る 類 似 画 像 検 索 サ ー ビ ス と し てretrievr[2]がある．ブラウザ上の描画ツールを用いてラフスケッチを描くことや，アップロード画像によって写真共有サービス Flickr[3]から検索するシステムであり，ポーズに限らず様々な画像に対応している．また，安らの研究と同様に画像 DB の特徴抽出を行っている[4]．	  本稿は，これらのような画像 DB から特徴抽出を行う方法ではなく，画像１つ１つに付与した棒人間画像のメタデータと手書き棒人間画像とをテンプレートマッチングさせる方法をとる．

3. 使 用 画 像 	 図 3	  ポーズ画像の作成と選別

3.1 メ タ 画 像	  メタデータとして使用する棒人間のポーズは，図 2 のよFigure 3 Making and selecting poses

うな描画方法で作成した．棒人間の描画方法は，顔や手足を描き入れる場合もあるが，本稿ではソフトウェア開発分

この選別において，図 1 のような同じ棒人間で異なる意味

野 に お け る UML の ユ ー ス ケ ー ス 図 を 参 考 と し た ．

を持つ場合は，類似ポーズとは見なさず差別化している．
なお左右反転画像は同一のものとして扱う．

4. シ ス テ ム 実 装
4.1 シ ス テ ム 概 観	  本稿では手書き棒人間を認識し，メタ画像とのテンプレートマッチングを行い，候補となるポーズ画像を表示する
プロトタイプを制作した．図 4 にシステムチャートを示す．
本稿での実装はパソコン上で行っているが，将来的にはタブレットやスマートフォンなどの携帯端末用アプリケーションとしての利用を想定している．アプリケーションの構
築は openFrameworks を使用した．
4.2 画 像 の 取 り 込 み
図 2	  メタ画像の描画方法
Figure 2 Drawing metadata
3.2 ポ ー ズ 画 像	  企画書やスライドで文章に添える図説として用いることを想定し，真正面を向いたピクトグラム風のイラストを基本とした．本稿では，まず上下半身ごとに左右の組み合わせから網羅的にポーズ画像を作成，次に類似するポーズか

手書き棒人間画像は，アプリケーション上にマウスやペンデバイスで直接描画する方法と web カメラによる撮影の２通りの取り込み方法をとる．ユーザは利用シーンに応じてこれらのモードを手動で切り替える．
4.3 画 像 処 理	  カメラによる画像処理には openCV ライブラリを，テン
プレートマッチングには ofxTemplateMatching ライブラ
リを用いる．

ら試験的に下半身を固定として 89 種類を選別した(図３)．

© 2015 Information Processing Society of Japan583

5. 今 後 の 展 望	  本稿では手書き棒人間認識システム BORNINGEN のプロトタイプの構築について述べた．今後の課題として以下の点が残る．
(1) 棒 人 間 メ タ 画 像 の 上 下 分 割	  本稿で用いたメタ画像は棒人間の全身を１枚の画像として扱ったが，上半身と下半身の組み合わせによって作成するデータ数を抑えることができる．
(2) 認 識 ・ 検 索 性 能 の 向 上	  本稿では高い類似度を得るためにガイドに沿う必要があり，これを画面内において自由な位置での検出ができるように改善したい．またシステム上の類似度がユーザの検索意図に沿うかどうか検証する必要がある．	  その他，企画提案に役立つアプリケーションとしての完成度を高める改善を行っていきたい．

参考文献
図 4	  システムチャート
Figure 4 System chart
4.4 イ ン タ フ ェ ー ス	  アプリケーションのインタフェースを図 5 に示す．	  画面左側は結果表示画面で，取り込み画像を認識すると，メタ画像との類似度が高い候補画像が類似度と共にサムネイル表示される．表示限度となる類似度の設定を上下する[1] 安孝敏，高塚崇文，田村仁: 人体スケッチによるポーズ画像
検索, 情報処理学会，全国大会講演論文集, 2012(1),pp.657-659(2012).
http://ci.nii.ac.jp/naid/110009785018[2] Christian Langreiter. retrievr.
http://labs.systemone.at/retrievr/ ,(参照 2014-12-9)[3] Gilles Couturier, Flickr
https://www.flickr.com/ ,(参照 2014-12-9)[4] Chuck Jacobs, Adam Finkelstein and David Salesin, theUniversity of Washington. “Fast Multiresolution ImageQuerying”,
http://grail.cs.washington.edu/projects/query/ ,(参照 2014-12-9)

ことで，厳密に絞り込みたい場合やなるべく多くの画像を表示したい場合に対応する．	  画面右側は入力表示画面で，カメラ映像や入力キャンバスを表示し，必要に応じて棒人間のガイドを表示できる．

図 5	  インタフェース
Figure 5 Interface© 2015 Information Processing Society of Japan584