情報処理学会 インタラクション 2014
IPSJ Interaction 2014

C0-5
2014/3/1

着用時のコンテキストと照らし合わせる
服装コーディネート支援システム
塚田 裕太1

岩淵 志学2

益子 宗2

田中 二郎3

概要：本研究では，衣服を着用する際に行く場所や，そこで会う予定の人などといった状況（コンテキスト）と，試着した自分の姿を照らし合わせることができる試着ミラーシステムを開発した．着用する際の目的に合わせて衣服を選ぶ場合，鏡を使った従来の試着のスタイルでは，試着をした自分の姿が着用するシーンでどのように他人から見られるかを想像し，コンテキストと照らし合わせることで考慮されてきた．
試着の際に行われるこの照らし合わせを，よりわかりやすく感覚的に行うための情報提示を取り入れた，試着ミラー型システムの実現することが本研究の目的である．試着した自分の姿を特定の場所に合成した映像を提示したり，会う予定の他人の姿を試着した自分の隣に並べて提示したりすることで，試着した服装を着用する際のコンテキストに照らし合わせて確認できる．本稿では，服装コーディネート支援システ
ムの概要やプロトタイプシステムの実装について報告する．

A Fashion Coordination Support Systemfor On-scene Style Conformation
Yuta Tsukada1

Shigaku Iwabuchi2

Soh Masuko2

Jiro Tanaka3

Abstract: In this study, we introduce a fitting mirror system, by which the user can check whether his own
appearance is suitable for a given situation like the place to go or the person to meet. Conventionally, when
we choose clothes in front of mirror for a particular occasion or location, we imagine our own appearance atthe aforementioned situation. The purpose of this study is to implement a fitting mirror system which cansupport this process more visually. In our system, the user can choose the appropriate clothes for a givensituation, by placing his own personal image in a particular scene or next to a particular person’s image on
the screen. In this paper, we introduce our proposed system and explain about the implementation of theprototype system. Lastly, we evaluate the usability of the system.

1. はじめに質問に対し，全体の約 6 割にあたる 46 人が「天気・気温」や「当日に会う人」と回答した．このような，天候や場所１日の服装を選ぶことは，日々の生活において避けられなどといった環境や，当日に会う人といった状況も，そのないものである．そしてそれは，自分がどんな服を着たい日の服装を左右する要因になる．環境を考慮せず服装選べかというファッションの好みだけでなく，その他の様々なば，温度調節の出来ない服装をしてしまうことをまねいた情報から判断して決めなければならない．辻田らの調査 [1]り，その場所の雰囲気に合わない格好をしてしまうといっによれば，「服装を決める際に考慮するものは？」というた失敗をまねくこともある．また，会う人に応じて，目上の人と会うのに失礼のないようなフォーマルな服装，友人

1

2

3

筑波大 学大学院 シ ス テ ム 情 報 工 学 研 究 科 Graduate Schoolof Systems and Information Engineering, University ofTsukuba
楽天株式会社 楽天技術研究所 Rakuten Institute of Technology,Rakuten, Inc.
筑波大学大学院 システム情報系 Faculty of Engineering, Information and Systems, University of Tsukuba© 2014 Information Processing Society of Japanと会うときのカジュアルな服装などを，それぞれに合わせて選ぶ必要もあるだろう．
服装選びにおいて，自分のコーディネートを確認・検討するための行為として，衣服の試着がある．しかし，試着

549

をして自分の姿を鏡で確認する際，そのコーディネートが人に重畳するのではなく着用している状態の画像を使うこ着用する予定のコンテキストに対して適切かという評価は，とで，より自然な着用シミュレーションを実現している．

鏡を見ただけで判断することが難しい．例えば，子供の授また，撮影したコーディネートを再利用することで，日々業参観に参加するために着ていく服装を選ぶというときは，のコーディネートのライフログとしての活用機能も備えて授業参観の会場や状況などを想像し，そこに試着した自分いる．の姿を照らし合わせることで，その状況に適したコーディ

さらに，[6] を始めとしたファッションを題材にした SNSネートであるかを判断する．同様に，誰かと会うときの服

では，スマートフォン等で撮影した自分のコーディネート

装を決めるという場合でも，その人と並んでいる様子を想を投稿し，互いに評価し合ったり，他人のコーディネート像して，試着した自分の姿と相手の姿を照らし合わせてを自分の参考にしたりといったコミュニケーションが行わ判断する．しかし，様々なシーンを具体的に想像し，コーれるようになった．SNS を通して，自分のコーディネートディネートを判断するには経験がであり，着用するシーンを記録するだけでなく，他人のコーディネートを活用するの具体的なイメージがわかなければ，この方法でコーディことが行われている．

ネートが適切かを判断することは難しくなってしまう．
そこで筆者らは，特定の場所や状況といったコンテキス

2.3 着用時の状況を考慮したコーディネート支援

トに，試着した自分の姿をよりわかりやすく照らし合わせ衣服の着用時の状況を考慮した服装コーディネートを実て確認できる，試着ミラー型システムを考案，制作した．

現するシステムとして，辻田らの Asa1-coordinator[1] があコンテキストに適しているかを想像で考慮していた，鏡をる．Asa1-coordinator は，会う人と天候，持っている服か使った従来の試着のスタイルに対し，試着したシステムのらコーディネートを決めるシステムで，会う予定の人の前ユーザの姿を特定の背景映像に合成したり，試着をした自で着ていた服やその日の天気などの情報を参考に，1 日の分の隣に会う予定の人や過去の自分の姿などを合成したりコーディネートを決めることができる．

といった機能を持つ．本システムは，場所や会う人などの本研究も同様に，着用するシーンを考慮したコーディコンテキストに自分の姿をあてはめ，それらとの照らし合ネートの決定を支援するものであるが，Asa1-coordinator

わせをより簡単かつわかりやすくするための情報を提示

では，実際にその人に会う際にどう見れるか，のような観する．

点は想像で補わなければならない．

本稿では，提案 するシステムの機能やプロトタイの実装について述べる．また，システムの使用感や印象を調査する実験を実施したので，これを報告する．

2. 関連研究2.1 バーチャル試着システム

2.4 本研究の位置づけ
コンピュータによる試着支援の研究は，画像処理や CG技術を用いたバーチャル試着が広く研究されており，実際に衣服を試着しない，より素早く効率的な試着を実現するための試みが多い．一方で，本研究が注目するような，選服装コーディネートの決定を支援する研究としては，文んだコーディネートが着用する予定のコンテキストに適切

献 [2][3] をはじめとした，バーチャルに試着を実現する試かどうかのような，コーディネートの判断を支援するため着シミュレータの研究が広く行われてきた．このバーチャの研究も有用であると考えられる．

ル試着は，カメラで撮影した人の体に衣服の CG を重畳表本研究では，実際に服を試着してその姿を確かめる状況示し，ディスプレイを通して試着した姿を確認するものがを想定し，試着したユーザの姿を，場所や特定の人と会っ多い．実際に衣服を着用する必要がなく，時間短縮，効率ているときなどの状況に合成して，着用時をシミュレー化を実現している．また，バーチャル試着システムは，試ションした映像を提示するというアプローチを用いる．特着が行えない e–コマースサービスとの親和性も高く，文定の場所などの背景シーンや他人の姿の映像を用意し，試献 [4] のような応用も見られる．近年では e–コマースサー

着しているユーザを背景に合成したり，他人の姿を自分のビスの需要も高くなってきており，実用化にむけた取り組隣に呼び出す機能を持つ．試着した自分の姿と，着用するみが今後も推し進められていくことが予想される．

際の状況（コンテキスト）を，想像ではなく目で見て照らし合わせ，コーディネートが適切かどうかを，より直感的

2.2 試着した姿の記録と再利用試着したユーザの姿を撮影し，その画像をコーディネー
トの決定支援に活用する研究がある．佐藤らの suGATA-

LOG[5] は，衣服を着用したユーザの姿の画像からトップに判断できることが期待される．

3. 提案システム
3.1 システム概要

ス部分とボトムス部分を抽出し，コーディネートのシミュ

本システムは，PC と試着した姿を撮影するカメラ，それレーションを行うシステムである．衣服の画像をそのままを確認する映像ディスプレイで構成される．ディスプレイ

© 2014 Information Processing Society of Japan550

を通して試着したユーザの姿を鏡のようにそのまま確認する機能に加え，特定の場所・状況といった背景シーンや他人の姿などと同じ空間にいるように合成して提示し，自分の姿をそれらに照らし合わせながら確認する機能を持つ．
システムのユーザは，実際に服を試着してディスプレイの前に立ち，自分の姿を確認する．そして，その姿を背景シーンに合成したり，あらかじめ用意した他人の姿や自分の過去の試着した姿などを隣に並べたりといった機能を活用する．服装のコーディネートを決める際の要因である，出かける場所やそこで会う人といったコンテキストとユーザが試着した姿とを，映像で直接照らし合わせることができる．
図 2

3.2 機能3.2.1 基本画面着用シーンとの合成

こに自分の姿を合成する．ここで，合成時の違和感を軽減

本システムを起動すると，図 1 のように表示される．ユー

するために，合成の位置や縮尺，背景シーンの照明の明るザは服を試着し，図 1 の中央に表示される映像で自分の姿さや色合いなどを調整する画像処理を試着をしたユーザを確認する．図 1 右側には，機能の選択やサムネイルを表の姿の画像に施している．また，ユーザがコントローラを示するメニューがあり，無線コントローラを使ってサムネ使って，その姿の位置や大きさ，背景シーンのオブジェク

イルやボタンをクリックすることで機能の実行・切り替え

トとの前後関係（見え隠れ）を自由に調整することもできを行う．

る．これらの背景に自分の試着した姿を合成することによって，想定している着用シーンにそのコーディネートが適しているか，周りの人と比較して浮いてしまわないかを照らし合わせて確認することができる．
また，3.2.3 で後述する機能を使って，撮影した過去の試着のデータを背景シーンに合成することもできる．他人の姿と自分の姿を背景中に並べれば，その人と一緒に出掛けたときの様子のシミュレーションになる．

3.2.3 過去の自分や他人の姿との対比撮影した試着の姿を記録し，図 3 のようにそれを再提示することで，コーディネートの参考にすることができる．

図 1 システム概観

3.2.2 着用シーンに合成試着した服装に対して， そのコーディネートで特定の場所に出かけたとき，周囲からはどのように見られるか を確認する機能が，着用シーン合成機能である．この機能を用いて試着したユーザの姿を合成した様子を図 2 に示す．
図 2 は，ユーザが試着した姿をファミリーレストランの背景に合成したものである．試着した服装でファミリーレストランに出かけると，周囲の人からは自分がどのように見えるかといった着用イメージを提示している．背景シーンには，海や公園などの屋外や，レストランや結婚式場な図 3撮影した試着の再利用

どの施設などが利用でき，試着するユーザは，着用する目的やそれを着て出かける場所などに沿った背景を選び，そ© 2014 Information Processing Society of Japan

システムは，撮影して記録した過去の試着の姿を，ユー551

ザが試着している姿の隣に並ぶようにして映し出す．例えば，自分の後姿を記録して，正面の姿と後姿を同時に見比べたり，2 着以上試着してどちらが好みかを比較したりといった確認ができる．また，他人の姿を用意すれば，その人と会う状況を想定して，相手の姿を意識して試着が可能になる．
また，この機能で記録した試着は，試着のログとして保存し，再利用することができる．保存した試着のログは，
図 4 のようにメニューを展開して確認することができる．
ユーザは，過去に自分が試着したり買ったりした服，他人の試着した姿などのデータを随時読み込み，試着の際に活用する．
図 5

システムの構成と処理の流れ

4.2 試着の撮影と重畳
Kinect は，RGB カメラで撮影した画像を鏡のように提示する他に，試着をするユーザのボーントラッキングを行っている．トラッキングにより RGB 画像中のユーザの領域を識別し，試着したユーザの姿のみ切り抜いた画像を生成する．その画像を，背景シーンなどにアルファブレンディングして重畳表示する．

4.3 背景合成時の違和感の軽減
Kinect で撮影・生成したユーザが試着した姿を切り抜いた画像は，背景シーンの映像に合成される．このとき，よ図 4試着した姿のログり違和感なく合成されているよう見せるため，合成する試着した姿の画像に，縮尺や位置，色合いや明るさを調整し4. プロトタイプの実装4.1 システム構成ている．
背景シーンごとに，合成される際の大きさや位置は，事前に設定したパラメータを用いている．また，試着した提案システムのプロトタイプを実装した．プロトタイプ

ユーザの姿の画像をドラッグ＆ドロップして配置したり，の構成と処理の流れは，図 5 のようになっている．プロト

ホイール操作によって画像の縮尺を調整したりする操作がタイプは，PC とそれに接続したディスプレイ，Kinect を可能である．

１つずつ用意して構成した．日常生活の試着やアパレル画像の色合いや明るさの補正は，画像の HSV パラメー

ショップなどの試着室への導入コストも考慮し，できるだタを用いて，明るさ，色相，彩度のパラメータを変更してけシンプルな構成で実現できるようにしている．ユーザが調整した．このパラメータを変換することで，背景シーン使用するコントローラには，小型の無線トラックボールマの環境と試着した姿を撮影する環境での，照明環境の違いウスを用いており，ボタンやサムネイルのクリック，試着による見た目の差異を軽減する．変換のパラメータは，あした姿の画像をドラッグ＆ドロップする操作などで各機能

らかじめ背景シーンそれぞれについて個別に設定した．こを使用する．のパラメータは，背景シーンに人の姿を記録したサンプル

試着したユーザの撮影には，Microsoft の Kinect for

画像を重畳表示し，より自然に見えるようパラメータを調

XBOX360 を用いた．Kinect が撮影した映像を使って，鏡整しつつ画像処理を施し，その際のパラメータを設定した．

像を提示することによる試着した姿の確認や，3.2.3 や 3.2.2の機能で用いるような試着した姿を使った重畳表示を実装している．ソフトウェアは，Visual C#で開発した．ま5. 提案システムの評価
5.1 試用実験の概要

た，Kinect の制御には Kinect SDK1.8 を，画像処理には実装した提案システムのプロトタイプについて，システ

OpenCVSharp 2.4 を用いた．メニューやアニメーション

ムの使用感やユーザに与える印象，試着に活用する効果なは，WPF を用いて実装した．

どを調査した．

© 2014 Information Processing Society of Japan552

実験は，被験者にプロトタイプを自由に使用させ，各機ザの姿等を合成する際に施す画像処理や，ユーザの姿の撮能についての使用感や提示する情報の印象について，アン影方法の工夫などにより，よりリアリティのある着用イケート・ヒアリングする形式で行った．被験者は，20 代かメージを提示できるよう改善する必要がある．さらに，背ら 50 代の男女 6 名（男性 5 名，女性 1 名）である．実験の景シーンに合わせた合成方法（例えば，背景シーンの中の直前に 10 分程度の機能説明と練習の時間を設け，ある程度椅子に座っているよう合成するようなこと）も取り入れてなれた状態でシステムを使用させた．背景シーンには，結いくことで，より自然な着用イメージの提示が可能になる婚式場や高級レストラン，電車内などのシーンを用意し，だろう．

試着データとしては，被験者の知人や目上の立場の人間の姿を用意した．

6. まとめ
本稿では，場所や人物などの着用時のコンテキストと，5.2 被験者の意見試着をした自分の姿を照らし合わせることのできる試着ミ

被験者から得られたコメントで好意的なものとしては，ラーシステムについて報告した．背景シーンへの合成や，「自分の試着した姿を再利用できれば，色違いのもの着て過去の自分や他人の姿を隣に並べるといった機能により，見比べるようなときにわかりやすく効率的である」「後や鏡を使って自分の姿を確認する従来の試着方法ではわかり横から映した姿のような鏡では見えない視点から確認するにくい部分を，よりわかりやすく確認できる．

機能は役に立つ」「アパレルショップなどで使う場合，過去今後の課題としては，評価実験での指摘に基づくシステに試着したものを再利用して前に買った服と試着した服をムの改善および改良があげられる．試着を記録する際の比較することもできる」「シーン合成を使うと，服装だけで操作や背景シーンに合成する際の調整方法などを改良・調なくその状況のシミュレーションになって自分がどう見ら整していく必要がある．また，機能の拡張として，複数のれるかわかる」といった意見が得られた．

Kinect を配置して，ユーザの姿を複数の視点から同時に撮また，改善点や疑問点を指摘する声としては，「他人の影する機能も取り入れたい．

ファッションに合わせて自分の服装変えることはしない」「シーン合成の際に縮尺を自分で合わせようとすると目安参考文献となるものがなく難しい」「冠婚葬祭のような状況では，[1]

背景に合成しなくても着て行く服装は決められる」などであった．
[2]

5.3 考察被験者の意見によると，試着した自分と別の服装をした自分の姿を比較する使い方や横や後ろ姿を確認する使い方，特定のシチュエーションにいる自分の姿を確認する使い方[3]について，好意的な意見が得られた．これらの情報は，従来の試着の方法で用いられてきた，鏡を使って確認できる[4]

自分自身の姿とは異なる，他人の視点から見た自分の姿をである．このように，試着の際に客観的な視点から自分の姿を確認することは，試着を支援するものとして受け入れ[5]

られ，活用されうることを示唆している．
また，第三者の姿を隣に並べる機能や特定のシーンの中に自分を合成する機能を使った被験者から，「人や背景を[6]

辻田 眸，北村 香織，神原 啓介，塚田 浩二，椎尾 一郎：
Asa1-coordinator：履歴情報を利用したファッションコー
ディネート支援 ，ヒューマンインタフェースシンポジウ
ム 2009 論文集，pp．85–88，2009．
Wei Zhang，Takashi Matumoto，Juan Liu，Maurice Chu，
Bo Begole： An Intelligent Fitting Room Using Multi–
Camera Perception ，In Proceedings of the 13th international conference on Intelligent user interfaces（IUI’08），
pp．60–69，2008．
川口 侑希子，橋本 直己： バーチャル試着を手軽に実現する Dress Capture ，映像情報メディア学会技術報告，
pp．47–50，2013．
益 子 宗 ，Shirmenbaatar Myagmarsuren，酒 巻 隆 治：
KiTeMiROOM：モバイル端末のためのファッション
コーディネート支援システム ，電子情報通信学会論文誌，Vol．J96-D，No．10，pp．2286–2294，2013．
佐藤 彩夏，渡邊 恵太，安村 通晃： 姿を利用したファッションコーディネート支援システム suGATALOG の提案と評価 ，情報処理学会論文誌，Vol．53，No．4，pp．
1277–1284，2012．
CROOZ， 流行ファッションコーディネートサイト｜
CodeNote（コーデノート），http://codenote.jp/

意識して，服装を考え直した方がいいと感じた」という意見も得られている．本システムは，他人の姿や特定の状況に自分の姿を照らし合わせて行う試着を実現するものであるが，人と会ったときの様子や特定の場所に行った様子のような着用イメージを映像で提示することが，試着をするユーザに着用シーンを意識させ，コーディネートに影響を与える効果がみられた．
一方で，被験者から「背景シーンに自分の姿を合成した結果に違和感がある」との指摘も受けた．試着をしたユー© 2014 Information Processing Society of Japan553