多様な体形や姿勢に対応した高品質な仮想試着手法を開発～オンラインショッピングやビデオ会議への応用を期待～オンラインショッピングが加速度的に普及し、オンライン上で仮想的に試着ができるシステムの需要が高まる中、東京大学大学院情報理工学系研究科創造情報学専攻 五十嵐健夫研究室では、リアルタイムで高品質な仮想試着を実現する手法を開発しました。
従来の仮想的な試着の実現手法では、多種の衣服に対して一つの深層学習モデルを構築していましたが、本手法では特定の衣服の画像の生成に対象を絞って深層学習モデルを構築することで、様々な体形や姿勢に対応した試着画像を生成することを可能にしました。また深層学習モデルの構築に必要な大量の訓練データを自動的に取得するために、体形や姿勢を自動制御できる訓練データ撮影専用のロボットマネキンを開発しました。この手法を用いることで、試着室で鏡を見ているような感覚で仮想的な試着をすることができるため、オンラインショッピングでより好みにあった商品を選択したり、ビデオ会議で身体を動かしても違和感のないように仮想的な衣服を合成表示したりすることが可能となります。

発表のポイント◆高品質な仮想試着システムを開発しました。顧客が計測用の衣服を着てカメラの前に立つと、商品の衣服を着た画像がリアルタイムで生成されます。
◆ロボットマネキンを利用して体形と姿勢を変えながら大量の画像を撮影し学習することで高品質な画像の生成を実現しています。
◆仮想試着の技術を活かして、オンラインショッピングで様々なサイズや種類の商品を試着してより適切な商品を選択する、ビデオ会議において仮想的に好きな衣服を着ることなどが可能となります。

【発表内容】
近年、オンラインでの購買や会議の機会が増えたことにより、オンラインショッピングで多くの衣類を仮想試着してみる、あるいはオンライン会議上で仮想的にフォーマルな装いに見える仮想着せ替えをするなど、オンライン上の仮想試着への需要が高まっています。既存の仮想試着の方法としては、３次元コンピュータグラフィクスを用いたものがありますが、この方法では写実的な画像を作成するのは依然として困難です。また近年、深層学習技術（注 1）を活用した３次元モデルを用いない画像ベースの仮想試着手法が注目を集めていますが、既存の画像ベースの仮想試着の研究では、一つの深層学習モデルを用いて様々な服の試着画像を生成できるように汎用的に作られるのが一般的であり、リアルタイムでスムーズに高品質な試着の画像を生成することは難しいのが現状でした。
今回研究グループは、衣服をオンラインで販売しようとしている小売業者が、顧客に対して仮想試着体験を提供することを、あるいは、テレビ会議システムの提供者が、追加機能として仮想的な衣服の着せ替えサービスを提供する場合などを想定して研究を実施しています。
本手法による仮想試着では、試着者はまず特定のパターンの柄をした衣服（図１左：計測服）を着用しカメラの前に立ちます。

図１: 開発した仮想試着システムの概要。
左：計測服を着用した体験の様子 右: 生成された画像の例。

計測服を着た試着者の様子はディスプレイの前に置かれた深度センサ付きカメラによって撮影されます（図 2）。計測服は体の部位を大まかに示すいくつかの色によって構成されており、撮影された試着者の画像は深度と色の情報を元に、試着服の部分と試着者の体の部分に分けられます。抽出された試着服の画像について領域分割を行うことで、各々の画素の値を対応するラベルに変換します。ラベルづけされた画像を入力として、深層学習モデルの一種である画像変換ネットワーク（注 2）を用いて、試着対象の衣服の画像を生成します。最後に、抽出された試着者の体の画像を生成された画像に組み合わせることにより試着した結果の画像を生成します。上記の処理を行うことによって、図１右に示すような結果の画像が得られます。

図 2:提案システムの処理の流れ。

本手法への入力は計測服の画像で，出力は試着対象の衣服の画像ですが、画像変換ネットワークを訓練するためには，膨大な量の入力画像と出力画像のペアが必要です。また、入力画像と出力画像は体形や姿勢が同じ条件で撮影されていなければなりません。計測服と試着対象の衣服を着た人間を、全く同じ姿勢の元でそれぞれ撮影することは容易ではないため、研究グ
ループは数値的に体形と姿勢を制御できるマネキンを開発しました。このマネキンは、左右の腕の角度および体型（胴の厚さと横幅）などを変化させることができます（図 3）。現状のマネキンの表面形状は平均的な男性の体格を実現しています。

図 3: ロボットマネキンの動作。
左 3 枚: 体形の変化。
右 4 枚: 姿勢の変化。

本研究で開発したシステムは、計測服を着た試着者の画像を元に、様々なポーズや衣服のサイズに応じた詳細な衣服の変形の様子をリアルタイムで生成することが可能です（図 4）。そのためオンラインショッピングでサイズやデザインの異なる多くの衣服を試着して自分に合った衣服を選んだり（図 5）、テレビ会議において自分の衣服を自由に仮想的に変更したりするなど（図6）様々な目的での利用が期待できます。研究グループは今後の実用化に向けて、計測服と大きく構造的に違う（例えば長袖と半袖の違いなど）衣服の取り扱い、また光源などの様々な撮影条件下での制御、より自由度の高いマネキンの開発や生成画像向上のための計測服の最適化などの課題に取り組んでいきます。
この研究成果は 2021 年 10 月 10 日から 14 日までオンライン上でバーチャル開催されるユーザー
インターフェース分野の国際会議 ACM UIST 2021（The ACM Symposium on User Interface
Software and Technology）で発表されます。

図 4 : 画像生成結果の例。
腕を伸ばす、曲げるなど様々な姿勢変化に対応できている。

図 5： サイズの異なる衣服の仮想試着。
上：実際の画像（実試着）。 下：生成された画像（仮想試着）。

図 6: テレビ会議における仮想着せ替えの例。

【用語解説】
注 1：深層学習技術 機械学習の手法の一つで、大量の画像データから学習を行って画像認識や画像生成を行うもの。
注 2：画像変換ネットワーク 深層学習技術の一つで、画像を入力として受け取り、色付けなどの変換を施した画像を出力する。

【論文情報】
タイトル： Per Garment Capture and Synthesis for Real-time Virtual Try-on
著者： Toby Chong*, I-Chao Shen*, Nobuyuki Umetani, Takeo Igarashi
DOI 番号：https://doi.org/10.1145/3472749.3474762発表学会：
The ACM Symposium on User Interface Software and Technology
ACM UIST 2021 2021 年 10 月 10 日-14 日 バーチャル開催
https://uist.acm.org/uist2021/index.html

【発表者】
Toby Chong トビー チョン（東京大学大学院情報理工学系研究科創造情報学専攻 博士課程 1年）
I-Chao Shen イーチャオ シェン （東京大学大学院情報理工学系研究科創造情報学専攻 日本学術振興会 特別研究員）
梅谷 信行 ウメタニ ノブユキ（東京大学大学院情報理工学系研究科創造情報学専攻 准教授）
五十嵐 健夫 イガラシ タケオ（東京大学大学院情報理工学系研究科創造情報学専攻 教授）【研究支援】
本成果は、以下の事業・研究領域・研究課題によって得られました。
科学技術振興機構（JST） 戦略的創造研究推進事業 CREST
研究領域：人間と情報環境の共生インタラクション基盤技術の創出と展開
研究期間：2017 年 10 月～2023 年 3 月
研究課題名：「データ駆動型知的情報システムの理解・制御のためのインタラクション」(JPMJCR17A1)
研究代表者：五十嵐 健夫
科学研究費 外国人特別研究員奨励費
研究期間：2021 年 4 月～2023 年 3 月 31 日
研究課題名：「人間の創造的プロセスを促進する設計支援技術」
受入研究者： 五十嵐 健夫
外国人特別研究員：SHEN I-CHAO