岡谷・菅沼研究室

詳しく話を聞きたい人はメールでどうぞ．

機械知能・航空工学科ロボティクスコース
情報科学研究科 システム情報科学専攻 知能ロボティクス学講座 イメージ解析学分野
コ ン ピ ュ ー タ ビ ジ ョ ン

AIのための視覚情報処理技術の研究
岡谷・菅沼研究室では，人工知能のための視覚情報処理技術（コンピュータビジョン）を研究しています．人間が持つ視覚の機能をコンピュータで実現することを究極の目標に，画像の内容を理解する技術や，画像から空間の３次元情報を得る技術を研究しています．研究テー
マは，深層学習の理論研究からドローンの自律飛行まで，理論から応用まで多岐に渡ります．
なお．岡谷教授は現在，我が国の人工知能研究の拠点である理化学研究所革新知能統合研究センターチームリーダーを兼務しています．
映像の理解（視覚と言語を操るAI）

映像を見て，その中身について人と対話することができる機械を研究している．人の知能に最も近いAIの研究であり，深層学習の最先端を開拓することとなる．

医療応⽤

３次元形状計測

物体認識
マシンビジョン

画像認識

画像計測
基盤技術

画像追跡

⼈体の計測
ヒューマンインタフェース

映像メディア応⽤
⽴体ディスプレイ

⾃由視点映像
拡張現実感

プロジェクタ応⽤
ゲーム・映像制作

コンピュータでファッションを分析

nullshorts
shoes
purse
topnecklacehairskin

データを学習することで，ファッショ(a) Superpixels(b) Pose estimation(c) Predicted Clothing Parse(d) Pose re
ンの着合わせの良し悪しなどを判断す
Figure 2: Clothing parsing pipeline: (a) Parsing the image into Superpixels [1], (b) Original pose est
the art flexible mixtures of parts model [27]. (c) Precise clothing parse output by our proposed cloth
るAIを研究している．

(note the accurate labeling of items as small as the wearer’s necklace, or as intricate as her open toed shestimate of pose using clothing estimates (note the improvement in her left arm prediction, compared toestimate down along the side of her body).

ロボット視覚：映像からの３次元空間の認識

質感（＝言語を超えた感覚）の認識
garment retrieval application (Fig 1).

limited situations [2]. Later work f
cal representations of clothing using
Our main contributions include:
Freifeld and Black [13] represented• A novel dataset for studying clothing parsing, consistmation from an underlying body coing of 158,235 fashion photos with associated text antraining examples using principal conotations, and web-based tools for labeling.
produce eigen-clothing. Most recent• An effective model to recognize and precisely parse
made to consider clothing items such
pictures of people into their constituent garments.
semantic attributes of a person, but on• Initial experiments on how clothing prediction might
ber of garments [4]. Different from t
improve state of the art models for pose estimation.
we consider the problem of estimatin• A prototype visual garment retrieval application thatcise region based labeling of a perso
can retrieve matches independent of pose.
images with a large number of potent
Of course, clothing estimation is a very challenging
problem. The number of garment types you might observe
Clothing items have also been us
in a day on the catwalk of a New York city street is enoridentity in surveillance scenarios [26mous. Add variations in pose, garment appearance, layimage collection of an event [11, 22,ering, and occlusion into the picture, and accurate clothpation [23], or for robot manipulatio
ing parsing becomes formidable. Therefore, we consider
approach could be useful in all of thea somewhat restricted domain, fashion photos from ChicPose Estimation: Pose estimation i
topia.com. These highly motivated users – fashionistas –studied enterprise. Some previous a
upload individual snapshots (often full body) of their outfits
sidered pose estimation as a labelin
to the website and usually provide some information related
カメラで撮影した映像から周囲の３次元空間や移動軌跡を計算
人が視覚で感じ取っているものの大部分は，言葉で表せない．
most likely body parts to superpixels
to the garments, style, or occasion for the outfit. This allows
regions [20]. Current approaches oftする移動ロボットの視覚機能を研究している．
そういったものを機械で認識する方法を研究している．
us to consider the clothing labeling problem in two scenara collection of small parts and mode
ios: 1) a constrained labeling problem where we take thethem, using conditional random fields
users’ noisy and perhaps incomplete tags as the list of poscriminative models [8]. Recent work
siblegarmentlabelsforparsing,and2)
whereweconsider（連絡先：Email: {okatani, suganuma}@vision.is.tohoku.ac.jp, Tel: 022-795-7014．研究室所在：機械2号館209）
to more general poselet representatio
all garment types in our collection as candidate labels.
rated mixtures of parts [27] to obtain

1.1. Related Work

Clothing recognition: Though clothing items determine
most of the surface appearance of the everyday human,
there have been relatively few attempts at computational

Our pose estimation subgoal builds on
extending the approach to incorporat
in models for pose identification.

Image Parsing: Image parsing has b