情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6P03
2022/2/21

インタラクティブな画像認識システムにおける画像テキスト変換手法の活用
川辺 航1,a)

菅野 裕介1,b)

概要：インタラクティブ機械学習は，専門知識を持たないユーザによる自立的な機械学習モデルの作成を可能にする．当該分野ではシステム設計に際して分類アルゴリズムが採用される例が多いが，分類は形式が単純すぎるあまりにユーザが定義できるタスクの幅を狭めるという難点がある．また初心者ユーザにとっては，分類での定式化が可能なタスクを解く時でさえ適切にラベルを定義することは困難である．本
研究は，インタラクティブな画像認識システムを題材に上記の問題の解決を試みる．具体的には，アルゴリズムとして画像分類ではなく画像テキスト変換を導入する．テキストの場合は定式化可能なタスクの種類に理論上制限がなく，さらにラベルという形式に縛られずに柔軟なアノテーションが可能となる．テキストの長所・短所の検証として，初心者ユーザに画像分類システムと画像テキスト変換システムの両者を与え多様な画像認識タスクを解いてもらう比較実験を行った．結果として，画像テキスト変換を採用した
場合，ユーザ体験の質は画像分類に対して有意に優れることはないものの，ユーザは表現形式に縛られない多様なアノテーションができるようになることが判明した．

1. はじめに分類が出力とするラベルは事前に定義された正解の一つである一方で，テキストは最も汎用性の高い形式である．

近年，機械学習，とりわけ深層学習が実世界の様々な場

もしテキストを出力に採用する場合，その柔軟な記述可能面に適用され，ツールとしての存在感を高めている．しか性ゆえに，ユーザの解釈や多様なタスクへの記述可能性にしながら，ユーザが多様な目的に対して自らの手で機械学ついて異なる結論が得られる可能性がある．にもかかわら習モデルを設計・構築する機会は依然として少ない．これず，テキストを導入した際に上記の諸問題が同様に発生すに対しインタラクティブ機械学習 [6] は，適切な UI やアルるかもしくは解決されるかといった検証は未だになされてゴリズムの設計によって，ユーザが自身の力で機械学習モいない．

デルを作成できる状態を目指す．当該分野では，これまで

そこで我々は，画像を題材に，テキストを正解ラベルと多くの研究がシステムの設計や実証実験を通じたユーザのするインタラクティブな認識システムをプロトタイプとし理解に取り組んできた．て作成し，ユーザとシステムのインタラクションの詳細な先行研究で提案されたシステムは，その多くが分類のア解析を試みた．我々が作成したプロトタイプである画像テルゴリズムに基づいている [5]．分類の枠組みにおいては，キスト変換システムでは，ユーザは事前に定義したクラス

認識対象となるデータに対する正解クラスをユーザが定義を画像に割り振る代わりに，各画像に紐づいたテキストをし，モデルはデータとクラスのペアを学習する．分類は直入力する．さらに，システムの内部では，画像分類モデル感的な理解が容易いアルゴリズムである反面，複数のオブではなく画像テキスト変換モデルがユーザーの定義した画ジェクトを包括する抽象的なクラスの定義はユーザにとっ像とテキストのペアを学習する．て困難であるという問題 [14] や，回帰問題のように分類の本研究では画像テキスト変換を導入した際のユーザの解枠組みでは定義できないタスクが存在するという難点を抱釈や多様なタスクへの記述可能性を検証するべく，初心者えている．よって，ユーザが個別の目的に応じて機械学習

ユーザを対象として分類システムとの比較実験を行った．

モデルを自由に設計する状況を考慮する場合，分類アルゴ

実験参加者は画像テキスト変換システムと画像分類システ

リズムの愚直な導入は適切でないと言える．

ムの双方を用いて複数の画像認識タスクを解き，我々は参1a)b)

東京大学 生産技術研究所
wkawabe@iis.u-tokyo.ac.jp
sugano@iis.u-tokyo.ac.jp© 2022 Information Processing Society of Japan

加者が抱いた印象や彼らが作成した学習データ，モデルの学習状況を解析した．その結果，画像テキスト変換システ

833

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6P03
2022/2/21

2) アノテーションとモデルの学習

1) 画像のアップロード

図13) 推論結果の生成

画像テキスト変換システムの操作フロー．（1）UPLOAD IMAGES を押すとローカルに保存してある画像をアップロードでき，右側のエリアに反映される．（2）画像下のテキス
トボックスにアノテーションし，TRAIN を押すことで学習が実行される．（3）INFERを押すと，テキストボックスの下に推論結果が表示される．

ムと従来の分類システムの間には使いやすさの面で有意な逸脱したテキストの定義が許されておらず，iCap によって差はないものの，かつユーザに多様なラベルの定義を可能汎用的なキャプショニングが実現されたとは言えない．本とすることが示された．

研究で用いる画像テキスト変換プロトタイプは，テキスト2. 関連研究
2.1 インタラクティブな画像認識システムの汎用性を前提としており，ユーザが自由にテキストを定義する．
一方で，ドメイン適応を用いることで，事前学習に使わ機械学習の専門知識を持たないユーザによるモデル設計れたデータセットとは異なるスタイルのテキストをモデルを可能とするシステムは，その多くが分類アルゴリズムにに出力させる例がある [19], [22], [23]．これらの研究は画基づいている [11], [15], [17]．分類をベースとしたインタ像テキスト変換モデルにカスタマイズ性を付与した研究でラクティブシステムにおいては，回帰タスクを解くことがあると解釈されるものの，あくまで精度の向上が主な目的できない．ゆえに，ユーザが想起する多様な使用目的に対であり，リアルタイムなインタラクションを想定したもの

し柔軟に機械学習モデルを適応させることが不可能であではない．対して本研究で用いるシステムは，GUI を通じる．本研究では，テキストが複数のタスクに対する柔軟なたユーザとモデルのインタラクションが想定されており，定義を可能にするという仮説を立て，その検証のために実実験の内容も参加者によるシステムを用いた機械学習モデ

験参加者に多様な画像認識タスクを与えている．

ル設計がテーマである．

分類をベースとしないインタラクティブシステムについては，画像検索 [8]，ターゲットとなる物体の追跡 [1]，データのエンべディング [15] 等がある．これらも，特定のタス

3. インタラクティブな画像テキスト変換シス
テム

クの範囲内でのモデル設計のみが想定されており，ユーザテキストを機械学習モデルの出力形式として採用するこが複数のタスクに対してモデルを自由に設計できる枠組みとの有用性を検証するべく，インタラクティブな画像テキではない．本研究では，テキストの多様なタスクへの応用スト変換システムの実験用プロトタイプを開発した．本プ

可能性を検証するため，複数の画像認識タスクを同一のシロトタイプでは，ユーザが画像に対してテキストをアノステムで解くというユーザ実験を行った．

テーションすることで学習データを作成し，モデルの学習は画像とテキストのペアを用いて行われる．

2.2 カスタマイズ性のある画像テキスト変換
画像テキスト変換モデルの出力をユーザ自身がカスタマ

3.1 インタラクションの設計

イズする研究は存在する．iCap [10] はユーザのテキスト

本システムは図 1 に示すような GUI を持つ Web アプリ

入力に対してシステムが動的に正解キャプションの候補をである．ユーザは（1）画像のアップロード，（2）テキスト提示するシステムである．ユーザはインタラクティブにテのアノテーションおよび作成した画像テキストによる変換

キストを選択することが可能である反面提示された候補をモデルの学習，さらに（3）学習済みのモデルを用いた推論© 2022 Information Processing Society of Japan834

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6P03
2022/2/21

Input image
4.1

実験手順

Linearclassification
20 人（男性 9 人，女性 11 人，layers
21 歳-48 歳）の被験者を雇った．共通する特性として，機械学習に関する知識を持ClassBたず，英語はネイティブではないものの辞書を用いての読“Turtle”
み書きができる．まず，参加者は機械学習を用いた画像認
CNNA(Nd)

識の概要とシステムの使い方について講義を受け，次にシ(250d)(ResNet-101)(500d)
Number of
ステムを使って合計4 つのタスクを解いた．
4 つの内 2 つdefined classes(1000d)

図 2

画像分類のプロトタイプの概要．（A）ユーザはラベルを事前に定義し，（B）各画像に対してラベルを割り振る．

は画像テキスト変換システム，残り 2 つは画像分類システ
ムを使って行われ，後述の 10 あるタスクの内 4 つがランダムに割り振られた．システムを使う順番とタスクの割り振りは参加者ごとに異なり，全体で釣り合いが取れた状態結果の生成と確認を行う．学習時には画像とその下にタイであった．

ピングされた英語のフレーズ・文がセットとなり学習デー終了後は，実験やシステムに対する所感を聞くためにアタとして用いられる．また，推論時には，テキストボック

ンケート調査を行った．ユーザビリティに関する定量的なスの下に推論結果が表示される．ユーザは推論結果や画面

質問は 6 つあり，5 段階の Semantic Diﬀerential Scale を左下に表示されるアノテーション及び推論結果での頻出語用いた．それぞれシステムの使いやすさ，直感的な操作のを参照し，自らが目的とするモデルを作成するにあたって可能性，学習データ作成の効率性，学習データ中に必要なより効果的なテキストを検討・再入力することができる．

データを含められたかどうか，学習方法の有効性，日常生活におけるシステムの有用性を問うている．定性的な質問

3.2 アルゴリズムの設計は自由記述式であり，PQ1：「どのようなことを意識して学画像テキスト変換モデルとしてはエンコーダデコーダ習データを作ったり学習させましたか？」と PQ2：「シス構造を持つ End-to-end モデル [4] が用いられている．エテムに関して感じたこと、考えたことを自由に書いてくだ

ンコーダの CNN は画像から特徴を生成し，デコーダのさい」の 2 つである．また，メンタル負荷を NASA-TLX

Transformer Decoder は特徴から単語のシーケンスを生成を用いて調査した．項目 Physical Demand は，本研究と無する．Transformer Decoder は画像特徴とシーケンスを入関係であるので削除した．

力とし，そのシーケンスに続く一単語を出力する．エン

4.1.1 画像認識タスク

コーダを ImageNet [3] で学習させた後，デコーダを MS

COCO [12] で学習させる．

先述の通り分類の場合は，ユーザが抽象的なラベルを適切に定義できないという問題や，表現可能なタスクの幅がモデルの学習時には GPU を用いて高速化を試みるもの限られるという欠点がある．本実験では，テキスト出力のの，依然として学習にかかる時間は無視できない．学習時

場合どの程度多様なタスクに対して柔軟に適応可能である間を短縮しユーザ体験の質を高めるべく，我々はモデルの学かを把握するために，分類以外の認識タスクを複数用意し習部位を制限する工夫を導入した．Transformer Decoder

た．10 個の異なるタスクのうち，5 つは検出タスク，残りは 6 つの層を有するが，そのうち 5 つを学習の対象から外の 5 つは回帰タスクである（表 1）．分類をアルゴリズムし，残りの 1 つのみを最適化する．

として採用したシステムの場合，検出タスクは理論上定義可能であるもののユーザにとっては困難であり [14]，回帰3.3 画像分類ベースラインタスクは定義不可能である．回帰タスクについては，画像比較対象として，GUI を画像テキスト変換システムに似から量が目視で把握できるような指標を対象としてタスクせた画像分類システム（Fig. 2）を開発した．画像テキスを選定した．参加者が用いる画像セットについては，検出ト変換システムとの違いとしては，画像の下にテキストをタスクでは元のデータセットから 40 クラスを抽出した．

打ち込む欄はなく（Fig. 2A），代わりにクラスを定義する

回帰タスクではデータセットからランダムに 200 枚を抽出欄と定義したクラスを選択するプルダウン式のボタンが用した．

意されている（Fig 2）．

4.1.2 第三者によるモデルの定量的評価

4. 実験

各タスクのアノテーションに対する想定解は存在するものの，特定の正解と合致するか否かで一律に評価を行うとインタラクティブな画像認識システムにおいてテキスト不都合が生じる可能性がある．たとえば参加者がこちらの変換を採用した場合と分類を用いる場合を比較するために想定を逸脱したアノテーションを行い，かつそれがタスクユーザ実験を行った．ここでは実験の詳細と実験結果に触の要求を正しく満たした場合に，そのアノテーションを高れる．

く評価することはできない．そこで我々は，参加者の学習© 2022 Information Processing Society of Japan835

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

表 1

ID

タスクのカテゴリ

1
2

6P03
2022/2/21

事前に用意されたタスクの一覧と画像の出所であるデータセット．

タスクの要求画像の出典

検出

陸上の生物であるかどうかを判断

Photo Art 50 [18]検出

画像中の人物が何らかの運動をしているかどうかの判断

Stanford 40 Action [20]3検出

画像中のオブジェクトが道具として用いられるものか否かを判断

Caltech 101 [7]4検出

女性用のトップスが含まれているか否かを判断

DeepFashion [13]5検出

料理が肉料理であるかそうでないかの判断

Food 101 [2]6

回帰

群衆がどの程度の混雑の度合いなのかを推定

CrowdHuman [16]7回帰

画像中の人物がどのくらい歳をとっているかを推定

UTKFace [21]8

回帰

草や木が画像のどの程度の割合を占めるかを推定

Stanford Background [9]9回帰

画像中の人物の顔が向いている方向を推定

AFLW2000-3D [24]10回帰

船やボートが画像中のどこに存在するかを推定

MSCOCO [12]データ作成のプロセスやモデルの学習状況の評価を第三ようとした」．また，画像分類においてはクラスの名前自者に委託した．評価者は参加者が作成した学習データや学体は学習に影響を与えないものの，「重要な固有名詞を入習後のモデルの推論結果を参照し，（1）アノテーションがれた」，「課題のワード（緑，運動，向きなど）を含めた」

タスクの要求を満たすか，（2）学習データの作り方は技術など名前の付け方に気を配ったという声も散見された．

的観点から適切か，（3）学習後のモデルの性能は参加者の一方で画像テキスト変換についても，選択画像の多様性意図通りだと思うか，の 3 つの質問に答えた．それぞれがやバランスに着目する参加者が存在した．また，テキストEQ1，2，3 に対応する．

を記述する際の気遣いとして，シンプルさや統一性を挙げる参加者がいた．「明瞭な単語を用いて学習データを作っ4.2 実験結果
参加者がモデルを学習させる過程や，彼らが試行を通じた」，「単純な言葉で入力した」．

PQ2 については，両システムに対して適切な学習の難て得た印象を紹介する．

しさを訴える声があった．さらに，テキスト出力独自の性

4.2.1 アノテーションの詳細質に気づく人もいた．「画像のどこをメインにして（アノ分類システムの場合，検出タスクでは 4 件が課題の意図テーションを）記述するかで（推論結果の）内容が変わる」，を満たす抽象的なラベリングに成功していた．具体的に「（アノテーションの際に）ルールが明確であれば学習させラベルを見ると，一単語でのラベリングが目立った（タスるのは容易だと感じた」．

ク 2 での “Yes”/“No” や “Sports”/“Other”）．回帰タスク

4.2.3 第三者評価

では 2 件が数値を用いたラベル付けを行った．ラベルの第三者評価の結果を図 3 に示す．Mann-Whitney U Test

粒度が高く，似た意味であっても複数の言い回しで表現すでの検定の結果，回帰タスクの EQ3 では画像テキスト変換るケースがあった（「若い」という意味に対して “young”，が画像分類に比べて有意に高く評価されており（p < 0.05），“boys”，“children” など）．

その他の結果については有意差は見られなかった．ここかテキスト変換システムでの試行を見ると，単語に限らずら，画像テキスト変換がユーザのタスク遂行に悪影響を及フレーズや文でのアノテーションも多い．検出タスクでぼさないこと，また画像分類の枠組みで解決が不可能なタは 7 件が抽象的ラベリングに成功しており，文中に正解ラスクに対してテキストの場合は相対的により精度の良いモベルを含めるアノテーションが目立った（タスク 2 ではデルができていることが示唆される．

“Running is a sport”，“Playing the violin is not a sport”など）．検出タスクでは 5 件が数値を用いたラベリングをしており，ラベルの粒度自体は高くなかった．

4.2.2 ユーザーによる評価

5. 議論
5.1 画像分類システムでの試行
画像分類システムを用いた試行では，分類の制約に起因Usability，メンタル負荷については，いずれの項目につする発見が目立つ．まず検出のタスクに着目すると，タスいても，Wilcoxon Signed-rank Test での検定を行った結クの要求を満たす抽象的なラベルが少ない．その代わり果，有意差は見られなかった．これは，画像テキスト変換に，画像に含まれる具体的なクラス名をそのままラベルにシステムと画像分類システムの間に使いやすさの面で有意した例が多い．これは，画像の名称を端的にラベル化するな差はないことを示す．という分類の性質に起因するのではないか．また回帰タス

PQ1 の回答を見ると，画像分類システムに関しては，選クを見ると，類似した表現に異なる単語をあてがうなど，択する画像の多様性に気を使う人がいた．「同じ種類（の粒度の高いアノテーションが散見される．さらに，数字をラベル）であっても様々なパターンがあることを学習させ使ったアノテーションは避けられ，単語による端的なアノ© 2022 Information Processing Society of Japan836

評価

6P03
2022/2/21

評価

評価

情報処理学会 インタラクション 2022
IPSJ Interaction 20222(d) 回帰タスク群に対するEQ1のスコア

図 3(c) 検出タスク群に対するEQ3のスコア

評価(b) 検出タスク群に対するEQ2のスコア

評価

評価(a) 検出タスク群に対するEQ1のスコア(e) 回帰タスク群に対するEQ2のスコア(e) 回帰タスク群に対するEQ3のスコア

第三者評価の結果．左側青色が画像分類システム，右側オレンジ色が画像テキスト変換システムを示す．

テーションが目立つ．以上から，画像分類はラベルの簡潔ける精神的疲労に有意差はない．テキストを画像一つ一つな定義に適するものの，ユーザが想起する表現の幅を狭めに打ち込む作業は，クラスを事前に定義して割り振る作業ると言える．これには，事前説明の際に単語ベースのアノに比べ手間と時間がかかるプロセスである．にもかかわらテーションを提示したこと，クラスの定義という手順自体ず両者に有意差が出ていないのは，テキスト出力の解釈性が画像の端的な説明を促していること等が原因として考えの高さが良い印象を与えたことが理由の一つであろう．テられる．

キストの場合，クラスと異なり，出力が正解と不正解のに明確に二分されることはない．ゆえに，不完全な出力に対5.2 画像テキスト変換を採用する場合の長所短所して，ユーザは学習がどの程度達成されたかを主観的に判

画像テキスト変換システムの場合，テキストの柔軟性に断することが可能である．この出力に対する解釈可能性由来する多様な形式のアノテーションが観測された．検出は，画像分類にはない画像テキスト変換の特性である．

タスクでは抽象的なラベルが画像分類の場合よりも多く，参加者から明示的に指摘されなかったものの，画像テキまた文の形式を取るラベルも目立った．ここから，テキス

スト変換システムが抱える問題点として，アノテーショントによるアノテーションがより柔軟かつ的確なラベリンの非効率性が挙げられる．テキストを画像の枚数分打ち込グを促すことが示唆される．回帰タスクにおいては，アノむ作業ではなく複数の画像に対して同時にテキストを割テーションの粒度が低い傾向にあった．また，文の形式でり振る作業等が実行可能になれば，効率面は改善されるだのラベルが多いのは検出タスクと同一の傾向である．テキろう．

ストによって単なる一単語，一フレーズに止まらない多様なアノテーションが実現されている．以上から，テキスト5.4 モデルの性能の採用はユーザに多様な表現を想起させると考えられる．

学習データの量が学習の成否に大きく関わるものの，図 3

この柔軟性の高さはテキストの長所である反面，タスクにの (c) や (e) を見るに，画像テキスト変換において画像分適したアノテーションの形式をユーザに提供できないとい類よりも学習がうまくいったと判断されている．ラベルのう短所であるとも解釈できる．仮にユーザが自身の目的に質（図 3 の (a) と (d)）や学習方法の質（(b) と (e)）につ対する解決策（モデル，学習方法など）を明確にイメージいては有意差が見られないことを加味すると，少なくともできている場合，それに特化したモデルを用いるのが精度

本実験設定においては画像テキスト変換モデルの性能が画面を考慮すると合理的である．テキストを用い，多様なタ像分類のそれより優れたと結論づけられる．

スクにモデルを適応させる意義としては，ユーザにとって事前知識が不要であり，タスクの区別のないアノテーションを可能にすることが挙げられる．

6. おわりに本研究では，画像テキスト変換をインタラクティブなシステムとして実装し，多様なタスクを用いて初心者ユーザ

5.3 画像テキスト変換システムのユーザビリティ
定量的には，2 システムのユーザビリティや参加者が受© 2022 Information Processing Society of Japanを相手に実験を行った．結果として，テキストによる機械学習モデルのデザインツールは，ユーザの体験としては分837

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6P03
2022/2/21

類システムというベースラインに対し有意な差はないが，多様な表現のアノテーションを可能にすることが確認された．

[12]

本研究の結果は実験参加者の属性やシステムデザインに大きく影響を受けることが推測されるため，詳細な考察のためには異なる状況下での検証が別途必要であろう．たとえば機械学習の知識を有する母集団を相手にした実験や，既存の分類システムを用いての比較実験などができるだろ[13]う．さらに，システムデザインが非効率的なアノテーションを強いる点については改善が必要であろう．テキストを各画像に順次打ち込んでいく作業はユーザの負担が大きい[14]

ため，UI の工夫による効率化の余地があると考えられる．
参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

Dragan Ahmetovic, Daisuke Sato, Uran Oh, Tatsuya
Ishihara, Kris Kitani, and Chieko Asakawa. Recog: Supporting blind people in recognizing personal objects. In
Proceedings of the CHI Conference on Human Factors
in Computing Systems, p. 1–12, 2020.
Lukas Bossard, Matthieu Guillaumin, and Luc Van Gool.
Food-101–mining discriminative components with random forests. In Proceedings of the IEEE conference on
European Conference on Computer Vision, pp. 446–461, 2014.
Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li,
and Li Fei-Fei. Imagenet: A large-scale hierarchical image database. In Proceedings of the IEEE conference on
Computer Vision and Pattern Recognition, pp. 248–255.
Ieee, 2009.
Karan Desai and Justin Johnson. Virtex: Learning visualrepresentations from textual annotations. In Proceedingsof the IEEE Conference on Computer Vision and Pattern Recognition, pp. 11162–11173, 2021.
John J Dudley and Per Ola Kristensson. A review of userinterface design for interactive machine learning. ACM
Transactions on Interactive Intelligent Systems (TiiS),
Vol. 8, No. 2, pp. 1–37, 2018.
Jerry Alan Fails and Dan R Olsen Jr. Interactive machinelearning. In Proceedings of the international conferenceon Intelligent User Interfaces, pp. 39–45, 2003.
Li Fei-Fei, Rob Fergus, and Pietro Perona. Learning generative visual models from few training examples: An
incremental bayesian approach tested on 101 object categories. In Conference on Computer Vision and Pattern
Recognition Workshop, pp. 178–178, 2004.
James Fogarty, Desney Tan, Ashish Kapoor, and Simon
Winder. Cueﬂik: interactive concept learning in image
search. In Proceedings of the SIGCHI Conference on
Human Factors in Computing Systems, pp. 29–38, 2008.
Stephen Gould, Richard Fulton, and Daphne Koller. Decomposing a scene into geometric and semantically consistent regions. In Proceedings of the IEEE conferenceon International Conference on Computer Vision, pp.
1–8, 2009.
Zhengxiong Jia and Xirong Li. icap: Interactive image
captioning with predictive text. In Proceedings of theInternational Conference on Multimedia Retrieval, pp.
428–435, 2020.
Hernisa Kacorri, Kris M. Kitani, Jeﬀrey P. Bigham, andChieko Asakawa. People with visual impairment training© 2022 Information Processing Society of Japan

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

personal object recognizers: Feasibility and challenges.
In Proceedings of the CHI Conference on Human Factors in Computing Systems, p. 5839–5849, 2017.
Tsung-Yi Lin, Michael Maire, Serge Belongie, JamesHays, Pietro Perona, Deva Ramanan, Piotr Dollár, andC Lawrence Zitnick. Microsoft coco: Common objects incontext. In Proceedings of the IEEE conference on European Conference on Computer Vision, pp. 740–755.
Springer, 2014.
Ziwei Liu, Ping Luo, Shi Qiu, Xiaogang Wang, and Xiaoou Tang. Deepfashion: Powering robust clothes recognition and retrieval with rich annotations. In Proceedingsof IEEE Conference on Computer Vision and Pattern
Recognition, June 2016.
Yuri Nakao and Yusuke Sugano. Use of machine learning
by non-expert dhh people: Technological understanding
and sound perception. In Proceedings of the Nordic Conference on Human-Computer Interaction: Shaping Experiences, Shaping Society, pp. 1–12, 2020.
Meg Pirrung, Nathan Hilliard, Nancy O’Brien, ArtemYankov, Court D Corley, and Nathan O Hodas. Sharkzor: Human in the loop ml for user-deﬁned image classiﬁcation. In Proceedings of the International Conference on Intelligent User Interfaces Companion, pp. 1–2,
2018.
Shuai Shao, Zijian Zhao, Boxun Li, Tete Xiao, Gang Yu,
Xiangyu Zhang, and Jian Sun. Crowdhuman: A benchmark for detecting human in a crowd. arXiv preprint
arXiv:1805.00123, 2018.
Justin Talbot, Bongshin Lee, Ashish Kapoor, andDesney S Tan. Ensemblematrix: interactive visualization
to support machine learning with multiple classiﬁers. In
Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp. 1283–1292, 2009.
Qi Wu, Hongping Cai, and Peter Hall. Learning graphs
to model visual objects across diﬀerent depictive styles.
In Proceedings of the IEEE conference on European
Conference on Computer Vision, pp. 313–328, 2014.
Min Yang, Wei Zhao, Wei Xu, Yabing Feng, Zhou Zhao,Xiaojun Chen, and Kai Lei. Multitask learning for crossdomain image captioning. IEEE Transactions on Multimedia, Vol. 21, No. 4, pp. 1047–1061, 2018.
Bangpeng Yao, Xiaoye Jiang, Aditya Khosla, Andy Lai
Lin, Leonidas Guibas, and Li Fei-Fei. Human action
recognition by learning bases of action attributes andparts. In Proceedings of the IEEE conference on International Conference on Computer Vision, pp. 1331–1338, 2011.
Zhifei Zhang, Yang Song, and Hairong Qi. Age progression/regression by conditional adversarial autoencoder.
In Proceedings of the IEEE conference on ComputerVision and Pattern Recognition. IEEE, 2017.
Wei Zhao, Wei Xu, Min Yang, Jianbo Ye, Zhou Zhao,Yabing Feng, and Yu Qiao. Dual learning for crossdomain image captioning. CIKM ’17, p. 29–38. Association for Computing Machinery, 2017.
Wentian Zhao, Xinxiao Wu, and Jiebo Luo. Crossdomain image captioning via cross-modal retrieval andmodel adaptation. IEEE Transactions on Image Processing, Vol. 30, pp. 1180–1192, 2020.
Xiangyu Zhu, Zhen Lei, Xiaoming Liu, Hailin Shi, andStan Z Li. Face alignment across large poses: A 3d solution. In Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, pp. 146–155,2016.

838