WISS 2016

AssisTag:

1ddd

[11]

1d2()

b

(contentbased image retrieval)(1text-based image retrieval
[10]

1

1
クエリのカテゴリ
単語

画像

検索ターゲットの画像

スカート

クエリ画像
単語

フレア

スカート

フレア

ターゲット画像

台形 スーツ
膝丈

探索フロー

単語

フレア

スカート

台形 スーツ
膝丈

単語

フレア

スカート

台形 スーツ
膝丈

膝丈

未知情報

既知情報

画像

(a) カテゴリ画像検索の例

Copyright is held by the author(s).

(b) 画像内容による検索

zozotown[20]画像(c) 単語による検索

画像(d) 提案システム

WISS 2016
クエリ画像

画像内容に基づく閲覧

単語に基づく閲覧『フレア、膝丈』
単語の選択
絞込み
スカート？

②

①

候補画像の選択③『スカート』

画像の選択

2

3
b[1][18][5][7][15]

3.1
3d3b
[16]
[14][17]
単語

絞込み

単語提示
画像閲覧

画像内容に基づく閲覧[3][5]

単語に基づく閲覧a

ユーザ選択単語の関連画像

d

ユーザ選択単語の関連単語[8][12][13]
[19]



b[9]
k

DynamicMaps[8]d3.2

AssisTag:(1)

8(!"? , +, )C7 (+, )+,1
2
B> (+, ) < 1.

d4

3.4

(LDA)[2]

c3

LDA
1
1

画像

単語
pants

カテゴリ 1

カテゴリ 2カテゴリ N

pants
0.4
straight 0.3
…..

pants
cotton
…..

wide
skirt
…..

LDA

wide

0.25
0.1…..

0.5
0.1+,? (-′ =0,1, … .′)!"カテゴリ - 単語

straightcotton…..

H?

0.3
カテゴリ 1

カテゴリ 20.05….. カテゴリ N

画像 - カテゴリ

データセット

B7 !" = C> !" +0.5

8(!" , +,? )(4),?;<(1)8(!" , +,? )C> !"!"
B7 (!" ) < 1



5!" $ = 0, 1, … * , +, - = 0,1, … . , /0 (2 = 0, 1, … 3)
LDA
単語1

単語1

56 (+, , /0 ), 57 (/0 , !" )
!,+"

関連画像

画像の中心位置
単語の中心位置
単語2

単語3

:

8(!" , +, ) =

単語2

単語3

(1)

59 (+, , /0 )57 (/0 , !" )単語10;<TjTj′

単語2:=> (+, , +,? ) =@",?
1(2)@",? 56 (+, , /0 )56 (+,? , /0 )0;<+, , +,?

単語3/003.3d?

0,1, … * )d!" A ($ ? =+,+,? (- ? = 0,1, … . ? )

+,

(2)
E?

B> +, = C7 +, +8(!"? , +, )"?;<(3)H?

8> (+, ) ==> (+, , +,? ),?;<(5)

WISS 2016

4.2

(1)

18

931.94

3.5
HTML(SD=6.96)b2

Javascript

20WEB bC++

PythonLDA kgensim(PythondOpenCV(C++ d)
JSONadExpert)

9Expert
Non-Expert9b4.3b4b9d3d23
DynamicMaps [8]ll1l10PC (Quad-Core Intel8 GB)

Xeon CPUs 3.2 GHz
Chrome4.1bEC[20]

d300,000c1,656

System Usability Scale(SUS)[3]dd3.21



5d (0.294)(0.256)(0.222)(0.307)(0.247)(0.222)bag(0.350)(0.283)(0.146)(0.393)(0.262)(0.191),(0.314)(0.234)(0.129)

5.1
6 (a)
2()
[F(2,30)=1.87, n.s.][F(1,15)=0.32, n.s.][F(2,30)=17.20, p<.01]
Holm

AssisTag:(MSe=17.4086, 5%5.2level).
6 (b)

d2()
[F(2,30)=0.3,n.s.][F(1,15)=0.32, n.s.][F(2,30)=5.29, p<.05]

6Holm(MSe=0.0393, 5% level)
60

0.7

*

*

0.6

50

0.5

40

Expert0.430()

0.3

20

0.2

10

Non-Expert

0.1

All
All 画像内容のみExperts
Expert
単語のみ

AllAll 
画像内容のみNon-Experts
Non-expert
提案システム(a)Experts
Expert
単語のみ

Non-Experts
Non-expert
提案システム9(b)Expert)

00(db

75.3

3[F(2,30)=6.16, p<.01][F(1,15)=25.24,

lp<.01]l[F(1,15)=14.18, p<.01]
lExpertd[F(1,15)=12.7, p<.01]
c0.45
0.40

*

*

0.35
0.30
0.25
0.20
0.15
0.10
0.05
0.00

All
All
画像内容のみ画像内容のみExperts
Experts
検索前
検索後

単語のみ
単語のみ



検索前
検索後

Non-experts
Non-Experts
提案システム提案システム

検索前
検索後

6

WISS 2016

ddb

JSPS

[1]

[2]
[3]
[4][5]

[6]

[7]

[8]

[9]

d15J00405

B. B. Bederson. PhotoMesa: A Zoomable Image
Browser
Using
Quantum
Treemaps
andBubblemaps. Proc. the 14th annual ACM
symposium on User interface software andtechnology (UIST ’01), 71–80 (2001).
D. M. Blei, A. Y. Ng, and M. I. Jordan. Latent
dirichlet allocation. Journal of machine Learning
research 3(Jan), 993–1022 (2003).
J. Brooke et al. SUS-A quick and dirty usability
scale. Usability evaluation in industry, 189(194), 4–7 (1996).
J. Fan, D. A. Keim, Y. Gao, H. Luo, and Z. Li.
JustClick: Personalized Image Recommendation via
Exploratory Search from Large-Scale Flickr Images.
IEEE Transactions on Circuits and Systems forVideo Technology, 19(2), 273–288 (2009).
Y. Gu, C. Wang, J. Ma, R. J. Nemiroff, and D. L. Kao.
iGraph: A Graph-Based Technique for Visual
Analytics of Image and Text Collections. Proc.
IS&T/SPIE Conference on Visualization and DataAnalysis 2015 (VDA ’15), 939708–939708–15 (2015).
E. Hoque, O. Hoeber, and M. Gong. CIDER:
Concept-based image diversification, exploration,andretrieval.
Information
Processing&Management 49 (5), 1122–1138 (2013).
P. Janecek, and P. Pu. Searching with Semantics: An
Interactive Visualization Technique for Exploringan Annotated Image Collection. In On the Move toMeaningful Internet Systems 2003: OTM 2003
Workshops: OTM Confederated International
Workshops, 185–196, Springer Berlin Heidelberg(2003).
Y. Kleiman, J. Lanir, D. Danon, Y. Felberbaum, andD. Cohen-Or. DynamicMaps: Similarity-based
Browsing through a Massive Set of Images. Proc.
the 33rd Annual ACM Conference on Human
Factors in Computing Systems (CHI ’15), 995–1004(2015).
E. Koike, and T. Itoh. An interactive exploratory
search system for on-line apparel shopping. Proc

the 8th International Symposium on Visual
Information Communication and Interaction(VINCI ’15), 103–108 (2015).
[10] K. Mizuno, D. Sakamoto, and T. Igarashi. AssisTag:
Seamless integration of content-based and keywordbased image exploration for category search.
Journal of Imaging Science and Technology (2017).
(conditionally accepted)[11] A. W. Smeulders, M. Worring, S. Santini, A. Gupta,
and R. Jain. Content-Based Image Retrieval at theEnd of the Early Years. IEEE Transactions on
Pattern Analysis and Machine Intelligence, 22 (12),1349–1380 (2000).
[12] B. Thomee, M. J. Huiskes, E. Bakker, and M. S. Lew.
An Exploration-Based Interface for Interactive
Image Retrieval. Proc. the 6th International
Symposium on Image and Signal Processing andAnalysis (ISPA ’09), 188–193 (2009).
[13] B. Thomee, M. J. Huiskes, E. Bakker, and M. S. Lew.
Deep Exploration for Experiential Image Retrieval.
Proc. the 17th ACM international conference on
Multimedia (MM ’09), 673–676 (2009).
[14] B. Q. Truong, A. Sun, and S. S. Bhowmick. CASIS:
A System for Concept-Aware Social Image Search.
Proc. the 21st international conference companion
on World Wide Web (WWW ’12 Companion), 425–428 (2012).
[15] C. Wang, J. P. Reese, H. Zhang, J. Tao, and R. J.
Nemiroff. iMap: A Stable Layout for Navigating
Large Image Collections with Embedded Search.
Proc. IS&T/SPIE Conference on Visualization andData Analysis 2013 (VDA ’13), 86540K–86540K–14(2013).
[16] J. Yang, J. Fan, D. Hubball, Y. Gao, H. Luo, W.
Ribarsky, and M. Ward. Semantic Image Browser:
Bridging Information Visualization with AutomatedIntelligent Image Analysis. Proc. the IEEE
Symposium On Visual Analytics and Technology(VAST ’06), 191–198 (2006).
[17] C. Yang, X. Feng, J. Peng, and J. Fan. Efficient
Large-Scale Image Data Set Exploration: VisualConcept Network and Image Summarization. Proc.
the 17th International Conference on Advances inMultimedia Modeling - Volume Part II (MMM ’11),
111–121 (2011).
[18] E. Zavesky, S.-F. Chang, and C.-C. Yang. Visualislands: Intuitive Browsing of Visual Search Results.
Proc. the 2008 international conference on Contentbased image and video retrieval (CIVR ’08), 617–626 (2008).
[19] Z.-J. Zha, L. Yang, T. Mei, M. Wang, Z. Wang, T.-S.
Chua, and X.-S. Hua. Visual Query Suggestion:
Towards Capturing User Intent in Internet ImageSearch. ACM Transactions on Multimedia
Computing, Communications, and Applications 6,
1–19 (2010).
[20] ZOZOTOWN(2016/8/18) http://zozo.jp

WISS2016 採録判定時のコメント
採録区分：ショート採録
判断理由：
画像とテキストを相補的に用いた画像探索を提案し、システムもしっかり作られています。提案方式の有用性を定量的・定性的に検証している点も評価できます。一方で、本研究のメインアイデアである、画像とテキストを用いたインタラクティブな画像探索の既存研究（複数あります）の引用がされておらず、研究の新規性が十分に示されていないため、ショート採録としました。誤字脱字も散見されるので、投稿前のチェックを十分に行って欲しい。
レビューサマリ：全体の構成：
対象カテゴリに十分な知識のないユーザが画像検索を行う際に、単語提示を介して画像による閲覧と単語による閲覧を統合した画像探索システムを提案している。提案システムは、ユーザが選択した単語に応じた画像の配置も工夫するなど、よく作られている。実サービスのデータを用いて評価実験を行い、提案システムの優位性を検定結果に基づいて定量的に示している点、インタビューによりシステムの有用性を定性的に示している点は評価できる。
改良に向けたコメント等：
・関連研究の参照不足（2 章）：
著者らは、画像と単語の情報を別々に扱うことでインタラクティブな画像探索を実現する点に既存研究との差異を主張している。この点は本研究の核となるアイデアであるため、関連研究の慎重な調査が求められる。しかし本論文ではこの点に関する関連研究が引用されていない。関連研究としては、たとえば杉山ら [1] の研究があげられる。文献 [1] では単語に基づいて画像を 2 次元空間に配置している。インタフェースとしてのアイデアは提案されていないものの、画像とテキストを相補的に検索するアルゴリズムを提案しており、この点で本研究と極めて類似したアイデアを提案していると考えられる。また、Henry ら [2] も画像とテキスト情報を相補的に使用した探索システムを提案している。こういった研究が引用されていない以上、本研究の新規性を主帳するのは難しく、十分な関連研究の調査が必要である。
推奨される参照文献：[1] 杉山 裕樹ほか, “レシピデータ検索におけるクロスメディア適合性フィードバック”, 日本データベース学会論文誌 (DBSJ Journal) 10(1), pp. 19―24, 2011.

[2] Michael J. Henry ほか, “MultiFacet: A Faceted Interface for Browsing Large Multimedia Collections”,
ISM2013, pp. 347-350, 2013.

本論文に対する各査読者の詳しいコメントは以下のページを参照のこと：

http://www.wiss.org/WISS2016Proceedings/oral/17.html＊本ページは論文本体ではありません【AssisTag: 画像内容に基づく閲覧と単語に基づく閲覧を統合した画像探索システム】