Add search with image functionality
Browse files
app.py
CHANGED
@@ -315,7 +315,7 @@ st.title("いらすと検索(日本語CLIPゼロショット)")
|
|
315 |
description_text = st.empty()
|
316 |
|
317 |
if "model" not in st.session_state:
|
318 |
-
description_text.
|
319 |
device = "cuda" if torch.cuda.is_available() else "cpu"
|
320 |
model = ClipModel("sonoisa/clip-vit-b-32-japanese-v1", device=device)
|
321 |
st.session_state.model = model
|
@@ -340,11 +340,11 @@ df = st.session_state.df
|
|
340 |
sentence_vectors = st.session_state.sentence_vectors
|
341 |
image_vectors = st.session_state.image_vectors
|
342 |
|
343 |
-
description_text.
|
344 |
"使い方: \n" + \
|
345 |
-
"
|
346 |
-
"
|
347 |
-
"
|
348 |
"説明文にはキーワードを列挙するよりも、自然な文章を入力した方が精度よく検索できます。\n" + \
|
349 |
"画像は必ずリンク先の「いらすとや」さんのページを開き、そこからダウンロードしてください。")
|
350 |
|
|
|
315 |
description_text = st.empty()
|
316 |
|
317 |
if "model" not in st.session_state:
|
318 |
+
description_text.markdown("日本語CLIPモデル読み込み中... ")
|
319 |
device = "cuda" if torch.cuda.is_available() else "cpu"
|
320 |
model = ClipModel("sonoisa/clip-vit-b-32-japanese-v1", device=device)
|
321 |
st.session_state.model = model
|
|
|
340 |
sentence_vectors = st.session_state.sentence_vectors
|
341 |
image_vectors = st.session_state.image_vectors
|
342 |
|
343 |
+
description_text.markdown("日本語CLIPモデル(ゼロショット)を用いて、説明文の意味が近い「いらすとや」画像を検索します。\n" + \
|
344 |
"使い方: \n" + \
|
345 |
+
"1. 「クエリ種別」でテキスト(説明文)と画像のどちらをクエリに用いるか選ぶ。\n" + \
|
346 |
+
"2. 「クエリ種別」に合わせて「説明文」に検索クエリとなるテキストを入力するか、「画像」に検索クエリとなる画像ファイルを指定する。\n" + \
|
347 |
+
"3. 「検索数」で検索結果の表示数を、「検索対象ベクトル」で画像ベクトルと文ベクトルのどちらとの類似性をもって検索するかを指定することができる。\n" + \
|
348 |
"説明文にはキーワードを列挙するよりも、自然な文章を入力した方が精度よく検索できます。\n" + \
|
349 |
"画像は必ずリンク先の「いらすとや」さんのページを開き、そこからダウンロードしてください。")
|
350 |
|