refactor: refactor

README.md

@@ -1,5 +1,5 @@
 ---
-title: 学習指導要領コード Predictor
+title: Japanese Course of Study Predictor
 emoji: 🦀
 colorFrom: gray
 colorTo: red

app.py

@@ -2,78 +2,73 @@ import gradio as gr
 from langchain_community.vectorstores.faiss import FAISS
 from langchain_community.embeddings.huggingface import HuggingFaceEmbeddings
 
-# インデックスのパス
-index_path = "./storage"
-
-# 埋め込みモデルの読み込み
-embedding_model = HuggingFaceEmbeddings(
-    model_name="intfloat/multilingual-e5-large"
-)
-
-# インデックスの読み込み
-index = FAISS.load_local(
-    folder_path=index_path, 
-    embeddings=embedding_model,
-    allow_dangerous_deserialization=True
-)
-
-def search_documents(input_text, grade):
-    output = []
+def load_index():
+    index_path = "./storage"
+    embedding_model = HuggingFaceEmbeddings(model_name="intfloat/multilingual-e5-large")
+    return FAISS.load_local(
+        folder_path=index_path, 
+        embeddings=embedding_model,
+        allow_dangerous_deserialization=True
+    )
 
+def search_documents(input_text, grade, index):
+    if not input_text:
+        return []
+    
     metadata = {}
-
     if grade:
         metadata["学校種別"] = grade
     
-    docs_and_scores = index.similarity_search_with_score(
-        input_text, 
-        filter=metadata
-    )
-    
+    try:
+        docs_and_scores = index.similarity_search_with_score(input_text, filter=metadata)
+    except Exception as e:
+        print(f"Error during search: {e}")
+        return []
 
-    for idx, (doc, score) in enumerate(docs_and_scores):
-        row = [
-            f"<a href=\"https://w3id.org/jp-cos/{doc.metadata['id']}\" target=\"_blank\">{doc.metadata['id']}</a>",      
+    return [
+        [
+            f"<a href='https://w3id.org/jp-cos/{doc.metadata['id']}' target='_blank'>{doc.metadata['id']}</a>",      
             doc.metadata["学校種別"],
             doc.metadata["教科等"],
             round(float(score), 3),
             doc.page_content,
         ]
-        
-        output.append(row)
-    
-    return output
-
-# Components for input and output
-text_input = gr.Textbox(lines=2, placeholder="テキストを入力してください。", label="テキスト")
-
-schools = ['小学校', '特別支援学校小学部, 特別支援学校中学部', '幼稚園', '特別支援学校幼稚部', '中学校', '高等学校']
-
-metadata_selector = gr.CheckboxGroup(schools, label="学校種別")
-output_table = gr.Dataframe(
-    headers=["学習指導要領コード",  "学校種別", "教科等", "スコア", "テキスト"], 
-    datatype=["html", "str", "str", "str", "number"])
+        for doc, score in docs_and_scores
+    ]
 
-# Interface
+def setup_gradio_interface():
+    text_input = gr.Textbox(lines=2, placeholder="テキストを入力してください。", label="テキスト")
+    schools = ['小学校', '特別支援学校小学部', '特別支援学校中学部', '幼稚園', '特別支援学校幼稚部', '中学校', '高等学校']
+    metadata_selector = gr.CheckboxGroup(schools, label="学校種別")
+    output_table = gr.Dataframe(
+        headers=["学習指導要領コード",  "学校種別", "教科等", "スコア", "テキスト"], 
+        datatype=["html", "str", "str", "number", "str"]
+    )
+    
+    index = load_index()
 
-examples=[
+    examples=[
         ["空気鉄砲や水鉄砲、ペットボトルロケットなどのしくみを調べ、空気はおし縮められ体積が小さくなるにつれて反発する力が大きくなるが、水はおし縮められないことに気づく。", "小学校"],
         ["頼朝の妻・北条政子は、頼朝が築いた「ご恩と奉公」の絆で御家人たちを団結させ、復権をねらう朝廷に打ち勝った。鎌倉幕府の力をさらに強固なものにした政子の功績を知る。", "小学校"],
         ["胞子をつくるキノコ。胞子が菌糸を伸ばし新しいキノコを作る", "中学校"],
         ["今回のテーマは「鋭角の三角比の定義」。三角比は、高校で初めて扱う分野です。サイン、コサイン、タンジェント・・・これから何回かにわたり、この言葉を使って図形などの問題を解いていきますので、定義をばっちり覚えておきましょう。ミニコーナーでは、物語を書いたことで有名な、ある数学者を紹介します。\n出演：アイク　ぬわら、酒井　蒼澄、藤本　ばんび、湯浅　弘一", "高等学校"]
     ]
+    
+    interface = gr.Interface(
+        fn=lambda text, grade: search_documents(text, grade, index),
+        inputs=[text_input, metadata_selector], 
+        outputs=output_table, 
+        title="Japanese Course of Study Predictor",
+        description="入力したテキストに類似するテキストを持つ学習指導要領コードを検索します。",
+        article=(
+            "<p style='text-align: center'><a href='https://jp-cos.github.io/' target='_blank'>"
+            "学習指導要領LOD</a> | <a href='https://www.nhk.or.jp/school/' target='_blank'>"
+            "NHK for School</a></p>"
+        ),
+        examples=examples,
+        allow_flagging="never"
+    )
+    return interface
 
-article = "<p style='text-align: center'><a href='https://jp-cos.github.io/' target='_blank'>学習指導要領LOD</a> | <a href='https://www.nhk.or.jp/school/' target='_blank'>NHK for School</a></p>"
-
-demo = gr.Interface(
-    search_documents,
-    [text_input, metadata_selector], 
-    output_table, 
-    title="学習指導要領コード Predictor",
-    description="入力したテキストに類似するテキストを持つ学習指導要領コードを検索します。",
-    article=article,
-    examples=examples,
-    allow_flagging=False,
-)
-
-demo.launch()
+demo = setup_gradio_interface()
+demo.launch()

jp-cos/.gitattributes

@@ -1,35 +0,0 @@
-*.7z filter=lfs diff=lfs merge=lfs -text
-*.arrow filter=lfs diff=lfs merge=lfs -text
-*.bin filter=lfs diff=lfs merge=lfs -text
-*.bz2 filter=lfs diff=lfs merge=lfs -text
-*.ckpt filter=lfs diff=lfs merge=lfs -text
-*.ftz filter=lfs diff=lfs merge=lfs -text
-*.gz filter=lfs diff=lfs merge=lfs -text
-*.h5 filter=lfs diff=lfs merge=lfs -text
-*.joblib filter=lfs diff=lfs merge=lfs -text
-*.lfs.* filter=lfs diff=lfs merge=lfs -text
-*.mlmodel filter=lfs diff=lfs merge=lfs -text
-*.model filter=lfs diff=lfs merge=lfs -text
-*.msgpack filter=lfs diff=lfs merge=lfs -text
-*.npy filter=lfs diff=lfs merge=lfs -text
-*.npz filter=lfs diff=lfs merge=lfs -text
-*.onnx filter=lfs diff=lfs merge=lfs -text
-*.ot filter=lfs diff=lfs merge=lfs -text
-*.parquet filter=lfs diff=lfs merge=lfs -text
-*.pb filter=lfs diff=lfs merge=lfs -text
-*.pickle filter=lfs diff=lfs merge=lfs -text
-*.pkl filter=lfs diff=lfs merge=lfs -text
-*.pt filter=lfs diff=lfs merge=lfs -text
-*.pth filter=lfs diff=lfs merge=lfs -text
-*.rar filter=lfs diff=lfs merge=lfs -text
-*.safetensors filter=lfs diff=lfs merge=lfs -text
-saved_model/**/* filter=lfs diff=lfs merge=lfs -text
-*.tar.* filter=lfs diff=lfs merge=lfs -text
-*.tar filter=lfs diff=lfs merge=lfs -text
-*.tflite filter=lfs diff=lfs merge=lfs -text
-*.tgz filter=lfs diff=lfs merge=lfs -text
-*.wasm filter=lfs diff=lfs merge=lfs -text
-*.xz filter=lfs diff=lfs merge=lfs -text
-*.zip filter=lfs diff=lfs merge=lfs -text
-*.zst filter=lfs diff=lfs merge=lfs -text
-*tfevents* filter=lfs diff=lfs merge=lfs -text

jp-cos/README.md

@@ -1,13 +0,0 @@
----
-title: Jp Cos
-emoji: 🦀
-colorFrom: gray
-colorTo: red
-sdk: gradio
-sdk_version: 4.26.0
-app_file: app.py
-pinned: false
-license: cc-by-4.0
----
-
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference