Upload README.md

README.md

@@ -1,3 +1,69 @@
----
-license: unlicense
----
+# HeBERT Finetuned Legal Clauses
+
+This model fine-tunes avichr/heBERT model on LevMuchnik/SupremeCourtOfIsrael dataset.
+
+
+## Training and evaluation data
+
+
+| Dataset  | Split | # samples |
+| -------- | ----- | --------- |
+| SupremeCourtOfIsrael | train | 147,946 |
+| SupremeCourtOfIsrael | validation | 36,987 |
+
+
+## Training procedure
+
+### Training hyperparameters
+
+The following hyperparameters were used during training:
+- evaluation_strategy: "epoch"
+- learning_rate: 2e-5
+- train_batch_size: 16
+- eval_batch_size: 16
+- num_train_epochs: 3
+- weight_decay: 0.01
+
+
+### Framework versions
+
+- Transformers 4.17.0
+- Pytorch 1.10.0+cu111
+- Datasets 1.18.4
+- Tokenizers 0.11.6
+
+### Results
+
+| Metric | # Value   |
+| ------ | --------- |
+| **Accuracy** | **0.96** | 
+| **F1** | **0.96** |
+
+
+## Example Usage
+
+```python
+from transformers import pipeline
+
+model_checkpoint = "shay681/HeBERT_finetuned_Legal_Clauses"
+qa_pipeline = pipeline(
+    "question-answering",
+    model=model_checkpoint, 
+    )
+
+predictions = qa_pipeline({
+    'context': "ב בית המשפט העליון בירושלים רע"א 2225/01 בפני: כבוד השופטת ט' שטרסברג-כהן המבקשת: שירותי בריאות כללית נגד המשיב ה : חניתה מייטלס, עו"ד בקשת רשות ערעור על החלטת בית המשפט המחוזי בתל-אביב-יפו מיום 21.2.01 בה"פ 11571/99 וה"פ 11243/99 שניתנה על ידי כבוד השופט א' סטרשנוב החלטה 1. הוחלט שהבקשה מצריכה תשובה. 2. המשיבה תגיש תשובתה לבקשה בתוך 15 ימים ממועד ההמצאה. 3. על נוסח התשובה יחולו הוראותיה של תקנה 406(ב) לתקנות סדר הדין האזרחי, תשמ"ד1984-. 4. התשובה תוגש במקביל, הן לבית-משפט זה, והן במישרין למבקשת. 5. בתשובה תיכלל התייחסות לאפשרות שבית-המשפט יבקש לפעול על-פי סמכותו לפי תקנה 410 לתקנות סדר הדין האזרחי, תשמ"ד1984-. מתבקשת התייחסות לשאלה אם במקרה כזה ניתן יהיה לראות בדברי התגובה סיכומים בכתב. העדר התייחסות כמוהו כהסכמה. העדר תגובה כמוהו כאי-התייצבות, על הכרוך בכך. ניתנה היום, י"ג בסיוון תשס"א (4.6.01). ש ו פ ט ת _________________ העתק מתאים למקור 01022250. J01 נוסח זה כפוף לשינויי עריכה טרם פרסומו בקובץ פסקי הדין של בית המשפט העליון בישראל. שמריהו כהן - מזכיר ראשי בבית המשפט העליון פועל מרכז מידע, טל' 02-6750444",
+    
+    'question': "אילו סעיפים\חוקים\תקנות מצויינים במסמך ?"
+})
+
+print(predictions)
+# output:
+# {'score': 0.9999890327453613, 'start': 0, 'end': 7, 'answer': 'תקנה 406(ב) לתקנות סדר הדין האזרחי, תשמ"ד1984'}
+```
+
+### About Me
+Created by Shay Doner.
+This is my final project as part of intelligent systems M.Sc studies at Afeka College in Tel-Aviv.
+For more cooperation, please contact email: 
+shay681@gmail.com