# HeBERT Finetuned Legal Clauses

This model fine-tunes avichr/heBERT model on LevMuchnik/SupremeCourtOfIsrael dataset.


## Training and evaluation data


| Dataset  | Split | # samples |
| -------- | ----- | --------- |
| SupremeCourtOfIsrael | train | 147,946 |
| SupremeCourtOfIsrael | validation | 36,987 |


## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:
- evaluation_strategy: "epoch"
- learning_rate: 2e-5
- train_batch_size: 16
- eval_batch_size: 16
- num_train_epochs: 3
- weight_decay: 0.01


### Framework versions

- Transformers 4.17.0
- Pytorch 1.10.0+cu111
- Datasets 1.18.4
- Tokenizers 0.11.6

### Results

| Metric | # Value   |
| ------ | --------- |
| **Accuracy** | **0.96** | 
| **F1** | **0.96** |


## Example Usage

```python
from transformers import pipeline

model_checkpoint = "shay681/HeBERT_finetuned_Legal_Clauses"
qa_pipeline = pipeline(
    "question-answering",
    model=model_checkpoint, 
    )

predictions = qa_pipeline({
    'context': "ב בית המשפט העליון בירושלים רע"א 2225/01 בפני: כבוד השופטת ט' שטרסברג-כהן המבקשת: שירותי בריאות כללית נגד המשיב ה : חניתה מייטלס, עו"ד בקשת רשות ערעור על החלטת בית המשפט המחוזי בתל-אביב-יפו מיום 21.2.01 בה"פ 11571/99 וה"פ 11243/99 שניתנה על ידי כבוד השופט א' סטרשנוב החלטה 1. הוחלט שהבקשה מצריכה תשובה. 2. המשיבה תגיש תשובתה לבקשה בתוך 15 ימים ממועד ההמצאה. 3. על נוסח התשובה יחולו הוראותיה של תקנה 406(ב) לתקנות סדר הדין האזרחי, תשמ"ד1984-. 4. התשובה תוגש במקביל, הן לבית-משפט זה, והן במישרין למבקשת. 5. בתשובה תיכלל התייחסות לאפשרות שבית-המשפט יבקש לפעול על-פי סמכותו לפי תקנה 410 לתקנות סדר הדין האזרחי, תשמ"ד1984-. מתבקשת התייחסות לשאלה אם במקרה כזה ניתן יהיה לראות בדברי התגובה סיכומים בכתב. העדר התייחסות כמוהו כהסכמה. העדר תגובה כמוהו כאי-התייצבות, על הכרוך בכך. ניתנה היום, י"ג בסיוון תשס"א (4.6.01). ש ו פ ט ת _________________ העתק מתאים למקור 01022250. J01 נוסח זה כפוף לשינויי עריכה טרם פרסומו בקובץ פסקי הדין של בית המשפט העליון בישראל. שמריהו כהן - מזכיר ראשי בבית המשפט העליון פועל מרכז מידע, טל' 02-6750444",
    
    'question': "אילו סעיפים\חוקים\תקנות מצויינים במסמך ?"
})

print(predictions)
# output:
# {'score': 0.9999890327453613, 'start': 0, 'end': 7, 'answer': 'תקנה 406(ב) לתקנות סדר הדין האזרחי, תשמ"ד1984'}
```

### About Me
Created by Shay Doner.
This is my final project as part of intelligent systems M.Sc studies at Afeka College in Tel-Aviv.
For more cooperation, please contact email: 
shay681@gmail.com