File size: 6,509 Bytes
7d34870
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
en:
  Language: 'Select a language:'
  en: English
  it: Italian
  Title: "<h1 class='demo-title'>\U0001F9E9 Italian Verbalized Rebus Solver \U0001F1EE\
    \U0001F1F9</h1>"
  Intro: "This demo will allow you to test your skills at solving Italian verbalized\
    \ rebus puzzles, and evaluate the predictions of our small but capable <a href=\"\
    https://huggingface.co/gsarti/phi3-mini-rebus-solver-fp16\" target='_blank'>Phi-3\
    \ Verbalized Rebus Solver</a> model.\n\nIn the tab <code>\U0001F9E9 Guessing game</code>,\
    \ you will be presented with a rebus puzzle from the test set of <a href=\"https://huggingface.co/datasets/gsarti/eureka-rebus\"\
    \ target='_blank'>EurekaRebus</a>, and you will be asked to solve it step by step.\
    \ The model will then generate a response, and you will be able to compare it\
    \ with the ground truth solution.\n\nIn the tab <code>\U0001F916 Model evaluation</code>,\
    \ you will be able to evaluate the model on a custom rebus puzzle of your choice.\
    \ You can input a rebus puzzle and a key, and the model will generate a response.\
    \ You can then provide feedback on model mistakes, which will be used for future\
    \ model training and evaluations.\n\nWe are grateful to the [Associazione Culturale\
    \ \"Biblioteca Enigmistica Italiana - G. Panini\"](http://www.enignet.it/home)\
    \ for making the Eureka5 rebus collection openly accessible.\n\nFor more details,\
    \ check out our <a href=\"https://arxiv.org/abs/2408.00584\" target='_blank'>paper</a>,\
    \ <a href=\"https://github.com/gsarti/verbalized-rebus\" target='_blank'>code</a>\
    \ and <a href=\"https://huggingface.co/collections/gsarti/verbalized-rebus-clic-it-2024-66ab8f11cb04e68bdf4fb028\"\
    \ target='_blank'>materials</a>."
  GuessingGame: "\U0001F9E9 Guessing game"
  ModelEvaluation: "\U0001F916 Model evaluation"
  CurrentExample: Current Example (1-2000)
  ShowLengthHints: Show length hints
  Instructions: "<h4>Solve the hints between parentheses to obtain a first pass, and\
    \ use the solution key to derive the rebus solution.</h4><br>"
  Rebus: "<h4>Rebus: "
  Key: "<h4>Solution key: "
  ProceedToResolution: "<h4>Let's proceed step by step to solve the rebus (<b>using Italian words</b>):</h4>"
  FirstPass: "<h4>First pass: "
  SolutionWord: "<h4>Solution word with length "
  Solution: "<h4>Solution: "
  CheckSolution: "Check solution"
  ShowSolution: "Show solution"
  HideSolution: "Hide solution"
  IncorrectSolutionMsg: "The solution is incorrect, try again!"
  CorrectSolutionMsg: "Well done! This is the correct solution."
  CorrectSolution: "<h4>Correct solution: "
  GPT4Solution: "<h4>GPT-4o solution: "
  ClaudeSolution: "<h4>Claude-3.5 Sonnet solution: "
  LLaMA370BSolution: "<h4>LLaMA-3 70B solution: "
  Qwen72BSolution: "<h4>Qwen 72B solution: "
  LLaMA318BSolution: "<h4>LLaMA-3.1 8B solution: "
  Phi3MiniSolution: "<h4>Phi-3 Mini solution: "
  Gemma22BSolution: "<h4>Gemma-2 2B solution: "
  ShowModelsSolutions: "Show model solutions"
  HideModelsSolutions: "Hide model solutions"
  PromptedModels: "<b>Prompted models</b>"
  TrainedModels: "<b>Trained models</b>"
it:
  Language: 'Seleziona una lingua:'
  en: Inglese
  it: Italiano
  Title: "<h1 class='demo-title'>\U0001F9E9 Risolutore di Rebus Verbalizzati in Italiano\
    \ \U0001F1EE\U0001F1F9</h1>"
  Intro: "Questa demo ti permetter\xE0 di testare le tue abilit\xE0 nella risoluzione\
    \ di rebus verbalizzati in italiano, e valutare le predizioni del nostro piccolo\
    \ ma capace modello <a href=\"https://huggingface.co/gsarti/phi3-mini-rebus-solver-fp16\"\
    \ target='_blank'>Phi-3</a>.\n\nNella finestra <code>\U0001F9E9 Indovina il rebus</code>,\
    \ ti verr\xE0 presentato un rebus scelto casualmente dalla collezione <a href=\"\
    https://huggingface.co/datasets/gsarti/eureka-rebus\" target='_blank'>EurekaRebus</a>,\
    \ e ti verr\xE0 chiesto di risolverlo passo passo. Il modello generer\xE0 quindi\
    \ una risposta, e potrai confrontare la tua risposta con la soluzione.\n\nNella\
    \ finestra <code>\U0001F916 Valuta il modello</code>, potrai valutare il modello\
    \ su un rebus verbalizzato creato da te, fornendolo assieme ad una chiave di lettura\
    \ e chiedendo al modello di risolverlo. Potrai quindi fornire feedback sugli errori\
    \ del modello, che verr\xE0 poi utilizzato per migliorarne le prestazioni future.\n\
    \nRingraziamo l'<a href=\"http://www.enignet.it/\" target='_blank'>Associazione\
    \ Culturale \"Biblioteca Enigmistica Italiana - G. Panini\"</a> per aver reso\
    \ disponibile la collezione di rebus Eureka5.\n\nPer maggiori dettagli, puoi consultare\
    \ il nostro <a href=\"https://arxiv.org/abs/2408.00584\" target='_blank'>articolo</a>,\
    \ con il relativo <a href=\"https://github.com/gsarti/verbalized-rebus\" target='_blank'>codice</a>\
    \ e <a href=\"https://huggingface.co/collections/gsarti/verbalized-rebus-clic-it-2024-66ab8f11cb04e68bdf4fb028\"\
    \ target='_blank'>materiali</a>."
  GuessingGame: "\U0001F9E9 Indovina il rebus"
  ModelEvaluation: "\U0001F916 Valuta il modello"
  CurrentExample: Esempio attuale (1-2000)
  ShowLengthHints: Mostra suggerimenti sulla lunghezza
  Instructions: "<h4>Risolvi gli indizi tra parentesi per ottenere una prima lettura, e\
    \ usa la chiave di lettura per ottenere la soluzione del rebus.</h4><br>"
  Rebus: "<h4>Rebus: "
  Key: '<h4>Chiave di lettura: '
  ProceedToResolution: "<h4>Procediamo alla risoluzione del rebus passo per passo:</h4>"
  FirstPass: "<h4>Prima lettura: "
  SolutionWord: "<h4>Parola risolutiva con lunghezza "
  Solution: "<h4>Soluzione: "
  CheckSolution: "Verifica soluzione"
  ShowSolution: "Mostra soluzione"
  HideSolution: "Nascondi soluzione"
  IncorrectSolutionMsg: "La soluzione è sbagliata, riprova!"
  CorrectSolutionMsg: "Esatto! Questa è la soluzione corretta."
  CorrectSolution: "<h4>Soluzione corretta: "
  GPT4Solution: "<h4>Soluzione di GPT-4o: "
  ClaudeSolution: "<h4>Soluzione di Claude-3.5 Sonnet: "
  LLaMA370BSolution: "<h4>Soluzione di LLaMA-3 70B: "
  Qwen72BSolution: "<h4>Soluzione di Qwen 72B: "
  LLaMA318BSolution: "<h4>Soluzione di LLaMA-3.1 8B: "
  Phi3MiniSolution: "<h4>Soluzione di Phi-3 Mini: "
  Gemma22BSolution: "<h4>Soluzione di Gemma-2 2B: "
  ShowModelsSolutions: "Mostra soluzioni dei modelli"
  HideModelsSolutions: "Nascondi soluzioni dei modelli"
  PromptedModels: "<b>Modelli promptati</b>"
  TrainedModels: "<b>Modelli addestrati</b>"