Repository: explodinggradients/ragas
Issue: Adaptation of answer_correction leads to wrong example
Root cause: Validation Gap

I am adapting the metrics to german using a GPT4 model. 

When adapting the answer_correction metric, The first example turned into

```json
{
            "question": "Was treibt die Sonne an und was ist ihre Hauptfunktion?",
            "answer": "Die Sonne wird durch Kernfusion angetrieben, \u00e4hnlich wie Kernreaktoren auf der Erde, und ihre Hauptfunktion ist es, Licht f\u00fcr das Sonnensystem zu liefern.",
            "ground_truth": "Die Sonne wird tats\u00e4chlich durch Kernfusion und nicht durch Kernspaltung angetrieben. In ihrem Kern verschmelzen Wasserstoffatome zu Helium, wobei eine enorme Menge an Energie freigesetzt wird. Diese Energie ist es, die die Sonne zum Leuchten bringt und W\u00e4rme und Licht liefert, die f\u00fcr das Leben auf der Erde unerl\u00e4sslich sind. Das Licht der Sonne spielt auch eine entscheidende Rolle im Klimasystem der Erde und hilft dabei, das Wetter und die Meeresstr\u00f6mungen anzutreiben.",
            "Extracted statements": {
                "name": "John Doe",
                "age": 30,
                "isStudent": false,
                "address": {
                    "street": "123 Main St",
                    "city": "Anytown",
                    "state": "CA"
                },
                "hobbies": [
                    "reading",
                    "swimming",
                    "cycling"
                ]
            }
        },
```

with the original counter part of the extracted statement being

```json
"Extracted statements": [
                {
                    "statements that are present in both the answer and the ground truth": [
                        "The sun's primary function is to provide light"
                    ],
                    "statements present in the answer but not found in the ground truth": [
                        "The sun is powered by nuclear fission",
                        "similar to nuclear reactors on Earth",
                    ],
                    "relevant statements found in the ground truth but omitted in the answer": [
                        "The sun is powered by nuclear fusion, not fission",
                        "In its core, hydrogen atoms fuse to form helium, releasing a tremendous amount of energy",
                        "This energy provides heat and light, essential for life on Earth",
                        "The sun's light plays a critical role in Earth's climate system",
                        "The sun helps to drive the weather and ocean currents",
                    ],
                }
            ]
```

Not sure if that is due to some weird LLM behavior or something else goes wrong. I tried it with temperature 0.7 and 0 - same result.
It would be great to add a hint to the documentation to double-check the adapted prompts (if I didn't overlook that already).


Ragas version: main
Python version: 3.11


Hi @almajo ,  thanks for reporting this issue. I will take a look at this, seems like the JSON parsing failed at some point. 

Adding a note on this to the docs [here](https://docs.ragas.io/en/latest/concepts/prompt_adaptation.html) would be certainly helpful, would you like to contribute?



Hi @almajo , I tried doing the same with gpt-4 and got good translation. Maybe in your case it was some error from error got propagated. I'll add the note to docs anyway.

```
Extract following from given question and ground truth

question: "\"Was treibt die Sonne an und was ist ihre Hauptfunktion?\""
answer: "Die Sonne wird durch Kernspaltung angetrieben, ähnlich wie Kernreaktoren auf der Erde, und ihre Hauptfunktion besteht darin, Licht für das Sonnensystem zu liefern."
ground_truth: "Die Sonne wird tatsächlich durch Kernfusion und nicht durch Kernspaltung angetrieben. In ihrem Kern verschmelzen Wasserstoffatome zu Helium und setzen dabei eine enorme Menge an Energie frei. Diese Energie ist es, die die Sonne zum Leuchten bringt und Wärme und Licht liefert, die für das Leben auf der Erde unerlässlich sind. Das Licht der Sonne spielt auch eine entscheidende Rolle im Klimasystem der Erde und hilft, das Wetter und die Meeresströmungen anzutreiben."
Extracted statements: [{{"Die Aussagen, die sowohl in der Antwort als auch in der Grundwahrheit vorhanden sind": ["Die Hauptfunktion der Sonne besteht darin, Licht zu liefern"], "Aussagen, die in der Antwort vorhanden sind, aber nicht in der Grundwahrheit gefunden wurden": ["Die Sonne wird durch Kernspaltung angetrieben", "ähnlich wie Kernreaktoren auf der Erde"], "relevante Aussagen, die in der Grundwahrheit gefunden, aber in der Antwort weggelassen wurden": ["Die Sonne wird durch Kernfusion, nicht durch Spaltung angetrieben", "In ihrem Kern verschmelzen Wasserstoffatome zu Helium und setzen dabei eine enorme Menge an Energie frei", "Diese Energie liefert Wärme und Licht, lebenswichtig für das Leben auf der Erde", "Das Licht der Sonne spielt eine entscheidende Rolle im Klimasystem der Erde", "Die Sonne hilft, das Wetter und die Meeresströmungen zu steuern"]}}]

question: "Was ist der Siedepunkt von Wasser?"
answer: "Der Siedepunkt von Wasser beträgt 100 Grad Celsius auf Meereshöhe."
ground_truth: "Der Siedepunkt von Wasser beträgt 100 Grad Celsius (212 Grad Fahrenheit) auf Meereshöhe, kann aber mit der Höhe variieren."
Extracted statements: [{{"Die Aussagen, die sowohl in der Antwort als auch in der Wahrheit vorhanden sind": ["Der Siedepunkt von Wasser beträgt 100 Grad Celsius auf Meereshöhe"], "Aussagen, die in der Antwort vorhanden sind, aber nicht in der Wahrheit gefunden wurden": [], "relevante Aussagen, die in der Wahrheit gefunden, aber in der Antwort weggelassen wurden": ["Der Siedepunkt kann sich mit der Höhe ändern", "Der Siedepunkt von Wasser beträgt 212 Grad Fahrenheit auf Meereshöhe"]}}]

question: {question}
answer: {answer}
ground_truth: {ground_truth}
Extracted statements```