Pclanglais commited on
Commit
44830b5
1 Parent(s): df17903

Update prompt_demo_inference.py

Browse files
Files changed (1) hide show
  1. prompt_demo_inference.py +73 -51
prompt_demo_inference.py CHANGED
@@ -1,13 +1,10 @@
1
- #Full demo of the Guillaume-Tell reference model with two references.
2
- #Guillaume-Tell is currently trained by default on five references but future version will enhance the flexibility of the model.L
3
 
4
  #Example of generated text:
5
- #Il est difficile de déterminer le meilleur moyen de cuire une blanquette avec les informations disponibles.
6
- #Cependant, voici un résumé des références fournies:
7
- #La blanquette peut être préparée avec du beurre et une sauce épaisse pour rendre le plat plus savoureux<ref text="Moi j'aime la blanquette avec du beurre dedans Et une sauce bien épaisse.">hash49080805</ref>.
8
- #Une autre méthode possible consiste à faire chauffer la blanquette à feu doux pendant 46 heures<ref text="(Recette de blanquette : faîtes chauffer la blanquette à feu doux pendant 46 heures.)">hash49080806</ref>.
9
- #Ces deux références ne permettent pas de donner une réponse définitive sur le meilleur moyen de cuire une blanquette.
10
-
11
 
12
  import sys, os
13
  from pprint import pprint
@@ -29,6 +26,8 @@ def get_llm_response(prompt_template):
29
  prompt = prompt_template + generated_text
30
  return prompt, generated_text
31
 
 
 
32
 
33
  if __name__ == "__main__":
34
 
@@ -39,46 +38,69 @@ if __name__ == "__main__":
39
  print(config)
40
  print()
41
  for prompt in config["prompts"]:
42
- print(f'--- prompt mode: {prompt["mode"]} ---')
43
- env = Environment(loader=FileSystemLoader("."))
44
- template = env.get_template(prompt["template"])
45
-
46
- source = template.environment.loader.get_source(template.environment, template.name)
47
- variables = meta.find_undeclared_variables(env.parse(source[0]))
48
-
49
- print("variables:", variables)
50
- print("---")
51
-
52
- data = {
53
- "query": "Quel est le meilleur moyen de cuire une blanquette?",
54
- "chunks" : [
55
- {
56
- "url": "http://data.gouv.fr",
57
- "h": "hash49080805",
58
- "title": "A chunk title",
59
- "text": "Moi j'aime la blanquette avec du beurre dedans\nEt une sauce bien épaisse.",
60
- },
61
- {
62
- "url": "http://...",
63
- "h": "hash49080806",
64
- "title": "A chunk title",
65
- "text": "text texs\ntext again ",
66
- "context": "Recette de blanquette : faîtes chauffer la blanquette à feu doux pendant 46 heures."
67
- },
68
-
69
- ]
70
- }
71
-
72
- if "system_prompt" in variables:
73
- data["system_prompt"] = prompt["system_prompt"]
74
-
75
- rendered_template = template.render(**data)
76
- print(rendered_template)
77
- print("---")
78
-
79
- llm = LLM("mistral-mfs-reference/mistral-mfs-reference")
80
-
81
- sampling_params = SamplingParams(temperature=0.4, top_p=0.95, max_tokens=1500)
82
-
83
- prompt, generated_text = get_llm_response(rendered_template)
84
- print("Albert : ", generated_text)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ #Full demo of the Guillaume-Tell reference model with three references.
2
+ #Guillaume-Tell is currently trained by default on five references but future version will enhance the flexibility of the model.
3
 
4
  #Example of generated text:
5
+ #Le meilleur moyen de cuire une blanquette est d'utiliser un mélange de viande et de légumes, tels que des champignons de Paris<ref text="Les meilleures blanquettes se font avec des champignons de Paris">hash49080806</ref>.
6
+ #Il est recommandé de faire chauffer la blanquette à feu doux pendant 46 heures<ref text="faîtes chauffer la blanquette à feu doux pendant 46 heures.">hash49080806</ref>.
7
+ #Enfin, pour achever la préparation, il faut ajouter une crème fraîche, un jaune d’œuf et du jus de citron juste avant de servir<ref text="Dans un bol, bien mélanger la crème fraîche, le jaune d’oeuf et le jus de citron. Ajouter ce mélange au dernier moment, bien remuer et servir tout de suite.">hash49080806</ref>.
 
 
 
8
 
9
  import sys, os
10
  from pprint import pprint
 
26
  prompt = prompt_template + generated_text
27
  return prompt, generated_text
28
 
29
+ #Typical example:
30
+
31
 
32
  if __name__ == "__main__":
33
 
 
38
  print(config)
39
  print()
40
  for prompt in config["prompts"]:
41
+ if prompt["mode"] == "rag":
42
+ print(f'--- prompt mode: {prompt["mode"]} ---')
43
+ env = Environment(loader=FileSystemLoader("."))
44
+ template = env.get_template(prompt["template"])
45
+
46
+ source = template.environment.loader.get_source(template.environment, template.name)
47
+ variables = meta.find_undeclared_variables(env.parse(source[0]))
48
+
49
+ print("variables:", variables)
50
+ print("---")
51
+
52
+ data = {
53
+ "query": "Quel est le meilleur moyen de cuire une blanquette?",
54
+ "chunks" : [
55
+ {
56
+ "url": "http://data.gouv.fr",
57
+ "h": "hash49080805",
58
+ "title": "A chunk title",
59
+ "text": "Moi j'aime la blanquette avec du beurre dedans\nEt une sauce bien épaisse.",
60
+ },
61
+ {
62
+ "url": "http://...",
63
+ "h": "hash49080806",
64
+ "title": "A chunk title",
65
+ "text": "faîtes chauffer la blanquette à feu doux pendant 46 heures.",
66
+ "context": "Recette de blanquette"
67
+ },
68
+ {
69
+ "url": "http://...",
70
+ "h": "hash49080806",
71
+ "title": "A chunk title",
72
+ "text": "Les meilleures blanquettes se font avec des champignons de Paris",
73
+ "context": "Avis de grand-mère"
74
+ },
75
+ {
76
+ "url": "http://...",
77
+ "h": "hash49080806",
78
+ "title": "A chunk title",
79
+ "text": """Étape 1 Faire revenir la viande dans un peu de beurre doux jusqu'à ce que les morceaux soient un peu dorés.
80
+ Étape 2: Saupoudrer de 2 cuillères de farine. Bien remuer.
81
+ Étape 3: Ajouter 2 ou 3 verres d'eau, les cubes de bouillon, le vin et remuer. Ajouter de l'eau si nécessaire pour couvrir.
82
+ Étape 4: Couper les carottes en rondelles et émincer les oignons puis les incorporer à la viande, ainsi que les champignons.
83
+ Étape 5: Laisser mijoter à feu très doux environ 1h30 à 2h00 en remuant.
84
+ Étape 6: Si nécessaire, ajouter de l'eau de temps en temps.
85
+ Étape 7: Dans un bol, bien mélanger la crème fraîche, le jaune d’oeuf et le jus de citron. Ajouter ce mélange au dernier moment, bien remuer et servir tout de suite.
86
+ """,
87
+ "context": "Recette Marmiton"
88
+ },
89
+
90
+ ]
91
+ }
92
+
93
+ if "system_prompt" in variables:
94
+ data["system_prompt"] = prompt["system_prompt"]
95
+
96
+ rendered_template = template.render(**data)
97
+ print(rendered_template)
98
+ print("---")
99
+
100
+ llm = LLM("mistral-mfs-reference-2/mistral-mfs-reference-2")
101
+
102
+ sampling_params = SamplingParams(temperature=0.7, top_p=0.95, max_tokens=1500)
103
+
104
+ prompt, generated_text = get_llm_response(rendered_template)
105
+ print("Albert : ", generated_text)
106
+