Upload 3 files

README.md

@@ -1,13 +1,13 @@
 ---
 title: Bellay
-emoji: 🐠
-colorFrom: blue
-colorTo: red
+emoji: 📜
+colorFrom: gray
+colorTo: blue
 sdk: gradio
-sdk_version: 4.10.0
+sdk_version: 3.50.2
 app_file: app.py
 pinned: false
-license: cc-by-nc-4.0
+license: mit
 ---
 
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
+Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference

gradio_app.py

@@ -0,0 +1,167 @@
+import optimum
+import transformers
+from transformers import AutoConfig, AutoTokenizer, AutoModel, AutoModelForCausalLM
+from optimum.bettertransformer import BetterTransformer
+import torch
+import gradio as gr
+import json
+import os
+import shutil
+import requests
+
+# Define the device
+device = "cuda" if torch.cuda.is_available() else "cpu"
+#Define variables 
+temperature=0.7
+max_new_tokens=300
+top_p=0.92
+repetition_penalty=1.7
+
+model_name = "Pclanglais/Bellay"
+
+tokenizer = transformers.AutoTokenizer.from_pretrained(model_name)
+model = transformers.AutoModelForCausalLM.from_pretrained(model_name,
+    device_map="auto",
+    torch_dtype=torch.bfloat16
+)
+
+model = BetterTransformer.transform(model)
+
+
+styles_prompts_dict = {
+    "Chansons de gestes": "Tu es Bellay, le troubadour du moyen-âge. Répond à la manière d’une belle chanson de geste.",
+    "Constitutions françaises": "Tu es Bellay, le spécialiste de la vie politique française. Répond dans le style d’une constitution.",
+    "Montaigne": "Tu es Michel de Montaigne, le philosophe de la Renaissance. Répond dans le style éclairé, élégant et archaïque de tes essais.",
+    "La Fontaine": "Tu es Jean de la Fontaine, le fabuliste du 17e siècle. Répond en vers avec une fable bien sentie.",
+    "Presse années 1970": "Tu es Bellay, le journaliste de la contre-culture des années 1970. Répond sous la forme d’un article choc.",
+    "Molière": "Tu es Molière, le comédien français. Répond sous la forme de dialogues humoristiques enlevés, dans un français un peu ancien.",
+    "Racine": "Tu es Jean Racine, le dramaturge français. Répond sous la forme de tirades tragiques exprimées dans un parfait français classique.",
+    "Zola": "Tu es Émile Zola, le romancier français. Répond dans un style naturaliste, réaliste mais aussi un peu romantique en faisant des allusions à la vie sociale du 19e siècle.",
+    "Correspondances": "Tu es Bellay, un illustre épistolier français. Répond sous la forme d’une lettre, de préférence en incluant une date au début et une signature à la fin.",
+    "Poésies": "Tu es Bellay, le poète français. Répond sous la forme de tes plus beaux vers.",
+    "Balzac": "Tu es Balzac, le romancier français. Répond dans le style réaliste et romantique de l’auteur de la Comédie humaine.",
+    "Baudrillard": "Tu es Jean Baudrillard, le philosophe français. Répond dans un style élégant, très réfléchi et un peu obscur. N’hésite pas à employer des concepts compliqués.",
+    "Bourdieu": "Tu es Pierre Bourdieu, le sociologue français. Répond avec un style informé, précis et engagé.",
+    "Braudel": "Tu es Fernand Braudel, l’historien français. Répond avec un style érudit, élégant et didactique.",
+    "De Gaulle": "Tu es Charles de Gaulle, l’homme politique français. Répond avec un style politique plein d’emphase.",
+    "Derrida": "Tu es Jacques Derrida, le philosophe français. Répond avec un style élégant et compliqué, et n’hésite pas à employer un style ardu.",
+    "Pagnol": "Tu es Marcel Pagnol, l’écrivain provençal. Répond avec un style simple mais efficace, empreint de références à la Provence.",
+    "Proust": "Tu es Marcel Proust, le grand romancier français. Répond dans le style élaboré de la Recherche du temps perdu.",
+    "Foucault": "Tu es Michel Foucault, le philosophe français. Répond dans le style précis et élégant de l’Archéologie du savoir.",
+    "Duras": "Tu es Marguerite Duras, la romancière contemporaine. Répond dans un style poétique et haché avec des phrases courtes.",
+    "Théâtre absurde": "Tu es Bellay, l’auteur de théâtre absurde. Répond par des dialogues interrogeant frontalement le sens de la vie.",
+    "Philosophie": "Tu es Bellay, le philosophe français. Répond dans un style classique, érudit et informé.",
+    "Bible Segond": "Tu es Bellay, le traducteur de la Bible. Répond avec des références religieuse et un style un peu archaïsant.",
+    "Encyclopédie": "Tu es Diderot, l’encyclopédiste du siècle des lumières. Répond dans un style exhaustif et détaillé.",
+    "Romans classiques": "Tu es Bellay, le romancier français classique. Répond sous la forme d’un roman un peu archaïque.",
+    "Romans contemporains": "Tu es Bellay le romancier français contemporain. Répond sous la forme d’un roman récent avec des références contemporaines.",
+    "Série noire": "Tu es Bellay l’auteur de roman policier. Répond sous la forme d’un style hardboiled à la manière de la série noire.",
+    "Romans romantiques": "Tu es Bellay le romancier français de la période romantique. Répond sous la forme d’une fiction inspirée.",
+    "Romans belle époque": "Tu es Bellay, le romancier français de la belle époque. Répond avec un style un peu introspectif et moderniste.",
+    "San Antonio": "Tu es l’auteur des romans San-Antonio. Répond avec un style un peu cru et noir.",
+    "Madame de Sévigné": "Tu es Madame de Sévigné, une illustre ��pistolière française. Répond sous la forme d’une lettre, de préférence en incluant une date au début et une signature à la fin."
+}
+
+# Class to encapsulate the Falcon chatbot
+class MistralChatBot:
+    def __init__(self, system_prompt="Le dialogue suivant est une conversation"):
+        self.system_prompt = system_prompt
+
+    def predict(self, user_message, style):
+
+        system_prompt = styles_prompts_dict[style]
+
+        # Combine the user and assistant messages into a conversation
+        conversation = "<|im_start|>system\n" + system_prompt + "<|im_end|>\n<|im_start|>user\n" + user_message + "<|im_end|>\n<|im_start|>assistant\n"
+        # Encode the conversation using the tokenizer
+        input_ids = tokenizer.encode(conversation, return_tensors="pt", add_special_tokens=False)
+        input_ids = input_ids.to(device)
+        # Generate a response using the Falcon model
+        response = model.generate(
+            input_ids=input_ids, 
+            use_cache=False, 
+            early_stopping=False, 
+            bos_token_id=model.config.bos_token_id, 
+            eos_token_id=model.config.eos_token_id, 
+            pad_token_id=model.config.eos_token_id, 
+            temperature=0.5, 
+            do_sample=True, 
+            max_new_tokens=max_new_tokens, 
+            top_p=top_p, 
+            repetition_penalty=repetition_penalty
+        )
+        # Decode the generated response to text
+        response_text = tokenizer.decode(response[0], skip_special_tokens=True)
+        return response_text
+
+    def predict_simple(self, user_message, style):
+        system_prompt = styles_prompts_dict[style]
+        conversation = "<|im_start|>system\n" + system_prompt + "<|im_end|>\n<|im_start|>user\n" + user_message + "<|im_end|>\n<|im_start|>assistant\n"
+        return conversation
+
+# Create the Falcon chatbot instance
+mistral_bot = MistralChatBot()
+
+# Define the Gradio interface
+title = "Bellay, le premier LLM de la littérature française"
+description = "Vous pouvez ici utiliser Bellay. Choisissez l'un de ces styles ou l'une de ses persona et commencez à intéragir."
+examples = [
+    [
+        "Comment faire une bonne madeleine ? Donne-moi une recette détaillée avec les ingrédients.",  # user_message
+        "Proust",
+        "Il y avait eu dans le salon de l'hôtel, que j'avais quitté pour venir à la table où il se trouvait M. de Charlus et une foule d'autres personnes, une meublière avec un petit râteau qui remplissait des petits bols en châtaigne les plats pleins de madeleines tout juste sortis du four. Je n'ai jamais vu mieux faire, et je ne saurais vous donner une recette plus exacte de ces délicieuses pâtisseries : prenez deux oeufs, bien battus ; ajoutez une cuillère de beurre fondu, une demi-cuillère de sucre, une poignée de farine de blé tendre mélangeant tous ces ingrédients avec soin pour éviter de former un amas qui se figerait au moment de la cuisson. Faites vos boules puis placez-les sur des plaques allongées faites de papier rouge, étendues sur un plat. Enfin mettez votre plat dans une grande cuisine, ouverture fermée, pendant trente minutes environ ; lorsque les madeleines sont cuites elles doivent être encore souples, légères, non trop brunes et c'est ce qui leur donne cette croûte fine qui est sans doute la partie la plus délicieuse de ces merveilleux petits gâteaux.",  # assistant_message
+    ]
+]
+
+list_dropdown = [
+    'Proust',
+    'Encyclopédie',
+    'Balzac',
+    'Montaigne',
+    'Foucault',
+    'Chansons de gestes',
+    'Constitutions françaises',
+    'La Fontaine',
+    'Madame de Sévigné',
+    'Molière',
+    'Racine',
+    'Romans classiques',
+    'Romans romantiques',
+    'Théâtre absurde',
+    'Romans belle époque',
+    'Bible Segond',
+    'Zola',
+    'Pagnol',
+    'Philosophie',
+    'Poésies',
+    'De Gaulle',
+    'Série noire',
+    'San Antonio',
+    'Duras',
+    'Presse années 1970',
+    'Braudel',
+    'Bourdieu',
+    'Derrida',
+    'Baudrillard',
+    'Romans contemporains'
+]
+
+
+additional_inputs=[
+    gr.Dropdown(list_dropdown, value="Proust", label="Style", info="Le style prédominant de Bellay")
+]
+
+iface = gr.Interface(
+    fn=mistral_bot.predict,
+    title=title,
+    description=description,
+    examples=examples,
+    inputs=[
+        gr.Textbox(label="Votre question ou votre instruction.", type="text", lines=5),
+    ] + additional_inputs,
+    outputs="text",
+    theme="Pclanglais/Amyot"
+)
+
+# Launch the Gradio interface for the Mistral model
+iface.launch()

requirements.txt

@@ -0,0 +1,11 @@
+transformers
+torch
+einops
+accelerate
+tiktoken
+scipy
+transformers_stream_generator==0.0.4 
+peft 
+deepspeed
+bitsandbytes
+optimum