FR Discutions ouverte
Bonjour ! J’aimerai que nous puissions échanger sur les actualités ou encore des cours ou tutos que vous aimeriez partager avec tout le monde
Merci de votre participation
C'est surtout un forum dédié ou un discord français qu'il faudrait. Même si les llms aident pas mal pour la traduction, c'est un peu fatiguant à la longue !
Tiens ben moi j'ai une question..
Avez-vous une idée théorique et pratique qui puisse faire en sorte que le ChatBOT (Mixtral) retienne en mémoire les discussions précédentes (par exemple moi je pense à stocker dans un fichier les anciennes discussions ou dans une option de réglage prévue par Mixtral ?) et s'en serve pour consolider les réponses futures ?
Exemple... Supposons que j'écrive en prompt : [Désormais tu t'appelle "Mixtralys"] ...
Que je laisse le Space du ChatBOT se mettre en pause... (donc reset automatique du conteneur Docker)
Et que.. lundi, je lui pose la question suivante, via un prompt : [Tu t'appelle comment ?]
Et que là, comme elle aurait retenu mon ancienne discussion, elle rétorquerait alors en toutes logique ceci : [Mixtralys.]
C'est faisable ça, sans ré-entraîner le modèle ?
Si oui, vous auriez des pistes pour insuffler en théorie cette capacité au ChatBOT (et cela, je le rappelle, sans ré-entraîner le modèle Mixtral), merci d'avance de votre aide !
Si je demande, c'est surtout pour assurer une sorte de continuité des discussions, de créer un suivi de discussions pour le ChatBOT (je ne parle pas d'agents OpenAI). J'ai remarqué que le Modèle finissait parfois sur une erreur de "Model is overload", donc, il faudrait que ce soit une capacité de stockage de discussions capables de se suivre même en cas de reset du Space (même après un Factory Rebuild (Exemple Import du suivi de discussions (csv, txt), le tout sans surcharge du modèle !
Tu utilises une interface qui n'est là qu'à des fins de démonstration.
Pour qu'il y ait une mémoire, il faut implémenter un système de stockage et de compression des instructions, donc il faudrait utiliser un client compatible avec l'API OpenAI et te connecter aux serveurs de Mistral AI (par exemple).
Une autre méthode (pour palier la limite de la taille du contexte) est d'utiliser une base de donnée utilisant des "embeddings" pour piocher des informations et les insérer dynamiquement dans les instructions.
Aucune de ces fonctionnalités ne fait parti intégrante du modèle, mais n'est pas non plus implémenté dans l'interface que tu utilises sur HuggingFace.
Je connais pas trop les logiciels qui implémentent ça (à part le miens, mais il n'est pas disponible publiquement).
Le truc qui s'en rapproche le plus que je connaisse est gpt4all.
Il ne permet pas vraiment d'utiliser des serveurs arbitraires sauf via une branche que j'ai créée il y a plusieurs mois:
https://github.com/nomic-ai/gpt4all/pull/1692
Les modifications ont approuvées mais tardent à être ajoutées à la branche principale.
Reste que dans tous les cas il te faut avoir accès à un serveur.