Manifeste du Leaderboard 🇫🇷

Création d'une plateforme d'évaluation pour les modèles de langage (LLM) francophones.

Chère communauté, vous voici sur le Leaderboard, un classement open-source dédié à l'évaluation des grands modèles de langage (LLM) en français. Notre mission est de mettre en lumière spécifiquement les modèles qui excellent en langue française, en fournissant des benchmarks et standards qui permettent de donner le "La" sur les avancées techniques dans les LLM en français.

Nous sommes convaincus que les LLM sont une technologie de pointe représentant l'avenir de la compréhension et de la génération du langage. Ces modèles ouvrent des pans nouveaux de productivité pour tout notre tissu d'entreprises françaises, mais auront également un impact profond sur la vie de nos concitoyens, l'éducation et dans l'héritage numérique de notre langue. Il devient urgent et vital d'œuvrer à plus de transparence dans ce domaine stratégique des LLM dits multi-lingues. La première pièce à l'édifice est donc la mise en place d'une évaluation systématique et systémique des modèles actuels et futurs.

Notre Mission

Le Leaderboard est né de cette conviction. Notre objectif est de créer une plateforme d'évaluation rigoureuse et transparente pour les LLM francophones, permettant de :

1. Mettre en lumière les modèles qui excellent en langue française
2. Fournir des benchmarks et des standards qui stimulent les avancées techniques
3. Promouvoir la création de modèles souverains et open source

🚀 Soumettez votre LLM français

Vous avez développé un LLM en français ? Soumettez-le pour évaluation ! Bien que le processus soit actuellement manuel, nous travaillons à son automatisation avec le soutien de la communauté Hugging Face.

📊 Nos Benchmarks

Découvrez nos benchmarks soigneusement sélectionnés ici. Les évaluations sont générées et vérifiées à la fois par GPT-4 et par annotation humaine, garantissant ainsi la précision et la pertinence de nos résultats.

Un Enjeu Stratégique

Dans l'écosystème mondial de l'IA archi dominé par la langue anglaise et quelques acteurs américains ou chinois, la voix francophone mérite d'être entendue et amplifiée. En donnant un aperçu honnête des LLMs qui capturent la richesse et les nuances de notre langue, nous nous ouvrons de nouvelles perspectives d'indépendance et de souverraineté dans ce nouveau paradigme tech.