Akim Mousterou

AkimfromParis

AI & ML interests

None yet

Recent Activity

Reacted to malhajar's post with 👍 19 days ago
🇫🇷 Lancement officiel de l'OpenLLM French Leaderboard : initiative open-source pour référencer l’évaluation des LLMs francophones Après beaucoup d’efforts et de sueurs avec Alexandre Lavallee, nous sommes ravis d’annoncer que le OpenLLMFrenchLeaderboard est en ligne sur Hugging Face (space url: https://huggingface.co/spaces/le-leadboard/OpenLLMFrenchLeaderboard) la toute première plateforme dédiée à l’évaluation des grands modèles de langage (LLM) en français. 🇫🇷✨ Ce projet de longue haleine est avant tout une œuvre de passion mais surtout une nécessité absolue. Il devient urgent et vital d'oeuvrer à plus de transparence dans ce domaine stratégique des LLM dits multilingues. La première pièce à l'édifice est donc la mise en place d'une évaluation systématique et systémique des modèles actuels et futurs. Votre modèle IA français est-il prêt à se démarquer ? Soumettez le dans notre espace, et voyez comment vous vous comparez par rapport aux autres modèles. ❓ Comment ça marche : Soumettez votre LLM français pour évaluation, et nous le testerons sur des benchmarks de référence spécifiquement adaptés pour la langue française — notre suite de benchmarks comprend : - BBH-fr : Raisonnement complexe - IFEval-fr : Suivi d'instructions - GPQA-fr : Connaissances avancées - MUSR-fr : Raisonnement narratif - MATH_LVL5-fr : Capacités mathématiques - MMMLU-fr : Compréhension multitâche Le processus est encore manuel, mais nous travaillons sur son automatisation, avec le soutien de la communauté Hugging Face. @clem , on se prépare pour une mise à niveau de l’espace ? 😏👀 Ce n'est pas qu'une question de chiffres—il s'agit de créer une IA qui reflète vraiment notre langue, notre culture et nos valeurs. OpenLLMFrenchLeaderboard est notre contribution personnelle pour façonner l'avenir des LLM en France.
View all activity

Organizations

LLM-jp's profile picture OpenLLM France's profile picture huggingPartyParis's profile picture

Posts 3

view post
Post
1342
📢 More for the open-source community, less for the Big 3! 📢

Clearly, major AI labs and startups are sleeping in “applied AI” for a robust revenue stream. The annualized generative AI revenue for OpenAI is $3.4bn, while Accenture is at $3.7bn. Major consulting groups are the clear winners:
- Accenture reports record US$64.9 billion revenue for FY2024, generative AI delivers US$3Bn in new bookings ($1,000M in revenues from generative AI in August 2024).
- KPMG International, went from making no money a year ago from generative-A.I.-related work to targeting more than $650 million in 6 months.
- Boston Consulting Group's total revenues climbed just 5% in 2023 to $12.3bn in 2024 (20% of revenues).
- About 40% of McKinsey’s business this year will be generative A.I. (McKinsey's revenue hit $16 billion in 2023)

Should the open-source community be rewarded more than a quote, computing credits, or tiny squares on GitHub? 🔥
view post
Post
1438
🇯🇵 The Open Japanese LLM Leaderboard created by LLM-jp 🌸 in partnership with HuggingFace 🤗 was released today!

Blog: https://huggingface.co/blog/leaderboard-japanese
Space: llm-jp/open-japanese-llm-leaderboard

🌍 The leaderboard is available in both Japanese and English
📚 Based on the evaluation tool, llm-jp-eval with more than 20 datasets for Japanese LLMs
📊 The leaderboard showcases all the metrics for NLP experts, plus averages for NLP beginners
💻 For the comfort of users, we chose a horizontal UI, and implemented it in a light and dark theme on Gradio
🔬 The radar chart provides a very interesting visualization of metrics!
🌱 We are using the Japanese research platform, MDX, so please be patient!
⚡ LLMs bigger than +70B will be evaluated soon…

How do you say “GPUs Go Brrr” in Japanese - > GPUがブンブン~! (To pronounce "GPU ga bunbun!") 🔥

datasets

None public yet