ECE-MIRAGE-1-15B

ECE-MIRAGE-1-15B est un modèle de langage fusionné développé à l'ECE (École d'Ingénieurs) en utilisant la méthode de fusion SLERP (Spherical Linear Interpolation). Ce modèle combine les forces des architectures rombodawg/Rombos-LLM-V2.5-Qwen-32b et Sakalti/ultiima-32B pour offrir des performances optimisées sur des tâches complexes.

Caractéristiques

• Méthode de fusion : SLERP (Spherical Linear Interpolation).
• Modèles sources :
  • rombodawg/Rombos-LLM-V2.5-Qwen-32b
  • Sakalti/ultiima-32B
• Optimisation : bfloat16 pour des calculs rapides et efficaces.
• Applications :
  • Raisonnement mathématique.
  • Compréhension contextuelle.
  • Tâches instructives (Instruction Following).