Le Toux comenzó su carrera en las inferiores del Rennes, sin embargo debutó profesionalmente en 2004 vistiendo la camiseta del Lorient.