Entre 1721 y 1746 Frémin vivió en Madrid , donde estuvo al servicio del rey español Felipe V, que le encargó la decoración de su palacio, La Granja de San Ildefonso .