Después de las muertes de su madre y padre, Gilles y su hermano menor René quedaron bajo la tutela de su abuelo materno, Jean de Craon.