Un hermano de Juan Francisco, V marqués de Montemayor, Pedro de Silva heredará los bienes de su tío Felipe de Silva, virrey de Cataluña y general destacado en la Guerra de Cataluña, otorgándole Felipe IV el título de vizconde de La Sagra, luego marqués de Vega de la Sagra, pero a causa de los sucesos de Portugal en los que aparece como implicado, es acusado de traición y ajusticiado en 1648, a causa de lo cual, sus bienes pasaron a la casa de su hermano mayor.