Fue mandado a construir por Isabel Osorio, hermosa dama de la Corte de Felipe II, con quien, dicen, tuvo dos hijos.