Alonso Pérez de Vivero, secretario y contador mayor del rey Juan II, quien había ido comprando las tierras de los abades de Valladolid y Matallana en la localidad; su muerte prematura hizo que fuese concluido por su nieto Alonso de Vivero, segundo vizconde de Altamira y protector del matrimonio secreto de los Reyes Católicos, celebrado en su Palacio de Valladolid, y que pasaron su luna de miel en este castillo.