Fue construido entre 1461 y 1488 por don García López de Ayala, señor de Ayala y Salvatierra e hijo de don Pedro García de Herrera, primer titular del Mayorazgo de Ampudia.