Éste fue construido entre 1431 y 1476, fecha esta última en la que figura «como refugio de los partidarios de la Beltraneja cuando perdieron Madrid» tras la batalla de Toro, según consta en la documentación de la época.