Durante dicho poder señorial, Diego Pacheco dotaría al castillo de su arquitectura actual.