Fonseca reconstruyó el castillo convirtiéndolo en un palacio con trazas renacentistas y lo hizo su residencia habitual, que compartió con su amante Teresa de las Cuevas.