En 1535, el obispo Diego Ramírez decidió remodelar el palacio.