A finales del siglo XVIII el obispo Juan Díaz de la Guerra (1777-1800) acentuó el carácter residencial del castillo, creando oficinas y viviendas para funcionarios.