Con estos nuevos propietarios comenzó un rápido deterioro, que continuó al ser en parte Casa Cuartel de la Guardia Civil.