Poco a poco, este espacio se iría ampliando, por obra de los distintos prelados, que iban sucediéndose en la diócesis, conformándose el palacio, como tal, de manera progresiva.