Atendiendo las deficiencias que presentaba la sede epíscopal, el obispo Rafael Lasala encomendó la construcción de un palacio, entre los años 1776-1779, al maestro de obras Francesc Pons.