Junto a la capilla, en el lado oriental del recinto, se alza el palacio de los Vargas, también del siglo XVI, pero cuya fachada fue transformada en el siglo XX, adoptándose una solución historicista y como prolongación de la capilla del Obispo, de forma que ambos conjuntos muestran idéntica fachada.